[19/01/2006] The Gamers' Benchmark

[paolo besser]

Fortuna vuole che TGM sia una rivista seria, e che quindi il 3D Mark NON sia minimamente considerato attendibile per i benchmark delle schede video. Da anni.

[DreamPainter]

paolo besser ha scritto ven, 20 gennaio 2006 alle 09:38
Fortuna vuole che TGM sia una rivista seria, e che quindi il 3D Mark NON sia minimamente considerato attendibile per i benchmark delle schede video. Da anni.

Questo ha lati positivi e negativi:

PRO:
Testate le schede con i giochi, quindi dite come vanno coi giochi.

CONTRO:
Non testate le funzionalità nuove e non stressate la scheda in situazioni limite. Penso che lo stress sia un test che va comunque considerato.

Cosa ne pensate?

[Prodeguerriero]

raiden97 ha scritto ven, 20 gennaio 2006 alle 05:52
in effetti 3dmark mi sembra na boiata solo per fare a gara per chi ha la configurazione migliore
Io l'ho tenuto in considerazione fino al 2003 ma ora no...
Ed è anche impensabile farlo...
Voglio dire...io ho un onestissimo P4 3Ghz non overclocckato (ancora ) con una 6800 Ultra... 1 GB di ram e varie suppellettili
Non è che mi vada benissimo il 3d mark 05....
Invece i giochi mi vanno a 1000 fotogrammi al secondo
A me interessa solo videogiocare bene per cui ho un gioco--->come mi va---> bene = ci gioco
Senza pippe mentali nè 3dmark (che a sto punto mi pare davvero castri i driver Nvidia )

Oh beh, questa mi sembra un'affermazione un'attimino forzata. Non vedo perchè un confronto a parità di sistema tra diverse schede usando il 3dmark non sia attendibile. Che poi non lo si possa usare come unico sistema di confronto, dando un risultato più "sensato"facendo uso anche dei giochi, sono d'accordo. Ma cassarlo così mi sembra esagerato...

[tommix]

Boh, penso che la funzione principale di 3dmark sia quella di bullarsi con gli amici del punteggio Per quanto mi riguarda la mia piccola 9800pro fa girare egregiamente ancora molti giochi, ma ho paura che un 3dmark qualsiasi sarebbe impietoso...perciò ne sto alla larga

[paolo besser]

DreamPainter ha scritto ven, 20 gennaio 2006 alle 09:44

paolo besser ha scritto ven, 20 gennaio 2006 alle 09:38
Fortuna vuole che TGM sia una rivista seria, e che quindi il 3D Mark NON sia minimamente considerato attendibile per i benchmark delle schede video. Da anni.

Questo ha lati positivi e negativi:

PRO:
Testate le schede con i giochi, quindi dite come vanno coi giochi.

CONTRO:
Non testate le funzionalità nuove e non stressate la scheda in situazioni limite. Penso che lo stress sia un test che va comunque considerato.

Cosa ne pensate?

Il trucca sta semplicemente nel prendere in esame giochi che stressano a sufficienza la scheda video. E cambiarli quando viene il momento. Lo stress test di nuove funzionalità che non usa nessuno, invece, nell'economia di una recensione non serve praticamente a niente.

[DreamPainter]

paolo besser ha scritto ven, 20 gennaio 2006 alle 22:16

DreamPainter ha scritto ven, 20 gennaio 2006 alle 09:44

paolo besser ha scritto ven, 20 gennaio 2006 alle 09:38
Fortuna vuole che TGM sia una rivista seria, e che quindi il 3D Mark NON sia minimamente considerato attendibile per i benchmark delle schede video. Da anni.

Questo ha lati positivi e negativi:

PRO:
Testate le schede con i giochi, quindi dite come vanno coi giochi.

CONTRO:
Non testate le funzionalità nuove e non stressate la scheda in situazioni limite. Penso che lo stress sia un test che va comunque considerato.

Cosa ne pensate?

Il trucca sta semplicemente nel prendere in esame giochi che stressano a sufficienza la scheda video. E cambiarli quando viene il momento. Lo stress test di nuove funzionalità che non usa nessuno, invece, nell'economia di una recensione non serve praticamente a niente.

Purtroppo temo che non esista nemmeno un gioco che stressi a dovere una scheda video, nemmeno il blasonato Doom3 o HL2.
Questo perchè sono pensati per NON stressare la scheda video, a differenza del 3dmark.

Se vuoi possiamo discuterne più tecnicamente in privato, non mi pare il luogo. Oppure se ti pare il luogo, ne possiamo discutere qui.

[Salvatore71]

Tutte considerazioni condivisibili le vostre, alla fine il sentimento comune è abbastanza simile alla fine. Aggiungo solo una cosa: il 3dmark 06 dovrebbe essere un bench improntato ai giochi del futuro (altrimenti non si chiamerebbero FutureMark ) e non a quelli di questo periodo... e questo dovrebbe quindi giustificare framerate penosi e risultati deprimenti con Pc attuali di TUTTO RISPETTO... pero' nessuno mi potrà convincere il contrario del fatto che loro,volendo, con una patch messa in un modo o programmata in altro modo possa dare un boost prestazionale notevole a questa o a quella scheda video, a questa o a quella Cpu. E se questo fosse vero (perchè è una mia semplice supposizione) l'affidabilità del bench va a farsi benedire, a prescindere dal fatto che alla fine ti dia un numero che vale come bollino classificante rispetto ad altri Pc con altre caratteristiche.
Saluti

S.

[DreamPainter]

Salvatore71 ha scritto sab, 21 gennaio 2006 alle 10:02
Tutte considerazioni condivisibili le vostre, alla fine il sentimento comune è abbastanza simile alla fine. Aggiungo solo una cosa: il 3dmark 06 dovrebbe essere un bench improntato ai giochi del futuro (altrimenti non si chiamerebbero FutureMark ) e non a quelli di questo periodo... e questo dovrebbe quindi giustificare framerate penosi e risultati deprimenti con Pc attuali di TUTTO RISPETTO... pero' nessuno mi potrà convincere il contrario del fatto che loro,volendo, con una patch messa in un modo o programmata in altro modo possa dare un boost prestazionale notevole a questa o a quella scheda video, a questa o a quella Cpu. E se questo fosse vero (perchè è una mia semplice supposizione) l'affidabilità del bench va a farsi benedire, a prescindere dal fatto che alla fine ti dia un numero che vale come bollino classificante rispetto ad altri Pc con altre caratteristiche.
Saluti

S.

Quello che dici è assolutamente vero!
Però rifletti: se è POSSIBILE fare quella patch, per far fare ad una scheda video la medesima cosa in meno tempo, sfruttando le peculiarità proprie di quella scheda, che possono essere una serie di istruzioni assembly fortunate che lasciano particolarmente libera la pipeline, o una serie di upload mirati ad occupare sempre in maniera ottimale la memoria senza sprechi, perchè non si dovrebbe fare?

Potremmo dire che se si fa per una scheda, si potrebbe fare per tutte, ma a quel punto è compito delle ditte che fanno i driver. E loro l'hanno fatto, in passato, ma in maniera "truffaldina", ossia ottimizzando per 3dmark.
ATI, in passato, aveva introdotto una serie di ottimizzazioni richieste da Carmack che si ripercossero su tutto il funzionamento della scheda. Io, nel mio piccolo, chiesi loro di sistemare un bug sui pixel sprites che andò a correggere una serie di bug collegati.

Considera che i programmatori di giochi non fanno altro che pensare al modo di ottimizzare quelle cose, per tirare fuori quei 10-20 millisecondi per frame che potrebbero essere usati per fare altro. Pertanto:
- In un gioco si cerca di ottimizzare il più possibile gli upload alla memoria video e l'assembly degli shaders.
- Il 3dmark, secondo quanto leggo, non dovrebbe farlo.

Se leggiamo quanto ho scritto, ne potremmo dedurre che la gente NON VUOLE che 3dmark testi le schede in situazioni reali.

[paolo besser]

DreamPainter ha scritto sab, 21 gennaio 2006 alle 01:34

Purtroppo temo che non esista nemmeno un gioco che stressi a dovere una scheda video, nemmeno il blasonato Doom3 o HL2.
Questo perchè sono pensati per NON stressare la scheda video, a differenza del 3dmark.

Se vuoi possiamo discuterne più tecnicamente in privato, non mi pare il luogo. Oppure se ti pare il luogo, ne possiamo discutere qui.

Preferisco discuterne qui, visto che può far luce sulle motivazioni di una scelta - la mia, quella di escludere i benchmark sintetici dalle recensioni dell'hardware - che a molti può sembrare eccentrica. Noi realizziamo ogni mese una rivista che parla di videogiochi, e spero che questo sia chiaro a tutti. Ora, i videogiochi sono una singola tipologia di applicazioni, nel marasma informatico. Per cui noi ci occupiamo di un singolo aspetto dell'uso che si possa fare di un computer. È come se, parlando d'automobili, noi ci occupassimo soltanto di veicoli per la città. Quando usi una macchina in città, normalmente te ne freghi del tipo di trazione del veicolo, del suo comportamento sullo sterrato, del modo in cui cambia automaticamente i rapporti quando gli tocca fare una salita ripidissima su un terreno scosceso: in città non ti capiterà praticamente MAI di trovarti in situazioni di questo tipo. Se noi, redattori di una rivista di auto di città, dessimo troppo peso a test come questi, finiremmo con lo scrivere qualcosa di irreale e poco interessante.

Ora, torniamo alle nostre beneamate schede video. Prendiamo il nuovo 3D Mark, montiamo su il nostro nuovo, luccicante acquisto da 700 euro, e vediamo che bello slideshow che produce! Ma quella, secondo te, è la resa effettiva di una Radeon X1800XL o di una GeForce 7800GT? Tutti i giochi funzionano o funzioneranno alla stessa maniera? Sicuramente no. "Ma il 3D Mark è orientato verso il futuro, ti fa vedere come andranno i giochi della prossima stagione!". Ancora oggi si può giocare tranquillamente - certo, alle basse risoluzioni - con una Radeon 9800 uscita più di tre anni fa. Perché la realtà è che ogni nuova feature ci impiega mesi, anni a essere adottata dai programmatori: l'HDR è a disposizione da più di un anno sulle GeForce 6. Quando lo abbiamo iniziato a vedere nei videogiochi? Adesso. I Pixel Shader 2.0 erano pronti fin dalla prima release delle DirectX 9, hanno cominciato a usarli pesantemente due anni dopo. Il tutto, chiaramente, mentre i benchmark sintetici (e uno in particolare) davano già le architetture avveniristiche per spacciate.

Credimi, alla fine me lo installerò anch'io per curiosità, e mi divertirò a vedere quale nuove interessanti demo stresseranno le nuove architetture, ma onestamente non me la sento di prenderlo come uno specchio della realtà. Gli stress test, alla fin fine, sono soltanto quelli che riguardano il portafogli degli utenti.

[DreamPainter]

La scelta di TGM è assolutamente condivisibile, proprio perchè tratta di videogiochi. In linea di massima sono d'accordo con voi.

Purtroppo l'introduzione delle nuove tecnologie nei giochi è sempre un problema, che posso riassumere in questi punti:
- Revisione del codice (richiede tempo e quindi soldi)
- Requisiti minimi impostati dai producer
- Tempo

L'ultima è la più pressante: se il requisito minimo è una Geforce3, allora si possono usare gli shaders 1.1, ma se il tempo è poco, non ci sarà modo di fare cose più belle per le schede più belle.

Questo il motivo per il quale ci vuole tanto tempo prima di vedere le cose nelle demo nei giochi.

La vostra scelta è quindi perfettamente condivisibile, ma trovo che il buon 3dmark possa davvero dire se una scheda ha dei problemi con le nuove tecnologie.

Ti faccio un esempio: la serie 5 delle GeForce è stata una truffa bella e buona: la tecnologia più declamanta, ossia gli shaders 2.0, erano assai buggati, lentissimi e con enormi problemi.

Questi problemi si sono poi presentati con HL2, che ha addirittura scelto di non usare il path DX9 sulle schede nvidia serie 5. Doom3 non usa alcuno shader 2.0, per tale motivo il confronto non può essere fatto.

3Dmark mostrava già questi problemi in varie sue demo, mostrando appunto che le nvidia serie 5 avevano enormi problemi.
Nvidia si schierò dicendo che Futuremark era cattiva e brutta, ma i giochi hanno poi dimostrato il contrario.

Per questo motivo ritengo che un check "per il futuro" con 3dmark può fare bene, per vedere se tra un paio d'anni la nostra scheda sarà da buttare per problemi con ciò che è nuovo oppure no.

[paolo besser]

DreamPainter ha scritto sab, 21 gennaio 2006 alle 17:55
La vostra scelta è quindi perfettamente condivisibile, ma trovo che il buon 3dmark possa davvero dire se una scheda ha dei problemi con le nuove tecnologie.

Per questo motivo ritengo che un check "per il futuro" con 3dmark può fare bene, per vedere se tra un paio d'anni la nostra scheda sarà da buttare per problemi con ciò che è nuovo oppure no.

Concordo solo parzialmente. Per quanto le librerie DirectX e gli shaders dovrebbero essere due candidi esempi di programmazione standard, ho visto più volte "ottimizzazioni" necessarie a rendere lo stesso, preciso e identico risultato, più veloce da ottenere su questa o su quella scheda video. Il che, dal mio punto di vista, significa che se gli shader nelle demo del 3D Mark (come in un qualunque gioco o altro programma) sono scritti nel modo X, probabilmente sulla scheda Y non funzioneranno a dovere. Fra l'altro le prossime schede ATI e Nvidia presenteranno architetture molto diverse fra di loro, con comportamenti magari imprevedibili, e non mi sembra che il prodotto Futuremark sia l'arbitro più equidistante.

[DreamPainter]

paolo besser ha scritto dom, 22 gennaio 2006 alle 10:45

DreamPainter ha scritto sab, 21 gennaio 2006 alle 17:55
La vostra scelta è quindi perfettamente condivisibile, ma trovo che il buon 3dmark possa davvero dire se una scheda ha dei problemi con le nuove tecnologie.

Per questo motivo ritengo che un check "per il futuro" con 3dmark può fare bene, per vedere se tra un paio d'anni la nostra scheda sarà da buttare per problemi con ciò che è nuovo oppure no.

Concordo solo parzialmente. Per quanto le librerie DirectX e gli shaders dovrebbero essere due candidi esempi di programmazione standard, ho visto più volte "ottimizzazioni" necessarie a rendere lo stesso, preciso e identico risultato, più veloce da ottenere su questa o su quella scheda video. Il che, dal mio punto di vista, significa che se gli shader nelle demo del 3D Mark (come in un qualunque gioco o altro programma) sono scritti nel modo X, probabilmente sulla scheda Y non funzioneranno a dovere. Fra l'altro le prossime schede ATI e Nvidia presenteranno architetture molto diverse fra di loro, con comportamenti magari imprevedibili, e non mi sembra che il prodotto Futuremark sia l'arbitro più equidistante.

Uhmm.. sono d'accordo in generale, ma credo che tu stia confondendo una ottimizzazione con un banale hack
In pratica la nvidia, in passato, non aveva ottimizzato i driver per ottenere il medesimo risultato, ma aveva abbassato la qualità del rendering per farlo andare più veloce.
Un esempio: in Far Cry la serie 5 esegue un sacco di conti sugli shader 2.0 in 16 bit invece che a 32.

Se si ottiene lo stesso identico risultato, allora stiamo parlando di ottimizzazione e non vedo il problema: perchè sottosfruttare una scheda? Te lo immagini se si facesse così sulle console?

Se è un hack, è una vigliaccata

Le prossime schede presenteranno architetture diverse, ma l'interfaccia per lo sviluppo (e l'utilizzo) sarà la medesima, quindi i comportamenti imprevedibili semplicemente non devono succedere: gli sviluppatori cosa dovrebbero fare?

In più, col passare del tempo, gli shader non verranno più scritti in assembly (come si è fatto prima di HLSL e GLSL), ma con i linguaggi ad alto livello sopracitati.
Tali linguaggi espellono un assembly a seconda della versione richiesta e della scheda (questo per quanto riguarda HLSL, temo che GLSL non sia tanto "smart" ).
Per questo più si va avanti, più i comportamenti imprevedibili devono diminuire.

Per questo ritengo che un test con 3dmark possa fare bene, pensando che non manca nemmeno tanto ai prossimi giochi "enormi" che faranno un uso massiccio degli shaders di ultima generazione (come Oblivion).

[hardstyler]

peggio di un film horror!!!! con la config in sign e catalyst 5.11 il test di default ma a 1024*768 fa solo

151 PUNTI!!!!!!!!!

mentre il punteggio SM2 è pari a 71!!!!!!!!!!!!!

com'è possibile???? beh:

proxycon va a 0.63 fps
forest 0.55 fps
cpu1 0.095 fps
cpu2 0.123 fps

DIREI CHE VA FLUIDO

Sono matti!!!! non ho visto ancora cosa fa un fx 57 con 2 7800gtx da 512 l'una ma secondo me non va fluido!!!!

Per non parlare del cpu test, se il mio processore secondo una tabella riassuntiva delle prestazioni di tutti i processori letto in una rivista è 3 volte più lento di un fx57 vuol dire che se io faccio molto meno di 1 fps questo ne fa 3 volte tanto che tanto vale a dire comunque 0 fps!!!!!!!

pazienza, sono tutti matti!!! Su che macchina l'hanno testato???? 4 processori fisici, 4 s video e 4 gb di ram????? ah ecco perchè a loro va fluido!!!!!

Non corriamo dietro a simili prese in giro!!!!!!

[DreamPainter]

Considera che la serie 5 della nVidia è una truffa bella e buona
In teoria per essere fluidi serve una Geforce serie 6 SLI ed un processore da 3Ghz con 2 GB di ram.

questo per avere la fluidità.
Per essere viulenti chiaramente serve di più.
Non avrebbe senso fare un bench che punta sulle cose nuove se funziona bene sulle cose odierne o di un anno fa, non credi?

[LNS]

Da qualche giorno ho cominciato a giocare a Medal of Honor Pacific Assault: non è un gioco recentissimo ma nemmeno tanto vecchio, in fondo è uscito sul finire del 2004 se non erro, quindi abbastanza recente da sfoggiare diverse feature grafiche.
Nel menù delle opzioni grafiche si può scegliere se far partire il gioco con gli shader 1.1 o 2.0. Ok. C'è una cosa che non ho capito: perché nella modalità shader 2.0 - e solo in quella - il gioco ci fà vedere i riflessi dell'ambiente sull'acqua, vari giochi di luce e di trasparenze, effetti blur ealtro ancora che diversi anni fa si potevano già vedere sul 3D Mark 2001? Tale benchmark, vecchio di 5 anni, ci mostrava cosa si poteva fare con gli shader 1.1 e ci faceva vedere feature grafiche che si vedono oggi nei giochi moderni, ma questi ultimi sfruttano gli shader 2.0! Pcific Assault in modalità shader 1.1 perde parecchio dal punto di vista visivo, come se non venissero sfruttati affatto.
Quindi, perché implementare effetti con gli shader 2.0 quando si possono realizzare tranquillamente con gli shader 1.1 come dimostrava a suo tempo il 3D Mark 2001? Inutile dire che in modalità 2.0 la scheda video fà pure più fatica a gestire il tutto (ho una Geffo 6600 liscia), magari in modalità 1.1 sarebbe tutto più leggero.

[DreamPainter]

LNS-2 ha scritto lun, 23 gennaio 2006 alle 12:10
Da qualche giorno ho cominciato a giocare a Medal of Honor Pacific Assault: non è un gioco recentissimo ma nemmeno tanto vecchio, in fondo è uscito sul finire del 2004 se non erro, quindi abbastanza recente da sfoggiare diverse feature grafiche.
Nel menù delle opzioni grafiche si può scegliere se far partire il gioco con gli shader 1.1 o 2.0. Ok. C'è una cosa che non ho capito: perché nella modalità shader 2.0 - e solo in quella - il gioco ci fà vedere i riflessi dell'ambiente sull'acqua, vari giochi di luce e di trasparenze, effetti blur ealtro ancora che diversi anni fa si potevano già vedere sul 3D Mark 2001? Tale benchmark, vecchio di 5 anni, ci mostrava cosa si poteva fare con gli shader 1.1 e ci faceva vedere feature grafiche che si vedono oggi nei giochi moderni, ma questi ultimi sfruttano gli shader 2.0! Pcific Assault in modalità shader 1.1 perde parecchio dal punto di vista visivo, come se non venissero sfruttati affatto.
Quindi, perché implementare effetti con gli shader 2.0 quando si possono realizzare tranquillamente con gli shader 1.1 come dimostrava a suo tempo il 3D Mark 2001? Inutile dire che in modalità 2.0 la scheda video fà pure più fatica a gestire il tutto (ho una Geffo 6600 liscia), magari in modalità 1.1 sarebbe tutto più leggero.

Perchè quegli effetti, con gli shaders 1.1, non erano integrabili in un motore general purpose, ma erano utilizzabili fondamentalmente solo in maniera estremamente mirata, in 3dmark che era fondamentalmente una demo.
Ti spiego perchè: con gli shader 1.1 c'è un limite alle istruzioni che si possono usare. Il limite è, se non ricordo male, 256 (o 12 per i vertex shaders. Per i pixel shaders è molto molto meno. Non ricordo quanto, ma circa 32, ma forse meno.
Se non ricordo male c'era anche la possibilità di usare delle texture come coordinate UV, ma facendo così il limite scendeva ancora.

In un gioco, dove ci sono luci e trasformazioni, questo limite è davvero pressante. In una demo invece no, perchè puoi decidere quali oggetti avranno tre luci, quali una sola, quali avranno le trasformazioni e così via.
In un gioco lo puoi fare, ma in media è praticamente impossibile farci stare tutti gli effetti in così poche istruzioni.

[LNS]

Grazie per la spiegazione, quindi a quanto pare gli shader 1.1 non sono proprio funzionali durante il processo di programmazione.

[DreamPainter]

LNS-2 ha scritto lun, 23 gennaio 2006 alle 12:55
Grazie per la spiegazione, quindi a quanto pare gli shader 1.1 non sono proprio funzionali durante il processo di programmazione.

Beh, sono stati una vera rivoluzione nell'ambiente
Hanno consentito di fare cose che prima era del tutto impossibili, però non è possibile esagerare, proprio per quelle limitazioni.

Pensa all'acqua di morrowind: senza shader sarebbe stata impossibile.
Oppure tutti gli effetti di Doom3.

Sono una grande cosa, ma per un gioco odierno sono difficili da gestire proprio perchè non ci puoi mettere dentro troppa roba