I benchmark sono una fissazione di alcuni utenti e alcuni produttori che servirebbero a confrontare (con numeri, e non parole) le performance di due diversi dispositivi. Compagnie come Apple e Motorola la pensano diversamente, ma Samsung e HTC sono persino disposte a sviluppare del codice che “freghi” i benchmark e porti a risultati migliori di quelli che il telefono otterrebbe normalmente.
Secondo Tony Smith di Register, Futuremark avrebbe accusato le due aziende di avere infatti modificato i risultati del benchmark 3DMark GPU per android. La compagnia ha rimosso dal sito i risultati di Galaxy Note 10.1 di Samsung, di Note III e di HTC One e One Mini, facendo finire i dispositivi in fondo alla classifica, sotto device che hanno ottenuto zero punti.
Olver Baltuch, presidente di Futuremark, ha spiegato:
Le persone si basano sui benchmark di Futuremark per ottenere risultati certi e oggettivi. Ecco per quale ragione abbiamo chiare regole riguardo i produttori di hardware e gli sviluppatori di software che specificano come una piattaforma debba interagire con un’applicazione di benchmark.
È possibile infatti programmare il sistema operativo di un telefono o un tablet perché riconosca che è stato avviato un benchmark. In questo modo il dispositivo può “dare il massimo”, ovvero utilizzare il suo hardware a piena potenza (cosa che normalmente non farebbe nell’utilizzo quotidiano) con il solo scopo di ottenere un punteggio alto:
Per dirla semplicemente: un dispositivo deve fare girare il nostro benchmark senza alcuna modifica, come se fosse una qualsiasi altra applicazione.
Le regole di Futuremark specificano che:
La piattaforma non deve riconoscere il lancio dell’applicazione di benchmark, e non deve alterare, sostituire o sovrascrivere alcun parametro come parte del test, o modificare il normale funzionamento della piattaforma a seguito del riconoscimento del benchmark.
HTC e Samsung non hanno rispettato questa clausola.
[via]