Le spécialiste des benchmarks SPEC (Standard Performance Evaluation Corporation) a invalidé les résultats de 2.600 tests de performances de processeurs Intel. Le consortium à but non lucratif reproche au fondeur d’avoir apporté des optimisations ciblées à un compilateur pour gonfler les performances lors des tests.
Le consortium a laissé les résultats des tests en ligne à des fins d’archivage avec la mention suivante : « SPEC a statué que le compilateur utilisé pour ce résultat effectuait une compilation qui améliore spécifiquement les performances des benchmarks 523.xalancbmk_r / 623.xalancbmk_s en utilisant une connaissance a priori du code et de l’ensemble de données SPEC pour effectuer une transformation qui a une applicabilité étroite. »
Intel a ainsi dérogé à la règle du SPEC qui veut que les optimisations apportées soient générales et non pas spécifiques au test de référence. De quoi fausser une comparaison équitable, avec une performance qui ne reflète pas la performance du processeur en usage général.
En invalidant les résultats, SPEC déclare vouloir « sensibiliser les implémenteurs et les utilisateurs finaux aux problèmes d’optimisations spécifiques au benchmark non désirées qui seraient incompatibles avec l’objectif de SPEC d’une analyse comparative équitable. »
Les tests litigieux concernent des processeurs Xeon, principalement les Sapphire Rapids de quatrième génération. Selon le site Phoronix, les optimisations auraient conféré des gains de performances jusqu’à 9%. Intel a ensuite supprimé ces optimisations dans les versions plus récentes de son compilateur, celles utilisées dans les tests de Xeon Emerald Rapids de cinquième génération.
Même si Intel est loin d’être le premier à se faire épingler pour l’optimisation de résultats dans des benchmarks, l’affaire risque d’entacher sa réputation, et ce alors qu’AMD ne cesse de grignoter ses parts de marché avec ses processeurs EPYC pour serveurs.