De la difficulté de tester le Power PC G4

Un testeur d’ordinateurs s’est appuyé sur une suite de nouveaux tests considérés comme indépendants des plates-formes utilisées pour mesurer les capacités du PowerMac G4 dans plusieurs de ses variantes : 800, 867 et 1 000 MHz. Le magazine allemand C’t souligne que ces tests ont été rendus possibles par l’utilisation d’une nouvelle batterie de tests émanant de la SPEC (Standard Performance Evaluation Corporation), intitulée CPU2000. Il s’agit d’une suite de tests regroupés en deux lots appelés programmes SPECInt pour le premier – des programmes écrits en langage C et C++, chargés d’évaluer les performances de calcul d’applications orientées vers la bureautique. Le second lot, intitulé SPECfp – des applications écrites en C et en Fortran – se charge d’évaluer les opérations en virgule flottante, celles qui sont principalement utilisées par des applications scientifiques. Ces deux séries de tests sont considérées comme les standards de l’industrie informatique.

Résultats décevants pour le G4

Le résultat est plutôt décevant pour le G4 sur le pendant scientifique du test : malgré d’apparents efforts de la publication pour tâcher de mettre sur un pied d’égalité les matériels testés, un Intel Pentium III à 1 GHz d’un côté et plusieurs G4 à 800, 867 et 1 000 MHz de l’autre, le processeur de Motorola ne s’avère pas aussi puissant que la communication d’Apple tendrait à le faire penser. Le G4 « est moins bien pensé pour les applications scientifiques », bien que l’unité de calcul en virgule flottante « avec ses 32 registres aurait dû être supérieure à celle du (Pentium) x86 avec sa structure antique et ses 8 registres ». En conséquence, les résultats SPEC vont jusqu’à réfuter la thèse d’Apple selon laquelle le PowerMac est un superordinateur. Restent quelques problèmes de taille, non traités par le testeur et qui font passer le standard SPEC ni plus ni moins pour un standard biaisé ! Premier problème : les SPEC CPU2000, si elles ont bien été portées sur Mac OS X, n’ont pas été optimisées. La règle même du benchmark SPEC s’appuie sur cette logique. Si l’article allemand souligne bien que les programmes ont été portés sous Unix et sous Mac OS X, il oublie toutefois quelques autres points cruciaux…

Des tests peu adaptés au G4

La méthodologie employée par le magazine semble truffée de chausse-trappes qui font l’impasse sur les différences d’architecture des deux processeurs comparés. Essentiellement, le test SPEC 2000, tel qu’il est compilé aujourd’hui, « oublie » les registres AltiVec du processeur G4. Il s’agit là du noeud gordien de la comparaison entre les deux morceaux de silicium : c’est notamment sur ce « moteur de vélocité » (Velocity Engine) que Steve Jobs s’appuie pour faire ses démonstrations de la supériorité du Mac sur le PC (voir édition du 19 juillet 2001). Le mettre de côté, c’est comme faire écrire un gaucher de la main droite et lui indiquer après coup que son écriture est à revoir ! Ajoutons à cela le fait que le benchmark a été spécifiquement écrit pour tirer partie de l’architecture Intel. De quoi améliorer un brin (et pas peu !) les performances des puces X86. Le standard SPEC CPU2000 s’avère donc parfait… pour mesurer ce qu’il sait mesurer : une architecture X86, et rien d’autre. Pour le moment ! Il conviendra de trouver un développeur suffisamment fin qui saura le recompiler pour tirer parti de toutes les subtilités de l’architecture PowerPC, afin de connaître enfin, ce que valent les processeurs de la Pomme par rapport à la référence qu’est le SPEC, au pays des PC. La firme à la Pomme n’a pas réagi pour le moment à l’évaluation de ses machines. C’t indique toutefois que les progrès des G4 se font sentir par une amélioration de 22 % des performances entre le PowerMac à 867 MHz et celui à 1 GHz, alors même que la fréquence d’horloge n’augmente que de 15 %. Il s’agit sans doute de la seule véritable information du test SPEC : Motorola fait progresser la puissance de ses puces plus rapidement qu’elle ne les fait progresser en fréquence. Conclusion : les testeurs feraient bien de relire La Fontaine. Rien ne sert de courir, il faut partir à point !