Benchmarky, ačkoli jsou ze své podstaty sporné, a ne vždy reprezentují skutečný výkon, jsou důležitým nástrojem při jakémkoli kvantitativním hodnocení. Proto jsou jimi nerdi tak posedlí. A nejen oni: firmy používají výsledky benchmarků třetích stran k rozhodování o investicích v hodnotě milionů, někdy i miliard dolarů.
Využíváte už ve firmě autonomní agenty postavené na bázi umělé inteligence?
Takže když někdo najde důkazy o tom, že si je nějaká společnost přikresluje, může to mít velké důsledky. To je případ některých nedávných a velmi specifických benchmarků procesorů Intel Xeon.
Společnost Standard Performance Evaluation Corporation, známější jako SPEC, znehodnotila více než 2600 vlastních výsledků testování procesorů Xeon ve verzi 2022 a 2023 svého populárního testu SPEC CPU 2017. Zjistila totiž, že společnost Intel použila kompilátory, které, cituji, „prováděly kompilaci, která specificky zlepšuje výkon benchmarků 523.xalancbmk_r / 623.xalancbmk_s s využitím apriorní znalosti kódu a datové sady SPEC k provedení transformace, která má úzkou použitelnost“.
Laicky řečeno, SPEC obviňuje Intel z toho, že optimalizoval kompilátor speciálně pro svůj benchmark, což znamená, že výsledky neodpovídají tomu, jaký výkon mohou koncoví uživatelé očekávat v reálném světě. Vlastní kompilátor společnosti Intel přitom mohl nadsadit relevantní výsledky testu SPEC až o 9 %. Další technické podrobnosti (z nichž mnohé jsou upřímně řečeno nad rámec mých znalostí) najdete ve zprávách ServeTheHome a Phoronix, zveřejněných na portálu Tom's Hardware.
SPEC tyto výsledky odhalil při zpětném procházení své vlastní databáze benchmarků, a přestože je kvůli historickým záznamům nemaže, zneplatňuje je pro své vlastní reporty. O něco novější verze kompilátorů používaných v nejnovějších průmyslových procesorech Xeon, řadě Emerald Rapids 5. generace, tato API údajně zvyšující výkon nepoužívají.
Podotýkám, že jak procesory Xeon, tak test SPEC 2017 představují špičkový hardware určený pro náročné průmyslové a vzdělávací aplikace a nejsou nijak zvlášť relevantní pro spotřebitelský trh, kterému se obvykle věnujeme. A ani to, že společnosti dávají svým čipům trochu víc síly v zájmu pozornosti, není v benchmarcích zrovna novinka.
Naposledy byli dodavatelé mobilních čipů napříč odvětvím (Qualcomm, Samsung a MediaTek, dodávající čipy do téměř každého neapplovského telefonu) obviněni z toho, že v roce 2020 falšovali výsledky výkonu systému Android. Obvinění ze zásahů do vlastních benchmarků, jejichž výsledky společnosti zveřejňují často bez bližších specifikací a ty jsou tak jen těžko ověřitelné, jsou poměrně dost častým jevem.
Computerworld si můžete objednat i jako klasický časopis. Je jediným odborným měsíčníkem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computerworldu je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU