Srovnávací testy

Klasickým příkladem mohly být profesionální testy univerzity v Tampere ve Finsku (autorem je Marko Helenius), popř. testy, které vydávala univerzita v Hamburku (v čele Klaus Brunnstein). Dnes již testy neprovádějí.
Díky dlouhé tradici jsou tak stálicí pouze testy časopisu Virus Bulletin a jejich známá ocenění Virus Bulletin 100% Award. Toto ocenění je uděleno všem produktům, které dokázaly detekovat 100 % nejrozšířenějších virů podle statistiky PC Viruses In the Wild a splnit některé další podmínky, jejichž popis ovšem přesahuje rámec tohoto článku. Tento test se již po dlouhá léta objevuje pravidelně, a to každé dva měsíce v rámci měsíčníku Virus Bulletin. Vzhledem k tomu, že se jedná o časopis bez reklam, jeho cena je pro normálního "smrtelníka" natolik vysoká, že ho odebírají jen společnosti zabývající se bezpečností a některé další firmy, které tato problematika zajímá. Důsledkem toho je, že uživatel ze stránek virusbtn.com zjistí pouze to, zda právě jeho antivirus v posledním testu uspěl (získal ocenění) nebo neuspěl (failed). Z webových stránek virusbtn.com již není schopen zjistit (na rozdíl od papírového vydání časopisu), že za neúspěchem stojí sporný falešný poplach (v minulosti již několikrát), omyl testerů či chyba, která vznikla díky tomu, že test neproběhl na ostrém, ale na zcela nekonfigurovaném serveru. Dále si je potřeba uvědomit, že testovány jsou pouze detekční schopnosti, vše ostatní jde stranou. Zda nabízí řešení pouze minimální množství funkcí nebo zda není k dispozici grafické rozhraní, není hodnoceno.
Poslední jmenovaný problém si zřejmě v minulosti uvědomil i Andreas Marx (av-test.org), který jeden čas prováděl komplexní srovnávací testy, kde hodnotil nejen detekční schopnosti, ale i jednotlivé funkce a vlastnosti antivirových řešení. V současné době provádí srovnávací testy pro řadu zahraničních časopisů podle jejich požadavků (např. jen srovnání free verzí antivirových produktů). Specialitou jsou především testy, kdy zjišťuje reakční časy jednotlivých antivirů na vydání aktualizace pro detekci konkrétního kousku havěti. Zpětně se tedy musí zjistit, kdy se daná havěť (virus, který se šíří elektronickou poštou) začala šířit a od tohoto momentu je měřen čas do vydání patřičné aktualizace, která zajistí detekci. Statistikám tak vévodí antivirové systémy, které havěť odchytí proaktivně - tedy ihned, jakmile se objeví (použitím heuristické analýzy, generické detekce...) a následují další, které vyžadují aktualizaci (reagují obvykle během několika málo hodin).
V poslední době jsou velice zajímavé testy Rakušana Andrease Clementiho (av-comparatives.org). Výhodou je, že jsou publikovány kompletní výsledky související s kvalitou detekce jednotlivých antivirových systémů. Kromě "klasického" testu, kdy je antiviru předhozena sbírka havěti, čítající tisíce infikovaných souborů, jsou publikovány i tzv. "retrospective/proactive tests". Jednoduše řečeno, testuje se účinnost starších verzí antivirových programů na "nových" virech (a havěti obecně). Pokud se podíváme na nějaký konkrétní test z minulosti, např. při listopadovém (2005) testu stáhl Andreas Clementi začátkem srpna 2005 tehdy nejaktuálnější verze řady antivirových systémů a ty si pečlivě uschoval, tedy "zmrazil" jejich podobu k určitému dni. Zároveň začal sbírat novou havěť (viry, trojany...), která vznikla po tomto datu. Vznikla tak sbírka škodlivých kódů (malware), která by měla být pro jakýkoliv antivirus velkou neznámou. Ale jelikož doba pokročila a k dispozici máme antivirové systémy s heuristickou analýzou, generickou detekcí atd. (obecně jde o proaktivní metody detekce), jsou některé antiviry schopné i se starou "zmraženou" aktualizací detekovat některou novější havěť. O tom, s jakou úspěšností, hovoří právě takový retrospective/proactive test. Samozřejmě lze v retrospective/proactive testu najít i antiviry s úspěšností, která se blíži 0 %. To je ale potřeba hodnotit zcela odlišným metrem než klasické testy, kdy se antivirům předhodí hromada známé infiltrace (podobně jako u testů časopisu Virus Bulletin). V tomto případě jde o zcela unikátní test, který hodnotí "nadpřirozené" schopnosti jednotlivých antivirů. Pokud člověk s virgulí nenajde vodu, také ho nezastřelíme.

Igor Hák pracuje ve společnosti Eset.