Většina testů antivirových programů využívá tzv. sbírky havěti, tedy stovek až statisíců infikovaných souborů systematicky roztříděných do adresářů. Antivirus se pak při testu na tyto adresáře zaměří a zjišťuje se procentuální úspěšnost detekce. Je nutné zdůraznit, že testy se vždy budou lišit od reálného nasazení. Test: Aby mohl být proveden minimálně test on-demand skeneru (takto označujeme např. ručně vyvolanou antivirovou kontrolu celého pevného disku C:), musí být sbírka havěti dopravena na počítač před samotnou instalací antiviru, aby nemohl průběh kopírování na disk ovlivňovat. Realita: Bude si uživatel vědomě kopírovat tisíce infikovaných souborů (sbírku havěti) na pevný disk svého PC, aby si pak nainstaloval antivirus a ověřil, zda sbírku opravdu zkopíroval?
Problémem některých testů (viz níže testy AV-Test.org) bývá kvalita a velikost sbírky havěti. V kvalitní sbírce škodlivého kódu by měly být konkrétní kusy havěti (virus, trojský kůň, backdoor apod.) namnoženy v reálném provozu do několika dalších souborů (tzv. exemplářů). V případě polymorfních virů tedy do stovek až několika tisíc souborů (jelikož každý exemplář takového viru má unikátní “slupku”). Ve sbírce by se neměly vyskytovat soubory, které vznikly pouhou kompilací zdrojového kódu malwaru (např. virus bez hostitele, „germy“) či jiné „podoby“, které se v reálném provozu nemohou u uživatelů vyskytnout. V kvalitní testovací sbírce se také nesmí vyskytovat osamocené části škodlivého kódu, které jsou sami o sobě neškodné a funkci škodlivého kódu získají až díky přítomnosti ve sbírce chybějících součástí.
Renomovaný neznamená objektivní
Testy skupiny AV-Test.org při německé univerzitě Otto-von-Guerickehom, které občas odborné časopisy využívají k porovnání antivirových programů (dále jen AV programů), některá pravidla objektivního testování ignorují a používají rozsáhlou sbírku havěti, která neodráží reálnou situaci šířených virových infiltrací na internetu. To pak může určité AV programy více či méně poškodit v očích veřejnosti. Obecně vyjádřeno: testy AV-Test.org spadají do kategorie syntetických testů a neberou ohled na reálné chování škodlivého kódu. Například v rámci testů renomovaného magazínu Virus Bulletin, který se svými podmínkami více blíži reálnému nasazení (samostatná kategorie In-the-Wild, penalizace za falešné poplachy atd.), získává ESET NOD32 maximální hodnocení VB100% Award nepřetržitě od roku 1999 a podle posledního testu nezávislé skupiny AV-Comparatives byl NOD32 v roce 2006 nejlepším antivirovým řešení na světě. V testech AV-Test.org sice ESET NOD32 získává nadprůměrné hodnocení, nikdy však nejlepší. Jak je to možné?
Jak již bylo zmíněno, AV-Test.org testuje tak, že umístí do adresáře na pevném disku desítky tisíc infikovaných souborů a následně instaluje jednotlivé antivirové programy, které adresáře s infikovanými soubory otestují (viz výše). V případě testu z dubna 2007 uveřejněného v americké mutaci PC WORLDu a následně přeloženém v českém vydání Security World to bylo 884 164 tisíc vzorků. Na pevný disk je zkopírována havěť, aniž by byl přítomen testovaný antivirový program. Ve výsledku to znamená, že programy, které svojí sílu ochrany počítače mají hlavně v proaktivní detekci (tzn. infikované soubory nejsou vůbec puštěny na pevný disk), jsou značně znevýhodněny.
Například ESET NOD32 soustředí veškeré metody detekce především na vstupních místech počítače a na klíčových místech operačního systému. Očekává tak, že například souborová infekce (virus, trojan, backdoor, adware…) bude chtít být uložena na pevný disk a na tento okamžik soustředí plný potenciál (technicky: testuje potenciální hrozby při události „on-closed“ spolu s využitím generického unpackeru, rozšířené heuristické analýzy atp.) Nelze proto v rámci metodologie testů AV-Test.org chování a fungování ESET NOD32 objektivně simulovat, protože škodlivý kód je na pevném disku v okamžiku, kdy není instalován ESET NOD32. Taková situace v reálném provozu s instalovaným a pravidelně aktualizovaným ESET NOD32 řešením v drtivé většině případů nemůže nastat.
Součástí testovacích vzorků AV-Test.org jsou také malware soubory, se kterými se uživatel v praxi nesetká, popřípadě škodlivé programy, které v současnosti již žádnou hrozbu nepředstavují (pokoušejí se stahovat další komponenty z již neexistujících URL adres, popř. volají externí aplikace, které se nemusí na infikovaném PC nacházet a znemožňuje to jejich činnost). Testy AV-Test.org při tvorbě kvalitní testovací sbírky havěti nedodržují základní pravidla a výsledky jsou pak více či méně zkreslené.
Kde je pravda?
Testovat antivirové programy není vůbec jednoduché, ale uživatel by se měl vždy zajímat, jakou metodologii test využívá a nakolik se svými podmínkami blíží realitě. Mezi nejobjektivnější a nejuznávanější testy antivirových řešení patří Virus Bulletin (testy provádí měsíčník vydávaný ve Velké Británii) a AV-Comparatives.org (pravidelně je zveřejňuje Rakušan Andreas Clementi). Firmy investující miliony dolarů do vývoje svých AV řešení mohou být právem rozhořčeni, když špatný test uveřejněný v renomovaném médiu jejich produkt poškodí.
Jakub Lohniský, PR Consultant společnosti ESET
PŘEDPLATNÉ
ČLÁNKY DO MAILU