Недавно я публиковал для вас результаты одного популярного теста антивирусов, в которых незаконно был упущен довольно сильный антивирус Dr. Web, вот вам новое тестирование
Приветствуем вас на шестом независимом тестировании антивирусов Клубом сисадминов. Мы проводим регулярное один раз в полгода тестирование антивирусных решений с целью выявления сильных и слабых сторон продуктов, динамики развития и качества обнаружения. В этом тестировании мы расширили базу тестируемых продуктов, улучшили и разнообразили набор образцов вредоносного ПО. Тестирование открытое и принять участие в нем мог любой желающий, однако наиболее существенный вклад внесли участники предыдущих тестирований Research, GreatEvilGod, IwanS и Michael. Благодарим их и всех остальных участников тестирования за активное участие в этом мероприятии.
Шестое тестирование антивирусов проводилось в три этапа: на первом этапе использовалась коллеция из 92 заведомо рабочих файлов, ориентировочным результатом на этом этапе стало обнаружение 100% предоставленных файлов. На втором этапе использовалась коллекция из 3339 файлов. Это меньше, чем в предыдущем тестировании, однако использовалась уже другая коллекция вредоносного ПО, которая была дополнительно оптимизирована — из нее были удалены повторяющиеся образцы, а также части вредоносного ПО, которые сами по себе не представляют угрозы (например, являются загрузчиками к вирусам). Таким образом удалось снизить уровень мусора в коллекции в несколько раз, хотя некоторые файлы были сознательно оставлены для проверки ложных срабатываний. Ожидаемый показатель детектирования на этом этапе — 95%. На третьем этапе ранее мы тестировали программы-шутки, однако в этот раз состав коллекции изменен — теперь на третьем этапе тестируется коллекция номер 2, из которой удалены все файлы-пустышки. Таким образом, на этом этапе мы ожидаем 100% детектирование файлов, допуская небольшое отклонение, обусловленное наличием старых вирусов, которые были удалены из баз современных антивирусов по причине неработоспособности под последними ОС.
В этом тестировании участвовали следующие продукты:
Антивирус Касперского 2011
Dr. Web 6
Dr. Web CureIt
Symantec Endpoint Protection 11
Norton Internet Security 17
Eset NOD32 v4.2
Avira Antivir
Comodo Internet Security
Avast 5
Avast для Linux
Microsoft Security Essentials
G-Data Antivirus 2010
BitDefender Antivirus 2010
AVG
Panda Cloud
Panda Antivirus
ClamAV для Windows
Emsisoft Anti-Malware
McAfee VirusScan
Как видите, список тестируемых продуктов заметно расширился. Всем тестером было рекомендовано обновить антивирусные базы перед тестированием и установить максимальный уровень обнаружения. Ввиду того, что Антивирус Касперского 2009, 2010 и 2011 использует одни и те же базы, в данном тестировании продукт представляет последняя версия, однако была протестирована и версия 2010, которая отличилась только временем сканирования.
Перед началом также стоит сказать, что все образцы из первой и третьей коллекции есть во второй и имеют уникальные номера, таким образом легко отследить, где какой файл был пропущен и впоследствии более детально ознакомиться с ним. Также, в тестировании некоторые вирусы были представлены в том виде, в котором они распространяются — как самораспаковывающиеся архивы. Это вызвало определенные проблемы, о которых будет сказано в конце тестирования при подведении итогов.
I этап — 92 образца
На данном этапе использовалась коллекция, состоящая из 92 файлов, каждый из которых был проверен вручную. Вот архив с коллекцией (http://admyn.ru/datas/users/0/viruses_1_0.7z), пароль virus. Итак, сводная таблица результатов тестирования:
(*) Norton Internet Security 17 участвует "за компанию" с SEP11, т.к. несмотря на все настройки он отказался удалять архивы, содержащие вирусы, и в итоге количество оставленных файлов не соответствует количеству обнаруженных угроз. То есть вирус он из архива удалил, но сам пустой архив оставил, а отследить все такие изменения в коллекции из 3339 файлов довольно сложно, и было принято решение считать просто оставленные файлы.
На данном этапе все прошло предсказуемо и прозрачно ввиду малого количества образцов — по указанным ссылкам предоставлены номера пропущенных образцов, вы можете их проверить самостоятельно, если есть сомнения в результатах. Если вы читали прошлые наши тесты, то можете возразить насчет Avast 5 vs Avast Linux, ведь ранее утверждалось, что они используют одну и ту же базу вирусов. Действительно, использовали, до пятой версии. Теперь, как видно из результатов, все изменилось.
II этап — 3339 образцов
На данном этапе используется самая большая коллекция с 3339 образцами. Возникают определенные проблемы с отслеживанием оставленных образцов — во-первых, перечислять все ~500 файлов поименно довольно утомительно и бесполезно, а во-вторых некоторые антивирусы несмотря на все настройки пытаются "лечить" архивы, мотивируя это тем, что там может быть полезная пользователю информация. Это мешает точному определению количества обнаруженных угроз, поэтому на этом этапе может наблюдаться погрешность в числе обнаруженных угроз в пределах 5%. Архив с коллекцией доступен по ссылке (http://admyn.ru/datas/users/0/viruses_2_0.7z) и на него установлен стандартный пароль virus. Итак, результаты нашего тестирования:
Обратите внимание на высокий процент обнаружения угроз антивирусами Kaspersky, Avira, Comodo, Avast, G-Data, Emsisoft и McAfee. Особенно удивительно, что непопулярные на первый взгляд бесплатные антивирусы показывают такие высокие результаты, в то время как множество платных продуктов пропустило около 20% угроз. Это один из самых важных этапов тестирования и вы уже сейчас можете оценить качество работы того или иного продукта.
III этап — 3335 образцов
Третий этап очень похож на второй, разница лишь в том, что здесь тестируются образцы за вычетом мусора. Вы можете сравнить этот результат с предыдущим и определить, сколько ложных срабатываний произошло на втором этапе. Естественно, доступен архив с образцами (http://admyn.ru/datas/users/0/viruses_2_0.7z) и соответствующий пароль virus.
На данном этапе лучшими можно признать те антивирусы, которые показали наиболее близкие ко второму этапу результаты, однако он сам по себе не так существенен как первые два этапа.
Итоги
Вот и закончено шестое тестирование антивирусов Клубом сисадминов. Какие выводы можно сделать? В первую очередь, мы убедились, что тестировать только наиболее популярные в России решения опрометчиво — западные антивирусы показали себя ничуть не хуже знаменитого Касперского или Dr.Web'a. Во-вторых, при внимательном изучении образцов мы обнаружили одну неприятную особенность — даже при совершенно четком указании удалять зараженные архивы, некоторые антивирусы стремятся очистить их, что по моему скромному мнению есть недостаток. В-третьих, мы можем оценить динамику развития антивирусов, что не менее важно, чем непосредственно детектирование угроз. Итак, классические выводы по каждому конкретному продукту в той последовательности, в которой они проходили у нас по таблицам. Плюс — сюда же включены мнения тестеров, они соответствующим образом помечены.
Антивирус Касперского 2011 показал себя двояко. С одной стороны он показал традиционно высокую степень детектирования, что, безусловно, плюс. С другой — посмотрите на этот скриншот!
Продукт сканировал наш второй набор более девяти часов, тогда как другие укладывались в несколько минут. Причем подобные результаты достигли несколько человек (можете проверить лично, архивы доступны). Это в высшей степени не приемлимо, ведь если он сканирует 3339 файлов 9 часов, то сколько же займет полная проверка всего компьютера? Ранее Антивирус Касперского назывался у нас лидером тестирования, сейчас же он просто "один из", и не самый лучший не по времени, ни по качеству. К слову, версия 2010 сканирует ощутимо быстрее, однако все равно дольше конкурентов.
Субъективное мнение (IwanS): Касперский испортился, он получает хорошие результаты благодаря накопленной годами базой, а последняя версия 2011 просто ужасна. Теперь я точно не буду ставить это чудо на свой компьютер.
Субъективное мнение (GreatEvilGod): Несмотря на неплохие результаты считаю что "Лаборатория Касперского" совсем обленилась и зажралась все без исключения антивирусы на виртуальной машине укладывались за несколько минут, а некоторые даже секунд, Касперский же на "реальной" машине работал 3,5 часа над каждым архивом, это перебор!!!
Dr.Web 6 и DrWeb CureIt
показали примерно однаковые средние результаты, что подтверждает все предыдущие тестирования. Динамика развития данного продукта — поддержка качества обнаружения на одном уровне (не самом худшем, разумеется). Есть продукты, которые пропустили меньше, и причем бесплатные, поэтому целесообразность использования данного продукта под вопросом.
Полные подробности тестирования:
Внимание! У Вас нет прав для просмотра скрытого текста.
Внимание! Данная статья была написана более полугода назад, актуальность материала и состояние жизни ссылок не гарантируется! Воспользуйтесь дополнительными параметрами для поиска необходимого вам контента! Приносим свои извинения...