Как читать тесты антивирусов

[regist]

Разбираемся в независимых сравнениях антивирусов – кому верить и как принимать решение.​

Мы уважаем право пользователя на выбор любого надежного антивируса. Именно поэтому «Лаборатория Касперского» принимает участие практически во всех признанных индустрией независимых тестированиях – ведь именно на них приходится ориентироваться, когда дело доходит до сравнения защитных решений. Но важно понимать, что стоит за каждым значком «Одобрено» и «Сертифицировано».

Каждый кулик свое болото хвалит. Поэтому, выбирая между несколькими уважаемыми и популярными защитными решениями, разумный пользователь не только изучает аргументы и обещания каждого производителя, но и обращается к независимой экспертизе. Существует множество специализированных компаний, которые целые дни занимаются именно этим – тестируют различные антивирусы, сетевые экраны, системы проактивной защиты и все прочие компоненты, которые сегодня входят в полноценный защитный боекомплект частного пользователя или компании. Каждая тестовая лаборатория имеет свою систему оценок и свою методику, поэтому важно понимать, чего стоит каждая из «медалей» и на что можно рассчитывать, выбрав защитное решение «медалиста». Мы очень коротко расскажем о том, что стоит за наградой некоторых самых известных лабораторий: AV-Comparatives, AV-TEST, Dennis Technology Labs, Virus Bulletin.

Главный тест​

Важнейшая вещь, которую оценивают в лабораториях (и что проблематично повторить обычному пользователю у себя дома), – качество защиты от вредоносных программ (по-простому – вирусов). Для этого используют два основных подхода («жизненный» и «классический») и их комбинацию.

Антивирус в идеале должен поймать 100% вирусов при 0% ложных срабатываний.

Сегодня многие эксперты считают, что более важным для пользователя является «жизненный» тест, в котором на защищенном антивирусом компьютере открывают вредоносные/зараженные веб-сайты и почтовые вложения, проводя учет, какой процент угроз был обнаружен и заблокирован до вторжения в систему. Преимуществом метода является то, что им проверяются все защитные технологии продукта (а их сейчас великое множество) и используются только самые свежие и актуальные угрозы.
У «классического» теста есть несколько разновидностей, но в целом он проводится так – антивирусный сканер «натравливают» на папку, в которой среди многих тысяч файлов «запрятана» коллекция из нескольких сотен или тысяч актуальных вредоносных приложений разного вида. Антивирус в идеале должен поймать 100% вредоносных файлов. Второй важный параметр, который можно оценить одновременно, – процент ложных срабатываний. На «чистые» файлы из папки антивирус ругаться не должен, поэтому в идеале это 0%.

Важные дополнения​

Самый надежный в мире антивирус не может гарантировать 100% защиту, потому что мало просто хорошо обнаруживать вирусы – нужно уметь хорошо лечить зараженный компьютер, например если оказалось, что зараза пробралась на машину раньше. Это немаловажно, ведь, по статистике «Лаборатории Касперского», в 5% случаев антивирус устанавливается на уже зараженный компьютер. А бывают еще и пользовательские ошибки, в результате которых вирус пробирается на машину…
Ну и кроме того, очень желательно, чтобы антивирус не тормозил систему и не беспокоил пользователя частыми запросами и предупреждениями о действиях приложений, это раздражает человека и в конечном счете снижает эффективность защиты, так как к ее окошкам перестают присматриваться.

AV-Comparatives​

Лаборатория AV-Comparatives старается выставить комплексную оценку антивирусам, проводя отдельные тесты самых важных функций: защита в «жизненных» сценариях использования, обнаружение зараженных файлов («классический тест»), скорость работы и многие другие. Раз в год на основании всех проведенных тестов выдаются награды «Продукт года», а также золото, серебро и бронза в каждом из типов тестов. Но ждать окончания года обычно не хочется, поэтому, чтобы составить целостное и актуальное впечатление о продукте, придется просмотреть результаты 2–5 разных тестов. Наиболее интересны как раз тест «жизненный» и оценка производительности. Ложные срабатывания снижают оценку в первом из них. Лучшие решения получают награду «Advanced+», не столь совершенные – «Advanced», ну а троечникам и двоечникам достаются значки «Standard» и «Tested». По «жизненному» тесту ежемесячно публикуются промежуточные сведения, какие из существующих в Сети угроз смог заблокировать каждый популярный антивирус. Уровень защиты «в районе плинтуса» – это блокировка примерно 90% угроз, ее обеспечивает встроенный в Windows механизм Windows Defender или Microsoft Security Essentials. Лидеры рынка ведут отчаянную борьбу за доли процента в интервале 95–100%. В свежайшем тесте Kaspersky Internet Security заблокировала 100% угроз.

AV-TEST​

До недавнего времени сертификация AV-TEST, проводимая раз в два месяца, включала тестирования в трех категориях: защита, лечение и удобство пользования (Protection, Repair, Usability). По каждой из трех категорий выставлялась оценка от 1 до 6, сертификат получало решение, набравшее суммарно минимум 11 баллов.
Но в этом году тесты переделали, и теперь заслужить сертификат гораздо легче, чем раньше. Если в наградах 2012 года и ранее учитывались такие факторы, как процент обнаружения, процент излечения, процент ложных срабатываний и степень замедления компьютера, то в нынешнем году из оценки убрали лечение и снизили порог для получения сертификата до 10 баллов, поэтому сертифицированный антивирус 2013 года может оказаться неспособным вылечить уже зараженную систему. «Антивирус Касперского» заслуживал сертификаты и ежегодные награды AV-TEST раньше, и теперь это будет еще легче, но аналогичные «медальки» теперь можно будет увидеть на посредственных антивирусах «студенческого» уровня. О причинах такого упрощения сертификации можно почитать в блоге Евгения Касперского.

Dennis Technology Labs​

Английская тестовая лаборатория под техническим руководством Саймона Эдвардса долгое время специализировалась на поверке качества антивирусов в «жизненных» ситуациях («real world test»). Dennis Labs выпускает ежеквартальные отчёты для разных категорий продуктов – для домашних пользователей, среднего и малого бизнеса и крупных компаний.

Особого внимания заслуживает методология сертификации, созданная в соответствии с рекомендациями международной ассоциации AMTSO. Формула расчёта результата кроме способностей антивирусов обнаруживать угрозы, также принимает во внимание функцию лечения и наличие ложных срабатываний. Итоговый счёт калькулируется в соответствии с показателями продукта в различных категориях с различными весовыми коэффициентами и в целом достаточно точно отражает качество антивируса для защиты компьютеров в реальных «боевых» условиях.
Недавно тестовая лаборатория начала диверсификацию компетенции и открыла тестирование других направлений. Например, в конце 2012 г. Dennis Labs начала тестировать такую важную функцию корпоративных антивирусов, как контроль над приложениями.

Virus Bulletin​

Один из старейших и авторитетнейших ресурсов по антивирусной тематике, выходивший в виде журнала c 1989 года, осуществляет собственные тестирования антивирусов с раздачей сертификатов VB100. Их получают только решения, обнаружившие 100% зараженных образцов в тестовой выборке при 0% ложных срабатываний. Тестирование ведется по классической, а не жизненной методике: продукты прогоняются через небольшое число актуальных на момент тестирования угроз, поэтому достичь показателя 100% вполне по силам качественному продукту. Например, апрельские итоги показывают, что этого результата достигли 29 из 67 протестированных защитных решений. К сожалению, сертификация VB100 никак не учитывает производительность и качество лечения, поэтому полноценная оценка продукта по ней невозможна.
Есть и другая особенность, которая требует от пользователя умения правильно читать результаты тестов. Дело в том, что пользоваться логотипом VB100 может продукт, получивший хотя бы одну награду. Например, можно сертифицироваться в самом простом тесте и дальше использовать логотип во всех маркетинговых материалах. Поэтому мы рекомендуем смотреть всю историю тестов продукта, благо удобная таблица сводных результатов позволяет буквально одним взглядом окинуть итоги последних тестирований.

Другие тесты​

Мы упомянули только четыре популярные лаборатории, тестирующие антивирусы, но тем же самым занимаются многие другие, и это не считая журнальных тестирований и прочих источников сравнительной информации. По качеству и полноте эти тесты очень разнятся – ведь, как мы видим, даже лидеры не всегда стремятся к высочайшим стандартам качества. Поэтому, если какой-то тест и его итоги вас заинтересовали, не поленитесь почитать, каким образом он был организован. Все ли лидеры антивирусного рынка приняли участие? Насколько велика тестовая база чистых и зараженных файлов? Все ли важные факторы качества антивируса учтены в оценке? И наконец, за какой результат полагается высшая награда? Если золотую медаль получили больше десятка решений, значит, ее просто давали слишком легко.

источник.