Artykuły dotyczące tematu: testy

dodany: 19.02.2013 | tagi: , , ,

Bitdefender zaprasza na testy

0

Niedawno informowaliśmy Was o przygotowywanej wersji 2014 programu antywirusowego firmy G Data (zobacz newsa: G Data chce wyprzedzić konkurencję?). Teraz w ślady  poszedł kolejny producent – Bitdefender – który także szykuje już sukcesora swojej edycji 2013. Niestety na razie firma zbiera jedynie chętnych na beta-testy. Nie ma żadnych informacji na temat planowanych nowości czy nawet pojawienia się wspomnianej wersji.

Wszyscy chętni mogą się zapisać na stronie producenta. Firma zachęca do testowania bliżej nieokreślonymi gadżetami, które zostaną przyznane najbardziej aktywnym testerom. Jak tylko pojawi się beta, to poinformujemy Was o tym.

dodany: 13.02.2013 | tagi: , ,

Testy penetracyjne aplikacji online

2
Testy penetracyjne aplikacji online

W jednym z pierwszych artykułów tu opublikowanych wspomniałem o typowych podejściach do udostępnianiu aplikacji i systemów ulokowanych wewnątrz sieci firmowej dla użytkowników zewnętrznych. Jak już pisałem, rozwiązania techniczne – komponenty sprzętowe i odpowiednie zapory – uniemożliwiające włamania do sieci i uzyskanie nieautoryzowanego dostępu do zasobów są oczywiście niezbędne i zapewniają odpowiedni poziom ochrony. W tym miejscu kończy się rola DMZ, a odpowiedzialność spoczywa na samym wystawianym w świat oprogramowaniu. Od jego jakości i zastosowanych mechanizmów zależy, czy aplikacja jest bezpieczna i nie będzie powodować wycieków danych.

(więcej…)

dodany: 18.12.2012 | tagi: , ,

W jaki sposób AV-Comparatives testuje oprogramowanie antywirusowe?

3

Zarówno publicyści, użytkownicy, jak i dostawcy zainteresowani testami oprogramowania antywirusowego często odnoszą się do badań AV-Comparatives. Testerzy tworzą niezależny ośrodek badawczy, funkcjonujący non-profit. Współdziała z Wydziałem Informatyki i Inżynierii Jakości na Uniwersytecie w Innsbrucku i częściowo dofinansowywany jest przez rząd austriacki. Postanowiliśmy przyjrzeć się, w jaki sposób przeprowadzane są tam testy oprogramowana AV. W swoich badaniach ośrodek skupia się na odwzorowaniu warunków pracy przeciętnego użytkownika, a sam proces nazywa Dynamicznym testem ochrony „W świecie rzeczywistym”.

W testach wykonywanych przez AV-Comparatives do oceny poziomu ochrony przyczyniają się wszystkie cechy produktu, a nie tylko jedna z części (np. skanowanie sygnatur plików). Ideałem byłoby, gdyby oprogramowanie osiągało wysokie wyniki we wszystkich sferach ochrony, a nie jedynie w ramach sprawdzania pojedynczych elementów (np. blokowania URL, które chroni tylko podczas przeglądania stron internetowych, ale nie daje ochrony przed złośliwym oprogramowaniem wprowadzanym na inne sposoby lub obecnym już w systemie).

Testowanie każdego dnia dziesiątków programów antywirusowych na setkach adresów, to za dużo pracy, by mogła być ona wykonywania ręcznie, dlatego niezbędne jest zautomatyzowanie tego procesu. Poniżej przedstawiamy procedury testowe, jakimi w swoich testach kieruje się ośrodek.

 

Warunki laboratoryjne

Każdy program, badający bezpieczeństwo, zainstalowany jest na oddzielnym komputerze testowym.

Wszystkie komputery są podłączone do Internetu (szczegóły poniżej).

System zostaje „zamrożony”, to znaczy, że wstrzymana zostaje możliwość wprowadzania wszelkich zmian, aktualizacji itp.

Badanie przeprowadza się na rzeczywistych stacjach roboczych bez użycia jakiejkolwiek wirtualizacji.

Każda stacja robocza posiada własne połączenie internetowe z własnym, zewnętrznym IP.

AV-Comparatives posiada specjalne umowy z kilkoma dostawcami (np. na dostęp do klasterów pracy awaryjnej oraz nieblokowanie ich ruchu) w celu zapewnienia stabilnego połączenia z Internetem.

Testy wykonywane są podczas „żywego” połączenia z siecią.

Żeby nie powodować np. wybuchów malware, podjęto wszelkie środki ostrożności (skonfigurowano firewalle, itp.).

 

Sprzęt i oprogramowanie

Do badania wykorzystuje się identyczne stacje robocze, sterowniki i ustawienia serwerów oraz technologię Network Attached Storage (w skr. NAS – technologia ta umożliwia podłączenie zasobów pamięci dyskowych bezpośrednio do sieci komputerowej).

 

Ustawienia

Testowane są wszystkie pakiety zabezpieczeń na ustawieniach domyślnych (out-of-the-box). Test ma symulować rzeczywiste warunki, jakich każdego dnia doświadczają użytkownicy. Jeżeli program wymaga od użytkownika interakcji, testerzy dokonują wyboru. Jeśli system zostanie nienaruszony, program zostaje uznany za chroniący, nawet jeśli wymagał interakcji użytkownika. Jeśli system zostanie naruszony, uznaje się, że poziom ochrony programu jest „zależny od użytkownika”. Określenie „ochrona” ma znaczyć, że system nie jest zagrożony. Oznacza to, że złośliwe oprogramowanie nie jest uruchomione (lub zostało usunięte) i w systemie nie wystąpiły żadne znaczące czy złośliwe zmiany. Np. charakter działania firewalla, który powiadamia o ataku malware i pyta dopiero czy ma zablokować złośliwy program, to zbyt małe i zbyt późne reakcje, by można było uznać je za zadowalającą „ochronę”.

 

Przygotowanie do każdego Dnia Testu

Aby stworzyć nową podstawę do badań, codziennie rano pobierane i instalowane są dostępne aktualizacje oprogramowania zabezpieczającego. Gwarantuje to, że nawet w przypadku, gdy program AV nie skończy większej aktualizacji w ciągu dnia (programy są aktualizowane przed każdym testem) lub update nie jest osiągalny, to przynajmniej zostanie zaktualizowany rano tak, jak dzieje się to w rzeczywistym życiu.

 

Cykl Testowy dla każdego szkodliwego adresu URL

Przed sprawdzeniem każdego nowego, złośliwego URL czy przypadku testowego, dany program (sygnatury wirusów) zostaje zaktualizowany. Na początku miesiąca zainstalowane zostają nowe wersje głównych programów, dlatego w każdym raporcie miesięcznym otrzymujemy wyniki testu głównej wersji programu. Oprogramowanie testowe monitoruje PC tak, żeby wszelkie zmiany dokonane przez szkodliwe oprogramowanie zostały zarejestrowane. Co więcej, algorytm rozpoznawania sprawdza czy program antywirusowy wykrywa malware. Po każdym przypadku wykrycia komputer powraca do pierwotnej, „czystej” wersji.

 

Ochrona

Programy zabezpieczające powinny dobrze chronić komputery użytkowników. Na tym etapie nie jest ważne na jakim polu odbywa się ochrona. Może to być ochrona zarówno podczas przeglądania strony internetowej (np. przez blokowanie adresów URL) lub kiedy eksploit próbuje się uruchomić podczas pobierania pliku. Jeśli złośliwe oprogramowanie nie zostanie zablokowane przez program AV, na obserwację jego działań przewidziane zostało kilka minut wolnego czasu. Tym samym oddany zostaje prawdopodobny scenariusz reakcji zwykłego użytkownika oraz czas, który program antywirusowy powinien przeznaczyć na działania „lecznicze”.

Jeśli złośliwe oprogramowanie nie zostanie wykryte, a system jest rzeczywiście zainfekowany/naruszony, to test kontynuuje się w ramach badania „systemu zagrożonego”. Jeżeli wymagane jest działanie użytkownika, a najczęściej to właśnie od niego zależy decyzja czy coś jest szkodliwe i w ramach jego najgorszej decyzji system może zostać naruszony, sytuacja zostaje oceniona jako „zależna od użytkownika”. Z tego powodu paski na wykresie opisane jako „zależnie od użytkownika” można interpretować zarówno jako program „spełniający ochronę”, jaki i „niechroniący”.

Ze względu na dynamiczny charakter badania (czyli naśladowanie rzeczywistych warunków) oraz sposób wykorzystania w pracy kilku różnych technologii (takich jak skanery AV, usługi w chmurze czy narzędzia badania reputacji), podobne testy nie mogą zostać powtórzone czy powielone. Niemniej, aby udowodnić ustalenia i wyniki badań, są one w miarę możliwości rejestrowane. Wyniki badań są udostępniane sprzedawcom danego oprogramowania po to, by dostarczyć dodatkowych danych w przypadku ewentualnych sporów. Po każdy miesiącu testów, sprzedawcy mają możliwość zakwestionowania kompromitujących wyników badań. Dzięki temu można sprawdzić czy raport nie jest wynikiem jakichś problemów, które mogły wystąpić podczas badania czy analizy.

W przypadku produktów wykorzystujących rozwiązania w chmurze, pod uwagę będą brane tylko te wyniki badań, jakie produkt osiąga w danej chwili testu. Poziom zabezpieczeń chmurowych może spadać z powodu wewnętrznych usterek lub przestoju w wyniku remontu infrastruktury, a dostawcy mogą często nie ujawniać podobnych wad. Jest to również powód, dla którego całkowite zaufanie produktom opierającym się mocno o usługi w chmurze może być ryzykowne. Takie programy nie wykorzystują często na przykład zasad heurystyki czy metody skanowania behawioralnego, dlatego ich poziom zabezpieczenia może w wielu przypadkach znacząco maleć.

Sygnatury wirusów czy narzędzia badania reputacji powinny być wdrażane jako uzupełnienie innych, lokalnych funkcji ochrony (w tym offline), a nie zostać całkowicie zastąpione usługą w chmurze, ponieważ istniej niebezpieczeństwo, że np. gdy chmura będzie niedostępna, komputer zostanie narażony na wszelkie ryzyko.

 

Zestaw testowy

Testy skupiają się przede wszystkim na aktualnych, widocznych oraz istotnych stronach zawierających złośliwe kody/oprogramowanie, stwarzających problemy dla zwykłych użytkowników. Testerzy starają się, żeby badania uwzględniały około 50% adresów URL odsyłających bezpośrednio do malware (np. poprzez oszustwa za pomocą inżynierii społecznej, skłaniającej użytkownika do kliknięcia w linki ukryte w spamie lub zmuszanie podstępem do instalacji trojanów bądź innego nieautoryzowanego oprogramowania). Reszta to ataki eksploitów – a z tymi zwykle dobrze radzą sobie niemal wszystkie główne programy zabezpieczające (należy pamiętać, że może to być również powodem stosunkowo wysokiego wyniku testu).

Do wyszukiwania podejrzanych witryn i wyodrębniania złośliwych adresów URL (w tym spamu zawierającego złośliwe linki) wykorzystywany jest unikalny system indeksowania. Badania złośliwego URL odbywają się również „ręcznie”. Jeśli w ciągu danego dnia firmowy robot nie znajdzie ważnych złośliwych adresów URL, AV-Comparatives opiera się dodatkowo na pracy zewnętrznych badaczy.

W badaniach tego typu bardzo ważne jest stosowanie wielu różnych testów. Przeprowadzanie testu na np. tylko 20 czy 50 przypadkach może prowadzić do dość przypadkowych i statystycznie nieważnych wyników. Konieczne jest zbadanie przynajmniej 100 przypadków. Jeśli w testach porównawczych wykorzystano zbyt małą ilość próbek, różnice w wynikach mogą nie wskazywać rzeczywistych różnic pomiędzy badanymi produktami. W rzeczywistości, niezależnie czy program wypadł w testach w tym samym klasterze ochrony (na tysiąc przypadków) lepiej czy gorzej, uważany jest za przeciętny do momentu, gdy nie zacznie niesłusznie blokować zdrowych plików czy witryn.

 

Test „Fałszywych Alarmów”

Test „Fałszywych Alarmów” (błędnie zablokowanych domen/plików) składa się z dwóch części: pod kątem bezzasadnego blokowania domen (podczas przeglądania) i plików (podczas pobierania/instalacji). Należy zawsze sprawdzić czy dany produkt, który być może wypadł w tym teście słabo, nie specjalizuje się tylko w jednym (innym) rodzaju obrony (np. blokowaniu URL, badaniu reputacji strony, wykorzystywaniu mechanizmów behawioralnych).

 

Bezzasadne blokowanie domen (podczas przeglądania)

Wykorzystano około tysiąca losowo wybranych, popularnych domen. Zablokowanie nieszkodliwej domeny/URL liczy się jako fałszywy alarm. Bezprawne blokowanie domeny zostaje zgłoszone do odpowiednich dystrybutorów danego oprogramowania, którzy powinni zniwelować możliwość pomyłek.

Poprzez blokowanie bezpiecznych domen, oprogramowanie nie tylko traci na wiarygodności czy prestiżu, ale potencjalnie może powodować (prócz utraty reputacji w Internecie) straty finansowe dla właścicieli domen, np. przez utratę przychodów z reklam. Dlatego blokowanie całych domen przez programy AV zalecane jest tylko wtedy, gdy jednoznacznie widać, że jedynym celem takiej witryny jest dystrybucja złośliwego kodu oraz blokować je jedynie tak długo, jak rzeczywiście są one szkodliwe. Programy, które blokują adresy URL w oparciu np. o narzędzie badania reputacji, mogą być bardziej podatne na osiągnięcie złego wyniku w tym teście, ponieważ mogą blokować wiele niepopularnych bądź nowych stron internetowych.

 

• Błędne blokowanie plików (podczas pobierania/instalacji)

Badanie zostało przeprowadzone na około 100 aplikacjach wymienianych jako najczęściej pobierane lub jako nowe/zalecane do pobrania. Pochodzą one z różnych popularnych portali udostępniających przeróżne aplikacje. Aplikacje zostały pobierane z oryginalnych witryn dostawców oprogramowania, zapisane na dysku i zainstalowane. W ten sposób można było sprawdzić czy program AV zablokuje je na którymś etapie procedury. Dodatkowo, do testu włączono kilka plików, których reputacja została zakwestionowana w ciągu ostatnich miesięcy testów.

Obowiązkiem produktów bezpieczeństwa jest ochrona przed niebezpiecznymi witrynami/plikami, a nie cenzurowanie lub ograniczanie dostępu tylko do popularnych aplikacji i stron internetowych. Blokowanie niektórych legalnych stron lub plików może być zaakceptowane jedynie wtedy, gdy użytkownik wybiera wysoki poziom zabezpieczeń (którego jawną specyfiką jest możliwość blokowania zaufanych storn). Jednak nie do przyjęcia jest, żeby tak wysoki poziom zabezpieczeń funkcjonował jako ustawienia domyślne programu, niosąc tym samym ryzyko, że użytkownik w ogóle nie będzie o tym wiedział.

Fałszywe alarmy na popularnych portalach czy w popularnym oprogramowaniu są zwykle prędko zauważalne i eliminowane w ciągu kilku godzin. Ze względu na to, testy pod kątem błędnego blokowania plików, wykonywane tylko na bardzo popularnych aplikacjach lub wykorzystujące tylko 50 pierwszych pozycji z białej listy czy monitowanych portali, byłyby stratą czasu i zasobów.

Częstotliwość występowania fałszywych alarmów na podstawie bazy danych użytkownika jest interesująca dla wewnętrznej kontroli jakości producentów oprogramowania AV, ale dla zwykłego użytkownika ważne jest, żeby wiedzieć, w jaki sposób program odróżnia pliki czyste od zainfekowanych.

 

Testowanie w bieżącym i przyszłym roku

Początkowo planowano, aby w roku 2102 przetestować w pełni zaktualizowany/połatany system, ale ze względu na bark wystarczającej ilości eksploitów do przetestowania, wrócono do testów starszych/wrażliwszych wersji systemów operacyjnych oraz oprogramowania. To powinno przypomnieć użytkownikom, żeby aktualizowali swoje systemy i aplikacje w celu zminimalizowania ryzyka zainfekowania przez eksploity wykorzystujące luki w oprogramowaniu. Na rok 2013 przewidywany jest test Windows 7 64 Bit SP1 oraz zaktualizowanego oprogramowania.