|
Poslao: 10 Maj 2005 13:13
|
offline
- RIA
- Prijatelj foruma
- Pridružio: 20 Feb 2005
- Poruke: 2841
- Gde živiš: Around Belgrade
|
bobby ::Moze i Opera, sve jedno samo da nije IE.
Hvala (cenzura) da je neko od "glavnih" napisao ovo.
I kad ce rezultati ?
|
|
|
|
|
Registruj se da bi učestvovao u diskusiji. Registrovanim korisnicima se NE prikazuju reklame unutar poruka.
|
|
|
|
|
Poslao: 10 Maj 2005 13:42
|
|
|
bobby ::1. Virusi iz arhive su prepoznati od strane barem jednog AV programa
Mislim da ovo nije merilo da li je neki fajl virus. Ukoliko neki AV program napravi laznu detekciju (dakle 1 AV je detektovao nesto kao virus) onda se po ovom kriterijumu to prihvata kao validan fajl.
Mislim da fajl koji nije detektovan kao ispravan virus od strane najmanje dva nezavisna AV enginea, ne treba ni da bude na testu. Takodje, razni .dam i slicni nisu validni uzorci.
Npr. uzmes AVG i sve sto AVG pronadje su virusi. Onda AVG ima 100% na testu (ili 99,9% zbog objektivnosti), a ostali kako im "padne". Ali, ako uzmes AVG i jos neki, e, onda je to nesto drugo (AVG je uzet samo kao primer).
bobby ::
4. TAR i GZ vise nisu luksuz samo *nix sistema (JAR je isto sto i TAR). LZH je u Japanu zastupljena sa preko 80% arhiviranih programa. ARJ nije testiran. Ove zamerke mozete uputiti samo .z .ha i .ppm arhivama, ali je nas cilj na testu bio da nadjemo sve sto smo mogli naci kao manu. Sledeci test ce sadrzati jos vise arhiva, ukljucujuci i egzoticne tipa StuffIT arhiva za Windows. MacOS arhive nece biti ukljucene zbog nekompatibilnosti fajl-sistema (deljenje fajlova na resource i fork fajlove).
Ali opet se vracamo na pitanje, da li nemogucnost da se fajl pronadje u .tar fajlu na Windows sistemu zaista mana ili ne.
Ukoliko gledamo cisto tehnicki, to jeste propust. Ukoliko gledamo prakticno, nije. Prosecan korisnik ionako ne bi znao sta da uradi sa takvim fajlom, a i ukoliko bi nasao nacina da ga raspakuje, virus bi verovatno bio zaustavljan.
Znamo za neke mane (ili "mane"), tako da nema ljutnje. Samo hocu da kazem da neke stvari idu u domen akademske rasprave.
bobby ::
5. Test10 - program pakovan exe-packerom se NE RASPAKUJE, izvrsava se pakovan, tako da nema nista od detekcije ukoliko AV program ne prepoznaje metod pakovanja. Neki od njih se raspakuju u memoriji, ali to ne pomaze AV programu jer real-time engine ne posmatra promene u memoriji. Skener MORA da detektuje ove fajlove.
U prilog mojoj tvrdnji ide i to da svi skeneri prepoznaju UPX, ASPack i PKLite. Ukoliko bi moja tvrdnja bila pogresna, skeneri to ne bi razmatrali. Sledeci test ce sadrzati jos vise pakera, a uvescemo i test installera, posto su i oni po prirodi exe-packeri (primer: MSI instaler, WISE instaler, NSIS, InnoSetup...). Ukoliko dokazemo da ima smisla, uvescemo jos i test image fajlova (floppy image, CD-image formati). Par floppy image-a smo vec imali na testu jer su MBR sektori tih disketa bili zarazeni virusom.
Mislim se nismo razumeli. Da li se upakovan fajl skenira na disku ili u pokretanju?
bobby ::
7. Na zahtev mozemo poslati fajlove iz arhive za Test1 i fajlove iz Test14 i 15 koji su identifikovani kao maliciozni, i to fajlove koji nisu prepoznati.
Mozete i da nam posaljete ceo set fajlova, izdvojicemo one koji su prepoznati, a ostalo poslati u laboratoriju. Ovo je sasvim OK, ukoliko se slazete.
Jos pitanja:
a) Zasto se ne meri CPU Load prilikom skeniranja? Na ovim forumima su se ljudi zalili da im AV program "ubija" masinu. Mislim da je ovo vazan aspekt, jer AV program treba da radi na datoj masini, a ne da sa svakom verzijom AV-a treba nova masina...
b) Zasto se ne uzima u obzir i lokalizacija AV programa na srpski? Obicnom korisniku to znaci...
Da ne bi bilo pogresnih tumacenja zlonamernih citalaca, nemamo nista protiv da se uradi ovakav test. Drago nam je da ga neko radi. Dali smo primedbe ili sugestije tamo gde smo smatrali da treba.
Dacemo nas komentar na rezultate i ocekujemo da on bude deo rezultata ovog testa.
|
|
|
|
|
|
|
Poslao: 10 Maj 2005 14:58
|
offline
- Djole
- Mod u pemziji
- Pridružio: 02 Sep 2003
- Poruke: 4955
|
Citat: a) Zasto se ne meri CPU Load prilikom skeniranja? Na ovim forumima su se ljudi zalili da im AV program "ubija" masinu. Mislim da je ovo vazan aspekt, jer AV program treba da radi na datoj masini, a ne da sa svakom verzijom AV-a treba nova masina...
Iz prostog razloga sto nemamo svi iste masine, tako da rezultati ne bi bili uporedivi.
Citat: b) Zasto se ne uzima u obzir i lokalizacija AV programa na srpski? Obicnom korisniku to znaci...
Bice pomenuto u tekstu...
|
|
|
|
|
|
|
Poslao: 10 Maj 2005 15:12
|
offline
- bobby
- Administrator
- Pridružio: 04 Sep 2003
- Poruke: 24135
- Gde živiš: Wien
|
Posto sada nisi numerisao pitanja, moracemo ovako:
Arhiva za Test1 sadrzi proverene fajlove, znaci 100% su virusi.
Sa Test14 i Test15 smo izdvojili oko 200 fajlova, tako da i ukoliko nisu prepoznati, nije neka znacajna brojka.
Oko arhivera, procitaj dopunu mog posta gore. Nije fora zastititi samo komp na kome je AV instaliran, treba spreciti i sirenje zaraze na okolne kompove, tj. spreciti snimanje istih na CD ili slanje mailom. Ukoliko korisnik skenira fajlove koje spremio za snimanje pre snimanja na CD, a posle se pokaze da su bili zarazeni, zar je to OK?
Fajlovi pakovani exe-pakerima se skeniraju na disku. Ukoliko nisu prepoznati tu - nece biti prepoznati nikad. Vec sam par puta objasnio da ovo nisu SFX arhive, tako da se fajlovi ni pri izvrsavanju ne raspakuju, osim u memoriji kod par exe pakera. Ove fajlove je nemoguce zaustaviti ukoliko nisu prepoznati dok su na disku.
Oko virusa cemo jos da vidimo, nije iskljuceno da posaljemo i cele arhive.
Dodatna pitanja:
a) ne testiramo na istim konfiguracijama, svako od testera ima razlicite konfiguracije, pa ovo ne bi bilo merodavno.
btw. ja bih i inace merio samo CPU load za real-time engine, ne i za skeniranje, jer kada zadam kompu da skenira par hiljada fajlova, ne stedim CPU, vec ocekujem da nadje sve ono sto treba da nadje. Necu da pustim skeniranje i Photoshop istovremeno...
b) organizator testa (casopis) nije obezbedio odgovarajuce verzije programa. Ja i inace ne bih ovo ocenjivao, mozda bi samo uslo u opis programa. Test ne ogranicavamo samo na domacu publiku, vec sam spomenuo da ce biti preveden i objavljen siroj publici. Vec imamo dogovor sa par sajtova o tome da objave vest kada objavimo rezultate.
Da sumiram test:
Ni jedan AV nije postigao 100% uspeha.
Nas test je jos uvek daleko od savrsenog.
Nas test je teznja da pokazemo kako bi izgledao savrsen AV, i koliko je koji AV daleko od toga.
Filozofija nam je da Scaner komponenta AV-a mora da podrzava sve vrste arhiva, pakera i sl. dok real-time engine vec moze biti ogranicen po tom pitanju da ne bi opterecivao sistem. Real-time engine treba da onemoguci samo direktne pretnje, dok scaner, jednostavno mora da detektuje sve, nebitno koliko mu vremena za to trebalo.
Imamo virus na testu koji je pakovan polimorfnim exe-pakerom. Jedan AV sa testa (koji moze da upise svaki korak u LOG) je detekciju i raspakovanje polimorfnog pakera radio par minuta, i za to vreme je upotrebio jedno 20 koraka u razbijanju polimorfnog pakovanja.
Ovo ocekujem od svakog Scanera - da ulozi maksimalni trud, ne pitam koliko mu resursa i vremena za to treba.
Jedan AV program je cak 3 sata proveo skenirajuci arhivu, dok su neki zavrsavali skeniranje za 15 minuta. Pogodite u koji imam vise poverenja da je ljudski odradio posao?
Dopuna: 10 Maj 2005 16:12
Oko brojke koju prijavljuju programi kada nalaze viruse:
Totalno ne-fer od strane par programa, ali neki ce ZIP koji sadrzi zarazen EXE da nabroje kao dva zarazena fajla, jednom zbog zarazenog EXE fajla, jednom zbog arhive koja je sadrzala taj fajl.
Iz ovog razloga su sve brojke koje AV programi prijavljuju diskutabilne.
Pokusali smo ovo da prevazidjemo tako sto smo svim programima dali da brisu zarazene fajlove, pa da izbrojimo sta je ostalo iza njih.
Ni ovde nije fer situacija, jer ce jedan AV da obrise jedan fajl iz ZIP arhive, dok ce drugi da obrise celu arhivu. Ukoliko u arhivi ima vise virusa - eto opet zbunjivanja oko brojki.
U prilog zbunjivanju ide i to sto, iako smo dali da brisu sve, pojedini programi su bas bili uporni da umesto brisanja dezinfikuju fajl.
Nasli smo jedan program koji poredi fajlove u folderima pre i posle skeniranja, medjutim ni on nije bio od pomoci zbog toga sto je bilo fajlova zarazenih sa vise virusa, tako da brojke opet varaju.
Ukoliko zelite da nam prebacite sto nisu svi fajlovi bili raspakovani pre skeniranja, zelim da kazem da jednostavno to nije bilo moguce.
Uzmimo za primer instalere (cuveni setup.exe), koji sadrzi za nas nepoznatu metodu pakovanja, i u sebi ima 20 fajlova od kojih su dva zarazena. Kako to resiti?
Neki AV programi su poznavali kompresiju tih fajlova i ulazili su u njih, brisali, dezinfikovali. Neki AV programi su na istom fajlu totalno omanuli.
Ne kazem da je bilo nemoguce ovo regulisati, ali je to ogroman posao, a nama nije bilo dato toliko vremena za pripreme.
Ovakvi fajlovi cine nekih 1%-2% fajlova na testu, tako da ni to nije toliko problematicno.
Najveci problem za AV programe su exe-pakeri, posto je preko 40% virusa pakovano nekim pakerom, najverovatnije jos od strane autora virusa. UPX i ASPack cine vecinu u ovoj brojci, PKLite je bio najcesci paker za DOS viruse, i to nije bio problem za AV programe. Ali ima tu i FSG i NFO pakovanih virusa, sto je opet cesta praksa kod pisaca virusa...
|
|
|
|
|
|
|
Poslao: 11 Maj 2005 20:42
|
offline
- Pridružio: 09 Dec 2004
- Poruke: 6488
- Gde živiš: Nis -> ***Durlan City***
|
Danas je 11 a Peca rece do 15 znaci blizi se blizi,  mora da se radi punom parom a?A kada ce se pojaviti ( kog datuma Internet ogledalo ) sa tim testom?
|
|
|
|
|
|
|
Poslao: 12 Maj 2005 05:22
|
offline
- Svemirko
- Legendarni građanin
- Pridružio: 24 Mar 2004
- Poruke: 3962
- Gde živiš: Zemun
|
bobby ::Arhiva za Test1 sadrzi proverene fajlove, znaci 100% su virusi.
Kako si tako siguran da su 100% virusi...
Ako samo jedan AV detektije fajl kao virus, pre bih posumljao da je dao laznu uzbunu nego da je to virus.
Mislim, u koga ili sta imas 100% overenje kada tvrdis da je neki fajl virus ?!
|
|
|
|
|
|
|
Poslao: 12 Maj 2005 13:29
|
offline
- bobby
- Administrator
- Pridružio: 04 Sep 2003
- Poruke: 24135
- Gde živiš: Wien
|
Svaki od fajlova sa testa 1 sadrzi barem jedan maliciozni program, po neki fajl sadrzi i vise malicioznih programa. Poneka arhiva sadrzi i maliciozni program kao i propratne fajlove (poneki DLL koji nije maliciozan), s tim sto te nemaliciozne fajlove ne ubrajamo u konacan broj.
Fajlove smo skupljali od ljudi koji se bave skupljanjem virusa, tako da ne verujem da bi se neko, ko se vise godina bavi time, blamirao da nam posalje ne-maliciozan program.
Vreme koje smo imali za pripremu testa nam nije dozvoljavalo da u potpunosti sredimo ovu arhivu, tj. da raspakujemo setup rutine nekih programa, tako da na testu ne bude ni jedan neinficiran fajl.
Mi mozemo da posaljemo arhivu na analizu distributerima, ali onda necemo imati dovoljno materijala za neki sledeci test, jer ce svi programi imati 100% uspeha u nalazenju malicioznih programa iz ove arhive.
Videcemo za dalje.
Dopuna: 12 Maj 2005 14:29
Zvanicni podaci o sadrzaju arhive virusa:
Testirana arhiva virusa sadrzi 22041 fajl (ukljucujuci identifikovane fajlove iz Testova 14 i 15)
Ti fajlovi sadrze ukupno 22557 malicioznih fajlova (od kojih su oko 200 - 220 duplirani)
Od tih fajlova 8 su Joke fajlovi.
4035 fajlova su pakovani pakerima, vecinom UPX (1325), ASPack (402), com2exe (1061), bat2exe(32), fsg (77), Pe-Pack (10)...
U arhivi, od 22041 fajlova, bilo je arhiva:
RAR = 64
ZIP = 225
CAB = 25
GZ = 13
Tar = 18
LHA = 1
HA = 1
ARJ = 1
Floppy images = 17
mailbox arhiva = 28
MS expand arhiva = 10
U arhivi je bilo i setup-pakera tipa InnoSetup ( 28 ), SetupFactory (7), Wise installer (7), Gentee (45), NSIS (19), SetupSpecialist (5)...
U arhivi je bilo i fajlova koji su kontejner za druge fajlove, a da ne spadaju u kategorije nabrojane iznad. Ovakvih fajlova je bilo 43.
|
|
|
|
|
|
|
Poslao: 13 Maj 2005 09:15
|
|
|
bobby ::
Fajlove smo skupljali od ljudi koji se bave skupljanjem virusa, tako da ne verujem da bi se neko, ko se vise godina bavi time, blamirao da nam
posalje ne-maliciozan program.
Gresis. Neki od njih skupljaju viruse na nacin na koji sam ti vec opisao. Uzmu jedan AV kome veruju (sto NIKAKO ne znaci da mu veruju svi korisnici na svetu) i prema njemu se ravnaju.
Da bi uzorci bili 100% validni, morao bi da ih analiziara neko ko se razume u to i da kaze da li je nesto virus ili ne.
Ukoliko se u arhivi virusa nalaze osteceni virusi, onda je test nevalidan. Ostecen virus nije vise virus nego beskoristan kod cija je najveca steta zauzece prostora na disku. To je isto kao da je ubacen tekstualni fajl sa gomilom raznih slova.
Neke AV kompnaije prijavljuju ovakve viruse sa oznakom .dam, a neke bez nje. Uglavnom je to vise marketinsko-psiholoski trik da bi se korisnik ubedio u efikasnost programa.
Kada se iz cele arhive sklone ovakvi uzorci, onda se rezultati dosta menjaju.
bobby ::
Mi mozemo da posaljemo arhivu na analizu distributerima, ali onda necemo imati dovoljno materijala za neki sledeci test, jer ce svi programi imati 100% uspeha u nalazenju malicioznih programa iz ove arhive.
Ne mora da znaci. Neke firme nisu sposobne da naprave odbranu od nekih virusa ili ne smatraju da je virus opasnim.
A ukoliko hocete da budete sigurni da nece biti prevare & namestanja, rasparcajte arhivu pa date po malo nama, Kaspeskom, Essetu, F-Secureu...
|
|
|
|
|
|
|
Poslao: 13 Maj 2005 09:43
|
offline
- bobby
- Administrator
- Pridružio: 04 Sep 2003
- Poruke: 24135
- Gde živiš: Wien
|
Hvala na obavestenju, ispravicemo gresku.
Ima 97 corrupted i 18 .dam fajlova.
Ovo ce biti napomenuto u tekstu na samom pocetku.
Napomenuto je vec da kolekcija sadrzi 8 Joke fajlova.
Edit: ispravio sam brojke, jer sam brojao u pogresnom fajlu
Dopuna: 13 Maj 2005 10:43
Sada kolekcija ima zvanicno 22434 virusa (znaci bez Joke, corrupted, .dam fajlova)
|
|
|
|
|
|
