[Riješeno] Kako iz 1500 *.html file izvući sve description u *.txt file

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Kao što se može iz naslova zaključiti imam preko 1500 files koji se nalaze u nekom glavnom folderu a u njemu sub-folderi

Zna li netko postoji li programčić koji će iz svakog *.html file kopirati description u tekstualni file npr: descriptions.txt
Main Folder *1.html *2.html ...  - subfolder1    *1.html    *2.html    ...         - sub-sub-folder1    *1.html    *2.html    ...  - subfolder2 *1.html *2.html ... itd
U txt file mi treba lista koja bi sadržavala
naziv foldera - naziv file - description

naravno ako je ovo izvedivo.
programčić bi trebao sadržavati izbornu formu tj. da pita
- gdje se nalazi main folder?
- sadrži li foldere?

description u dotičnim files izgleda ovako
<meta name="Description" content="Excel 2003, funkcije financijske - ACCRINTM, Vraća stečenu kamatu za vrijednosnicu koja isplaćuje kamatu po dospijeću">
znači program treba u HTML file pronaći dotičnu liniju koda i iz nje kopirati samo description koji je između navodnika =>>>>
content="??????????????" Znači u ovom slučaju description su upitnici
ima li rješenja ovom problemu ili netko zna već gotov free program koji bi to mogao odraditi?

hvala unaprijed.

• 3Ovo se svidja korisnicima: iCho, IvanC, Dukelander
  
  Registruj se da bi pohvalio/la poruku!

Da li je description linija uvek na istom mestu u svakom html fajlu?
Ukoliko jeste, najlakše rešenje ti je da učitaš fajl i izvučeš tačnu liniju u novi string. Dobićeš string koji dalje možeš da očistiš i odstraniš ono što ti ne treba i dobiješ čist description. Dalje taj string koristiš kao dodatak u imenu novom tekst fajlu ili kako god.

Uzevši u obzir da je ovo aplikacija za tvoje potrebe neće biti problem upotreba resursa, ja sam učitavao txt fajlove od po par GB kroz par sekundi kada sam vršio neke tekstove pa verujem da ni taj tvoj html fajl neće biti problem kada ga uvučeš.

• 2Ovo se svidja korisnicima: IvanC, Srki94
  
  Registruj se da bi pohvalio/la poruku!

evo u php pocetak pa vi malo doradite
<?php $path = "/var/www/"; $ite=new RecursiveDirectoryIterator($path); foreach (new RecursiveIteratorIterator($ite) as $filename=>$cur) {    if (preg_match("/\.html$/",$filename)){       echo "\r\n$filename ";       $text = file_get_contents($filename);       preg_match('/meta.name=.description..content="(.*?)"/im',$text,$maches);       if(count($maches)>1){          echo $maches[1];       }    } } ?>

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Srki94 ::Da li je description linija uvek na istom mestu u svakom html fajlu?Uh, i mislio sam da će ovo možda biti problem. Nisam siguran da jeste ali u dosta files je. U nekim files je možda liniju dvije ispod ili iznad ali nisam siguran

Ovo što si mi pojasnio je za svaku pohvalu ali ja to baš ne razumijem jer nisam programer (već čisti korisnik koji zna napraviti par klikova i postaviti path). U obzir bi došla čak i opcija da u *.txt izvuče cijelu liniju koda pa bi ja kroz Excel pokušao odstraniti višak.
folder_name - file_name - <meta name .....
|_MeD_| ::evo u php pocetak pa vi malo doradite Hvala ti ali ja to ne mogu doraditi jer kao što sam napomenuo nisam programer (trebao bi mi cijeli tutorijal step by step da bi ja to odradio
pitanje: što da radim s ovim kodom i kako odraditi ono što mi treba (ako ti nije komplicirano pojašnjavati)

btw: dečki hvala na javljanju, no za sada ostaje kao na početku
ima li netko možda *.exe (pošto je ovo osobni problem a ne univerzalni)

• 5Ovo se svidja korisnicima: Srki94, vladasimovic, Ričard, IvanC, E.L.I.T.E.
  
  Registruj se da bi pohvalio/la poruku!

Uloguj se preko Facebooka da bi skinuo fajl:

Probaj ovo: [Link mogu videti samo ulogovani korisnici]


Znači, odradi drag & drop foldera sa html file-ovima na skriptu i ona će da se prošeta kroz ceo folder (i subfoldere) i iz svih html file-ova da pokuša da izvuče description.

U istom folderu gde je skripta će biti kreiran i file "Descriptions from html.txt".

Primer:

Citat:Lista html file-ova sa opisima u folderu: E:\Anti-Malware\Project - MCShield\Monitor\Signatures

E:\Anti-Malware\Project - MCShield\Monitor\Signatures\_MCShield_www\index.html - MCShield-Antimalware usb protection
E:\Anti-Malware\Project - MCShield\Monitor\Signatures\_MCShield_www\download\index.html -

Ovaj drugi nema description, je l' (isto će da se dogodi ako skripta ne nađe desc. zato što je formatiranje html-a traljavo odrađeno).



Zamisli da ovde stoji disclaimer...



Edit: imaj na umu da ovo može da potraje. Samo strpljivo. Dobićeš obaveštenje kada bude gotovo.

• 2Ovo se svidja korisnicima: Ričard, Srki94
  
  Registruj se da bi pohvalio/la poruku!

dr_Bora ::Znači, odradi drag & drop foldera sa html file-ovima na skriptu i ona će da se prošeta kroz ceo folder (i subfoldere) i iz svih html file-ova da pokuša da izvuče description.ma što da pokuša? već da odradi upravo ono što treba. Što da ti kažem osim veliko Hvala.

btw: u koliko bi želio izvući samo keywords pretpostavljam da mogu samo zamijeniti ovu liniju kodanPos1 = InStr(1, sLine, "name=""description"" content=""", vbTextCompare)sa ovom linijom nPos1 = InStr(1, sLine, "name=""keywords"" content=""", vbTextCompare)

ali ako bi htio izvući TITLE kako onda ide linija koda jer nemam ovaj dio taga "name"?
pozdrav

• 3Ovo se svidja korisnicima: Ričard, NIx Car, IvanC
  
  Registruj se da bi pohvalio/la poruku!

IvanC ::btw: u koliko bi želio izvući samo keywords pretpostavljam da mogu samo zamijeniti ovu liniju kodanPos1 = InStr(1, sLine, "name=""description"" content=""", vbTextCompare)sa ovom linijom nPos1 = InStr(1, sLine, "name=""keywords"" content=""", vbTextCompare)

Nije dovoljno (nisam se baš toliko potrudio oko skripte ). Dve linije niže imaš:

nPos2 = nPos1 + 28

Ovih 28 je dužina ovoga dole (tj. ofset od pozicije gde je string pronađen do pozicije gde ono što tebe zanima počinje):

name="Description" content="

pa bi za keywords trebalo da upišeš broj 25.

         nPos1 = InStr(1, sLine, "name=""description"" content=""", vbTextCompare)          If nPos1 > 0 Then             nPos2 = nPos1 + 25

Ovo radi (testirano).


IvanC ::ali ako bi htio izvući TITLE kako onda ide linija koda jer nemam ovaj dio taga "name"?
pozdrav

Znači, string koji koristiš za prepoznavanje linije je <title> pa prva izmena mora da bude:

nPos1 = InStr(1, sLine, "<title>", vbTextCompare)

Ovime si dobio poziciju znaka < u <title>.

Sledeći korak je da se pomeriš u napred na poziciju gde počinje tekst koji ti želiš:

nPos2 = nPos1 + 7

Na kraju uklanjamo višak teksta sa kraja linije. Ranije je to bilo:

sLine = Replace(sLine, """/>", "") da bi uklonio "/> a sada će biti:

sLine = Replace(sLine, "</title>", "")


+ Kompletna proceduraSub GetAndWrite(sFilePath)


If FileIsUnicode(sFilePath) Then
Set oHtml = objfso.OpenTextFile(sFilePath, 1, False, -1)
Else
Set oHtml = objfso.OpenTextFile(sFilePath, 1, False, 0)
End If
sAll = sAll & sFilePath & " - "
bFound = False

If Not oHtml.AtEndOfStream Then

Do While (Not oHtml.AtEndOfStream) And (Not bFound)

sLine = oHtml.ReadLine
nPos1 = InStr(1, sLine, "<title>", vbTextCompare)
If nPos1 > 0 Then
nPos2 = nPos1 + 7
sLine = Mid(sLine, nPos2)
sLine = Replace(sLine, "</title>", "")
sAll = sAll & sLine
bFound = True
End If
Loop

End If
oHtml.Close
Set oHtml = Nothing

sAll = sAll & vbCrLf
End Sub






Naravno, alternativa je da se ovo odradi na ispravan način i da ne moraš da menjaš skriptu svaki put:

+ Kompletan kodSet objFSO = CreateObject("Scripting.FileSystemObject") If WScript.Arguments.length = 0 Then   MsgBox "Drag and drop a folder with html files"   WScript.Quit End If objStartFolder = WScript.Arguments(0) sLineID = InputBox("Uneti string za identifikaciju linije. Npr:" & vbCrLf & vbCrLf & "name=""description"" content=""" & vbCrLf & vbCrLf & "name=""author"" content=""" & vbCrLf & vbCrLf & "<title>",, "name=""description"" content=""") nOffset = Len(sLineID) sLineEnd = InputBox("Uneti string za ukloniti sa kraja linije. Npr:" & vbCrLf & vbCrLf & """/>" & vbCrLf & vbCrLf & "</title>",, """/>") On Error Resume Next Sub ShowSubFolders(Folder)    For Each Subfolder In Folder.SubFolders       Set objFolder = objFSO.GetFolder(Subfolder.Path)       Set colFiles = objFolder.Files       For Each objFile In colFiles          If LCase(objfso.GetExtensionName(objFile.Path)) = "html" Then GetAndWrite objFile.Path       Next       ShowSubFolders Subfolder    Next End Sub Function FileIsUnicode(File_Name_To_Test)    On Error Resume Next        FileIsUnicode = False    Set TestFile = FSO.OpenTextFile(File_Name_To_Test)    If Err <> 0 Then       On Error Goto 0       Exit Function    End If    char1 = TestFile.Read(1)    char2 = TestFile.Read(1)    TestFile.Close    If Asc(char1) = 255 And Asc(char2) = 254 Then FileIsUnicode = True        On Error Goto 0     End Function Sub GetAndWrite(sFilePath)            If FileIsUnicode(sFilePath) Then       Set oHtml = objfso.OpenTextFile(sFilePath, 1, False, -1)    Else       Set oHtml = objfso.OpenTextFile(sFilePath, 1, False, 0)    End If    sAll = sAll & sFilePath & " - "    bFound = False        If Not oHtml.AtEndOfStream Then              Do While (Not oHtml.AtEndOfStream) And (Not bFound)                    sLine = oHtml.ReadLine          nPos1 = InStr(1, sLine, sLineID, vbTextCompare)          If nPos1 > 0 Then             nPos2 = nPos1 + nOffset             sLine = Mid(sLine, nPos2)             sLine = Replace(sLine, sLineEnd, "")             sAll = sAll & sLine             bFound = True          End If       Loop           End If    oHtml.Close    Set oHtml = Nothing        sAll = sAll & vbCrLf End Sub sAll = vbCrLf & vbCrLf & "Folder: " & WScript.Arguments(0) & vbCrLf & vbCrLf & vbCrLf Set objFolder = objFSO.GetFolder(objStartFolder) Set colFiles = objFolder.Files For Each objFile In colFiles    If LCase(objfso.GetExtensionName(objFile.Path)) = "html" Then GetAndWrite objFile.Path Next ShowSubfolders objFSO.GetFolder(objStartFolder) Set oDescFile = objfso.OpenTextFile(objfso.GetParentFolderName(WScript.ScriptFullName) & "\Descriptions from html.txt", 8, True, -1) oDescFile.Write(sAll) oDescFile.Close MsgBox "Done!"


Ovime bi trebalo da možeš izvući bilo koju liniju... I da, jasno mi je da sam ovo mogao odmah da uradim umesto da mudrujem bez potrebe.

• 3Ovo se svidja korisnicima: dr_Bora, Ričard, E.L.I.T.E.
  
  Registruj se da bi pohvalio/la poruku!

dr_Bora ::I da, jasno mi je da sam ovo mogao odmah da uradim umesto da mudrujem bez potrebe.Da bi čovjek riječi rekao. Svaka čast dr_Bora. Radi odlično. Uštedio si mi vremena. Ostalo ću ja kroz Excel posložiti.
I hvala još jednom tebi i dečkima na javljanju i pomoći.
pozdrav