Sortiranje fajla

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Naime, potrebno je da nadjem unique redove u jednom fajlu, koji ima 30 000 000 redova. Iz samog razloga sto sav sadrzaj ne moze da stane u memoriju, citaj niz, moram prvo izvrsiti sortiranje redova u drugi fajl. Kako najbrze?

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

probaj ovo, ja nisam probao jer nemam sa cim, ali na php.net kazu da radi sa velikim fajlovima:

php.net - function fgets ::When working with VERY large files, php tends to fall over sideways and die.

Here is a neat way to pull chunks out of a file very fast and won't stop in mid line, but rater at end of last known line. It pulled a 30+ million line 900meg file through in ~ 24 seconds.

NOTE:
$buf just hold current chunk of data to work with. If you try "$buf .=" (note 'dot' in from of '=') to append $buff, script will come to grinding crawl around 100megs of data, so work with current data then move on!

<?php //File to be opened $file = "huge.file"; //Open file (DON'T USE a+ pointer will be wrong!) $fp = fopen($file, 'r'); //Read 16meg chunks $read = 16777216; //\n Marker $part = 0; while(!feof($fp)) {    $rbuf = fread($fp, $read);    for($i=$read;$i > 0 || $n == chr(10);$i--) {        $n=substr($rbuf, $i, 1);        if($n == chr(10))break;        //If we are at the end of the file, just grab the rest and stop loop        elseif(feof($fp)) {            $i = $read;            $buf = substr($rbuf, 0, $i+1);            break;        }    }    //This is the buffer we want to do stuff with, maybe thow to a function?    $buf = substr($rbuf, 0, $i+1);    //Point marker back to last \n point    $part = ftell($fp)-($read-($i+1));    fseek($fp, $part); } fclose($fp); ?>

Nadam se da ovo moze da ti pomogne

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Sumnjam, ali u svakom slucaju hvala

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

jedino da ubacis sve u sql tabelu, cija ce kolona koja sadrzi vrednosti biti index kolona...
sql ce to indexirati, pa onda radi order i select...where po volji...

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

@peca

to mi izgleda kao jedino resenje. sve ostalo ti je zeznuto i 'komplikovano'

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Linux ima program sort, koji pozivam da sortiram fajl, na nivou linije, a poslije toga je jednostavno iz fajla izvuci unique. Tako da sam na taj nacin to sredio