HOWTO: pravljenje lista za preuzimanje sadrzaja putem wget-a

HOWTO: pravljenje lista za preuzimanje sadrzaja putem wget-a

offline
  • Pridružio: 20 Feb 2005
  • Poruke: 4505
  • Gde živiš: planeta Zemlja

Wget program nam omogucava da skidamo sadrzaj sa interneta i jos mnogo toga. Danas cete saznati kako da skinete sadrzaj sa interneta pomocu programa wget citajuci fajl koji sadrzi sve vase linkove za preuzimanje. Sta to znaci? To znaci da cete dobiti skriptu i da nju mozete koristiti da skidate fajlove sa interneta koje ste definisali u samo jednom fajlu. Pravljenje lista za preuzimanje nikada nije bilo lakse Smile


Sta vam treba
Neophodni su vam sledeci programi da bi mogli da koristite skriptu koja sluzi za preuzimanje sadrzaja koji je definisan u listi:
- sed
- head
- wget
- find

Head je deo "gnu core utils" paketa i on stize uz sve distribucije dok su sed i wget programi koji nisu sastavni deo svake distribucije. Proverite da li imate ove programe pre nego sto nastavimo.



Skripta
Pre svega cu da naglasim da ova skripta postoji na internetu medjutim onda nije optimizovana za brze izmene stoga sam je malo preuredio i dodao opcije za menjanje direktorijuma u kojem se nalaze preuzeti dokumenti.

Evo skripte:
#!/usr/bin/env bash
# wget-list: manage the list of downloaded files

DL_LIST="$HOME/wget-list.txt"
DESTINATION_DIR="$HOME"

while [ "`find $DL_LIST -size +0`" ]
 do
  DL_URL="`head -n1 $DL_LIST`"
  wget -P $DESTINATION_DIR -c $DL_URL
  sed -si 1d "$DL_LIST"
 done


Sacuvajte skrptu u fajl bilo kog imena i dozvolite pokretanje iste sa sledecom komandom:
chmod 755 putanja_do_skripte
gde je "putanja_do_skripte" putanja do vase skripte.
Primer putanje: "~/wget-list.sh" ili "/usr/bin/fdm"

DL_LIST sadrzi fajl koji ce sadrzati listu vaseg sadrzaja za preuzimanje. Primer: "~/wget-lista.txt" ili "~/.wget_list"
DESTINATION_DIR sadrzi putanju do vaseg direktorijuma u kome cuvate sve sto ste preuzeli pomocu ove skripte! Primer ove putanje: "~/korisnik/dl" ili "~/"

!! Napomena: AKo zelite da koristite vas "~/" direktorijum onda je najbolje da upisete "$HOME" buduci da je to isto sto i "~/"!

Fajl koji sadrzi listu sadrzaja za preuzimanje moze sadrzati samo jedan url po liniji! Primer ispravnog fajla koji sadrzi url-ove za preuzimanje sadrzaja:
http://www.mojsajt.net/nesto/marica_i_ivica.avi
http://www.mojsajt.net/nesto/marica_i_ivica.mpeg
http://www.mojsajt.net/nesto/NOVA GODINA.mp3


Obratite paznju na to da se "%20" koristi kao zamena za razmake u url adresama! Dakle "http://www.mojsajt.net/nesto/novogodisnje razvaljivanje.mp3" ce postati "http://www.mojsajt.net/nesto/novogodisnje%20razvaljivanje.mp3".


Ostalo
Skripta je napravljena tako da nastavi preuzimanje sadrzaja tamo gde ste poslednji put stali! To je omoguceno opcijom "-c" koja se prosledjuje wget programu.

Prekidanje preuzimanja se vrsi pritiskanjem "CTRL" + "C" tastera na tastaturi.


Toliko od mene za danas Smile



Registruj se da bi učestvovao u diskusiji. Registrovanim korisnicima se NE prikazuju reklame unutar poruka.
offline
  • Pridružio: 02 Sep 2008
  • Poruke: 4092
  • Gde živiš: Bg

Odlično, ako radi.

Interesuje me samo da li skripta radi lepo i ako je 'multiple download' u pitanju? Ne baguje nešto? Pošto sam ja nalazio na netu nekad ranije par rešenja i pokušavao da napravim ovako nešto, međutim Gwget mi se zaglupi i zabaguje ako postoji više download fajlova...



offline
  • Pridružio: 20 Feb 2005
  • Poruke: 4505
  • Gde živiš: planeta Zemlja

@klodovik
Radi (upravo je koristim)! Vidis skripta ce da radi ako je pokrenes jednom ili 15x. wget radi kada ga pokrenes vise puta (probao sam i mogu da tvrdim ovo).
Usko grlo ti je net i konekcija pa ako imas sporoji net onda ce to da bude vrlo sporo Neutral

Uostalom probaj Wink. Nista te ne kosta.

offline
  • Pridružio: 02 Sep 2008
  • Poruke: 4092
  • Gde živiš: Bg

Upravo sam probao. Radi super, zahvaljujem na 'šeru', ovo mi odavno treba.

Inače veza mi je ok, na SBB - u sam, 4 MBps. Wink

Ko je trenutno na forumu
 

Ukupno su 734 korisnika na forumu :: 19 registrovanih, 4 sakrivenih i 711 gosta   ::   [ Administrator ] [ Supermoderator ] [ Moderator ] :: Detaljnije

Najviše korisnika na forumu ikad bilo je 3466 - dana 01 Jun 2021 17:07

Korisnici koji su trenutno na forumu:
Korisnici trenutno na forumu: A.R.Chafee.Jr., babaroga, Bane san, Chainsaw, cole77, dragon986, gorozup, goxin, ikan, ivan979, ivica976, JOntra, kovinacc, lekso, Lošmi, MikeHammer, nenad81, vathra, Yellow Pinky