Erstellen Sie einen Download-Scheduler mit wenig Programmierkenntnissen

Wir alle lieben es, Dinge aus dem Internet herunterzuladen, und es gibt eine Menge großartiger Download-Manager-Tools, mit denen wir unsere Downloads planen können. Es ist vielleicht einfacher, einen Download-Manager zu verwenden, aber es macht nichts aus, die bereits in Ubuntu enthaltenen Tools zu erkunden und vollständig zu nutzen.

In diesem Artikel zeigen wir Ihnen eine in Ubuntu integrierte Software, mit der Sie Daten aus dem Internet herunterladen können wget. Darüber hinaus zeigen wir Ihnen, wie Sie den Download mit Cron planen.

Herunterladen mit Wget

Wget ist ein kostenloses Softwarepaket zum Abrufen von Dateien mit HTTP, HTTPS und FTP, den am häufigsten verwendeten Internetprotokollen. Es ist ein nicht interaktives Befehlszeilentool und kann daher leicht von Skripten, Cron-Jobs, Terminals ohne X-Windows-Unterstützung usw. aufgerufen werden.

Öffnen Sie Ihr Terminal und lassen Sie uns untersuchen, wie wir mit wget Daten aus dem Internet herunterladen können. Die grundlegende Syntax für das Herunterladen mit wget lautet wie folgt:

wget [Option]… [URL]…

Dieser Befehl lädt das Wget-Handbuch auf Ihr lokales Laufwerk

wget http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu wird mit einem Cron-Daemon geliefert, mit dem Aufgaben zu einem bestimmten Zeitpunkt ausgeführt werden. Mit Crontab können Sie Aktionen und Zeiten angeben, zu denen sie ausgeführt werden sollen. So planen Sie normalerweise eine Aufgabe mit dem Befehlszeilentool.

Öffnen Sie ein Terminalfenster und geben Sie crontab -e ein.

Jeder der Abschnitte in einer Crontab ist durch ein Leerzeichen getrennt, wobei der letzte Abschnitt ein oder mehrere Leerzeichen enthält. Ein Cron-Eintrag besteht aus Minute (0-59), Stunde (0-23, 0 = Mitternacht), Tag (1-31), Monat (1-12), Wochentag (0-6, 0 = Sonntag), Befehl. Der dritte Eintrag in der obigen Crontab lädt um 2 Uhr morgens wget.pdf herunter. Der erste Eintrag (0) und der zweite Eintrag (2) bedeuten 2:00. Der dritte bis fünfte Eintrag (*) steht für jede Tageszeit, jeden Monat oder jede Woche. Der letzte Eintrag ist der Befehl wget, um die Datei wget.pdf von der angegebenen URL herunterzuladen.

Das ist die Basis von wget und wie Cron funktioniert. Lassen Sie uns ein realistisches Beispiel dafür finden, wie Sie einen Download planen.

Download planen

Wir werden Firefox 3.6 um 2 Uhr morgens herunterladen. Da unser ISP nur eine begrenzte Datenmenge liefert, müssen wir den Download um 8 Uhr morgens abbrechen. So sieht das Setup aus.

Ignorieren Sie die ersten beiden Einträge in der obigen Crontab. Der dritte und vierte Befehl sind die einzigen zwei Befehle, die Sie benötigen. Der dritte Befehl richtet eine Aufgabe ein, mit der Firefox um 2 Uhr morgens heruntergeladen wird:

[Code]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-DE
[/Code]

Die Optionen -c geben an, dass wget den vorhandenen Download fortsetzen soll, wenn er noch nicht abgeschlossen ist.

Der vierte Befehl stoppt um 8 Uhr morgens. 'Killall' ist ein Unix-Befehl, der Prozesse nach Namen abtötet.

[Code]
0 8 * * * killall wget
[/Code]

Der Killall-Befehl weist Ubuntu an, den Download der Datei um 8:00 Uhr zu stoppen.

Andere nützliche Wget-Befehle

1. Angeben des Verzeichnisses zum Herunterladen einer Datei

[Code]
wget -output-document = / home / zainul / Downloads / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/Code]

Mit der Option -output-document können Sie das Verzeichnis und den Namen der Datei angeben, die Sie herunterladen

2. Herunterladen einer Website

wget ist auch in der Lage, eine Website herunterzuladen.

[Code]
wget -m http://www.google.com/profiles/zainul.franciscus
[/Code]

Der obige Befehl lädt meine gesamte Google-Profil-Webseite herunter. Die Option '-m' weist wget an, ein Spiegelbild der angegebenen URL herunterzuladen.

Eine weitere wichtige Option ist, wget mitzuteilen, wie viele Links beim Herunterladen einer Website folgen sollen.

[Code]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/Code]

Der obige Befehl wget verwendet zwei Optionen. Die erste Option '-r' weist wget an, die angegebene Website rekursiv herunterzuladen. Die zweite Option '-l1' weist wget an, nur die erste Ebene der Links von dieser angegebenen Website abzurufen. Wir können bis zu drei Ebenen '-l2' und '-l3' einrichten..

3. Robotereintrag ignorieren

Der Webmaster verwaltet eine Textdatei mit dem Namen Robot.txt. 'Robot.txt' enthält eine Liste von URLs, die ein Crawler für Webseiten wie wget nicht crawlen soll. Wir können wget anweisen, die Option 'Robot.txt' mit der Option '-erobots = off' zu ignorieren. Der folgende Befehl weist wget an, die erste Seite meines Google-Profils herunterzuladen und die 'Robot.txt' zu ignorieren.

[Code]
wget -erobots = off http://www.google.com/profiles/zainul.franciscus
[/Code]

Eine weitere nützliche Option ist -U. Diese Option maskiert wget als Browser. Beachten Sie, dass das Maskieren einer Anwendung als andere Anwendung möglicherweise gegen den Begriff und den Dienst eines Web-Service-Providers verstößt.

[Code]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/Code]

Fazit

Wget ist ein sehr altes, aber dennoch gehackbares GNU-Softwarepaket, mit dem wir Dateien herunterladen können. Wget ist ein interaktives Befehlszeilentool, mit dem wir es im Hintergrund auf unserem Computer laufen lassen können, ohne eine Anwendung starten zu müssen. Schauen Sie sich die Wget-Manpage an

[Code]
$ man wget
[/Code]

um andere Optionen zu verstehen, die wir mit wget verwenden können.

Links

Wget-Handbuch
So kombinieren Sie zwei heruntergeladene Dateien, wenn wget auf halbem Weg fehlschlägt
Linux-QuickTip: Herunterladen und Trennen in einem Schritt