Wget-εντολή: παραδείγματα. Πρόγραμμα Console για τη λήψη αρχείων στο δίκτυο Wget

Φαίνεται ότι σε έναν κόσμο όπου το ήμισυ του παγκόσμιου πληθυσμού χρησιμοποιεί ενεργά υπολογιστές και εξοικειωμένοι με το μοντέρνο γραφικό περιβάλλον και πλούσιες δυνατότητες όπως, δεν υπάρχει χώρος για εφαρμογές κειμένου. Περίπου 20 χρόνια πριν, το περιβάλλον εργασίας του υπολογιστή ήταν μια φοβερή μαύρο πίνακα, το οποίο εμφανίζει τίποτα, αλλά μια σειρά από λευκούς χαρακτήρες, και όλοι οι έλεγχοι που διενεργούνται σε βάρος των εντολών κειμένου. Παραδόξως, ο βαθμός στον οποίο τα προγράμματα αυτά είναι άσχημα, έτσι ώστε να είναι λειτουργική και αξιόπιστη.

Τι είναι το Wget;

Wget (που αναφέρεται επίσης ως GNU Wget Linux) είναι μια κονσόλα, όχι μια διαδραστική εφαρμογή για την εργασία με αρχεία και ιστοσελίδες. Στην πραγματικότητα, είναι ένα εργαλείο για τη μεταφόρτωση αρχείων από το Διαδίκτυο, όπου η έλλειψη ενός γραφικού περιβάλλοντος και μια σειρά από δυνατότητες για τη διαχείριση, άτυπα για τις πιο προηγμένες λύσεις.

Το πρόγραμμα αναπτύχθηκε από την ομάδα από την Κροατία Hrvozhi Νίκσιτς, και τώρα υποστηρίζει την ανάπτυξη του Giuseppe Skrivano και της κοινότητας του Linux. Το πρώτο συγκρότημα του βοηθητικού προγράμματος (στη συνέχεια ονομάζονται getURL) εισήχθη τον Ιανουάριο του 1996. Το πρόγραμμα γραμμένο σε C και δημοσιεύονται σύμφωνα με το λογισμικό με άδεια GNU. Αρχικά το εργαλείο κυκλοφόρησε στην πλατφόρμα του Linux. Με τον καιρό, το εργαλείο έχει μεταφραστεί σε πολλές γλώσσες και μεταφερθεί σε όλες τις δημοφιλείς πλατφόρμες, συμπεριλαμβανομένων των Wget για τα Windows 7 (ή νεότερο), Wget για MacOS, και ούτω καθεξής.

Το πρόγραμμα αυτό - δεν διαδραστικό, πράγμα που σημαίνει ότι κάθε διεργασία που εκτελείται στο μέτρο των δυνατοτήτων της, δεν μπορεί να ελεγχθεί, μπορεί να ελεγχθεί με τη στροφή των ελέγχων του λειτουργικού συστήματος.

Παρά το γεγονός ότι τα σύγχρονα προγράμματα περιήγησης έχουν συνήθως ένα ενσωματωμένο πρόγραμμα διαχείρισης λήψης, εξακολουθούν να έχουν σχεδιαστεί για διαδραστική επικοινωνία, ως εκ τούτου, η εργασία σε χειροκίνητη λειτουργία γίνεται δύσκολη. Wget, αντιθέτως, επιτρέπει την αυτοματοποίηση μια σειρά από διαδικασίες. Για παράδειγμα, είναι δυνατόν να προετοιμάσει εκ των προτέρων ένα έγγραφο κειμένου με μια λίστα των ιστοσελίδων, με την οποία μπορείτε να προσθέσετε πολλά αρχεία και σελίδες.

κύρια χαρακτηριστικά

Ωστόσο, στην πρώτη θέση είναι ένα πρόγραμμα για τη λήψη αρχείων, πράγμα που σημαίνει απόδειξη της κύριας δραστηριότητάς της.

Wget να κατεβάσετε οποιοδήποτε υλικό από το Διαδίκτυο, είτε πρόκειται για έγγραφα, εκτελέσιμα, ή ολόκληρες ιστοσελίδες σε μορφή HTML (διαφορετικά πρωτόκολλα). Τα αρχεία μπορούν να μεταφορτωθούν από τον κατάλογο στο FTP.

Ο πελάτης μπορεί να εκτελέσει αναδρομική λήψεις, αυτόματα παρακάτω συνδέσμους μέσα σε ένα συγκεκριμένο δικτυακό τόπο (ή πολλές ιστοσελίδες), ενώ παράλληλα αποκαθιστά την αρχική δομή των ιστοσελίδων. Μπορείτε να δείτε τις κατεβάσει ιστοσελίδες που δεν έχουν πρόσβαση στο δίκτυο (η προεπιλογή είναι τοποθετημένο σε μια διεύθυνση για online προβολή).

Wget αρχικά προσαρμοσμένο για αργή ή ασταθή τύπους σύνδεσης, γι 'αυτό είναι ένα σημαντικό χαρακτηριστικό είναι η δυνατότητα να ανακτήσει μεταφόρτωσης που διακόπηκε ένα αρχείο (αυτό είναι δυνατό, εάν ο διακομιστής υποστηρίζει RANGE headers). Wget μπορεί επίσης να παρακολουθεί την κατάσταση της εξυπηρετητών (προσβασιμότητα) για επαναφόρτωση και ενημέρωση (wget έλεγχο κεφαλίδες αρχείου και υποστηρίζει την πιο πρόσφατη έκδοση) αρχεία και ιστοσελίδες.

Το πρόγραμμα έχει επίσης μια σειρά από χαρακτηριστικά που είναι χαρακτηριστική για τις λεγόμενες επιχειρήσεις κοινής ωφέλειας αράχνες που διερευνούν τις διάφορες ιστοσελίδες και servers για την παρουσία ορισμένων αρχείων τους.

Υποστηριζόμενες πλατφόρμες

Wget Linux έχει γίνει μια βάση για το προϊόν. Όπως προαναφέρθηκε, η χρησιμότητα αρχικά εργάστηκε μόνο για Linux, αλλά γρήγορα κέρδισε τη δημοτικότητα και έχει προσαρμοστεί σε άλλα συστήματα. Για παράδειγμα, μπορείτε να βρείτε την έκδοση του Wget για τα Windows 7 και νεότερα λειτουργικά συστήματα, και έχει χτίσει ένα γραφικό περιβάλλον. Όσο για το Linux, μπορείτε να προγραμματίσετε υπάρχει συχνά ραμμένο στη διανομή. Τερματικά με κάποιο Linux βασίζεται εγγενώς υποστηρίζει Wget-ομάδα. Ubuntu, Fedora, openSUSE και άλλες διανομές των καταναλωτών συνεργαστεί με το πρόγραμμα, όπως λένε, έξω από το κουτί. Στη συνέχεια, κοιτάξτε το πρόγραμμα με περισσότερες λεπτομέρειες.

Wget-εντολή: μια λίστα των βασικών παραμέτρων

Η βασική λίστα εντολών περιλαμβάνουν:

• -V - σας επιτρέπει να ελέγξετε την έκδοση του λογισμικού που χρησιμοποιείται σήμερα?
• -h - δείχνει την πιο ολοκληρωμένη λίστα των εντολών για την εργασία με την εφαρμογή?
• -b - σας επιτρέπει να μεταφράσει το πρόγραμμα στο παρασκήνιο?

Ο κατάλογος των επιλογών μηνυμάτων

Wget-εντολή επιτρέπει τον πλήρη έλεγχο του εμφανίζονται πληροφορίες. Εδώ είναι η λίστα:

• -o αρχείο καταγραφής - δημιουργεί ένα αρχείο περιοδικό που καταγράφει όλη τη διαδικασία της αίτησης?
• -ένα αρχείο καταγραφής - σας δίνει τη δυνατότητα να συμπληρώσει το υπάρχον αρχείο καταγραφής αντί να δημιουργήσει ένα νέο?
• -Δ - εμφανίζει τις απαραίτητες πληροφορίες για τους προγραμματιστές και εντοπισμού σφαλμάτων (βοηθά στην επίλυση προβλημάτων και να διορθώσει τα λάθη στη δουλειά του πελάτη)?
• -q - απενεργοποιεί την εμφάνιση των μηνυμάτων?
• -v - Αυτή η επιλογή είναι ενεργοποιημένη από προεπιλογή, παρέχει μια λεπτομερή έκθεση σχετικά με όλες τις διαδικασίες που λαμβάνουν χώρα στο πρόγραμμα (σε πραγματικό χρόνο)?
• -nv - μειώνει σημαντικά τις πληροφορίες που λαμβάνει από τον χρήστη σε μηνύματα. Είναι μόνο τα πιο σχετικά δεδομένα και ειδοποίηση σφάλματος?
• -i αρχείο (με τη διαδρομή προς το αρχείο) - η εντολή σας επιτρέπει να σαρώσετε το αρχείο, απομόνωση από έναν σύνδεσμο σε αυτό και την εκκίνηση? Μπορείτε να χρησιμοποιήσετε τα αρχεία από διαφορετικές μορφές, συμπεριλαμβανομένων των HTML, αλλά αν χρησιμοποιείτε αυτή την εντολή, δεν είναι απαραίτητο να καθορίσετε τη διαδρομή προς το αρχείο στη γραμμή εντολών?
• -f - προκαλώντας πρόγραμμα για την ανάγνωση ενός αρχείου σε μορφή HTML? όταν χρησιμοποιείτε αυτή την εντολή για να συνεργαστεί με έναν τοπικό έγγραφο HTML, ενδέχεται να παρουσιαστεί ένα σφάλμα, για να το αποφύγει, αρκεί να αναφέρει στο έγγραφο <βάσης href = http: // ιστοσελίδα / άρθρο / 279125 /% E2% 80% 9Durl% E2% 80% 9D% 3Ε.% 3C / li>

Λίστα των επιλογών εκκίνησης

Βασικές εντολές για τη λήψη αρχείων που χρησιμοποιούν Wget. Εδώ είναι βασικό σύνολο τους:

• --bind-address = ΔΙΕΥΘΥΝΣΗ - Η εντολή αυτή σας επιτρέπει να μεταφέρετε ΔΙΕΥΘΥΝΣΗ δεδομένων δεσμεύει τον τοπικό υπολογιστή. Όταν χρησιμοποιείτε TCP / IP εντολή σύνδεση οφείλει να προσδιορίζει με ακρίβεια IP-διεύθυνση (εάν είναι αρκετά).
• -t αριθμό (πρέπει να καθορίσετε τον αριθμό) - επιτρέπει στο χρήστη να επιλέξει τον αριθμό των επαναλήψεων φόρτισης. Για να αποφευχθεί η επανάληψη θα πρέπει να προσδιορίζει την αξία του αριθμού μηδέν.
• -NC - Η εντολή αυτή σας επιτρέπει να επαναφέρετε την προηγούμενη κατάσταση του απεσταλμένου αρχείου, σε περίπτωση που υπάρχει μια αποτυχία στο δίκτυο, και να κατεβάσετε παίρνει διακοπεί. Εάν δεν θέλετε να χρησιμοποιήσετε μια από τις εντολές για την επανατοποθέτηση (Ν, -NC, -r), Wget θα δημιουργήσει ένα αντίγραφο και να αρχίσει ξανά τη λήψη. -r επιλογή σας επιτρέπει να αντικαταστήσετε τα υπάρχοντα αρχεία.
• γ - διευκολύνει επίσης την επαναφόρτωση αρχείου σε περίπτωση απώλειας της ένωσης (και όπου Wget σταμάτησε ανεξάρτητες προσπάθειες επανασύνδεσης). Αρκεί να συνδέσετε με το αρχείο για να καθορίσετε την εντολή. Αν χρησιμοποιείτε το ίδιο κατάλογο υπάρχει αρχείο Wget θα πραγματοποιήσει την αναγνώριση και αυτόματα αποφασίζει για επαναφόρτωση της. Εντολή μπορεί να χρησιμοποιηθεί μόνο σε διακομιστές όπου υπάρχει κεφαλίδα υποστήριξη RANGE.

• --progress - σας επιτρέπει να επιλέξετε τον τύπο της οθόνης λήψη προόδου. Μπορείτε να καθορίσετε Πρόοδος = μπαρ ή προόδου = τελεία.
• --spider - αντικαθιστά την εντολή αρχείο λήψης για να επαληθεύσετε την παρουσία της στον server?
• -w (σε δευτερόλεπτα) - καθορίζει το χρονικό διάστημα μεταξύ των λήψεων.
• -q (αναφέρεται στον αριθμό των kilobytes ή ΜΒ) - σας επιτρέπει να ρυθμίσετε με ακρίβεια το μέγεθος των δεδομένων σας και να περιορίσει την υπερβολική όγκους. Παρ 'όλα αυτά, αξίζει να σημειωθεί ότι ένα ενιαίο αρχείο θα κατέβει ανεξάρτητα από εκτίθεται ποσόστωσης (δηλαδή με ένα ενιαίο αρχείο, αυτή η επιλογή δεν θα λειτουργήσει, κάποιοι δεν ήταν βαριά).

Λίστα των παραμέτρων HTTP

• --http χρήστη = και --http-passwd = - σας επιτρέπει να καθορίσετε το όνομα χρήστη και τον κωδικό πρόσβασης για τον έλεγχο ταυτότητας στο διακομιστή Web από την οποία θα πρέπει να εκφορτώνονται τα αρχεία.
• -C = on / off - σας επιτρέπει να ενεργοποιήσετε ή να απενεργοποιήσετε την προσωρινή αποθήκευση των δεδομένων στην πλευρά του διακομιστή.
• --cookies = on / off - το ίδιο και για τη μνήμη cache, μόνο τα cookies. Σας επιτρέπει είτε να σταματήσει ή να συνεχίσετε την ανταλλαγή των δεδομένων cookie απαιτούνται για την άσκηση επισκέψεις στα στατιστικά του server. Από προεπιλογή, αυτή η επιλογή είναι ενεργοποιημένη, αλλά οι μπισκότο-αρχεία δεν αποθηκεύονται στο σκληρό δίσκο.
• --save-cookies - σας επιτρέπει να δημιουργήσετε ένα αρχείο cookie (τελευταία στοιχεία).
• --proxy χρήστη και -proxy-passwd - σας επιτρέπει να καθορίσετε το όνομα χρήστη και τον κωδικό πρόσβασης για τον έλεγχο ταυτότητας στο διακομιστή μεσολάβησης (εάν χρησιμοποιείται).

Λίστα των ρυθμίσεων FTP

Προχωρημένες επιλογές για την εργασία με Wget. FTP εντολές:

• ΝΚ - Μην αφαιρείτε τα προσωρινά αρχεία από τον .listing κατάλογο που δημιουργούνται αυθόρμητα κατά την εργασία με FTP?
• -G on / off - σας επιτρέπει να χρησιμοποιείτε ειδικούς χαρακτήρες σε καταλόγους βοηθητικό πρόγραμμα FTP?
• --passive-ftp - αυτή η εντολή μπορεί να χρησιμοποιηθεί στην Firewall'a παρουσία για να ενεργοποιήσετε τη λειτουργία παθητικό FTP (όπου ο ίδιος ο χρήστης είναι υπεύθυνος για τη σύνδεση με το διακομιστή).

Wget-Team: Βέλτιστες Πρακτικές

Η απλούστερη και πιο μπανάλ παράδειγμα να συνεργαστεί με το πρόγραμμα είναι, φυσικά, το κατέβασμα αρχείων. Για την δοκιμή του Wget-εντολή, μπορείτε να ξεκινήσετε με μια απλή σύνδεση με ένα αρχείο στο δίκτυο και να εισάγετε την κονσόλα / τερματικό: Wget * σύνδεσμο που δείχνει την ακριβή και πλήρη διαδρομή για το αρχείο *.

Για να συνεχίσετε τη λήψη του αρχείου, χρήση: Wget-C * σύνδεσμο που δείχνει την ακριβή και πλήρη διαδρομή για το αρχείο *.

Αν υπάρχει προγραμματισμένη λίστα με συνδέσμους σε αρχεία και έγγραφα, μπορείτε να χρησιμοποιήσετε το Wget εντολών -i filelist.txt.

Όσο για το κατέβασμα των ιστοσελίδων, τα πάντα είναι λίγο πιο περίπλοκο, αλλά την ίδια στιγμή και τον αριθμό των δυνατοτήτων αυξάνει σημαντικά. Δεν είναι να εισαγάγει νέες παραμέτρους κάθε φορά που υπήρχε ανάγκη για να κατεβάσετε μια ιστοσελίδα, μπορείτε να δημιουργήσετε σενάρια ή να εγγραφείτε όλες τις ρυθμίσεις .wgetrc αρχείο.

Αποθηκεύστε την ιστοσελίδα ως σημείο αναφοράς (θα είναι δύσκολο να τους ανοίξει στον τοπικό υπολογιστή), μπορείτε να χρησιμοποιήσετε Wget -Μ εντολές * σύνδεσμο που δείχνει την ακριβή και πλήρη διαδρομή για το αρχείο *.

Σε αυτό ίδια σελίδα διατέθηκε για προβολή χωρίς σύνδεση στο Internet, μπορείτε να χρησιμοποιήσετε το Wget -r -10 -k * σύνδεσμο που δείχνει την ακριβή και πλήρη διαδρομή για το αρχείο *.

Σφάλμα μορφή εντολών Wget δεν μπορεί να βρεθεί να σημαίνει οποιοδήποτε τυπογραφικό λάθος και μια λανθασμένη ρύθμιση.