Le Site de TuxLibre

Linux of course ! LinuxMint - Ubuntu - Photographie - Astuces Linux - Vidéos - Musiques

#Les commandes Terminal : Aspirer un site avec wget

Publié le 3 Novembre 2021 par TUXLIBRE in LE TERMINAL

#Les commandes Terminal : Aspirer un site avec wget

Je met cet en-tête d'article en rouge pour bien vous signifier que ce qui suit doit être utilisé avec prudence et les autorisations nécessaires pour effectuer en toute légalité cette opération. La commande que je vous présente ci dessous permet en effet dans la plus part des cas d'aspirer la totalité d'un site internet  (structure et données). Chacun peut comprendre donc que cette opération n'est pas tout à fait légale à partir du moment ou vous l'effectuez sur un site qui ne vous appartient pas. Il faut aussi savoir que les protections mises en place par les administrateurs bloquent très souvent cette commande totalement ou partiellement.

 

wget -r -k -np --user-agent=Firefox url-du-site

 

Explication des options dans la commande :

  • -r signifie que le téléchargement sera récursif, télécharge des liens de la page.
  • -k permet de reconstituer le site localement, les liens sont modifié pour pointer localement.
  • -np empêche de remonter dans le répertoire parent.
  • --user-agent= pour faire passer Wget pour un Firefox. (c'est pas bien !)

Vous avez aussi pour les sites qui demandent une authentification :

  • --http-user
  • --http-password

Un autre utilitaire sait faire encore mieux : httrack

#Les commandes Terminal : Aspirer un site avec wget
Commenter cet article