Catégorie : Informatique

Wget – Aspirer un site n’est pas un crime

Aspirer un site n’est pas un crime, ni un vol, tout dépend le but !

Avant de donner les lignes de commande, l’anecdote qui m’a poussé a utiliser wget pour aspirer un site.
Pour la petite histoire
Je m’intéresse à la généalogie et j’ai moi-même un site sur la généalogie de ma famille sous geneweb.
Il y a quelques années déjà j’ai découvert un site qui regroupe une branche de ma famille. Pour ce qui concerne la branche de ma famille rien de vraiment nouveau sauf quelques cousins très éloignés.
Par contre le travail effectué sur cet arbre généalogique est pharaonique.
Soit, le site est un cms dépassé et plus suivi depuis déjà plus de deux ans à l’époque. J’alerte donc le gestionnaire du site des risques, j’échange avec lui, une sympathie s’installe et surtout un gros respect de ma part. Je parcours même de milliers de kilomètres pour le rencontrer. Ce fût pour moi une rencontre mémorable.
Nous avons continuer d’échanger mais il est resté sur ce cms de généalogie complètement dépassé malgré mes avertissements.

Puis, un jour, et les jours suivants, plus de nouvelles, plus de réponses à mes mails… j’insiste de nombreux mois, rien, pas de signe de vie.
Inquiet, je décide d’aspirer son site pour que tout le travail qu’il a effectué ne soit pas perdu (je mets plus bas la ligne de commande utilisée).

Je me suis fait traité de tous les noms d’oiseaux

Pour tenter de faire mieux je vais sur un forum et demande si quelqu’un n’aurait pas connaissance d’un script permettant de créer un fichier Gedcom depuis le site aspiré… J’ai été traité de voleur, d’escroc et autres allégations désagréables. Ça m’a rappelé ma jeunesse, lorsque je trollais sur les forums, sauf que là, je ne trollais pas. Bon, après quelques explications, nombreux m’ont soutenu dans ma démarche, quelques rares obtus ont continué leurs réprobations, de plus en plus timidement pour finalement s’éteindre.

Bref ! Je n’ai pas de script pour créer un gedcom mais j’ai le travail d’une personne dans un coin de mon disque dur que je remettrai à un de ses descendants, du moins j’espère car il n’a de valeur que pour eux.

Passons à Wget et quelques commandes

Aspirer un site web

Le mieux est de contacter le gestionnaire du site pour lui demander si l’on peut vous envoyer les informations qui vous intéressent. L’intérêt de l’aspiration est d’avoir les infos du site Off-Line. Mais évitez d’en abuser, utilisez-le que lorsqu’il n’y a vraiment pas d’autres solution (ou pour télécharger des fichiers, c’est un autre usage et c’est aussi plus bas).
Certains serveurs sont protégés contre l’aspiration de site et il se peut que cela ne fonctionne pas.

Wget et aspirer un site

# wget -r -k -E -np --limit-rate=100k https://site-aspired.com

Cible est https://site-aspired.com.
Options :
-r pour parcourir tous les liens du sites.
-k conversion des liens en liens locaux.
-E conversion php vers HTML, facilite la lecture depuis votre navigateur.
-np pour ne pas remonter dans l’arborescence du site
–limit-rate=100k limite la vitesse de téléchargement à 100k/s

Toutes les lignes de commande ci-dessous m’ont été inspirées par le site de TecMint et plus particulièrement par le billet traitant wget

Utiliser wget pour télécharger des fichiers

Téléchargement d’un fichier

# wget http://ftp.gnu.org/gnu/wget/wget-1.19.5.tar.gz

La commande téléchargera le fichier dans un répertoire actuel. Il montre aussi le progrès de téléchargement, la taille, la date et heure.

Télécharger un fichier en le renommant

# wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.19.5.tar.gz

L’utilisation-O l’option (majuscule), télécharge le fichier en le renommant. Ici nous avons choisi le nom « wget.zip » comme exemple.

Téléchargez plusieurs fichiers avec les protocoles ftp et http

# wget http://ftp.gnu.org/gnu/wget/wget-1.19.5.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.19.5.tar.gz.sig

Ici nous voyons comment télécharger de multiples fichiers en utilisant les protocoles HTTP et FTP avec la commande de wget.
Téléchargez depuis plusieurs URLs d’un fichier
Vous pouvez stocker plusieurs URLs dans un fichier texte et les télécharger avec l’option -i. Ci-dessous nous avons créé tmp.txt dans le répertoire wget où nous mettons la série d’URL (1 par ligne).
Exemple :

nano /wget/tmp.txt

Ajoutez les lignes:

http://ftp.gnu.org/gnu/wget/wget-1.19.5.tar.gz
ftp://ftp.gnu.org/gnu/wget/wget-1.19.5.tar.gz.sig

Il suffit de lancer:

# wget -i /wget/tmp.txt

Reprenez un téléchargement inachevé

En cas de téléchargement de gros fichiers, il peut arriver que le téléchargement s’interrompre pour une raison quelconque. Avec l’option -c le téléchargement reprendra là où il s’est arrêté.
Sans cet option le téléchargement reprendra depuis le début et wget ajoutera « .1 » à la fin du nouveau fichier.
L’option -c est donc la bonne pratique.

# wget -c https://cdimage.debian.org/debian-cd/current/amd64/iso-dvd/debian-9.5.0-amd64-DVD-1.iso

Si « .1 » existe déjà il ajoutera « .2 », etc.

Télécharger en arrière-plan

Avec l’option -b, envoyez le téléchargement en arrière-plan immédiatement après le début du téléchargement, les journaux sont écrits dans le fichier /wget/log.txt.

# wget -b /wget/log.txt ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso
Continuing in background, pid 3550.

Limiter la vitesse de téléchargement
Avec Option –limit-rate = 100k, le téléchargement est limitée à 100k/s et les journaux sont créés sous /wget/log.txt, comme indiqué ci-dessous.

# wget -c --limit-rate=100k  /wget/log.txt https://cdimage.debian.org/debian-cd/current/amd64/iso-dvd/debian-9.5.0-amd64-DVD-1.iso

Téléchargent FTP ou HTTP avec identification
Avec des Options -http-user=username, -http-password=password et -ftp-user=username, -ftp-password=password, vous pouvez télécharger avec Login/mot_de_passe

# wget --http-user=narad --http-password=password http://mirrors.fantome.in/truc/machin-LiveDVD.iso
# wget --ftp-user=narad --ftp-password=password ftp://ftp.fantome.net.au/truc/machin-LiveDVD.iso

WGET – Version et aide

$ wget --version
$ wget --help
$ man wget

Script pour supprimer les doublons dans un fichier

Il s’agit d’un petit script, qui m’est bien utile, que j’avais pompé je ne sais où et que j’avais légèrement modifié à ma sauce.

Je vous le mets plus bas, à vous de le remodifier, améliorer à votre sauce.

echo -n "Entrez le chemin du fichier (ex. /home/user/.bash_history) : "
read fichier
doublons="$(cat $fichier | sort | uniq -d)"
if [ "$doublons" != "" ]; then
for line in $(seq 1 $(echo "$doublons" | wc -l)); do
texteAsuppr=$(echo "$doublons" | sed $line!d)
lignesAsuppr=$(grep -n "$texteAsuppr" $fichier | sed -e 1d -e 's/\([0-9]*\):.*/-e \1d/')
sed $lignesAsuppr -i $fichier
done
fi 
echo "TERMINÉ !"echo

N’oubliez pas de faire un petit « chmod +x » sur le fichier pour le rendre éxecutable.

Connexion lente, testez les résolveurs DNS – NameBench

Connexion lente, testez les résolveurs DNS – NameBench

Avant tout, la différence entre « Résolveur » (ou serveur récursif) et Serveur faisant autorité (serveur DNS) !
On parle souvent de serveur DNS à tort car il s’agit souvent et surtout dans le cas NameBench de serveurs récursifs.

Résolveur (ou serveur récursif) : serveur DNS qui ne connaît rien mais pose des questions aux serveurs faisant autorité et mémorise les réponses. Chez le FAI, ou sur le réseau local ou serveurs récursifs publics (Quad9, OpenDNS, Google, etc.).
Serveur faisant autorité : serveur DNS qui connaît le contenu d’un domaine. Exemple : les serveurs de l’AFNIC qui connaissent ce qu’il y a dans « .fr » et peuvent répondre. Ou les serveurs de gouvernement.fr chez Gandi et autres…

Pour approfondir vos connaissances sur le sujet allez sur le blog de Stéphane Bortzmeyer que je remercie.

Bon, revenons-en à nos moutons !…

Je suis parmi les utilisateurs les plus distants de mon FAI, ce qui a pour conséquence une connexion internet dont les utilisateurs de modems n’ont rien à m’envier.

Dans ce cas, plus qu’ailleurs, le temps de réponse d’un résolveur DNS a son importance.

Trouver le plus rapide, c’est ce que fait NameBench en testant la rapidité des serveurs récursifs, pour cela il va utiliser l’historique du navigateur et va parcourir les résolveurs DNS locaux et globaux (publics). Il vous signalera également les résolveurs DNS menteurs.
Il est dans les dépôts Debian, une fois installé il suffit le lancer par la commande

$ namebench

Vous avez l’interface ci-dessous, on peut voir que j’ai comme résolveur DNS 9.9.9.9 et 9.9.9.10 de Quad9

Capture d’écran de l’outil Namebench, un logiciel open source utilisé pour évaluer et comparer les performances des serveurs DNS, avec des options de configuration pour inclure des fournisseurs globaux ou régionaux, des vérifications de censure, et une analyse de la rapidité des requêtes DNS.
L’interface de Namebench, un outil conçu pour tester et classer les serveurs DNS en fonction de leur vitesse, de leur fiabilité et de leur capacité à contourner la censure.

Cliquez sur test ou running.
C’est parti ! Vous pouvez aller vous faire chauffer un thé, chercher le pain à la boulangerie cela va prendre un certain temps !

Sortie terminal de Namebench, affichant l’envoi de 250 requêtes à quatre serveurs DNS, avec des pourcentages de réussite, des erreurs de timeout (comme pour UltraDNS), et un rapport final indiquant que Google Public DNS-2 (8.8.4.4) est le serveur le plus performant.
Exemple de sortie de Namebench, un outil qui teste la réactivité de plusieurs serveurs DNS en envoyant des milliers de requêtes. Ici, Google Public DNS-2 (8.8.4.4) est identifié comme le plus efficace.

A la fin vous avez les résultats qui s’affiche sur votre navigateur.

Résultat d’un test Namebench indiquant le serveur le plus rapide
Analyse Namebench révélant que Google Public DNS-2 offre des performances supérieures de 38,4 %, avec une configuration optimale pour améliorer votre connexion internet.

J’ai fait le choix de refaire un test avec les résolveur  DNS 208.67.222.220 et 208.67.220.222 de OpenDNS.
Choix que j’ai gardé, même si celui de Google est un poil de cul plus rapide. J’ai plus confiance à OpenDNS qu’en Google.
S’en suit une série de screenshots.

Capture d’écran de Namebench, un outil pour tester et comparer les performances des serveurs DNS (comme Google Public DNS, OpenDNS, etc.).
nterface de Namebench permettant de configurer et de lancer des tests de performance sur différents serveurs DNS.
Résultat de Namebench
Recommandation NameBench
Tableau de résultats de Namebench comparant les performances de plusieurs serveurs DNS (temps de réponse moyen, temps minimum/maximum, erreurs de timeout, notes sur leur fiabilité).
Namebench affiche les résultats de test pour plusieurs serveurs DNS, avec des métriques comme le temps de réponse (Avg ms), les erreurs (TO, NX) et des notes sur leur fiabilité.
Graphiques Namebench illustrant les temps de réponse moyens et individuels des serveurs DNS (Google Public DNS-2, SYS-208.67.222.220, UltraDNS, DynGuide), ainsi que la distribution des réponses dans les 200 premières millisecondes.
Namebench présente les temps de réponse moyens et individuels des serveurs DNS, ainsi qu’une courbe de distribution pour évaluer leur réactivité globale.
Graphique illustrant la répartition des temps de réponse (en millisecondes) de quatre serveurs DNS : SYS-208.67.222.220, DynGuide, Google Public DNS-2 et UltraDNS.
Ce graphique montre la distribution des temps de réponse des serveurs DNS analysés. Les courbes représentent le pourcentage cumulé de réponses en fonction du temps de réponse (en ms).
Capture d'écran d'un fichier CSV nommé "namebench_2018-01-02_1814.csv" ouvert dans LibreOffice Calc, affichant des données de tests DNS.
Cette image montre un extrait du fichier CSV « namebench_2018-01-02_1814.csv » ouvert dans LibreOffice Calc. Le tableau contient des informations sur les tests DNS, incluant des colonnes comme l’adresse IP, le type de test, le type d’enregistrement, la durée, le TTL, le nombre de réponses et la réponse elle-même.

Schéma simplifié d’une requête DNS

Schéma illustrant le chiffrement des requêtes DNS via des connexions sécurisées entre des appareils (smartphone, tablette, ordinateur) et des serveurs DNS privés (dnsprivacy.org), protégeant les données contre l'interception.
Comment les connexions DNS chiffrées (DoH/DoT) protègent vos données contre les regards indiscrets, avec des appareils connectés à un serveur DNS sécurisé via dnsprivacy.org.

DNS et vie privée

Un peu de pub, je vous promets, je ne touche rien pour la pub!

Présentation de Stéphane Bortzmeyer chez Root66

Qui est Stéphane Bortzmeyer?…

Pour une présentation sur les DNS et la protection de la vie privée.

Cela fait longtemps qu’on parle des problèmes de protection de la vie privée liés à l’Internet et c’est à juste titre.
En effet, une des propriétés des réseaux numériques est de laisser beaucoup de traces, facilement stockables et analysables, à chaque opération.
La plupart du temps, les discussions sur ces problèmes se focalisent sur les gros services Web, qui savent beaucoup de choses sur leurs utilisateurs, et sur le protocole HTTP utilisé par le Web, et ses extensions comme les fameux «cookies».
(…)
Tout le reste sur Root66 DNS et vie privée

Comment installer VM VirtualBox sur Debian 9 (Stretch) ou autres distributions

VM VirtualBox est un logiciel libre et open source de virtualisation publié par Oracle. Bien entendu il est disponible pour GNU/Linux mais aussi pour Windows.

Par défaut, les packages de VM VirtualBox ne sont pas disponibles dans les dépôts de paquets de la Debian 9 (nom de code « Stretch« ).

Nous allons donc voir comment installer la dernière version de Oracle VM Virtualbox sur debian.

Allez déjà faire un tour du côté d’Oracle pour connaître quelle est la dernière version de VM Virtualbox. À ce stade, en cliquant sur l’onglet « Downloads » vous pouvez voir les différents « paquets ou sources » au téléchargement proposés aux diverses distributions et systèmes d’exploitations.

Mais si on souhaite avoir un suivi des mises-à-jour… Sous linux il nous suffit de configurer les dépôts, pour Debian c’est là… Voyons comment faire :
Rappel : $=User    #=Root

Étape 1 : Ajout du dépôt VM VirtualBox

Ouvrez le terminal et exécutez la commande suivante pour ajouter le dépôt.

# apt-add-repository 'deb http://download.virtualbox.org/virtualbox/debian stretch contrib'

Étape : 2 Ajouter une clé publique de VirtualBox

# curl -O https://www.virtualbox.org/download/oracle_vbox_2016.asc
# apt-key add oracle_vbox_2016.asc

Étape 3 : Installez VirtualBox avec la commande apt-get

# apt-get update
# apt-get install virtualbox

La version n’étant pas spécifiée vous aurez un message comme ci-dessous

Le paquet virtualbox est un paquet virtuel fourni par :
  virtualbox-5.2 5.2.2-119230~Debian~stretch
  virtualbox-5.1 5.1.30-118389~Debian~stretch
  virtualbox-5.0 5.0.40-115130~Debian~stretch
Vous devez explicitement sélectionner un paquet à installer.
E: Le paquet « virtualbox » n'a pas de version susceptible d'être installée

C’est le moment de choisir la dernière version…

# apt-get install virtualbox-5.2 5.2.2

Une fois l’installation terminée, essayez maintenant d’y accéder.

Accéder à VirtualBox

Interface de recherche du système d'exploitation affichant VirtualBox comme résultat pour "vm virtualbox".
Cette capture montre l’interface de recherche du système d’exploitation, où l’utilisateur a saisi « vm virtualbox ». L’icône de VirtualBox est visible dans les résultats, indiquant que l’application est installée et prête à être lancée.

Cliquez sur l’icône de la VM VirtualBox

Interface principale de VirtualBox affichant le gestionnaire de machines virtuelles avec un message de bienvenue et des instructions pour créer une nouvelle machine virtuelle.
Cette capture montre l’interface principale de VirtualBox, où aucun machine virtuelle n’a encore été créée. Un message de bienvenue guide l’utilisateur pour créer sa première machine virtuelle en utilisant le bouton « Nouvelle ».

Installer le pack d’extension VirtualBox

Il est recommandé d’installer le module d’extension après l’installation de la VirtualBox. Pour installer le pack d’extension VirtualBox 5.2, nous devons d’abord télécharger le fichier du pack d’extension en utilisant la commande wget suivante :

$ wget http://download.virtualbox.org/virtualbox/5.2.2/Oracle_VM_VirtualBox_Extension_Pack-5.2.2-119230.vbox-extpack

Pour être certain de bien charger la bonne extension pack, vérifiez ici.
Une fois le fichier téléchargé, accédez à l’interface graphique de VirtualBox et allez sur:
Fichier -> Paramètres -> Extensions et sélectionnez le fichier ‘vbox-extpack’ Puis cliquez sur Installer (voir série de screenshots)

Interface des préférences de VirtualBox : onglet Extensions avec une liste vide de paquets d'extension.
Cette capture montre l’onglet « Extensions » dans les préférences de VirtualBox. Aucun paquet d’extension n’est installé ou activé, comme indiqué par la liste vide sous « Paquets d’extension ».
Fenêtre de sélection de fichier d'extension VirtualBox : le fichier Oracle_VM_VirtualBox_Extension_Pack-5.2.22-119230.vbox-extpack est sélectionné dans le dossier Téléchargements.
Cette capture montre la fenêtre de sélection de fichier pour ajouter une extension à VirtualBox. Le fichier Oracle_VM_VirtualBox_Extension_Pack-5.2.22-119230.vbox-extpack est mis en surbrillance dans le dossier Téléchargements, prêt à être installé.
Fenêtre de l'accord de licence pour Oracle VM VirtualBox, affichant les termes et conditions d'utilisation.
Cette capture montre la fenêtre de licence d’Oracle VM VirtualBox. L’utilisateur est invité à accepter les termes et conditions pour continuer l’installation ou l’utilisation du logiciel.
Fenêtre d'avertissement de VirtualBox : détails sur l'extension Oracle VM VirtualBox Extension Pack en cours d'installation, avec un message sur les risques potentiels des extensions.
Cette capture montre une fenêtre d’avertissement de VirtualBox qui informe l’utilisateur des risques potentiels liés à l’installation d’une extension. Elle détaille le nom, la version et les fonctionnalités de l’extension Oracle VM VirtualBox Extension Pack.

Il y a une dernière fenêtre, dont j’ai oublié de faire le screenshot, qui nous indique que le pack d’extension a été installé avec succès.

C’est fini pour ce tutoriel, j’espère que vous avez une idée sur la façon d’installer VM VirtualBox et son extension sur Debian (et autres distributions linux).
En espérant vous avoir été utile et n’hésitez pas à me faire savoir comment faire mieux ou si j’ai commis des coquilles…

Copier-Coller – Danger!

Suite à un petit message de Hoper sur notre mailing liste des membres Root66.net, j’ai décidé de faire un billet sur le sujet.

Rendre à César ce qui appartient à César.

Hoper:
L’un des points fort de Linux c’est la capacité d’absolument tout faire en ligne de commande. Cela permet de dépanner ou d’indiquer quoi faire à une personne assez facilement.
Bien sûr tout le monde dit et répète qu’il ne faut jamais copier/coller sans lire et comprendre au moins un minimum ce qu’on met dans le terminal.

Malheureusement, c’est encore pire que ça… Des petits farceurs peuvent sans problème dissimuler des commandes, rendant la technique du copier/coller encore plus dangereuse.
Un très bon exemple de dissimulation se trouve ici:
https://thejh.net/misc/website-terminal-copy-paste
(essayez de faire un copier/coller de la première ligne dans votre terminal)
Le copier/coller reste très utile. Mais: …

  • Ne faite des copier/coller que depuis un site de confiance
  • Après avoir lu et compris un minimum ce que vous vous apprêtez à faire…

Pour ceux qui l’ignorent, la commande git permet simplement de récupérer le contenu d’un répertoire, elle n’est pas censée exécuter quoi que ce soit et est donc « safe » à priori…

Sima78, donc moi 😉 :
Vérification possible: faites un copier/coller sur un éditeur de texte pour voir ce que cela donne. Exemple ci-dessous:

git clone /dev/null; clear; echo -n "Hello ";whoami|tr -d '\n';echo -e '!\nThat was a bad idea. Don'"'"'t copy code from websites you don'"'"'t trust!
Here'"'"'s the first line of your /etc/passwd: ';head -n1 /etc/passwd
git clone git://git.kernel.org/pub/scm/utils/kup/kup.git

On voit immédiatement que cela ne colle plus au lien proposé…

Ou utilisez les outils Firefox:
Outils –> Dévellopement Web –> Inspecteur
Comme ci-dessous:

Capture d'écran de Firefox avec le menu Outils > Développement web > Inspecteur ouvert, sur une page traitant des dangers du copier-coller depuis un site web vers un terminal.
Pour vérifier le contenu réel d’une commande suspecte, l’Inspecteur de Firefox permet d’examiner le code source de la page.

Vous obtenez une nouvelle fenêtre sous le visuel de la page web.

Il vous suffit de faire glisser la souris dans la fenêtre « Inspecteur » et développer les « fils » pour voir ce qui s’y trouve. Exemple sur l’image ci-dessous.

Capture d'écran de l'Inspecteur Firefox révélant du code malveillant caché dans une commande apparemment anodine sur une page web.
La commande semble inoffensive à l’écran, mais l’inspecteur révèle ce qui se passe vraiment si on la colle dans un terminal.

Bref! Faites attention à ce que vous « Copier/coller » sur votre terminal !

Sauvegardes au quotidien – Rdiff-Backup et MySqlDump

Rdiff-Backup et sauvegardes

J’avais déjà écrit un billet intitulé « Scripts de sauvegardes journalières et hebdomadaires » et un commentaire de Tetsumaki m’a donner à réfléchir.

Pourquoi je fais compliqué quand ont peut faire simple?

Soit, j’aime les scripts, et du coup il m’arrive de m’emballer et il fallait un disque de sauvegarde assez « gros »… Et j’ai décidé de regarder du côté de Rdiff-Backup. J’ai été séduit !

Je fais donc un nouveau billet sur le sujet de la sauvegarde sans pour autant supprimer l’autre…

Rdiff-Backup existe aussi pour Windows, je suppose qu’il doit exister une interface graphique , j’avoue ne pas avoir cherché puisque je m’en sert pour la sauvegarde d’un serveur, qui n’a pas d’interface graphique et de façon automatisée.

Bien entendu, une sauvegarde ne se fait pas sur une partition du disque dur, pas même sur un autre disque dur sur le même pc, mais sur un disque externe ou un pc distant…

Une modification à été apporté le 07/12/2023 concernant le message d’érreur :

/bin/sh: 1: root: not found

Lire la suite…

Sauvegarde avec Rdiff-Backup et MysqlDump.

Dans un premier temps j’ai défini les répertoires que je souhaitais sauvegarder, puis j’ai créé un fichier texte pour les regrouper.
Dans cet exemple, je décide de sauvegarder « /etc », « /home », « /var »

# nano /root/scripts/include-dir.txt

Copiez ce qu’il y a ci-dessous:

/etc
/home
/var

Maintenant nous allons créer le script dans la « cron.daily »

# nano /etc/cron.daily/backup

Copiez en adaptant ce qui suit.

#!/bin/bash
rdiff-backup --include-globbing-filelist /root/scripts/include-dir.txt --exclude '**' / /dir/de/sauvegarde/backup/

/dir/de/sauvegarde/backup/ est la destination de la sauvegarde, je vous laisse l’adapter selon vos choix.

Le rendre exécutable:

chmod +x /etc/cron.daily/backup

Je souhaite également sauvegarder des bases de données, on peut aussi le faire via Rdiff-backup, personnellement le préfère utiliser « mysqldump » (et oui, je suis un animal d’habitudes) :

# nano /etc/cron.daily/mysql-backup

Copiez en adaptant ce qui suit.

#!/bin/bash
mysqldump -u nextcloud -motdepasse nextcloud > /dir/de/sauvegarde/bd/nextcloud.sql
mysqldump -u dolibarr -motdepasse dolibarr > /dir/de/sauvegarde/bd/dolibarr.sql
mysqldump -u grr -motdepasse grr > /dir/de/sauvegarde/bd/grr.sql

Le rendre exécutable:

chmod +x /etc/cron.daily/mysql-backup

Pour que cela se fasse automatiquement et chaque jour, mettez le tout dans votre crontab:

# crontab -e

Copiez en adaptant ce qui suit.

PATH=/usr/sbin:/usr/bin:/sbin:/bin
SHELL=/bin/sh
MAILTO=""
# m h  dom mon dow   command
0 10 * * * root sh /etc/cron.daily/backup >/var/log/monbackup 2>&1 # JOB_BACKUP
0 15 * * * root sh /etc/cron.daily/mysql-backup >/var/log/monsav-bd 2>&1 # JOB_MYSQL-BACKUP

<Ajout du 07/12/2023>

J’ai le message d’erreur suivant : /bin/sh: 1: root: not found

Il arrive que root n’a pas de Shell et que l’user principal peut utiliser « sudo » sans confirmation de mot de passe, le cas par exemple de Raspberry, d’où un mot de passe fort pour cette user.

# nano /etc/cron.daily/backup

Copiez en adaptant ce qui suit.

#!/bin/bash
sudo rdiff-backup --include-globbing-filelist /root/scripts/include-dir.txt --exclude '**' / /dir/de/sauvegarde/backup/
# crontab -e

Copiez en adaptant ce qui suit.

PATH=/usr/sbin:/usr/bin:/sbin:/bin
SHELL=/bin/sh
MAILTO=""
# m h  dom mon dow   command
0 10 * * * /etc/cron.daily/backup >/var/log/monbackup 2>&1 # JOB_BACKUP
0 15 * * * /etc/cron.daily/mysql-backup >/var/log/monsav-bd 2>&1 # JOB_MYSQL-BACKUP

</Ajout du 07/12/2023>

Ceci-dit, il faut vérifier les sauvegardes, moi je simule une restauration dans un dossier de test, ici « test-sauv »

rdiff-backup --force -r now /dir/de/sauvegarde/backup/ /home/sima78/backup/rdiff-backup-data/test-sauv/

On peut voir les statistiques de la dernière sauvegarde

rdiff-backup-statistics /dir/de/sauvegarde/backup/

Ou la liste des incréments d’une sauvegarde

rdiff-backup -l /dir/de/sauvegarde/backup/

Vous pouvez aussi spécifier une durée de rétention des sauvegardes, dans le cas ci-dessous je supprime au-delà de 10 jours

rdiff-backup --remove-older-than 10D --force /dir/de/sauvegarde/backup/

Vous pouvez mettre D pour(Day), W pour(Week), M pour (Month) et Y pour (Year).
Donc voilà ma base, maintenant vous pouvez affiner comme par exemple avec mysqldump par lequel il est possible d’exporter plusieurs bases de données en une seule commande:

mysqldump --databases database1 database2 [...] > /home/sima78/my_databases.sql

Bref plein de possibilités il suffit de faire un « man » pour s’en rendre compte

man rdiff-backup
man mysqldump

Enregistrer directement depuis votre carte son – linux.

Votre enfant fait partie de la chorale de la maternelle et le son est sur le site de votre mairie.

Mais, impossible de le télécharger, le site est fait en sorte qu’aucun de vos plugins Firefox fonctionnent et aucun fichier mis à disposition au téléchargement… Mais merde! flûte! C’est la voix de votre enfant dont vous voulez garder une trace!

On se calme, si le son sort de la carte son, c’est qu’il y a moyen de le récupérer.

Ma méthode:

Pavucontrol et AudaCity

Il vous faut deux applications « Pavucontrol » et une application capable d’enregistrer, il y en a plein sous linux, moi j’utilise « Audacity« .

si vous ne les avez pas, installez-les (pour Debian et dérivés ».

# apt-get install pavucontrol audacity

Lancez « Pavucontrol », puis « Audacity ».

Personnellement, je n’ai pas eu besoin d’intervenir dans les configurations, tout est par défaut.

Agencez vos fenêtres de façon à être efficace dans les clics… Image ci-dessous.

Capture d'écran d'un bureau Linux avec le logiciel Audacity, le contrôle du volume PulseAudio et une vidéo en attente dans Firefox.
Configuration typique sous Linux pour enregistrer le son d’une vidéo web avec Audacity via PulseAudio.

Lorsque vous lancez la lecture sur votre navigateur, puis enregistrement sur Audicity, vous devriez avoir quelque chose du même genre que  ci-dessous.

Alt : Capture d'écran d'un enregistrement Audacity sous Linux avec PulseAudio sur l'onglet Enregistrement, montrant les formes d'ondes dans la piste stéréo.
Source d’enregistrement : Audacity capture le moniteur stéréo analogique au lieu du flux Firefox.

Positionnez-vous sur l’onglet « Enregistrement » du contrôle du volume et vous devriez avoir quelque chose du même genre que l’image ci-dessous.

Il faut que ALSA plug-in soit sur « Monitor of Audio interne Stéréo analogique »

Alt : Capture d'écran montrant un enregistrement audio en cours dans Audacity, avec Firefox lisant une vidéo et PulseAudio affichant le flux audio actif.
Enregistrement audio en cours — Audacity, PulseAudio et Firefox sous Linux

Vous êtes prêt! Alors repartez de zéro, agencez vos fenêtres, puis lancez le fichier son (ou vidéo dont vous voulez récupérer le son) depuis votre navigateur, cliquez sur enregistrer de votre enregistreur (ici Audacity) et il n’y a plus qu’à attendre la fin où vous stopperez votre enregistrement. Faites exporter ou enregistrer en fonction du format souhaité et c’est fini!

Il y a sans doute plein d’autres méthodes n’hésitez pas à les faire connaître.

Scripts de sauvegardes journalières et hebdomadaires

Bin-Bash, scripts, ligne de commande

J’avais pris cela sur un site, je ne sais plus où et ça a bien fonctionné un certain temps puis plus rien lorsque j’ai passé un des serveurs qui était sous Ubuntu serveur 12.04 sous Debian 8.7

J’ai donc repris en grande partie, même si les bases restent les mêmes. Voici donc la version fonctionnelle.

Sur Debian 8.7

Automatiser les sauvegardes.

Dans cet exemple, il s’agit de sauvegarder chaque jour de la semaine (samedi, dimanche, lundi, mardi, etc.), puis le vendredi soir, on sauvegarde sur le n° de la semaine. Puis on repart sur samedi, dimanche, etc.

Avant tout vous devez définir le « lieux » de sauvegarde, s’agit-il d’un disque dur supplémentaire, d’un disque externe, d’un lieu distant (par ssh ou autres)… Bref vous devrez adapter les scripts à vos choix et besoin.

Il s’agit là d’une idée sur le principe, à chacun de se l’approprier.

Ici je vais partir du principe que j’ai un disque dur chiffré supplémentaire monté sur /mnt/
Il est nommé « save » et le répertoire de sauvegarde est « s_server »

ce qui donne le chemin de sauvegarde « /mnt/save/s_server »

Avant tout, vous devez savoir en quelle langue sont vos jours de la semaine (anglais, français, etc.).

date +%A
vendredi

Le résultat est Français.
Connectez-vous en administrateur.

su root

Créer le script qui créera les répertoires des n° de semaine et les jours de la semaine.

#!/bin/bash
for x in lundi mardi mercredi jeudi vendredi samedi dimanche {01..52}
do
mkdir $x
done

Pourquoi {01..52} et non {1..52}? il suffit de lire le man date

man date
(...)
%V     ISO week number, with Monday as first day of week (01..53)
(...)

On voit donc qu’il faut numéroté de 01 à 52, car la 53ème semaine, lorsqu’elle existe est à cheval entre deux années et c’est donc pas dramatique de rater une semaine.

Rendre le script exécutable et on le place (dans notre exemple plus haut) dans « /mnt/save/s_server/ », puis on l’exécute…

./faire_mkdir.sh

Un petit « ls » pour vérifier que tout est ok.

Nous allons créer un fichier des dossiers à exclure. Si votre sauvegarde est locale, il faudra exclure le dossier de sauvegarde 😉 dans notre cas « /mnt/save/s_server/ » vous pouvez exclure tout ce qui ne vous semble pas judicieux, à vous de voir.

cd /etc/
nano rsync.exclude

On y met tout ce que l’on souhaite exclure.
Ci-dessous « /mnt/ » obligatoire dans l’exemple puisque la sauvegarde ce fait sur « /mnt/save/s_server/ », le reste en fonction de vos besoins.
Faites un copié/collé de ce qu’il y a ci-dessous.

# Mettez ici tous les dossiers que vous souhaitez exclure
# - /boot/
- /media/
- /lost+found/
- /mnt/
- /proc/
- /opt/
- /run/
- /srv/
- /tmp/
- /sys/

Créer les deux scripts ci dessous:

nano /etc/cron.daily/jour.sh

Copié/collé de ce qu’il y a ci-dessous

#!/bin/bash
# On va l'appeler "jour.sh"
# Sauvegarde quotidienne
jour=$(date +%A)
source="/"
destination="/mnt/save/s_server"
rsync -aurov -progress --delete --stats --exclude-from=/etc/rsync.exclude $source $destination/$jour

Ce qui donne le chemin /etc/cron.daily/jour.sh et rendez-le exécutable.

chmod +x /etc/cron.daily/jour.sh

Puis:

nano /etc/cron.weekly/semaine.sh

Copié/collé de ce qu’il y a ci-dessous

#!/bin/bash
# On va l'appeler "semaine.sh"
#  Sauvegarde hebdomadaire
semaine=$(date +%V)
source="/"
destination="/mnt/save/s_server"
rsync -aurov -progress --delete --stats --exclude-from=/etc/rsync.exclude $source $destination/$semaine

Ce qui donne le chemin /etc/cron.weekly/semaine.sh et rendez-le exécutable.

Chmod +x /etc/cron.weekly/semaine.sh

Maintenant il suffit juste de créer la crontab

crontab -e

Choisissez votre interprétateur texte « nano » ou « vi » et copiez les lignes ci-dessous:

PATH=/usr/sbin:/usr/bin:/sbin:/bin
SHELL=/bin/sh
MAILTO=""
# m h  dom mon dow   command
0 23 * * * /etc/cron.daily/jour.sh >/dev/null 2>&1 # JOB_1
30 23 * * 5 /etc/cron.weekly/semaine.sh >/dev/null 2>&1 # JOB_2

Pour Ubuntu ce devrait ressembler à cela:

PATH=/usr/sbin:/usr/bin:/sbin:/bin
SHELL=/bin/sh
MAILTO=""
# m h  dom mon dow   command
0 23 * * * sudo /etc/cron.daily/jour.sh >/dev/null 2>&1 # JOB_1
30 23 * * 5 sudo /etc/cron.weekly/semaine.sh >/dev/null 2>&1 # JOB_2

Ensuite vérifier le lendemain si la sauvegarde à bien fonctionné et revérifiez en fin de semaine.

Geneweb en service et https (suite)

geneweb https stunnel4

Alors bien entendu comme je l’avais dit dans un billet précédent, il suffit d’utiliser Geneweb comme un site lambda avec un script cgi…

Sauf que moi je ne souhaite pas l’utiliser ainsi mais en service, via un port dédié.
J’ai donc sur le sujet fait un tutoriel, je l’ai proposé sur une liste de diffusion (mailling list) dédiée à Geneweb. On m’a proposé de le publier sur le site dédié.

Comme je n’avais pas vraiment le temps j’ai juste envoyé une compilation de mes deux tutoriels « https sous Apache – Même à l’école je n’ai jamais eu un A » et « https pour autres ports ou services ex Geneweb – stunnel4« .

Henri G. l’a mis en forme, publié sur le site de geneweb, il en a fait aussi la traduction en anglais, et mis un petit lien de renvoie en fin d’article qui me touche beaucoup.
Un mois plus tard JM fait également une proposition différente de la mienne sur la mailling list, et que je trouve aussi très intéressante.

Il ne s’agit pas d’un tutoriel car je n’ai pas testé, et je n’ai pas envie de modifier la configuration de mon serveur pour tester.
Je le mets pour ceux qui souhaitent tester, creuser, perfectionner, et aussi en pense bête, pour le tester moi-même un jour.
C’est basé sur des certificats auto-signés, ceux qui ont d’autres certificats sauront l’adapter.

La proposition.

JM : (…) un vhost en reverse proxy, comme ça Geneweb n’écoute qu’en local. Ici une vieille configuration éprouvée, pas à jour des dernières modes de Let’s Encrypt & co mais ça donne l’idée. Le passage important est le paragraphe avec RewriteEngine, ProxyPass et ProxyPassReverse – ainsi que le <Proxy *> :

<VirtualHost *:443>
ServerName genealogie.mafamille.org
ServerAdmin admin@mafamille.org
DocumentRoot /home/moi/www/www.mafamille.org/
CustomLog /home/moi/logs/apache2/mafamille.org/access.log combined
RewriteEngine On
ProxyPass / http://serveur.mafamille.com:2317/
ProxyPassReverse / http://serveur.mafamille.com:2317/

   <Proxy *>
        Order deny,allow
        Allow from all
   </Proxy>

SSLEngine               on
SSLCACertificateFile    /etc/apache2/ssl/certs.pem
SSLCertificateFile      /etc/apache2/ssl/apache2.pem
SSLCertificateKeyFile   /etc/apache2/ssl/apache2.key
SSLProtocol             all
SSLCipherSuite          HIGH:MEDIUM

   <directory /home/jim/www/www.mafamille.org/>
        Options None
        AllowOverride None
        Order Deny,Allow
        Allow from all
   </directory>
</VirtualHost>