Serveur de sauvegarde automatique : BackupPC

BackupPC est un logiciel libre de sauvegardes de données informatiques, publié sous licence GPL.
Il permet d'assurer une politique de sauvegardes “versionnées” pour des clients de différents types (Unix, GNU/Linux, Windows, Mac)

BackupPC est utilisé pour sauvegarder un ensemble de postes. Il possède une interface Web pour configurer, lancer des sauvegardes ou restaurer des fichiers. Il est également possible de sauvegarder des bases de données.

BackupPC permet de sauvegarder automatiquement à des intervalles de temps réguliers des répertoires situés sur des machines du réseau.

Il peut également faire beaucoup plus… même s'il a quelques limites.

BackupPC peut utiliser plusieurs protocoles pour les sauvegardes :

• Samba : Utilise le logiciel SmbClient pour le transfert des données. C'est un bon choix pour sauvegarder des machines sous Windows.
• rSync : Utilise le logiciel RSync pour le transfert des données. C'est un bon choix pour sauvegarder des machines sous Linux, sous Mac ou sous windows.
• rSyncd : Utilise le daemon « rsyncd » installé sur chaque client. C'est un bon choix pour sauvegarder des machines sous Linux et sous Windows.
• Tar : Utilise le logiciel Tar. C'est un bon choix pour sauvegarder des machines sous Linux.

Sauf pour Samba, Backuppc utilise SSH pour faire les transferts.

Le logiciel se réveille toutes les heures pour sonder l'ensemble des machines spécifiées dans le fichier /etc/backuppc/hosts.
Puis, pour chaque poste allumé, il fonctionne ainsi :

• Interrogation de la période du Blackout: si l'hôte est dans sa période d'exctinction, le serveur passe à la machine suivante. Ce qui peut-être bien pratique pour des machines nomades.
• Sinon, il étudie la machine hôte.

BackupPC examine les dates des dernières sauvegardes effectuées:

• Si la date de dernière sauvegarde complète a plus de trente jours, il en fait une nouvelle.
• Sinon il regarde la date de la dernière sauvegarde incrémentielle. Si celle-ci a plus d'un jour, il lance une sauvegarde incrémentielle.

S'il y a plus de dix-neuf sauvegardes incrémentielles, il supprime les plus anciennes de manière à ce qu'il n'en reste que dix-neuf (limitation de l'espace disque consommé).

Backuppc est supporté par un bon nombre de distributions linux.
Étant disponible dans les dépôts de chaque versions d'Ubuntu, il suffira d'installer le paquet backuppc correspondant sur votre serveur de sauvegarde, puis de vous laissez guider.

• postfix pour envoyer des mails.
  Le mode satellite peut vous convenir.
• Apache2 pour fournir l'interface Web.
  L'utilisation de ce dernier permet une configuration automatique.

• soit vous notez soigneusement le mot de passe attribué automatiquement à l'utilisateur backupPC
• soit vous préférez le modifier à l'aide de cette commande:

  sudo htpasswd /etc/backuppc/htpasswd backuppc

Pour démarrer backuppc, il faut ajouter l'utilisateur de la session dans le groupe backuppc. Pour cela, il faut exécuter la ligne de commande suivante :

sudo adduser [MON_USER] backuppc

Comme l'installation ne copie pas le /etc/backuppc/apache.conf sur le serveur apache2. Il faut le faire soit même en copiant le fichier dans le répertoire /etc/apache2/conf-available/ avant de rendre actif le site:

• Copie du fichier .conf dans /etc/apache2/conf-available/

sudo cp /etc/backuppc/apache.conf /etc/apache2/conf-available/backuppc.conf

• Activation du site

sudo a2ensite backuppc.conf

• Un redémarrage du serveur web est nécessaire pour prendre en compte les modifications.

sudo /etc/init.d/apache2 restart

Vous pouvez choisir d'installer une version de backuppc plus récente depuis les dépôts backports.

Les versions récentes (>=3) de BackupPC permettent notamment de modifier la plupart des options de configuration directement depuis l'interface Web. Il suffit à l'aide d'un navigateur internet d'aller à l'adresse http://<serveur>/backuppc/¹⁾.
Ensuite, il faut entrer « backuppc » en nom d'utilisateur et le mot de passe correspondant.

Backuppc fonctionne avec la notion de Client/Serveur. La machine serveur pouvant bien entendu être aussi un client.

La configuration peut se faire en modifiant les options dans le fichier /etc/backuppc/config.pl.
Néanmoins ici, il sera principalement fait usage de l'interface web

Depuis le menu Serveur → Modifier la configuration → CGI → Language
Depuis le menu Server → Edit config → CGI → Language

Modifier avec les droits d'administration l'option dans le fichier

/etc/backuppc/config.pl

 $Conf{Language} = 'en'; 

pour obtenir

/etc/backuppc/config.pl

 $Conf{Language} = 'fr'; 

Depuis le menu Serveur → Modifier la configuration

Depuis Hôtes →

Les données sont sauvegardées dans des sous-répertoires de /var/lib/backuppc

Cela n'est bien sûr pas obligatoire, mais cela peut-être pratique de ne pas laisser vos données dans le dossier /var.

• stopper le service backuppc:

  sudo service backuppc stop

• créer votre répertoire de destination au préalable:

  sudo mkdir /<le_chemin/repertoire_destination>/backuppc/

• copiez-y ce qui se trouve dans /var/lib/backuppc:

  sudo rsync -va /var/lib/backuppc /<le_chemin/repertoire_destination>/

• assurer vous que les droits sur les fichiers et répertoires sont les mêmes.
• supprimer ou déplacer (au cas où) le répertoire /var/lib/backuppc
• créer votre lien symbolique:

  sudo ln -s /<le_chemin/repertoire_destination>/backuppc /var/lib/backuppc

• corriger le propriétaire du lien:

  sudo chown -h backuppc:backuppc /var/lib/backuppc

• Il ne reste plus qu'a relancer backuppc:

  sudo service backuppc start

Vous trouverez dans cette sections les différents types de sauvegardes testés par les contributeurs. N'hésitez pas à y ajouter votre méthode s'il n'y est pas déjà listé.

• Sauvegarder un répertoire local via tar
• Sauvegarde du poste local sur un disque dur externe USB
• Sauvegarder un poste Linux distant via rsync (ssh)
• Sauvegarder un poste Mac OS distant via ssh
• Sauvegarder des postes Windows via « rsyncd »
• Sauvegarder des PC éteints

Se connecter à l'interface web et depuis les menus :

1. Serveur → Modifier la configuration → Machine : vérifier que la machine (host) “localhost” existe bien, avec “backuppc” comme user²⁾
2. Hôtes → choisir Localhost dans la liste déroulante
3. localhost → Modifier la configuration → xfer → XferMethod → choisir “tar”, “TarShareName” : indiquer le chemin à sauvegarder et cliquer sur insérer → Sauvegarder (apparaît en rouge)
4. localhost → localhost Accueil → Démarrer la sauvegarde complète
5. localhost → Explorer les sauvegardes: vérifiez ici que ça a fonctionné.

Par défaut cette sauvegarde sera dans /var/lib/backuppc/pc/localhost

backuppc ALL=NOPASSWD: /bin/tar

/usr/bin/sudo LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals

• Formater le disque dur USB par exemple en EXT3 ou EXT4.
  Vous pouvez effectuer cette manipulation depuis le menu Système → Administration → Éditeur de partitions ou par exemple avec Gparted.
• Changer le lieu de stockage avec un lien symbolique comme indiqué au paragraphe Où sont sauvegardées les données ?, le répertoire de destination étant sur le disque dur externe (par exemple /media/disk/sauvegardes/backuppc/).
• Modifier les horaires de sauvegarde pour éviter qu'il ne sauvegarde automatiquement quand le disque est débranché
  localhost → Modifier la configuration → Horaires

La sauvegarde se faisant au travers de ssh, il faut installer le paquet openssh-server sur le poste à sauvegarder.

De plus, il est nécessaire que l'utilisateur Backuppc puisse se connecter en SSH sur les postes clients.
Pour se faire, vous avez le choix entre 2 méthodes:

1. La méthode standard qui utilise le compte root désactivé par défaut sur Ubuntu.
   
2. Une méthode alternative, basé sur le compte backup et l'usage de sudo, utilisable avec toute distribution ayant sudo.

Plus simple à mettre en place. ³⁾

• Passer en utilisateur “backuppc”

  sudo -i -u backuppc

• Mettez en place un système de clé publique/clé privée à savoir:
  • Générer le couple clef publique et clef privée sans mettre de mot de passe

    ssh-keygen -t rsa -b 2048

  • Vérifier que la clé est bien générée

    cat ~/.ssh/id_rsa.pub

  • et que ses droits sont corrects

    ls -la ~/.ssh/

    drwxr-xr-x 2 backuppc backuppc 4096 2011-07-17 17:19 .
    drwxr-x--- 8 backuppc backuppc 4096 2011-07-21 13:57 ..
    -rw------- 1 backuppc backuppc 1671 2011-07-17 17:10 id_rsa
    -rw-r--r-- 1 backuppc backuppc  397 2011-07-17 17:10 id_rsa.pub
    -rw-r--r-- 1 backuppc backuppc 4862 2011-07-17 19:58 known_hosts

    Si les droits ne sont pas corrects, utiliser la commande chmod pour modifier les permissions

• Créer le répertoire /root/.ssh si il n'existe pas encore.

sudo mkdir /root/.ssh

• Editer le fichier /root/.ssh/authorized_keys avec les droits d'administration

   sudo vim /root/.ssh/authorized_keys 

• Ajouter dans le fichier, la clef publique de l'utilisateur “backuppc” précédemment générée ⁴⁾. (Vous pouvez par exemple éditer les deux fichiers et faire un simple copier/coller.)
• Pour plus de sécurité, rajouter au début du fichier la directive

  from="serveur"

• Vous devriez désormais avoir:
• Sous le compte root

sudo -i
cat ~/.ssh/authorized_keys
from="serveur" ssh-rsa AAAAB3N123456789xyz.......== backuppc@serveur

Modifier avec les droits d'administration le fichier /etc/ssh/sshd_config

**/etc/ssh/sshd_config**

PermitRootLogin without-password

Avec cette directive les connexions SSH de root ne seront pas possible avec un mot de passe (qui par défaut n'est pas utilisé sous Ubuntu)

Seul les connexions utilisant une authentification par clef seront possible, et uniquement de l'adresse du serveur si la directive from= est utilisée dans le fichier authorized_keys.

Il sera donc possible de paramétrer indépendamment les possibilités d'authentification via SSH des autres utilisateurs. Il ne faudra cependant pas oublier d'ajouter root en cas d'usage des directives AllowUsers ou AllowGroups.

Depuis le serveur de sauvegarde, tenter une première connexion ssh vers le poste à sauvegarder pour l'utilisateur “backuppc”.

sudo -i -u backuppc
ssh root@client

Répondre “yes”, ce qui ajoutera votre client à la liste des known hosts⁵⁾.

Cette partie est commune à la méthode standard

Nous allons utiliser le compte “backup”. Ce compte est pré-existant sous Ubuntu selon la norme FHS . Comme on peut le voir dans /etc/passwd , le répertoire personnel de cet “utilisateur” est /var/backups.

Pour chacun des clients:

• Créer le répertoire .ssh dans le Dossier Personnel

  sudo mkdir /var/backups/.ssh

• Editer le fichier /var/backups/.ssh/authorized_keys avec les droits d'administration

   sudo vim /var/backups/.ssh/authorized_keys 

• Ajouter dans le fichier, la clef publique de l'utilisateur “backuppc” précédemment générée ⁶⁾. (Vous pouvez par exemple éditer les deux fichiers et faire un simple copier/coller.)
• Pour plus de sécurité, rajouter au début du fichier la directive

  from="serveur"

• Vous devriez désormais avoir:
• Sous le compte backup

sudo -i -u backup 
cat ~/.ssh/authorized_keys
from="serveur" ssh-rsa AAAAB3N123456789xyz.......== backuppc@<serveur>

Modifier avec les droits d'administration le fichier /etc/ssh/sshd_config pour indiquer qu'il n'y pas besoin d'autoriser root, ni des connexions par mot de passe pour vos sauvegardes.

/etc/ssh/sshd_config

PermitRootLogin no

À l'aide de visudo mettez dans le fichier sudoers :

backup ALL=NOPASSWD: /usr/bin/rsync

Ceci donnera à l'utilisateur “backup” le droit sudo pour lancer rsync sans demande de mot de passe.

Pour pouvoir mener à bien cette opération, il faut revenir à un utilisateur qui ait les droits sudo, en fait à l'utilisateur que vous étiez avant de passer à l'utilisateur backup. Pour cela :

exit

puis simplement :

sudo visudo

Depuis le serveur de sauvegarde, tenter une première connexion ssh vers le poste à sauvegarder pour l'utilisateur “backuppc”.

sudo -i -u backuppc
ssh backup@<client>

Répondre “yes”, ce qui ajoutera votre client à la liste des known hosts⁷⁾.

onglet Xfert → pour rsync → chapitre Chemins/Commandes/Args Rsync indiquer pour:

• RsyncClientCmd

  $sshPath -q -x -l backup $hostIP /usr/bin/sudo $rsyncPath $argList+

• RsyncClientRestoreCmd

  $sshPath -q -x -l backup $hostIP /usr/bin/sudo $rsyncPath $argList+ 

Modifier avec les droits d'administration le fichier /etc/backuppc/config.pl/ comme suit :

/etc/backuppc/config.pl

# $Conf{RsyncClientCmd} = '$sshPath -q -x -l root $hostIP $rsyncPath $argList+';
$Conf{RsyncClientCmd} = '$sshPath -q -x -l backup $hostIP /usr/bin/sudo $rsyncPath $argList+';
# $Conf{RsyncClientRestoreCmd} = '$sshPath -q -x -l root $hostIP $rsyncPath $argList+';
$Conf{RsyncClientRestoreCmd} = '$sshPath -q -x -l backup $hostIP /usr/bin/sudo $rsyncPath $argList+';

Il ne reste plus qu'à ajouter la machine à sauvegarder à la liste.

- Serveur → Modifier les machines → Machines : ajouter <client> avec “backuppc” comme user⁸⁾

1. Hôtes : choisir <client> dans la liste déroulante
2. Modifier la configuration → xfer → XferMethod : choisir “rsync” → Sauvegarder (apparaît en rouge)
3. <client> Accueil → Démarrer la sauvegarde complète
4. Explorer les sauvegardes : vérifier ici que ça a bien fonctionné.

Testé sur Mac OS 10.6 & 10.7.

La procédure est identique en tout point à la méthode Sauvegarder un poste Linux distant via rsync (ssh) à celà près qu'il vous faudra commencer par vous connecter en tant qu'administrateur avant de continuer.

1. Se connecter à la machine Mac à sauvegarder en ssh avec un compte administrateur du Mac qui a un mot de passe.

   ssh admin@ip du mac

2. Passez en utilisateur root

   sudo -su root

3. Suivre la procédure telle qu'expliquée ici

Sans s'étendre sur la configuration des postes Windows, sachez qu'il existe un paquet tout fait sur le site de BackupPC, qui, en moins de 1 Mio comprend une version de CygWin et le binaire de Rsync.
Ce paquet s'appelle « cygwin-rsyncd » et est disponible ici.
Il suffira ensuite de suivre les instructions du fichier « README.TXT » de ce paquet.

Il sera donc considéré pour la suite de cet article que vous avez :

• un module « docs » partagé par rsyncd ;
• ce module doit permettre l'accès en écriture à l'utilisateur « UUU » avec le mot de passe « PPP » ;
• le service rsyncd lancé sur ce PC.

Éditez le fichier /etc/backuppc/config.pl avec les droits d'administration et modifiez les options de la façon suivante :

/etc/backuppc/config.pl

$Conf{XferMethod} = 'rsyncd';
$Conf{RsyncdUserName}  = "UUU";
$Conf{RsyncdPasswd}    = "PPP";
$Conf{RsyncShareName}  = "docs";

Sauvegarder le fichier et recharger la configuration depuis l'interface Web.

1. Créez un utilisateur avec un mot de passe.
2. Créez un partage sur la ressource à sauvegarder avec les droits modifiés en lecture pour l'utilisateur créé précédemment.
3. Effectuez les changements depuis l'interface Web ou en modifiants les fichiers config.pl et hosts comme indiqué ci-dessous.

Pour l'exemple ici:

• nom d'utilisateur créé sera → backup
• mot de pase → mdpbupc
• dossier de partage → docs$
• adresse IP de la machine windows → 192.168.1.10

Éditez le fichier /etc/backuppc/config.pl avec les droits d'administration et modifiez les options ainsi :

/etc/backuppc/config.pl

$Conf{XferMethod} = 'smb';
$Conf{SmbShareUserName} = 'backup';
$Conf{SmbSharePasswd} = 'mdpbupc';
$Conf{SmbShareName} = 'docs$';
 

Sauvegarder le fichier et recharger la configuration depuis l'interface Web.

Éditez le fichier /etc/backuppc/hosts avec les droits d'administration pour y ajouter cette ligne en fin de fichier

 192.168.1.10	0	utilisateur	UUU 

Sauvegarder le fichier et recharger la configuration depuis l'interface Web.

Il est intéressant de pouvoir effectuer la sauvegarde des machines lorsqu'elles ne sont pas en production, par exemple la nuit. Par défaut, backuppc ne permet pas de gérer le wake on lan, mais avec quelques astuces, c'est possible !

L'outil etherwake est parfait pour démarrer une machine à distance. Pour pouvoir utiliser ce dernier avec le nom de la machine au lieu de son adresse MAC, il faut compléter le fichier /etc/ethers :

 adresse:MAC	nom_machine 

Il va sans dire que le nom de la machine doit être déclaré comme dans le fichier /etc/backuppc/hosts.

Pour que le fichier ethers soit pris en compte par etherwake modifier le fichier /etc/nsswitch.conf, à la ligne ethers :

 ethers:         files 

Par defaut, la commande etherwake n'est exécutable que par root, pour remédier à cela :

 ln /usr/sbin/etherwake /usr/bin/
chmod +s /usr/sbin/etherwake 

Créez dans le dossier /etc/backuppc/ deux petits scripts qui doivent pouvoir être améliorés :

• wol.sh pour l'envoi d'un paquet magique
• shutdown.sh pour l'arrêt de la machine.

wol.sh

#!/bin/bash
 
declare -i z
z=0
i=0
/usr/sbin/etherwake $1
sleep 1m
while [ $i = 0 -a $z -lt 15 ]
do
        if smbclient -L $1 -U backup%mdpbupc>/dev/null
                then
                        i=1
        fi
sleep 10s
z=z+1
done 

Explication: Une fois la commande etherwake exécutée:

• il y a une pause d'une minute pour laisser le temps au pc de démarrer.
• Puis, la boucle while teste si le partage est actif.
• Après 15 essais sans résultat la boucle s'arrête.

shutdown.sh

 #!/bin/bash
if [ $(date +%k) -lt 07 -o $(date +%k ) -gt 20 ]
then
	/usr/bin/net rpc SHUTDOWN -f -I $1 -U administrateur%mdpadministrateur -t 30
else
        if [ $2 = 1 ]
        then
            echo sauvegarde terminé avec succès. | smbclient -M $1 --user="backuppc"
        fi
fi 

Explication: entre 20h00 et 07h00 est exécutée la commande d'extinction du pc sauvegardé. En dehors de cette plage horaire, au lieu d'arrêter la machine, un message est envoyé.

net rpc SHUTDOWN -f -I $1 -U administrateur%mdpadministrateur -t 30

wol.sh

#!/bin/bash
declare -i z
z=0
i=0
filename=/var/lib/backuppc/$1.laststate
echo "Filename=$filename"
cnt=$(ping -c 1 $1 | awk -F, '/received/{print $2*1}')
echo "Count ping to host $1 = $cnt"
if [ $cnt -eq 0 ]; then
	echo $cnt > $filename
	echo "Send WOL to $1 and wait 1 minutes"
	sudo /usr/bin/etherwake -i em1 $1
	sleep 1m
	while [ $i = 0 -a $z -lt 15 ]
	do
		count=$(ping -c 5 $1 | awk -F, '/received/{print $2*1}')
		if [ $count -eq 0 ]; then
       		echo "$1 is down"	
		else
			i=1
       	fi
		sleep 10s
		z=z+1
	done
else
	echo $cnt > $filename
fi

shutdown.sh

#!/bin/bash
filename=/var/lib/backuppc/$1.laststate
echo "Filename=$filename"
declare -i laststate
read laststate < $filename
echo "Last State Host $1 = $laststate"
if [ $(date +%k) -lt 07 -o $(date +%k ) -gt 22 ]
then
	if [ $2 != 1 ]
	then
		if [ $laststate  != 1 ]
		then
			echo "Sent SHUTDOWN to host $1"
			/usr/bin/net rpc SHUTDOWN -f -I $1 -U 'Administrateur%motdepasse' -t 30
		else
			echo "SHUTDOWN not sent to $1 cause Host already UP before"
			#echo sauvegarde terminé avec succès. | smbclient -M $1 -U 'Administrateur%motdepasse'
		fi
	fi
else
        if [ $2 = 1 ]
        then
			echo "Sauvegarde $1 OK"
            #echo sauvegarde terminé avec succès. | smbclient -M $1 -U 'Administrateur%motdepasse'
       	fi
       	if [ $laststate = 0 ]
       	then
			echo "Sent SHUTDOWN to host $1"
			/usr/bin/net rpc SHUTDOWN -f -I $1 -U 'Administrateur%motdepasse' -t 30
       	fi
fi
echo "Delete $filename"
unlink $filename

Backuppc contrôle la présence du pc sur le réseau avec ping, sans quoi il n'effectue pas de sauvegarde. Pour remédier à cela, dans le fichier /etc/backuppc/config.pl, avec les droits d'administration remplacer

$Conf{PingPath} = '/bin/ping';

par

$Conf{PingPath} = '/bin/echo';

dans ce cas le backup pourrait essayer de se lancer alors que la machine n'est pas accessible.

$Conf{DumpPreUserCmd}     = '/etc/backuppc/wol.sh $host';
$Conf{DumpPostUserCmd}    = '/etc/backuppc/shutdown.sh $host $xferOK';

Sauvegardez le fichier et recharger la configuration via l'interface web.

Il ne vous reste plus qu'à activer le wol sur les postes clients…

Backuppc gère la déduplication des données. C'est à dire qu'après la copie des fichiers, si un fichier apparaît plusieurs fois, il n'en gardera qu'un seul exemplaire, en créant des liens matériels (hardlinks) vers le fichier d'origine.

Lorsqu'on sauvegarde avec un rsync “traditionnel” les sauvegardes de Backuppc, rsync ne gère pas les liens matériels, et recopie le fichier autant de fois qu'il y a de liens matériels. Ce qui a pour effet de gonfler considérablement le volume des données.

Pour éviter cela, on indique à rsync qu'il doit gérer les liens matériels avec l'option -H. Ce qui donne :

rsync -rlptDvzH --delete-after /chemin/sauvegardes/backuppc/ /chemin/vers/support/externe/sauvegardes/backuppc

ATTENTION !!! : cette opération entraîne une forte consommation en CPU et en RAM !!!

Cliquez sur “Last bad XferLOG”. Si vous obtenez un message ressemblant à :

/bin/tar: --totals: Cannot chdir: No such file or directory

Sauvez votre configuration backuppc, puis effectuez ces commandes avec la console :

sudo mv /etc/backuppc/localhost.pl /etc/backuppc/fileserver.pl
sudo chown backuppc:www-data /etc/backuppc/fileserver.pl

Reparamétrez votre configuration dans “xfer”.

Pour se connecter aux partages SMB, backuppc utilise smbclient et lui passe par défaut l'argument -N qui siginifie “no password”⁹⁾.
Apparament dans une version antérieure de smbclient, même si -N était spécifié, le mot de passe était quand même demandé. Ainsi même si le partage avait un mot de passe, smbclient pouvait s'y connecter.
Toutefois, ceci a été corrigé dans la nouvelle version de smbclient mais backuppc utilise toujours le -N. C'est pourquoi, cette option empêche de prendre en compte votre mot de passe et provoquera une erreur.

Pour corriger ceci, sur l'interface Web de backuppc, depuis le menu Edit Config du Server →onglet Xfer, supprimer le -N dans les 3 commandes pour la sauvegarde (smblient… -N …).

• la documentation de BackupPC.
• Le site officiel [en]
• http://www.klipz.fr/tutoriel_backuppc.html [fr]
• deltacopy
• http://www.generation-linux.fr/index.php?post/2008/08/09/119-backuppc-un-logiciel-de-sauvegarde-automatique [fr]
• la fiche plume

Contributeurs : Cyprien,wouldsmina, naoli, snoopysnoopy Ool, gg gfontaniere