rsync: Comaparison des donnees entre serveur emetteur et destinataire

alfirdaous · Le 06/07/2013, à 03:35

Bonjour,

Est ce qu'il y a des methodes efficace pour etre sur qu'on a bien transferer les donnees d'un serveur X vers un serveur Y sans perte de donnees, je connais les 2 commandes:

du -sh
ls|wc -l

Y a-t-il quelque chose de tres efficace?

merci a vous

Dernière modification par alfirdaous (Le 26/07/2013, à 08:38)

nesthib · Le 06/07/2013, à 04:16

rsync te fait un résumé des données transférées à la fin de l'opération.
Si vraiment tu veux vérifier l'intégrité des données tu peux utiliser md5sum ou sha1sum.

alfirdaous · Le 06/07/2013, à 08:16

je vais les verifier, merci

JoelS · Le 11/07/2013, à 21:55

Pas la peine si t'utilises rsync: il le fais déjà.

Si le rsync termine avec un code de retour égale à 0, alors la source et la cible sont identiques, en fonction des options passées.

alfirdaous · Le 12/07/2013, à 03:16

parfois on travaille et hop le pc s'eteint, se plante ... comment verifier si un fichier n'a pas ete bien transfere

nesthib · Le 12/07/2013, à 03:49

Tu relances rsync.

alfirdaous · Le 12/07/2013, à 06:20

on le relance avec --ignore-existing?? sinon, on transfert 900 GO, on aura 2 jours afin que le transfert se terminait

sputnick · Le 12/07/2013, à 11:44

Si on utilise

rsync

plutôt que

scp

, c'est qu'il intègre par défaut un algorithme de résumé : lors du 2°

rsync

, il va télécharger uniquement ce qui a changé.

alfirdaous · Le 12/07/2013, à 12:41

c'est sympa, donc meme si on utilise ignore-existing, elle va transferer le reste du fichier

Dernière modification par alfirdaous (Le 12/07/2013, à 12:42)

Brunod · Le 12/07/2013, à 12:47

Lis la doc, tu verras comme rsync est génial et puissant Il fait tout ce que tu demandes.

nesthib · Le 12/07/2013, à 14:01

Par défaut, tu peux lancer :

rsync -P

Cela couvre la plupart des usages

sputnick · Le 12/07/2013, à 14:10

Moi j'utilise quasi tout le temps :

rsync -avP

Haleth · Le 12/07/2013, à 14:13

rsync -avP --numeric-ids --delete source dest

-> backup exact

L'option delete ne supprime rien de la source
En revanche, tout ce qui est présent uniquement côté destination sera detruit
C'est donc parfait pour faire un backup exact (et répercuter les suppressions effectuées depuis le dernier backup)

Dernière modification par Haleth (Le 12/07/2013, à 19:58)

sputnick · Le 12/07/2013, à 14:24

@Haleth, Je plussoie fortement.

Pour ceux qui se posent la question,

--numeric-ids

garde les informations de user/group sous forme numerique

--delete

ne delete pas la source mais les fichiers de la cible qui ont été effacés dans la source depuis le dernier rsync

Dernière modification par sputnick (Le 12/07/2013, à 14:35)

nesthib · Le 12/07/2013, à 14:27

@Haleth : attention, l'option --delete présente un risque de suppression de données non voulu chez les débutants, merci de mettre un petit avertissement dans ton message

JoelS · Le 14/07/2013, à 09:19

Autre option intéressante pour faire un sauvegarde (et non pas une archive :-)), l'option

--filter

qui permet de prendre ou laisser des fichiers/répertoires lors de la recopie.

Par exemple, pour mes sauvegardes de mon homedir, j'utilise entre autre

--filter "- *.msf" --filter "- tmp/"

qui ne prend donc pas les fichiers MSF (les index de ThunderBird, ils peuvent être reconstruit automatiquement par TB en cas de besoin, pas besoin de les sauvegarder) et le répertoire tmp et ce qu'il contient, car par définition c'est du temporaire.

sputnick · Le 15/07/2013, à 13:17

Moi pour ça j'utilise par exemple :

--exclude=*.msf

alfirdaous · Le 17/07/2013, à 09:21

peut on avoir un script de backup chaque heure??

Haleth · Le 17/07/2013, à 09:21

man crontab

tiramiseb · Le 17/07/2013, à 09:29

J'ajouterais que si tu veux faire du backup, alors utilise un outil de backup, pas un outil de synchronisation.

Par exemple, dans le genre proche de rsync, tu as rdiff-backup (que j'utilise) ou rsnapshot...

alfirdaous · Le 17/07/2013, à 11:01

j'utilise backup-manager, mais j'aimerais avoir un backup chaque heure des bases de donnees

tiramiseb · Le 17/07/2013, à 11:19

Pour ma part je fais un dump quotidien des bases et je le récupère sur mon serveur de sauvegarde avec rdiff-backup.

Attention, concernant la sauvegarde toutes les heures, selon la taille de la base ça peut poser problème : si tu passes par un dump, ça bloque les écritures pendant un peu de temps ; très peu pour des petites bases (de l'ordre de 1 seconde), mais ça peut faire de longues minutes pour des grosses bases.
Dans ce cas il vaut mieux faire un snapshot des fichiers stockés puis une copie à chaud de ce snapshot...

alfirdaous · Le 18/07/2013, à 02:31

je rencontre des problemes avec dump (caracteres speciaux, et langues comme russe, japonaise..)

comment effectuer un snapshot?

Dernière modification par alfirdaous (Le 18/07/2013, à 02:32)

tiramiseb · Le 18/07/2013, à 07:07

alfirdaous a écrit :

je rencontre des problemes avec dump (caracteres speciaux, et langues comme russe, japonaise..)

Ça m'étonne.
mysqldump et pgdump n'ont aucun problème avec les caractères spéciaux, ni même avec des données binaires.
Quel type de problèmes rencontres-tu ?

alfirdaous a écrit :

comment effectuer un snapshot?

Pour ma part je conseille de mettre /var/lib/mysql en LVM et de faire un snapshot avec « lvcreate -s ».
J'ai expliqué tout ça dans mon article « Sécurité des données avec LVM » que tu trouveras dans Linux Pratique numéro 75 :
http://boutique.ed-diamond.com/linux-pr … -lp75.html
(il y a aussi un petit erratum sur un script dans le numéro 76, si tu te bases sur cet articles je te donnerai l'erratum, n'hésite pas à le demander...)

alfirdaous · Le 18/07/2013, à 09:37

j'ai beau cherche, j'ai trouve une bonne option sur webmin, j'ai fait un backup chaque heure, voici le resultat:

09h00:

# ls -l
total 41468
-rw-r--r-- 1 root root 10939541 Jul 18 09:00 backup.sql

10h00:

# ls -l
total 41540
-rw-r--r-- 1 root root 10974556 Jul 18 10:00 backup.sql

il me reste que le code pour faire envoyer le backup par rsync vers un autre serveur chaque jou

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 06/07/2013, à 03:35

rsync: Comaparison des donnees entre serveur emetteur et destinataire

#2 Le 06/07/2013, à 04:16

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#3 Le 06/07/2013, à 08:16

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#4 Le 11/07/2013, à 21:55

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#5 Le 12/07/2013, à 03:16

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#6 Le 12/07/2013, à 03:49

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#7 Le 12/07/2013, à 06:20

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#8 Le 12/07/2013, à 11:44

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#9 Le 12/07/2013, à 12:41

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#10 Le 12/07/2013, à 12:47

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#11 Le 12/07/2013, à 14:01

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#12 Le 12/07/2013, à 14:10

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#13 Le 12/07/2013, à 14:13

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#14 Le 12/07/2013, à 14:24

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#15 Le 12/07/2013, à 14:27

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#16 Le 14/07/2013, à 09:19

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#17 Le 15/07/2013, à 13:17

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#18 Le 17/07/2013, à 09:21

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#19 Le 17/07/2013, à 09:21

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#20 Le 17/07/2013, à 09:29

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#21 Le 17/07/2013, à 11:01

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#22 Le 17/07/2013, à 11:19

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#23 Le 18/07/2013, à 02:31

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#24 Le 18/07/2013, à 07:07

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

#25 Le 18/07/2013, à 09:37

Re : rsync: Comaparison des donnees entre serveur emetteur et destinataire

Pied de page des forums