sauvegarde disque avec dd

iznobe · Le 19/01/2020, à 14:14

Bonjour ,

je cherche un moyen de sauvegarder mon disque systeme , afin de pouvoir reinstaller en l ' etat rapidement sans devoir tout reinstaller les paquets , les documents etc en cas de probleme lorsque je fais des essais de script , il y a parfois des risques de se retrouver avec des problemes plus ou moins difficiles a resoudre pour retrouver un systeme stable .

bref , je regarde sur dd depuis un moment mais je n' arrive pas a produirre une image disque reduite au maximum , c ' est a dire sans prendre en compte l' espace vide .

Pourtant d' apres la page : https://doc.ubuntu-fr.org/dd

La toute fin d'un lecteur contient généralement des zéros. Ainsi, si vous avez de la place dans sda2 pour les données de sda3, les zéros de sda3 sont tronqués (les blocs contenant uniquement des zéros sont remplacés par des chaînés de cinq caractères astérisque).
Dans ce cas, il ne faut pas utiliser conv=notrunc, qui copierait tous les blocs contenant uniquement des zéros tel quel, sans les tronquer.

pourtant j ' ai fait plusieurs test avec une vieille cle USB de 2 Go presque vide , rien a faire il me fait une image de 2 GO ...

voici la commande que j' ai utilisé :

sudo dd if=/dev/sdg of=/mnt/montages/Seagate_4T/perso/image.test.img bs=4096 skip=1 seek=1 status=progress

hors mis le probleme de taille de l' image finale , tout marche bien .

si quelqu ' un connait la commande qui permet de tronquer l' espace vide , merci d' en faire part , ou me dire comment faire ,
si il existe d' autres moyens d' arriver a cette fin .

Bon dimanche a vous !

Watael · Le 19/01/2020, à 15:09

salut,

je ne saurai pas répondre pour dd.
par contre, "en cas de problème lorsque je fais des essais de script", l'emploi d'une machine virtuelle (je trouve lxc léger; je l'utilise sans interface graphique) se justifie.

PS: une rapide recherche indique d'utiliser sparse... à faire confirmer

geole · Le 19/01/2020, à 18:32

Bonjour
Pense à regarder l'application partclone en standand elle ne copie que la partie utile. En option, c'est comprimable.

bluc · Le 19/01/2020, à 19:07

Bonjour

Dernièrement j'ai fait avec Gnome disque en deux ou trois clics ,dans le menu → Créer une image de la partition (ou du disque) → choix de l'endroit de la sauvegarde
Et inversement pour la restauration → Chercher l'image disque → Restaurer la partition (ou le disque)

Dernière modification par bluc (Le 19/01/2020, à 19:11)

iznobe · Le 20/01/2020, à 13:07

bluc a écrit :

Bonjour
Dernièrement j'ai fait avec Gnome disque en deux ou trois clics ,dans le menu → Créer une image de la partition (ou du disque) → choix de l'endroit de la sauvegarde
Et inversement pour la restauration → Chercher l'image disque → Restaurer la partition (ou le disque)

Salut , oui c ' est la methode la plus simple et qui fonctionne , seul probleme , l ' espace vide est retranscrit tel quel et l ' image resultante prend donc autant de place que le disque d ' origine ...

ce que je desire faire , c ' est sauvegarder mon disque de 4 To et qu ' il ne prenne pas 4 To de place ... seulement le systeme complet ou il y a des donnees ecrites .

j ' ai tester clonezilla , mais impossible de le faire fonctionner correctement ...
je ne peux pas choisir le disque de sauvegarde meme une fois demonte et reformatter avec rien dessus ...

partclone je vais aprofondir pas encore tester .

juste une question , quelle difference entre copier un disque complet et seulement les partitions ? quand est il du MBR ? ca change quoi pour la restaurtion complete d ' un disque ?

Dernière modification par iznobe (Le 20/01/2020, à 13:09)

geole · Le 20/01/2020, à 17:30

Bonsoir
Le MBR sert à faire booter les O.S qui sont installés dans un ordinateur un peu ancien (Mode LEGACY). On peut toujours en faire une copie dans un fichier avec la commande dd
Si tu copies un disque entier, il te faut un support de taille au moins égal. Idem pour une partition, Mais elle peut être beaucoup plus petite: Par exemple 30 Go pour l'O.S de ubuntu et un petit peu plus pour l'OS de windows si tu décides de mettre tes données personnelles ailleurs que dans la partition contenant le logiciel.

Je me demande comment vous faites pour sauver une partition avec gnome disque utility. Il me propose que le disque entier (version 19.10)

iznobe · Le 20/01/2020, à 17:40

geole a écrit :

Je me demande comment vous faites pour sauver une partition avec gnome disque utility. Il me propose que le disque entier (version 19.10)

Bonsoir , je suis en version 18.04 et par gnome disk utility , on ne peut que faire une sauvegarde complete du disque , il ne propose pas de faire une image de partition .

Mon ordi n ' est pas recent , mon proc est un intel i2500 k , donc deja quelques années sont passées lol .

je ne sais pas comment est mon disque , si il est preparé pour booter sur le MBR ou pas , mais je compte aussi m ' en servir pour faire des sauvegardes de plusieurs systemes , dont un pi3b et un linux mint .

avec DD je suis sur que tout est copié , les auvegardes de partition je ne suis pas certain que tout sera remis en place sur tout les systemes .

donc pour finir , on ne peut pas faire une copie exacte d' un disque en ne copiant que les données avec la commande DD ? pourtant dans le wiki il me sembalit avoir compris le contraire

Dernière modification par iznobe (Le 20/01/2020, à 17:46)

Nasman · Le 20/01/2020, à 18:06

dd ne se préoccupe pas des systèmes de fichiers, pour lui il ne voit que des octets. Un octet d'un fichier toujours "vivant" n'aura pas plus de valeur qu'un octet d'un fichier supprimé (dont seul l'index aura été supprimé).
Copier le contenu d'une partition (donc les fichiers bien recensés) prendra moins de place que copier la partition avec dd (qui inclura les fichiers effacés et les zones vierges d'écriture).
Après il est possible de compresser la copie de dd (sans destruction) pour avoir un truc moins gros.

Ne copier que les partitions avec dd évite aussi de copier les zones non allouées du disque. Sauvegarder le mbr (et les secteurs suivants) est nécessaire si on veut garder une trace du positionnement des partitions sur le disque mais aussi car du code nécessaire au démarrage d'ubuntu est présent dans les 63 premiers secteurs (boot en mode bios sur disque msdos)

ylag · Le 20/01/2020, à 18:07

Bonjour,

iznobe a écrit :

Bonsoir , je suis en version 18.04 et par gnome disk utility , on ne peut que faire une sauvegarde complete du disque , il ne propose pas de faire une image de partition

Dans gnome-disk-utility sur la 18.04 si vous sélectionnez une partition, puis cliquez sur la roue crantée en bas de l'image des partitions -> «Options de partition supplémentaires», vous devriez obtenir un menu contextuel offrant l'option «Créer une image de la partition...» ?

Je n'ai jamais testé...

A+

Dernière modification par ylag (Le 21/01/2020, à 13:34)

iznobe · Le 20/01/2020, à 18:15

ylag a écrit :

Bonjour,
iznobe a écrit :
Bonsoir , je suis en version 18.04 et par gnome disk utility , on ne peut que faire une sauvegarde complete du disque , il ne propose pas de faire une image de partition
Dans gnome-disk-utility sur la 18.04, si vous sélectionnez une partiotion, puis cliquez sur la roue crantée en bas de l'image des partiotions -> «Options de partition supplémentaires», vous devriez obtenir un menu contextuel offrant l'option «Créer une image de la partition...» ?
Je n'ai jamais testé...
A+

effectivement , je viens de voir que l ' on peut creer une image de partition en la selectionnant puis , dans les parametres de celle-ci et non du disque , il est possible de lancer la creation de l ' image

merci pour l ' info !

iznobe · Le 20/01/2020, à 18:19

Nasman a écrit :

dd ne se préoccupe pas des systèmes de fichiers, pour lui il ne voit que des octets. Un octet d'un fichier toujours "vivant" n'aura pas plus de valeur qu'un octet d'un fichier supprimé (dont seul l'index aura été supprimé).
Copier le contenu d'une partition (donc les fichiers bien recensés) prendra moins de place que copier la partition avec dd (qui inclura les fichiers effacés et les zones vierges d'écriture).
Après il est possible de compresser la copie de dd (sans destruction) pour avoir un truc moins gros.
Ne copier que les partitions avec dd évite aussi de copier les zones non allouées du disque. Sauvegarder le mbr (et les secteurs suivants) est nécessaire si on veut garder une trace du positionnement des partitions sur le disque mais aussi car du code nécessaire au démarrage d'ubuntu est présent dans les 63 premiers secteurs (boot en mode bios sur disque msdos)

Salut , et merci pour votre reponse

donc si je comprends bien , avec "dd" soit je fait une image disque complete , tres facile , mais ocuupe autant de place que le disque d' origine .
soir je lance une commande pour copier les 63 premiers secteurs de mon disque , puis une autre commande pour chaque partition contenue dans le disque , et là j ' ai ( si je me trompe nulle part ) j ' obtiens " un morcellage " a l' identique de mon disque mais sans l' espace vide .
du coup , pour reconstituer le disque a l ' etat d' origine avec tout cela c ' est peut etre pas evident si ?

Dernière modification par iznobe (Le 20/01/2020, à 18:20)

erresse · Le 20/01/2020, à 18:20

Bonjour,
Mon idée, pour ce qu'elle vaut, est que si l'espace disque a déjà été utilisé, même si on a supprimé les données, il ne contient plus les zéros binaires qui sont recherchés en fin de volume. Du coup, "dd" ne sauterait pas ces secteurs puisqu'il fait de la copie physique et ignore si le contenu est ou non significatif...
Il faudrait faire un essai avec un volume fraîchement créé et formaté mais jamais utilisé, pour voir s'il copie ou pas les blocs de zéros binaires.
On peut sans doute créer un tout petit volume pour tester sans y passer sa journée...
Un avis éclairé sur cette suggestion ?

geole · Le 20/01/2020, à 18:27

Merci pour l'information de copie de partition
J'ai constaté que le fichier généré avait exactement la même taille que celui issu d'une commande dd. (partition EFI de boot)

Dernière modification par geole (Le 20/01/2020, à 18:28)

MicP · Le 20/01/2020, à 19:05

Bonjour

Tu pourrais utiliser gzip pour compresser le fichier généré par dd

dd if=/dev/sdg1 | gzip -9 > ddSdg1

pour créer un fichier compressé

=======
Et plus tard, pour recopier le fichier décompressé sur la partition

dd if=ddSdg1.gz | gzip -dc | dd of=/dev/sdg1 && sync

(la commande sync, c'est pour être sûr que le prompt ne reviendra que quand tout aura bien été écrit)

Dernière modification par MicP (Le 20/01/2020, à 21:59)

iznobe · Le 21/01/2020, à 10:52

MicP a écrit :

Bonjour
Tu pourrais utiliser gzip pour compresser le fichier généré par dd
dd if=/dev/sdg1 | gzip -9 > ddSdg1
pour créer un fichier compressé
=======
Et plus tard, pour recopier le fichier décompressé sur la partition
dd if=ddSdg1.gz | gzip -dc | dd of=/dev/sdg1 && sync
(la commande sync, c'est pour être sûr que le prompt ne reviendra que quand tout aura bien été écrit)

Salut et merci pour cette reponse !

Cependant , sur un disque de 4 To avec 30 GO de données par exemple , meme en compressant ce n' est pas top , surtout que meme a compresser des zeros , ca prend du temps et apres test , au mieux ca divise la taille par 2 environs : donc 2 To pour 30 Go de données , c ' est pas vraiment rentable , meme si c ' est toujours mieux que 4 To bien sur .

j ' ai aussi fait un test de sauvegarde de partition sur ma clé de 2 Go avec 300 Mo de donnes ( photos et documents divers ) , meme resultat , taille de 2 Go pour l ' image generee .

Dernière modification par iznobe (Le 21/01/2020, à 10:55)

geole · Le 21/01/2020, à 15:10

iznobe a écrit :

MicP a écrit :
Bonjour
Tu pourrais utiliser gzip pour compresser le fichier généré par dd
dd if=/dev/sdg1 | gzip -9 > ddSdg1
pour créer un fichier compressé
..
)
Salut et merci pour cette reponse !
..
j ' ai aussi fait un test de sauvegarde de partition sur ma clé de 2 Go avec 300 Mo de donnes ( photos et documents divers ) , meme resultat , taille de 2 Go pour l ' image générée .

Etant un peu surpris, je me permet de donner quelques résultats obtenus en dupliquant l'O.S 18.04.3 installé dans une partition de 20 Go pleine à 67% car c'est l'objet de la demande.

Voici les scripts qui contiennent la durée d'exécution soit en secondes soit en heures:minutes:secondes

sudo dd if=/dev/sda17 of=/mnt/SDA17dd
41943040+0 enregistrements lus
41943040+0 enregistrements écrits
21474836480 octets (21 GB, 20 GiB) copiés, 275,24 s, 78,0 MB/s
===> Soit 00:04:35

sudo touch /mnt/SDA17ddcomp9
sudo chmod 777 /mnt/SDA17ddcomp9
sudo dd if=/dev/sda17 |  gzip -9 > /mnt/SDA17ddcomp9
41943040+0 enregistrements lus
41943040+0 enregistrements écrits
21474836480 octets (21 GB, 20 GiB) copiés, 1993,76 s, 10,8 MB/s
====> Soit  00:33:14

sudo touch /mnt/SDA17ddcomp1
sudo chmod 777 /mnt/SDA17ddcomp1
sudo dd if=/dev/sda17 |  gzip -1 > /mnt/SDA17ddcomp1
41943040+0 enregistrements lus
41943040+0 enregistrements écrits
21474836480 octets (21 GB, 20 GiB) copiés, 598,184 s, 35,9 MB/s
====> Soit  00:09:58

sudo umount /dev/sda17
sudo e2fsck -v /dev/sda17
sudo partclone.ext4 -c  -s /dev/sda17 -O /mnt/sda17part
Partclone v0.3.11 http://partclone.org
Démarrage clonage périphérique (/dev/sda17) vers image (/mnt/sda17part)
Reading Super Block
Calculating bitmap... Please wait... 
Elapsed: 00:00:01, Remaining: 00:00:00, Completed: 100.00%                      
Durée totale: 00:00:01, 100.00% completed!
done!
Système de fichiers:  EXTFS
Device size:   21,5 GB = 5242880 Blocks
Space in use:  13,7 GB = 3340127 Blocks
Free Space:     7,8 GB = 1902753 Blocks
Taille de bloc:  4096 octets
Elapsed: 00:03:24, Remaining: 00:00:00, Completed: 100.00%, Débit:   4,02GB/mn, 
current block:    5242799, total block:    5242880, Complete: 100.00%           
Durée totale: 00:03:24, Débit moyen:    4,0GB/mn, 100.00% completed!
Syncing... OK!
Partclone a réussi à cloner le périphérique (/dev/sda17) vers l'image (/mnt/sda17part)
Cloned successfully.

sudo touch /mnt/sda17partcomp1
sudo chmod 777 /mnt/sda17partcomp1
sudo partclone.ext4 -c  -s /dev/sda17 | gzip -c -1 > /mnt/sda17partcomp1
Partclone v0.3.11 http://partclone.org
Démarrage clonage périphérique (/dev/sda17) vers image (-)
Reading Super Block
Calculating bitmap... Please wait... 
Elapsed: 00:00:01, Remaining: 00:00:00, Completed: 100.00%                      
Durée totale: 00:00:01, 100.00% completed!
done!
Système de fichiers:  EXTFS
Device size:   21,5 GB = 5242880 Blocks
Space in use:  13,7 GB = 3340127 Blocks
Free Space:     7,8 GB = 1902753 Blocks
Taille de bloc:  4096 octets
Elapsed: 00:08:50, Remaining: 00:00:00, Completed: 100.00%, Débit:   1,55GB/mn, 
current block:    5242799, total block:    5242880, Complete: 100.00%           
Durée totale: 00:08:50, Débit moyen:    1,5GB/mn, 100.00% completed!
Syncing... OK!
Partclone a réussi à cloner le périphérique (/dev/sda17) vers l'image (-)
Cloned successfully.

sudo touch /mnt/sda17partcomp9
sudo chmod 777 /mnt/sda17partcomp9
sudo partclone.ext4 -c  -s /dev/sda17 | gzip -c -9 > /mnt/sda17partcomp9
Partclone v0.3.11 http://partclone.org
Démarrage clonage périphérique (/dev/sda17) vers image (-)
Reading Super Block
Calculating bitmap... Please wait... 
Elapsed: 00:00:01, Remaining: 00:00:00, Completed: 100.00%                      
Durée totale: 00:00:01, 100.00% completed!
done!
Système de fichiers:  EXTFS
Device size:   21,5 GB = 5242880 Blocks
Space in use:  13,7 GB = 3340127 Blocks
Free Space:     7,8 GB = 1902753 Blocks
Taille de bloc:  4096 octets
Ecoulé: 00:19:30, Restant: 00:10:32, Complété: 64,91%,, 455,38MB/mn             
Elapsed: 00:31:30, Remaining: 00:00:00, Completed: 100.00%, Débit: 434,32MB/mn, 
current block:    5242799, total block:    5242880, Complete: 100.00%           
Durée totale: 00:31:30, Débit moyen:  434,3MB/mn, 100.00% completed!
Syncing... OK!
Partclone a réussi à cloner le périphérique (/dev/sda17) vers l'image (-)
Cloned successfully.

Voici la taille des fichiers correspondants

a@a:/mnt$ ls -lS
total 72549352
-rw-r--r-- 1 root root 21474836480 janv. 21 12:08 SDA17dd
-rw------- 1 root root 13681867858 janv. 21 13:11 sda17part
-rwxrwxrwx 1 root root 13571745021 janv. 21 13:01 SDA17ddcomp1
-rwxrwxrwx 1 root root 13195043116 janv. 21 12:48 SDA17ddcomp9
-rwxrwxrwx 1 root root  6358916911 janv. 21 13:26 sda17partcomp1
-rwxrwxrwx 1 root root  6008075254 janv. 21 13:59 sda17partcomp9
drwx------ 2 root root       16384 janv. 21 12:01 lost+found

et du coup quelques remarques
1) La commande DD peut être exécutée avec une partition entrée en cours d'écriture.
2) La commande DD peut dupliquer une partition non montable.
3) La commande clonepart exige que la partition entrée soit démontée et récemment contrôlée.
4) L'option de compression -9 ne semble pas à conseiller si on compare avec l'option -1 (par défaut c'est -6) le gain d'espace obtenu n'est pas signification par rapport à la consommation processeur. Peut-être qu'avec un processeur plus puissant....
5) Partclone est plus rapide que la commande DD. Mais cela dépend du taux de remplissage de la partition.

AJOUT.
Traitement pour une partition de taille semblable ne contenant absolument aucune donnée.

sudo dd if=/dev/zero of=/mnt/zero.img status=progress
21995622912 octets (22 GB, 20 GiB) copiés, 185 s, 119 MB/s
dd: écriture vers '/mnt/zero.img': Aucun espace disponible sur le périphérique
42964209+0 enregistrements lus
42964208+0 enregistrements écrits
21997674496 octets (22 GB, 20 GiB) copiés, 185,091 s, 119 MB/s

sudo touch /DPP/SAVE.img
sudo chmod 777 /DPP/SAVE.img
sudo dd if=/dev/sdb2  status=progress |  gzip -9 > /DPP/SAVE.img
44040192+0 enregistrements lus
44040192+0 enregistrements écrits
22548578304 octets (23 GB, 21 GiB) copiés, 190,8 s, 118 MB/s

ls -ls /DPP/*.img
66004 -rwxrwxrwx 1 root root 67584767 janv. 21 19:17 /DPP/SAVE.img

MAIS ne pas oublier de renouveler l'opération lorsqu'une grande quantité de fichiers de taille importante est supprimée.

Dernière modification par geole (Le 21/01/2020, à 20:31)

melixgaro · Le 21/01/2020, à 16:43

Bonjour,
Lorsque j'image une partition de ~65GiB avec dd + gzip (commande similaire à celle de MicP), j'obtiens une fichier gz de ~2GiB.
Il faut s'assurer que les secteurs vides ne contiennent vraiment pas de données (en effectuant un remplissage par des zéros par exemple).

iznobe · Le 21/01/2020, à 18:33

melixgaro a écrit :

Bonjour,
Lorsque j'image une partition de ~65GiB avec dd + gzip (commande similaire à celle de MicP), j'obtiens une fichier gz de ~2GiB.
Il faut s'assurer que les secteurs vides ne contiennent vraiment pas de données (en effectuant un remplissage par des zéros par exemple).

Salut ,

du coup ma question : comment est il possible de remplir l' espace vide avec des zeros ?

melixgaro · Le 21/01/2020, à 18:41

Si c'était moi, je monterais la partition du disque en question (je suppose qu'il y a une seule partition qui occupe l'intégralité de ton disque de 4To) et j'écrirais un fichier unique vide.dat avec des zéros jusqu'à ce que la partition soit saturée. Ensuite, je supprimerais vide.dat pour récupérer l'espace. La commande en question serait (à lancer dans un terminal après s'être déplacé dans un dossier de la partition)

sudo dd if=/dev/zero of=./vide.dat           # avec sudo pour remplir aussi l'espace réservé

Attends l'avis des autres pour voir s'il y a une autre façon plus conviviale…

Modif. : correction d'une erreur dans la commande notée par moko. Merci

Ajout : C'est peut-être pas malin de faire un seul fichier vide.dat sur une partition aussi grosse que 4To. Vaudrait mieux fractionner en vide1.dat, vide2.dat etc (une dizaine de Go par fichier). Faut utiliser une boucle et modifier la commande dd pour qu'elle s'arrête au bout d'une dizaine de Go.

Dernière modification par melixgaro (Le 22/01/2020, à 00:28)

melixgaro · Le 21/01/2020, à 20:12

oh la la, merci moko -> je corrige !
(c'est parce qu'il faut en écrire beaucoup).

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 19/01/2020, à 14:14

sauvegarde disque avec dd

#2 Le 19/01/2020, à 15:09

Re : sauvegarde disque avec dd

#3 Le 19/01/2020, à 18:32

Re : sauvegarde disque avec dd

#4 Le 19/01/2020, à 19:07

Re : sauvegarde disque avec dd

#5 Le 20/01/2020, à 13:07

Re : sauvegarde disque avec dd

#6 Le 20/01/2020, à 17:30

Re : sauvegarde disque avec dd

#7 Le 20/01/2020, à 17:40

Re : sauvegarde disque avec dd

#8 Le 20/01/2020, à 18:06

Re : sauvegarde disque avec dd

#9 Le 20/01/2020, à 18:07

Re : sauvegarde disque avec dd

#10 Le 20/01/2020, à 18:15

Re : sauvegarde disque avec dd

#11 Le 20/01/2020, à 18:19

Re : sauvegarde disque avec dd

#12 Le 20/01/2020, à 18:20

Re : sauvegarde disque avec dd

#13 Le 20/01/2020, à 18:27

Re : sauvegarde disque avec dd

#14 Le 20/01/2020, à 19:05

Re : sauvegarde disque avec dd

#15 Le 21/01/2020, à 10:52

Re : sauvegarde disque avec dd

#16 Le 21/01/2020, à 15:10

Re : sauvegarde disque avec dd

#17 Le 21/01/2020, à 16:43

Re : sauvegarde disque avec dd

#18 Le 21/01/2020, à 18:33

Re : sauvegarde disque avec dd

#19 Le 21/01/2020, à 18:41

Re : sauvegarde disque avec dd

#20 Le 21/01/2020, à 20:12

Re : sauvegarde disque avec dd

Pied de page des forums