resize2fs >16To quel choix?

Hoper · Le 26/04/2013, à 19:38

Mais heu... 2 To de meta data sur un volume de 10 To, c'est normal ça !?
Et encore, puisque tu l'utilise au dessu d'un raid mdmadm (c'est vraiment du raid0 !!?)... Tu as combien de copie des meta data sur le disque ?

zapan999 · Le 26/04/2013, à 20:00

raid5 pour le mdadm en fait Hoper:

mdadm --detail /dev/md0
mdadm: only give one device per ARRAY line: /dev/md0 and /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Fri Dec 21 00:44:01 2012
     Raid Level : raid5
     Array Size : 17581562880 (16767.09 GiB 18003.52 GB)
  Used Dev Size : 2930260480 (2794.51 GiB 3000.59 GB)
   Raid Devices : 7
  Total Devices : 8
    Persistence : Superblock is persistent

    Update Time : Fri Apr 26 20:47:27 2013
          State : clean
 Active Devices : 7
Working Devices : 8
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

           Name : Ubuntu-Server:2
           UUID : 1d2fda08:d5e718c9:d920c751:bd588a1c
         Events : 24235

    Number   Major   Minor   RaidDevice State
       0       8       49        0      active sync   /dev/sdd1
       5       8       65        1      active sync   /dev/sde1
       2       8       81        2      active sync   /dev/sdf1
       3       8       33        3      active sync   /dev/sdc1
       4       8      145        4      active sync   /dev/sdj1
       7       8      129        5      active sync   /dev/sdi1
       8       8       97        6      active sync   /dev/sdg1

       6       8      113        -      spare   /dev/sdh1

Le volume fait en fait 16To, mais l'allocation data/meta des blocs semble être dynamique (en gros, je vois bien la taille reservé et utilisé des datas augmenter quand je rajoute des données. un info sur combien d'espace disponible restant aurait été sympathique...

Il semblerais que (auparavant??) btrfs fait par défaut 2 copies des metadata, mais dans les exemples rencontrés sur le net, j'aurais dut avoir marqué "DUP" (pour duplicated) en face de "Metadata"... donc il se pourrais qu'au vu de l'espace pris/disponible lors de la conversion, btrfs ait opté pour une seul copie des metadata.

Quand à l'espace occupé, il ne faut pas oublier que btrfs se veux plus sécurisé que ext4 (checksum, ...)
Donc 1.69Tb me semblent encore gros, mais je n'ai pas encore fait un balancing de l’intégrité des bloc de metadata. vu la différence de gain d'espace entre 90% et 95% de balancing, je pense que je risque encore de gagner gros si je le lançais.

Pour resituer un peu les choses, voici les infos sur ce volume:
1 108 590 Fichiers
86 235 Dossiers

11.3To de données

J'ai encore de solutions à trouver pour diminuer le nombre de fichiers/répertoires....

Hoper · Le 27/04/2013, à 09:43

Merci beaucoup pour toutes ces explications.

Il y a encore une chose qui m'échappe...
Pour moi, la notion de "balancing" btrfs était l'idée de répartition des données (m et d) sur l'ensemble des disques (ou devices) utilisé dans le "pool" btrfs. Or, dans ton cas, tu ne lui indiqué qu'un seul disque, md0.

Donc, je ne comprend pas ce qu'il fait si tu lance un balance. Un balance sur un seul disque, ça fait quoi ?

zapan999 · Le 27/04/2013, à 09:48

en fait, ça force le déplacement des blocs de data ou meta => je déplace 5 blocs pleins à 1/5eme pour créer 1 bloc plein (version très simplifiée du process, je te l'accorde

dans la version 1 disque (imagé, hein^^) l'utilisation s'apparente plus à une sorte de défrag mais avec des options de filtrages disons.

Hoper · Le 27/04/2013, à 18:10

Ah oui, la défragmentation.... J'avais oublié cet aspect la, pourtant j'ai lu plein de choses sur le sujet... btrfs semble quand meme fragmenter beaucoup... J'ai lu qu'ils avaient amélioré les performances en mettant en place une défragmentation automatique en arrière plan mais bon...

Très incomplet par rapport au trio mdadm/lvm/fs, fragile (dans la mesure ou je met en doute la véritable isolation des sous volumes), très gourmand en volumétrie, pas franchement user friendly (qui ne sait pas vraiment combien il reste de place et qui doit jongler avec la defrag),
Plus j'en apprend, et moins il me fait envi ce FS
Il y a de très bonne choses (le snapshot au niveau fichier) mais ça ne suffit pas pour en faire son FS par défaut avant... pfff... Des années

zapan999 · Le 27/04/2013, à 18:42

Bah je dirais que vu le nombre de choix restreint que j'avais, il était quand même salvateur

et la on parles d'un btrfs par conversion, apparemment les personnes n'ont pas forcément ce problème de metadata volumineux.

Enfin, on verras si le FS tient bien le coup (j'i une femme qui fait souvent disjoncter, sans parler des autres catastrophes...) donc on verra si vous me relisez chouinant sur mes data

Cordialement,

zapan999

Pseudo supprimé · Le 27/04/2013, à 20:20

j'i une femme qui fait souvent disjoncter, sans parler des autres catastrophes...

mort de rire ..
c'est samdi soir c'est sûr ! hihi ...

Dernière modification par Titouan (Le 27/04/2013, à 20:20)

zapan999 · Le 28/04/2013, à 07:32

Nan mais tout le monde crois que je déconne, mais je vous assure, entre les innondations, le lave vaisselle rempli au paic citron (donc soirée mousse en vue), les multiprises fondues collée derrière le four, et j'en passe (car la c'est du hors-sujet total...), je vous assure qu'il faut avoir une bonne alim (enfin là c'est la 3eme pour le serveur) et un FS "bullet-proof"

Même mes deux onduleurs y ont laisser leur vie (APC 1400 et 1000)!

Sinon, pour en revenir (mode chevalier blanc sur son destrier qui viens défendre sa princesse) a l'espace occupé par les métadata, hier soir, après avoir fait sauter encore quelques centaines de milliers de fichiers, j'ai lancer un autre balancing, mais cette fois-ci sans filtre sur le %:

sudo time btrfs fi balance start -m /mnt/raid0

et là, ce n'est pas encore finit:

btrfs fi balance status /mnt/raid0
Balance on '/mnt/raid0' is running
1442 out of about 1879 chunks balanced (4158 considered),  23% left

mais voici les résultats:

btrfs fi df /mnt/raid0/
Data: total=10.53TB, used=10.28TB
System: total=32.00MB, used=656.00KB
Metadata: total=659.00GB, used=430.25GB

430Gb pour les méta, on a diminuer de pus d'1Tb, et on a fait 3/4 du balacing. On verra bien dans quelques heures.

Donc en gros, il vaut peut-être mieux faire direct un balancing sans filtrage "usage" (mais toujours metadata) au premier round, et ensuite si ont vois que les meta grossissent trop, des petit filtrages à 80-95%. (je ne sais pas si le balancing sera nécessaire par la suite, l'ont-ils correctement intégrer depuis?....)

cordialement,

zapan999

zapan999 · Le 28/04/2013, à 12:33

bon voici les stats actuelles:

10,7To, 743374 fichiers, 52060 Dossiers

le balance:

sudo time btrfs fi balance start -m /mnt/raid0
Done, had to relocate 1879 out of 4788 chunks
0.00user 3761.18system 15:36:01elapsed 6%CPU (0avgtext+0avgdata 408maxresident)k
3472292808inputs+4493439488outputs (8major+285minor)pagefaults 0swaps

le df:

btrfs fi df /mnt/raid0/
Data: total=10.93TB, used=10.69TB
System: total=32.00MB, used=668.00KB
Metadata: total=222.00GB, used=10.04GB

10.4GB occupés de metadata, ca passe mieux déjà

Cordialement,
zapan999

Hoper · Le 29/04/2013, à 08:58

Nan mais tout le monde crois que je déconne, mais je vous assure, entre les innondations, le lave vaisselle rempli au paic citron (donc soirée mousse en vue), les multiprises fondues collée derrière le four, et j'en passe (car la c'est du hors-sujet total...), je vous assure qu'il faut avoir une bonne alim (enfin là c'est la 3eme pour le serveur) et un FS "bullet-proof" wink
Même mes deux onduleurs y ont laisser leur vie (APC 1400 et 1000)!

Impressionnant en effet

Meme si on est plus tout à fait dans le sujet btrfs, on reste dans le domaine de la protection des données... Tu as des conseils en matière d'onduleur ? Les coupures chez moi sont assez rares, mais quand ça arrive, c'est toujours un peu pénible (en général, même si les opérations sont scriptés, il me faut bien une demi-heure pour remonter mes serveurs (passphrase de déchiffrement etc). Sans parler des cas ou ça remonte pas tout seul et ou il faut remettre grub en place etc. Donc l'onduleur, meme si c'est cher, c'est quand même appréciable. Le soucis, c'est la durée de vie des batteries... Ou alors ils faut pouvoir les changer sans que ça coute le prix de l'onduleur.

Bref, tous avis sur le sujet sera le bienvenu

zapan999 · Le 02/05/2013, à 17:01

re bonjour!

désolé pour le retard, entre les sorties photos, les apérots, et un peu de geekeries (neverwinter...), j'ai été un peu à l'ouest ces derniers jours^^

Alors concernant les onduleurs, Je n'en ai jamais acheter, ils sont tous de récupération (de la bonne époque ou ca jetais sans se poser de questions... "patron, on en fait quoi des 12 onduleurs qui ont étés changés? bah tu les bennes... ok.... )
sinon, la seuls différence (à mon avis) est de savoir si tu veux un onduleur offline ou online. la différence est sur le fait que pour l'un, le courrant est toujours ondulé (online), pour l'autre, il ne l'est qu'en cas de coupure ou surtension (offline).
Tu me diras: mais c'est quoi la différence au final? bah deux trucs:
1 - un courrant "ondulé" est toujours propre. ddp constante, fréquence constante.
2 - en cas de surtension/sous-tension/coupure, il y a un très léger laps de temps ou l'onduleur doit couper l'arrivée pour prendre le relais. ce court laps de temps est pour moi le point faible de l'onduleur (risque de laisser passer la surtension...).

bon j'ai oublier le line-interactive (que je connaissais pas). tu peux en apprendre plus sur le sujet chez aps par exemple.

pour les batteries, j'avais un plan (un ami qui bossais dans le changement de batteries de pabx... ), hélas aujourd'hui, après avoir laisser passer l'occasion de swapper mes batteries H.S avec un retour complet de notre parc de batteries d'onduleurs de la salle serveur, bah je crois que je vais devoir m'en racheter une comme monsieur tout-le-monde...

Tout ca je le résume par:

1 - Prend un onduleur online (ou inline...)
2 - Assure-toi de pouvoir communiquer avec lui: en dessous d'une certaine charge restante, ton serveur doit enclencher le shutdown. voir au moins démonter ton raid et le stopper sous mdadm (si tu veux sauvegarder que les données, peut importe si le system crash... )

Voilà!

Cordialement,

zapan999

Hoper · Le 03/05/2013, à 07:32

Je connaissais les différentes techno mais merci En fait, c'était plutôt des conseils sur les bon rapports qualité prix et ceux qui avaient des batteries de rechanges "abordables" que je cherchai, mais toi tu triche

Bon, oublions ça, revenons en au sujet. Pour info, j'ai écrit un petit truc sur btrfs ici : http://hoper.dnsalias.net/tdc/index.php … 4/24/btrfs

N’hésite pas à m'indiquer si tu pense que je me goure sur certains points.

A plus.

zapan999 · Le 03/05/2013, à 08:59

je regarde ca de chez moi, ca passe pas les proxy ici (@BNPLand)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#26 Le 26/04/2013, à 19:38

Re : resize2fs >16To quel choix?

#27 Le 26/04/2013, à 20:00

Re : resize2fs >16To quel choix?

#28 Le 27/04/2013, à 09:43

Re : resize2fs >16To quel choix?

#29 Le 27/04/2013, à 09:48

Re : resize2fs >16To quel choix?

#30 Le 27/04/2013, à 18:10

Re : resize2fs >16To quel choix?

#31 Le 27/04/2013, à 18:42

Re : resize2fs >16To quel choix?

#32 Le 27/04/2013, à 20:20

Re : resize2fs >16To quel choix?

#33 Le 28/04/2013, à 07:32

Re : resize2fs >16To quel choix?

#34 Le 28/04/2013, à 12:33

Re : resize2fs >16To quel choix?

#35 Le 29/04/2013, à 08:58

Re : resize2fs >16To quel choix?

#36 Le 02/05/2013, à 17:01

Re : resize2fs >16To quel choix?

#37 Le 03/05/2013, à 07:32

Re : resize2fs >16To quel choix?

#38 Le 03/05/2013, à 08:59

Re : resize2fs >16To quel choix?

Pied de page des forums