[RESOLU] ubuntu--vg--root passe en Read Only tous les jours

geole · Le 22/08/2024, à 15:21

Heureusement que tu avais copié avant l'arrêt. Il semble que le journal soit perdu..

 journalctl --list-boots --no-pager

Une piste possible: La RAM en mauvais état puisque cela semble se passer dans des zones de CACHE. Ce qui voudrait dire un test de RAM de plus de 24 heures.
Pas facile pour un serveur.
Ce qui est surprenant est le fait qu'un arrêt toutes des 24 heures empêche le problème de survenir.
Mais est-ce certain? Car Il me semble y avoir eu un trou ici

-14 7ded1bf5fa7e48f3b07940fc023e320d Wed 2024-08-07 07:00:40 CEST—Thu 2024-08-08 02:00:55 CEST
-13 89bcd16a52164dcfa701d12a55ba4738 Thu 2024-08-08 08:42:01 CEST—Fri 2024-08-09 07:00:06 CEST

et ici

 -5 8748405ae2c04a73abb94c05d8703b43 Fri 2024-08-16 07:00:55 CEST—Sat 2024-08-17 02:00:34 CEST
 -4 feb58b36132a444bb08101a5ae93009e Sat 2024-08-17 13:15:42 CEST—Sun 2024-08-18 07:00:23 CEST

A moins que cela soient des arrêts volontaires car trois fois deux heures du matin

 -1 a8bd514bc61b4b3da3cbb94219d744a8 Tue 2024-08-20 07:00:58 CEST—Thu 2024-08-22 02:06:14 CEST
  0 9a5245470f3048a5acde8853290a5df3 Thu 2024-08-22 15:19:21 CEST—Thu 2024-08-22 16:32:34 CEST

Dernière modification par geole (Le 22/08/2024, à 15:45)

cdlp34 · Le 22/08/2024, à 15:33

$  journalctl --list-boots --no-pager
-51 9a2963c68d864181b5059dff77974c52 Wed 2024-07-03 07:24:01 CEST—Thu 2024-07-04 07:00:03 CEST
-50 f43aa5a238df49dcac584a6c280f5178 Fri 2024-07-05 06:55:02 CEST—Fri 2024-07-05 06:55:22 CEST
-49 7d12fc1b8e6c4d15a844e4afe45221b0 Sat 2024-07-06 06:55:01 CEST—Sat 2024-07-06 06:55:22 CEST
-48 daf95b1f8cb04d7f912b26a0153cb626 Sat 2024-07-06 18:28:50 CEST—Sun 2024-07-07 07:00:07 CEST
-47 17dd2f56137f4a8fb6ca9aa6be5cb00a Sun 2024-07-07 07:00:39 CEST—Sun 2024-07-07 16:06:52 CEST
-46 a0b99506950f4163bf509aa6ee5dc9c8 Sun 2024-07-07 16:08:23 CEST—Sun 2024-07-07 19:53:31 CEST
-45 e438b46911a440a6a90b25093cd93533 Sun 2024-07-07 19:54:34 CEST—Mon 2024-07-08 07:00:22 CEST
-44 2d3466df8d8643e7a937c778f9292dd1 Mon 2024-07-08 07:00:54 CEST—Tue 2024-07-09 07:01:36 CEST
-43 3845a1f370a8418cbb8f046d7f6d6e46 Tue 2024-07-09 07:02:10 CEST—Wed 2024-07-10 07:00:07 CEST
-42 14073ab9ca9a4a6f85ff8d8e040076a0 Wed 2024-07-10 07:00:40 CEST—Thu 2024-07-11 07:17:15 CEST
-41 458becb044364b879fbe8e4fbf9472d9 Thu 2024-07-11 07:24:51 CEST—Fri 2024-07-12 07:00:08 CEST
-40 e121f4d3926d419bb06c160b646d590e Fri 2024-07-12 07:00:40 CEST—Sat 2024-07-13 07:00:22 CEST
-39 314ce54ff1b4435db3b29b8e66e597d1 Sat 2024-07-13 07:00:54 CEST—Sun 2024-07-14 07:00:07 CEST
-38 44321254df944209b610ecb4d94bcd0a Sun 2024-07-14 07:00:40 CEST—Mon 2024-07-15 07:00:22 CEST
-37 d151ab4e52b74ffeb6ef53e421bb665a Mon 2024-07-15 07:00:55 CEST—Tue 2024-07-16 07:00:23 CEST
-36 df9729d0c3174df480b228e9257ec75f Tue 2024-07-16 07:00:57 CEST—Wed 2024-07-17 07:00:07 CEST
-35 5127ae61ea0b4e919fbf9762fcf15d5b Wed 2024-07-17 07:00:40 CEST—Thu 2024-07-18 07:00:09 CEST
-34 a3a4fbf8f4254906a1a2346069ca6c87 Thu 2024-07-18 07:00:41 CEST—Fri 2024-07-19 07:00:08 CEST
-33 1c994e384fdd43a784a66d5cf4f25ab2 Fri 2024-07-19 07:00:41 CEST—Sat 2024-07-20 07:00:22 CEST
-32 2c423dd6f3fa4bc6bc2e4964bc989626 Sat 2024-07-20 07:00:58 CEST—Sun 2024-07-21 07:00:22 CEST
-31 080ec6c4cff543adb41d5470925ca4a7 Sun 2024-07-21 07:00:54 CEST—Mon 2024-07-22 07:00:08 CEST
-30 bd203cff1e2b4524a8d2c954f9de374e Mon 2024-07-22 07:00:40 CEST—Tue 2024-07-23 07:00:07 CEST
-29 d58192cc538b4a97954f977d507517b2 Tue 2024-07-23 07:00:42 CEST—Wed 2024-07-24 07:00:07 CEST
-28 52f1d26d6f114f3bb13dce9e5824a6da Wed 2024-07-24 07:00:39 CEST—Thu 2024-07-25 07:00:06 CEST
-27 4a5f8eac6c534014965b4c2b3d954e63 Thu 2024-07-25 07:00:39 CEST—Fri 2024-07-26 07:00:05 CEST
-26 7491c7f855c64524bdac1110bf82adfd Fri 2024-07-26 07:00:37 CEST—Sat 2024-07-27 07:00:08 CEST
-25 d0362a5e8f284aeaae6ade270923c8e8 Sat 2024-07-27 07:00:42 CEST—Sun 2024-07-28 07:00:22 CEST
-24 0e7bd9b9cfab4886993cc2527b9b141f Sun 2024-07-28 07:00:53 CEST—Mon 2024-07-29 07:00:21 CEST
-23 73e3b0ee54684123b2541a694bc6dce2 Mon 2024-07-29 07:00:54 CEST—Tue 2024-07-30 07:00:08 CEST
-22 a91f4cc2998e412985fcdf334e319532 Tue 2024-07-30 07:00:40 CEST—Wed 2024-07-31 07:00:21 CEST
-21 87c5e5863488443e9510e3fe1dd3ab65 Wed 2024-07-31 07:00:53 CEST—Thu 2024-08-01 07:00:08 CEST
-20 b3d9b61db6da46dd9daa5037edaac5ea Thu 2024-08-01 07:00:42 CEST—Fri 2024-08-02 07:00:05 CEST
-19 f54b107ed30e497493dbf91078f65170 Fri 2024-08-02 07:00:38 CEST—Sat 2024-08-03 07:00:07 CEST
-18 654e252509ff458aa30ecf3ffe8570e4 Sat 2024-08-03 07:00:40 CEST—Sun 2024-08-04 17:36:26 CEST
-17 469e8fc6e8814840affdb80c950314a3 Sun 2024-08-04 17:37:07 CEST—Mon 2024-08-05 11:59:16 CEST
-16 8551822a8b2c4809a244f6085b650313 Mon 2024-08-05 12:13:07 CEST—Tue 2024-08-06 07:00:07 CEST
-15 5fdfb3e0fd4d4aa7b346b15d11debada Tue 2024-08-06 07:00:40 CEST—Wed 2024-08-07 07:00:07 CEST
-14 7ded1bf5fa7e48f3b07940fc023e320d Wed 2024-08-07 07:00:40 CEST—Thu 2024-08-08 02:00:55 CEST
-13 89bcd16a52164dcfa701d12a55ba4738 Thu 2024-08-08 08:42:01 CEST—Fri 2024-08-09 07:00:06 CEST
-12 f349081f8651426da9372c609b4f21b6 Fri 2024-08-09 07:00:39 CEST—Sat 2024-08-10 07:00:23 CEST
-11 a0db40550d414620af1d313a283f5eda Sat 2024-08-10 07:00:56 CEST—Sun 2024-08-11 07:00:51 CEST
-10 ee290df3aa264028aa8b86f013ea5621 Sun 2024-08-11 07:08:24 CEST—Mon 2024-08-12 07:00:07 CEST
 -9 864dc3faf196453da1b8e375f79e2b29 Mon 2024-08-12 07:00:40 CEST—Tue 2024-08-13 07:00:23 CEST
 -8 79a256cfefd540d98c10b5064828bc50 Tue 2024-08-13 07:00:55 CEST—Wed 2024-08-14 07:00:08 CEST
 -7 3b12051e6cca43b89f2248154c8c4ea4 Wed 2024-08-14 07:00:41 CEST—Thu 2024-08-15 07:00:22 CEST
 -6 e9faa2e7b6a04223831d1b5164de16d8 Thu 2024-08-15 07:00:56 CEST—Fri 2024-08-16 07:00:22 CEST
 -5 8748405ae2c04a73abb94c05d8703b43 Fri 2024-08-16 07:00:55 CEST—Sat 2024-08-17 02:00:34 CEST
 -4 feb58b36132a444bb08101a5ae93009e Sat 2024-08-17 13:15:42 CEST—Sun 2024-08-18 07:00:23 CEST
 -3 063b32a457f942d4befa44d28dbad234 Sun 2024-08-18 07:00:56 CEST—Mon 2024-08-19 07:00:08 CEST
 -2 3f0c0f28a1324c05a83fcb64e5792583 Mon 2024-08-19 07:00:41 CEST—Tue 2024-08-20 07:00:23 CEST
 -1 a8bd514bc61b4b3da3cbb94219d744a8 Tue 2024-08-20 07:00:58 CEST—Thu 2024-08-22 02:06:14 CEST
  0 9a5245470f3048a5acde8853290a5df3 Thu 2024-08-22 15:19:21 CEST—Thu 2024-08-22 16:32:34 CEST

cdlp34 · Le 22/08/2024, à 15:52

un reboot tous les 24H n'empêche pas le problème.... il ne fait que le limiter... c'est bien parce qu'effectivement je me retrouve quand même avec le soucis malgré le reboot quotidien que je me suis décidé à appeler à l'aide pour essayer d'enrayer le problème de façon durable.... de toute façon je ne peux pas rester avec le FS Root qui se met en RO régulièrement tout seul, ca ne peut que mal finir...

Ici on a fait plus de 24H sans que sans qua ça plante, mais tout de même pas 48H....

Dans la crontab le reboot quotidien est à 07:00. Je ne comprends pas le reboot de 02:00...

En choisissant bien l'horaire je dois pouvoir faire un memtest de plusieures heures....

Dernière modification par cdlp34 (Le 22/08/2024, à 15:54)

geole · Le 22/08/2024, à 16:09

cdlp34 a écrit :

.... de toute façon je ne peux pas rester avec le FS Root qui se met en RO régulièrement tout seul, ça ne peut que mal finir...
.

Tu as bien raison.
J'ai un souvenir d'une RAM défectueuse qui avait endommagé le contenu des fichiers utilisateurs. Ce n'est qu'à la relecture des fichiers que cela se voyait. Tu en as un sacré volume

J'ai tenté de regarder la piste du firmware pas a jour.

=== START OF INFORMATION SECTION ===
Model Number:                       WDS500G1XHE-00AFY0
Serial Number:                      215247801674
Firmware Version:                   614900WD

. Je ne sais pas trouver la version qu'il doit avoir
Il faut probablement windows.

Dernière modification par geole (Le 22/08/2024, à 16:11)

cdlp34 · Le 22/08/2024, à 17:15

La dernière version du firmware c'est la 615400WD.
Il y a une méthode sous Linux :
https://community.wd.com/t/firmware-upg … /210120/11

Mais je peux aussi le faire sous Windows.

Ca serait étonnant que ca vienne de là (mais possible) , car j'avais le même problème avec le précédent Nvme sur la même machine.

geole · Le 22/08/2024, à 17:49

Fais quand même attention de ne pas prendre un firmware pour un modèle approchant tel que WDS500G1X0E-00AFY0 car le tien est WDS500G1XHE-00AFY0

geole · Le 22/08/2024, à 18:02

Que va donner ce retour

journalctl --no-pager -g "EXT4-fs error (device dm-0)" -n 100

cdlp34 a écrit :

Je ne comprends pas le reboot de 02:00.

Dans ce cas, il y a eu mise en read only et le journal ne peut plus s'écrire et il est fort probable que la commande fsck de réparation supprime les dernières écritures du journal. Je ne pense pas que ce soit le logiciel de collecte du journal qui soit buggé. A mon avis, c'est le journal qui écrit le plus. Donc il ramasse le plus.

Dernière modification par geole (Le 22/08/2024, à 18:17)

georgesgiralt · Le 27/08/2024, à 15:36

cdlp34 a écrit :

un reboot tous les 24H n'empêche pas le problème.... il ne fait que le limiter... c'est bien parce qu'effectivement je me retrouve quand même avec le soucis malgré le reboot quotidien que je me suis décidé à appeler à l'aide pour essayer d'enrayer le problème de façon durable.... de toute façon je ne peux pas rester avec le FS Root qui se met en RO régulièrement tout seul, ca ne peut que mal finir...
Ici on a fait plus de 24H sans que sans qua ça plante, mais tout de même pas 48H....
Dans la crontab le reboot quotidien est à 07:00. Je ne comprends pas le reboot de 02:00...
En choisissant bien l'horaire je dois pouvoir faire un memtest de plusieures heures....

Bonjour,
Je pense que ton serveur a "un certain age" et peut être a été ouvert quelquefois pour des modifs matérielles (ajout de disque, etc...)
Alors, une hypothèse est que certains composants (barrettes mémoires et/ou cartes NVME ne font pas un contact parfait.
Je serai toi ™ j'ouvrirai la machine. J'en profiterai pour bien dépoussiérer l'intérieur, puis je retirerai chaque barrette de mémoire et s'il y en a plusieurs, je les inverserai en faisant très attention à leur installation parfaite.
Puis je ferai pareil avec la carte NVME en vérifiant bien qu'il n'y ait pas de poussière au fond du connecteur.
Ensuite, une fois le PC remonté, je croiserai les doigts.
Je te conseille de faire de temps en temps des tests SMART sur tes disques durs et de resynchroniser "de force" tes RAID (voir la doc de mdadm, je n'ai plus la syntaxe en tête, et surveiller l'avancement )

$ cat /proc/mdstat

Attention, cela peut ralentir les accès au RAID si tu fais des accès violents.
Pour le SMART avec N pris dans a, b, c...... :

$ sudo smartctl -t long /dev/sdN]

et à l'expiration du délai annoncé lors du lancement de la commande, visualiser le résultat avec :

$ sudo smartctl -a /dev/sdN

et regarde la ligne telle que celle-ci :

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     15414         -

Ce type de test lit TOUS les secteurs du disques (et écrit sur des secteurs libres et réservés) et donc trouvera des problèmes si les supports physiques en ont. Il y a des manips similaires pour les NVME mais je ne les connait pas et elles dépendent du constructeur du NVME.
Dans LBA of first error, tu auras l'adresse du premier secteur défectueux du disque. Si il y en a un, je te conseille d'aller acheter un disque de remplacement.... avant qu'il ne soit trop tard.
Je fais ce styles de test toues les 900 à 1500 h de fonctionnement de mes disques ce qui m'a souvent permis d'éviter les pannes graves.
Bon courage
P.S. : quand tu auras "nettoyé" ton serveur, ôte le cron qui le reboote ........

geole · Le 27/08/2024, à 18:45

Bonjour georgesgiralt.
Le problème principal est la mise en lecture seule du logiciel.
Il est entièrement dans le NVME.
A mon avis, smartctl ne sait pas tester les nvme.
J'ai envisagé l'idée de la RAM, tu ajoutes l'idée d'un faux contact.

Je ne suis pas certain que les raids aient perdu des disques.

cdlp34 · Le 30/08/2024, à 17:37

Bonjour,
Merci pour vos conseils.

Faire un peu de nettoyage ne peut pas faire de mal, amis effectivement c'est le système sur le nvme qui se met en RO (ce qui ne veut pas dire que les RAIDS avec des disques capacitifs traditionnels n'ont pas de pb que mdadm soit content).

Les RAIDS ont été recréés pour l'un et étendu pour l'autre avec reconstruction totale de la parité il y n'y a pas longtemps.

Dans ma TODO : MAJ Firmware Nvme, Memtest et nettoyage physique.

Cordialement.

cdlp34 · Le 12/09/2024, à 23:50

Bonjour,

Alors voilà ou on en est : firmware du nvme mis à jour sous Windows via l'outil WD "Dashboard" sous Windows.

Memtest86 lancé : dès la première passe et en moins de 3 min j'ai déjà 186 erreurs.... 284 erreurs au bout de 5 min....je vais le laisser tourner cette nuit....

Dernière modification par cdlp34 (Le 12/09/2024, à 23:51)

cdlp34 · Le 13/09/2024, à 08:48

Rebonjour,

Au bout des 4 passes : 6773 erreurs , 0 erreurs ECC, 6 bits erronés.

Nombre d'erreurs par test :
Test 0 : 0 erreur
Test 1 : 0 erreur
Test 2 : 1 erreur
Test 3 : 195 erreurs
Test 4 : 499 erreurs
Test 5 : 887 erreurs
Test 6 : 2613 erreurs
Test 7 : 2090 erreurs
Test 8 : 215 erreurs
Test 9 : 273 erreurs
Test 10 : 0 erreur
Test 13 : 0 erreur

Bon donc les barettes CORSAIR VENGEANCE font la gueule... c'est tout de même pas du noname, ca fait ch.... chaque fois la même chose !

D'après la doc se sont les déplacements de blocs qui posent le plus problème.

Je reçois les nouvelles barettes (les mêmes) demain.

Entre le firmware du nvme à jour et des barettes toutes neuves, on sera fixé pour savoir si ca venait bien de là !

PS : j'ai aussi fait le nettoyage en profondeur du PC / connecteurs RAM / Barrettes et tout le reste (il était de le faire). J'ai refais le memtest derrière et c'est pareil.

A bientôt pour le verdict.

Dernière modification par cdlp34 (Le 13/09/2024, à 10:18)

cdlp34 · Le 18/09/2024, à 21:57

Salutations,

Plus aucun soucis depuis les dernières opérations, il s'agissait donc vraissemblablement des barettes mémoires qui étaint défectueuses...

Merci à la communauté d'avoir pris le temps de m'aider.

Cordialement.

Dernière modification par cdlp34 (Le 18/09/2024, à 21:58)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#26 Le 22/08/2024, à 15:21

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#27 Le 22/08/2024, à 15:33

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#28 Le 22/08/2024, à 15:52

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#29 Le 22/08/2024, à 16:09

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#30 Le 22/08/2024, à 17:15

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#31 Le 22/08/2024, à 17:49

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#32 Le 22/08/2024, à 18:02

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#33 Le 27/08/2024, à 15:36

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#34 Le 27/08/2024, à 18:45

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#35 Le 30/08/2024, à 17:37

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#36 Le 12/09/2024, à 23:50

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#37 Le 13/09/2024, à 08:48

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

#38 Le 18/09/2024, à 21:57

Re : [RESOLU] ubuntu--vg--root passe en Read Only tous les jours

Pied de page des forums