Ubuntu-fr

Vincent222

Logiciel de clustering

Bonjour,

Je dispose dans un environement scientifique un cluster de calcul (sous ubuntu pour des raisons d'homogeité mais avec la possibilité de migrer) qui n'est pour l'instant pas configuré pour travailler en parrallèle.

Après de nombreuse recherche voici ce que j'ai trouvé sur les logiciels permettant la répartition de tache:

openmosix: Pb au niveau du kernel
condor: tourne avec Red Hat
boinc: pas de possilibilté d'avoir un serveur (les paquets ne correspondent qu'à la partie cliente). A confirmer.

HeartBeat: A ce stade, il m'a l'air le plus approprié.

Je cherche donc des personnes ayant déjà mis en place des clusters sour Ubuntu pour avoir quelques conseils.

Quel logiciel utiliser vous? Quels sont leurs avantages et inconvénients?

Merci d'avance

vincent222

Re : Logiciel de clustering

Apres d'autres recherche, HeartBeat n'est pas approprié pour le clustering mais pour la Haute Disponibilité.

J'entend par clustering pour mon probleme du partage de calcul.

Norge

Re : Logiciel de clustering

Bonsoir

D'après ce que j'ai compris, tu cherche une solv pour deployer une grappe de calcul haute performance (cluster de type HPC) sous ubuntu.

Alors tout d'abord, je tiens a preciser qu'il existe d'excellentes suites sous linux pour le deploiement de grappes de calcul : Mandriva Linux Clustering et Red Hat Enteprise Linux WS HPC. Rapide, simple et efficaces, elles font le bonheur des administrateurs. J'ai testé la première il ya peu, ca rox ^^. Alors certes, les services sont payants mais de qualité.

Ceci etant dit, on distingue deux types de clusters HPC : load balancing (Mosix, openmosix, kerrighed, ...) et parallele (lammpi, mpich, pvm, ...). En fonctions des appliications que tu utilise, le choix n'est pas le meme, tu peux en dire plus ?

Dernière modification par Norge (Le 19/01/2007, à 23:47)

---

Desktop : Pentium Dual Core @ 2.8GHz, 2Go DDRII, Ubuntu Studio 7.04
Laptop : Celeron M @ 1.3GHz, 224Mo DDR, Ubuntu Studio 7.04
MediaCenter : Pentium 3 @ 933MHz, 512Mo SDRAM, Ubuntu 6.06 LTS

Vincent231423

Re : Logiciel de clustering

Bonjour,

Merci pour la réponse.

Je pense en ce moment à utiliser NQS avec la bibliotheque MPI.
http://cch.loria.fr/documentation/batch/NQS/Generic-NQS/

Qq1 a t'il déjà mis en place NQS?

Avez-vous des docs? ou plutôt des ouvrages de référence à me conseiller?

Merci d'avance.

Vincent cosmo

Re : Logiciel de clustering

Sinon il y a Torque, le sucesseur d'OpenPBS, la version libre et gratuite de PBS.

Il y a moyen d'utiliser Condor sur Ubuntu 6.06 et 6.10 (pas d'infos au sujet des version prédédentes).

Jette un oeil aux pages d'installation sur

http://www.cs.wisc.edu/condor/

Des collègues ont utilisé/administré des clusters sous Torque et Condor, d'après eux Condor est nettement plus stable et fonctonnel (par exemple avec condor il est possible de mettre en pause complète et de redémarrer un job sans problème, il gère aussi les crashs/disparition de noeuds en relançant le job perdu sur un autre noeud).

Condor supporte LAM/MPI  (MPICH)

Dernière modification par Vincent cosmo (Le 28/01/2007, à 16:45)

Vincent cosmo

Re : Logiciel de clustering

y'a aussi le Sun Grid Engine, c'est de l'open source
http://gridengine.sunsource.net/

Dernière modification par Vincent cosmo (Le 07/02/2007, à 22:34)

vincent12324

Re : Logiciel de clustering

Bonjour,

Merci pour les infos mais je pense que je vais rester avec NQS car j'ai déjà commencé à le configurer et je n'aime pas faire retour arriere quand j'ai commencé avec un produit apres la phase de recherche (sauf si vraiment je vois que cela devient de l'entetement idiot)

J'ai trouvé une bonne doc sur NQS pour ceux que cela interesse:
http://www.ksc.re.kr/user/data/nec_manual/nec_6/g1ad01e/contents.html

A savoir aussi que pour le compiler sous Ubuntu Dapper, j'ai du utiliser la version 3.4 de gcc (la version 4 ne passe pas), il suffit de l'installer avec "apt-get install gcc-3.4" puis faire des liens entre gcc et la bonne version c-a-d:
ln -s /usr/bin/gcc-3.4 /usr/bin/gcc
ln -s /usr/bin/gccbug-3.4 /usr/bin/gcc

Voila, je reste preneur de toute infos sur NQS et notamment le principe des queues.
Pour l'instant,ce que j'en ai compris:
Sur les noeuds "clients":
je crée une queue batch et une queue pipe

Sur le noeud "maitre":
je crée une queue pipe qui pointe vers toutes les queues pipe "cliente"

Je ne suis pas du tout sur de ce principe (A vérifier donc ou a confirmer!).

Si quelqu'un pouvait me donner des infos les queues qu'ils a crée avec quelles priorités et pourquoi? (c'est pour un contexte de laboratoire pour faire de la répartition de charge sur des calcul scientifique écrit en C et fortran)

A+
Vincent

clarky

Re : Logiciel de clustering

Salut,
alors ? Tu en es où ? Ca serait possible d'avoir un petit retour d'expérience sur ce que tu as mis en place stp ?
Bonne journée

PS S'il y en a qui ont envie de parler de leur expérience en clustering de calcul Linux, ce serait sympa.

Dernière modification par clarky (Le 13/03/2007, à 11:55)

tenshu

Re : Logiciel de clustering

et voila
http://www.kaarsemaker.net/files/ubuntu-cluster/

et surtout

https://help.ubuntu.com/community/UbuntuOnCluster

Dernière modification par tenshu (Le 13/03/2007, à 12:24)

clarky

Re : Logiciel de clustering

Merci pour tes liens, c'est gentil mais ... c'est pas trop le sujet (même s'il faut bien sûr commencer par déployer les machines avant de les faire calculer).

Vincent cosmo

Re : Logiciel de clustering

c'est étrange dans le how-to ubuntu pour déployer un cluster, le NIS n'est pas installé par un apt-get install nis   mais à partir des sources ...

clarky

Re : Logiciel de clustering

Il fait une petite modif avant installation car j'imagine que la version packagée contenait une petite erreur : "for breezy this won't be neccessary: the package has been fixed"

Vincent23423423

Re : Logiciel de clustering

Bonjour,

J'ai eu pas mal de taf donc j'ai pas trop avancé dans ce projet.

Pour des bonnes docs sur la gestion de cluster parallele, je vous conseille d'aller sur le site du laboratoire IDRIS (laboratoire CNRS université spécialisé dans la gestion de cluster). Vous trouverez pas mal de cours en francais pour l'exploitation (plutot orienté utilisateur)

Pour la repartition de calcul, voici une doc en anglais assez complete http://www.ksc.re.kr/user/data/nec_manual/nec_6/g1ad01e/contents.html

Je vais bientot gérer 2 clusters:

Un cluster de calcul parallele livré clé en main :

les 2 marques qui rentraient dans mon budget son Dataswift et Transtek. Les devis étaient équivalent mais datasiwft à baisser son prix et j'ai un support logiciel d'un an (3 ans pour le matos). J'ai un autre cluster IBM qui est pas mal mais je trouve que les prix sont trop élévés par rapport à la qualité.

L'OS installé est torcs: debian n'etait pas possible et parait il que fedora a des pb de stabilité sur les clusters même si pour le moment fedora est mieux optmisé pour les bibliothèque openMP.

Installation de Pathscale, openMP et MPI

Je n'ai pas pris l'infiniband mais du gigabit car les communications entre les noeuds ne sont pas primordiale dans mon cas (c'est 10keuros plus cher)

Pour le cluster de répartition de charge:

J'utilise NQS/NQE par contre la je galere pas mal . Je l'ai installé sur une Ubuntu 6.06. A savoir que la compilation ne passe pas avec gcc4, il faut installé gcc3.4 et crée les bons liens ensuite (voir post précédent).

Ensuite avec le gestionnaire nmapmgr, tu renseigne les noeuds disponible:
NMAPMGR>: list

MID    PRINCIPAL NAME  ALIASES
---    --------------  -------
   1    z00.***
102    z02***
110    z10***
111    z11****

j'ai ensuite crée des queues batch et pipe
sur le noeud maitre
Queues:

batch1h@**;  type=BATCH;  [ENABLED, INACTIVE];  PIPEONLY;  pri=30  lim=2
  0 exit;   0 run;   0 stage;   0 queued;   0 wait;   0 hold;   0 arrive;

q1h@****;  type=PIPE;  [ENABLED, INACTIVE];  pri=30  lim=2
  0 depart;   0 route;   0 queued;   0 wait;   0 hold;   0 arrive;

et sur les noeuds esclaves, des queues batch
Queues:

batch1h@***;  type=BATCH;  [ENABLED, INACTIVE];  pri=30  lim=2
  0 exit;   0 run;   0 stage;   0 queued;   0 wait;   0 hold;   0 arrive;

Apres je crois qu'il faut créer un "manager" mais j'ai bloqué ici et d'autres projets mon empeché de continuer.

Voila ou j'en suis aujourd'hui sur le clustering. Je suis preneur de toute information par exemple est-ce les queues batchs ou pipe qu'il faut "lier" entre le master et slaves? comment créer et déclarer un manager? Je débute totalement et suis completement autodidacte dans ce domaine.

Cordialement

clarky

Re : Logiciel de clustering

Merci Vincent pour tes infos et bon courage pour ta mise en place.
Pour info, j'ai vu que MOSIX2 était sortie (http://www.mosix.org/txt_grid.html) : support du noyau 2.6 et beaucoup de fonctionnalités MAIS licence un peu particulière

david92

Re : Logiciel de clustering

ParrallelKnoppix ?

http://ftp.traduc.org/doc-vf/gazette-linux/html/2005/110/lg110-C.html

je n'ai pas testé encore, mais je compte le faire dès que mon portable revient du sav.

Ooz

Re : Logiciel de clustering

bonsoir à tous,
je suis élève en BTS IG et je dois faire un travail sur le "clustering". Etant donné que c'est ma première année je n'y connaissait rien. jai réussi tout de même a bouclé mon étude mais il manque quelques points et je pense que vous pourrez m'eclairer. Quels sont les logiciel utilisés? Quelles configurations pour avoir un cluster optimisés? je vous remercie d'avance pour vos réponses.
Cordialement

Ooz

Jahman

Re : Logiciel de clustering

Salut Ooz,

Tout d'abord, il y a plusieurs 'types' de cluster (Haute dispo, calcul...) Ici nous parlons de calcul. (je precise car tu n'es pas clair)

Pour deployer un cluster de calcul simplement, parallelKnoppix a l'air simple (http://ftp.traduc.org/doc-vf/gazette-linux/html/2005/110/lg110-C.html)

Pour une utilisation plus avancée, la mode, me semble t'il, est à TORQUE/MAUI (torque étant le gestionnaire de batch et MAUI l'interface)
MAUI est la version libre de MOAB

Le must étant LSF mais aussi le plus cher (à confirmer)

Tu pourras trouver des infos intéressantes avec le pointeur suivant: http://www.urec.cnrs.fr/article365.html

(intro au calcul parallele, comment l'acheter, et présentation de TORQUE/MAUI ainsi que OpenSSI)

Mais si tu es en BTS IG (Informatique de gestion?), cela m'etonne que tu es a m onté un cluster de calcul? ce ne serait pas plutot de la Haute Disponibilté?

---

Sous les octets, la plage

clarky

Re : Logiciel de clustering

Hello,

c'est cool, le sujet est (un peu) relançé

j'en profite pour donner un lien sur une étude comparative (un peu datée : j'imagine que ça a du évoluer depuis) entre OpenMosix, OpenSSI et Kerrighed : ftp://ftp.inria.fr/INRIA/publication/pu … R-5399.pdf

et pour ceux qui veulent "creuser" :
http://www.irisa.fr/paris/Biblio/www/Ke … IGHED.html

Bonne journée

Nat_et_chris

Re : Logiciel de clustering

Bonsoir à tous,

J'ai appris que le projet openmosix sera clos en mars 2008. Comme solution de load balancing, il ne restera plus que openssi, kerrighed et Mosix. De ces trois dernières, seuls kerrighed et Mosix(2) clament supporter des machines SMP et/ou  x86_64.

Est-ce exacte ?

En fait, je n'ai pas reussi à trouver de lien qui confirme  le support des machines SMP et des architectures x86_64 sur la version actuelle de kerrighed, par exemple ? Avez vous des infos ?

bonne soirée à tous

clarky

Re : Logiciel de clustering

Salut,

peut-être que je dis une bêtise (si c'est le cas, désolé), mais je ne vois pas pourquoi Kerrighed ne supporterait pas le SMP si ton noyau le supporte.
Quant au support des architectures 64 bits, j'imagine qu'il doit être opérationnel :
http://www.kerrighed.org/forum/viewtopic.php?p=176&highlight=bits#176
Le mieux serait que tu postes un message sur leur forum.

Quant à OpenMosix, tu aurais un lien pour cette info d'arrêt du projet stp ?

Bonne journée.

nat_et_chris

Re : Logiciel de clustering

Bonsoir,

L'info concernant la fin du projet openmosix se trouve en suivant un lien sur leur site. Ce lien renvoie ici : http://sourceforge.net/forum/forum.php?forum_id=715406.

Tu as  raison: le support du SMP et du x86_64 est au niveau du noyau. Mais qu'en est il du gestionnaire de load balancing, du support de migration des jobs, etc.... il me semble que ce n'est pas  aussi trivial que ça de les écrire. Pour mosix2, le support des machines x86_64 n'est disponible qu'en version beta (voir http://www.mosix.com.au/updates.html) et le support des machines SMP semble etre déjà actif (voir http://okki666.free.fr/docmaster/articles/linux117.htm). Quant à Kerrighed ...  En suivant le lien que tu as donné (merci) on peut seulement y lire qu'il est prévu que le support du 64bit soit pour le courant de l'année (2006, date du post):

The port to 64 bits architecture is not well advanced Smile This should be done during this year

D'ailleurs, d'après leur roadmap (voir http://www.kerrighed.org/wiki/index.php/Status) le support ne devait être intégrer finalement  que pour mi 2007. Donc, en principe ce devrait etre bon !!! Mais il n'est nulle part indiquer si c'est réellement le cas ? où en sont les devs  ?  etc ...

Le plus simple est certainement de poser la question sur leur forum (comme tu le dis). Dès que j'ai l'info, je la remonterai ici.

a suivre ...

Jahman

Re : Logiciel de clustering

Bonjour à  tous,

J'ai reçu un cluster de calcul (14 noeuds 2.4Ghz avec 16 giga de mem). Il a été installé avec une Linux Scientific (Red Hat avec des logiciels à  caractère scientifique pré installé). Son système de batch est torque. Sa gestion est faite par maui (je vais regarder les avantages de la version payante moaub). !!La distribution m'a été imposé par le fournisseur. Une debian/ubuntu peut, je le pense, faire pareil!!

Le calcul parralèle se fait par openMPI et LAM/MPI:
1) Le priorité peut se faire avec les variables d'environnement
2) openMPI est dispo sous ubuntu sur la 7.10 mais pas sur LTS 6.06

(A savoir que sur la 6.06 openMPI n'est pas disponible. Conséquence: Il n'y a que LAM/MPI et mpich, je CROIS qu'il n'est pas possible de compiler du FORTRAN90 avec lam/mpi (à  confirmer). J'ai essayer d'installer comme une brute les .deb de openMPI pour gutsy mais j'ai un pb de libc6 à  la compilation des codes fortran.

Je redonne également le pointeur suivant (http://www.urec.cnrs.fr/article365.html), il y a plein d'infos pour les personnes qui devraient acheté et/ou administrer un cluster de calcul (voir la présentation de Francoise Berthoud "Achat : a quoi faut-il penser ? Comment rédiger un cahier des charges ?")

Voila de mon cà´té, je serais très intéressé par vos expériences, configurations et problèmes rencontrés.

Dernière modification par Jahman (Le 20/11/2007, à 21:03)

---

Sous les octets, la plage

LeDuc08

Re : Logiciel de clustering

Bonjour à  tous,
Je suis bien heureux de voir un peu de mouvement autour des clusters de calculs.
J'ai en charge l'administration d'un cluster pour le boulot, c'est un Transtec (cité ci-dessus), il a été livré en Juin 2006 avec une suse 9.0 et le logiciel de dispatch pour les jobs est Sun Gride Engine.
Pour l'installation le fournisseur met à  disposition un utilitaire: Cluto qui gère les images des noeuds de calcul.
Les images sont montés en rame sur chaque noeud au démarrage pour de meilleurs performances, les disques ne servent que de répertoires scratch pour les calculs.
Si quelqu'un à  une doc en Francais sur SGE je serais preneur, je ne suis pas anglophobe mais ce genre de documentation est assez rébarbative et j'ai l'impression de passé à  coté de chose importante en me basant que sur la version Anglaise et ma traduction maison...

Pour les connaisseurs:
Le cluster dispose de noeud identiques matériellement, le dispatch des calculs doit donc se faire en fonction des différents logiciels de calculs.
J'ai donc créé une queue différente par logiciel, mais du coup je me retrouve bloqué pour limité le nombre de job total, car si un logiciel A à  3 licences, je dois pouvoir avoir 3 queues disponibles. Imaginons que le logiciel B est 4 licences, considérons qu'une licence est valable pour 1 processeur et que Je dispose de 4 processeurs.
Je voudrais pouvoir mettre en attente les jobs lorsque 4 processeurs sont utilisés, mais avec ma méthode je dois avoir 3 queues pour A et 4 queues pour B...
Si quelqu'un à  suivi et a une explication je suis preneur, pour la mise en pratique je devrais me débrouiller...

D'avance merci, et pour ceux qui auraient des questions de niveau 1, si je peux aider je le ferai avec plaisir.

eve_49

Re : Logiciel de clustering

bonjour à tous

je dois mettre en place un cluster mateiel sous unix.

jai pu voir different logiciels sur le net tel que: Beowulf, Openmosix, Oscar, terascale etc. Est ce que quelqu'un  peut m'aider à faire un choix.

merci davance

clarky

Re : Logiciel de clustering

Bonsoir,
ben ... euh ... t'as pas un semblant de cahier des charges ? Ou des éléments de réflexion ? Parce que là , je pense pas que grand monde pourra t'aider.