Introduction
Le dispositif PILCAM2 est, avant tout, un outil partagé qui doit être exploité en bonne entente entre les usagers. Pour cela, il est indispensable de respecter les quelques principes et règles énoncés ci-après.
Accès
L’accès au dispositif PILCAM2 est soumis à la validation d’une demande d’inscription, au travers du formulaire en ligne suivant :
Peu de temps après, votre demande d’inscription sera acceptée ou rejetée. Dans tous les cas, vous en serez averti(e) par courriel.
En cas d’acceptation, et à l’issue de la réception du courriel correspondant, vous pourrez accéder aux ressources du dispositif PILCAM2 avec votre identifiant et votre mot de passe de messagerie UTC.
Compte informatique
Vous disposez d’un compte informatique spécifique (identifiant et mot de passe identiques à ceux de la messagerie UTC).
Ce compte, et son espace de stockage, sont partagés entre tous les serveurs PILCAM2, y compris les nœuds du cluster «matrics». Vos données vous suivent automatiquement ainsi d’un serveur à l’autre.
L’espace de stockage de ce compte est cependant limité (200 Go par défaut). Il est de votre devoir de gérer correctement cette ressource, en effaçant tous les fichiers inutiles qu’un calcul peut générer.
Remarquez que, grâce à une demande justifiée par votre responsable, cet espace pourra être augmenté suivant vos besoins et dans la limite du raisonnable.
Remarquez aussi que cet espace est sauvegardé tous les soirs à minuit, avec une période de rétention de 3 semaines. Nous pourrons ainsi, sur demande, restaurer un fichier modifié ou détruit par erreur.
Espace de stockage local intermédiaire pour les calculs
Généralement, vous n’utiliserez pas l’espace de stockage de votre compte informatique lors des phases de calculs. En effet, cet espace est partagé, accessible seulement par le réseau, et donc bien plus lent qu’un espace disponible sur un disque dur local au serveur de calcul que vous aurez choisi ou que l’outil «TORQUE» aura choisi de manière semi-automatique.
Pour éviter ce goulot d’étranglement, nous vous demandons d’utiliser l’espace disque local suivant :
- Espace standard, espace partagé avec le système d’exploitation :
- Disponible sur TOUS les nœuds de calculs
- Privé, accessible seulement par l’utilisateur
- Indiqué par la valeur de la variable d’environnement
PILCAM2_HOME_DIR_STD, quel que soit l’utilisateur et le nœud de calculs utilisé - Capacité de stockage : voir la rubrique Equipements
Il est aussi de votre devoir de gérer correctement cette ressource, en effaçant rapidement tous les fichiers inutiles qu’un calcul peut générer.
Une fois vos calculs effectués, recopiez, vers l’espace de votre compte informatique, les seuls fichiers résultats et effacez les autres fichiers inutiles. Remarquez bien que vous devez savoir quels fichiers sont à conserver et quels fichiers sont inutiles et donc à détruire rapidement, car issus de procédures et de calculs intermédiaires. Il est donc indispensable de bien connaître les logiciels que vous utilisez : PILCAM2 n’est pas une plateforme d’enseignement !
Espace de stockage local de «SCRATCH»
Certains codes de calculs utilisent abondamment des fichiers intermédiaires jetables qui ne doivent pas être conservés du tout. Dans ce cas, il est prévu que vous puissiez leur indiquer un répertoire «poubelle» ou répertoire de «SCRATCH» en ligne de commande, ou dans un fichier de paramétrage.
A l’issue d’un calcul, rien n’est à garder dans ce type de répertoire et il est donc facile d’automatiser l’effacement complet de son contenu, en prévoyant l’exécution d’un script de nettoyage après terminaison du script de calculs.
Lorsque cela est possible, nous vous demandons d’utiliser l’espace disque local de «SCRATCH» suivant :
- Espace standard de «SCRATCH», espace partagé avec le système d’exploitation :
- Disponible sur TOUS les nœuds de calculs
- Privé, accessible seulement par l’utilisateur
- Indiqué par la valeur de la variable d’environnement
PILCAM2_SCRATCH_DIR_STD, quel que soit l’utilisateur et le nœud de calculs utilisé - Capacité de stockage : voir la rubrique Equipements
Choix du serveur de calculs
D’une manière générale, il est interdit de lancer un nouveau calcul sur un serveur déjà surchargé. Cela rendrait le serveur inefficace, pour votre propre calcul, mais surtout pour les calculs déjà en cours.
Un serveur de calculs est surchargé lorsque sa charge dépasse son (nombre -1) de cœurs de processeurs. En effet, il faut garder au moins 1 cœur de processeur de libre pour l’exécution normale du système d’exploitation
Exemple : si la charge de «algebra», qui possède 96 cœurs, dépasse 95 alors le serveur est en surcharge et donc son utilisation n’est pas optimale.
La charge d’un serveur peut être vue avec la commande Unix ’htop’.
La charge des serveurs peut aussi être vue ici : http://simplex.utc.fr/munin/utc.fr/
Hors serveurs «simplex» et «nodal», nous préconisons que le choix du serveur de calculs se fasse de manière semi-automatique, grâce à l’outil «TORQUE». Pour connaître cet outil et son utilisation, consultez l’article suivant :
Si vous souhaitez, malgré tout, choisir vous-même le serveur de calculs :
- N’utilisez pas les serveurs composant le cluster «matrics». Ceux-ci sont exclusivement réservés à l’exploitation au travers de TORQUE
- Regardez la charge des autres serveurs (http://simplex.utc.fr/munin/utc.fr/), et faites en sorte que le nombre de cœurs nécessaires à votre calcul ne dépasse jamais le (nombre -1) de cœurs libres, donc non utilisés, du serveur choisi. Ayez toujours en tête qu’en cas de surcharge déraisonnable, les administrateurs de PILCAM2 n’hésiteront pas à rétablir une charge normale en interrompant brutalement les derniers calculs lancés qui ont conduit à cette situation.