Infrastructure de calcul

L’ensemble de l’offre de calcul et de stockage de l’IFB est porté par le NNCR (Réseau national de ressources informatiques).

Les services aux communautés sont assurés par le NNCR, il comprend tout le matériel (IFB-core + plateformes régionales) contribuant à assurer l’offre de services. Le NNCR s’appuie sur une infrastructure distribuée constituée des 8 clouds et 6 clusters répartis sur 13 centres régionaux, et 2 ressources centralisées: les serveurs de l’IFB-core (cloud à Lyon, cluster à Orsay), et de neuf plateformes de calcul haute performance localisées dans différentes régions. Ce réseau est ouvert aux communautés de recherche française et internationale, publiques et privées, dans le domaine des sciences du vivant.  ​​

L’IFB joue également un rôle clé dans la stratégie nationale de mutualisation et de modernisation des infrastructures numériques scientifiques. Enfin, au niveau ELIXIR, ce service contribue à la maintenance de Biocontainers et à la coordination de la communauté Galaxy dans ELIXIR.

Par rapport au traitement des données dans d’autres domaines scientifiques, les caractéristiques particulières des données biologiques les rendent dépendantes d’une architecture matérielle, d’un environnement logiciel et de collections de données très spécifiques qui ne sont actuellement pas disponibles dans les centres de calcul nationaux. Pour faire face à ces défis, l’IFB a organisé ses services en décentralisant les ressources physiques, logistiques et humaines.

• Les plateformes participantes à la fédération du Cloud : AuBi, Bilille, BiRD, GenOuest, IFB-BigEst-Cloud, IFB-core
• Les plateformes participantes aux clusters : ABiMS, BiRD, GenoToul, GenOuest, IFB-BiGEst-Cluster, IFB Core, MicroScope, Migale, South Green

Une telle décentralisation des ressources offre au moins quatre avantages principaux :

1. La sécurité du service en cas de panne locale
2. La répartition des flux de transfert de données
3. La proximité géographique
4. Le développement conjoint de bonnes pratiques et d’une expertise technique avancée pour le calcul, le traitement et le stockage des données.

La fédération de clouds propose un ensemble d’environnements préconfigurés, ce qui permet aux scientifiques et bioinformaticiens de choisir la configuration la mieux adaptée à leurs analyses. Ces environnements bioinformatique virtuels développés par certains membres de la communauté de l’IFB sont enregistrés dans le catalogue Biosphère. Les scientifiques et les ingénieurs peuvent lancer leurs propres environnements virtuels avec des ressources réservées qui peuvent être adaptées à leurs propres besoins sans interférer avec les autres utilisateurs. L’activité est en constante progression, et le cloud français de l’IFB a déjà été utilisé pour de nombreuses analyses scientifiques et des sessions de formation, des ateliers, des hackathons ou plusieurs sessions récurrentes d’écoles scientifiques ou d’universités.

Un compte offre un espace variable (de 25 Go à 3 To par machine virtuelle pour la durée de l’exécution des travaux mais supprimé à l’extinction de la machine virtuelle) auquel sera prochainement associé un espace de stockage persistant et partagé entre les machines virtuelles d’un utilisateur ou d’un groupe.

Vous pouvez aussi utiliser le cloud IFB comme support pour vos formations. Pour en savoir plus

Pour faire une demande de compte sur le Cloud de l’IFB, consultez notre offre de calcul.

L’ensemble des clusters sur nos plateformes en région sont dédiés aux utilisateurs régionaux et thématiques.

Qu’est-ce que le cluster IFB-core ?

Le Core Cluster est l’infrastructure nationale de calcul de l’IFB. Il vise à répondre aux besoins de calcul de toutes les communautés dans les domaines de la santé et de la biologie, en mettant l’accent sur les utilisateurs qui ne disposent pas de ressources de calcul locales.

L’infrastructure est ouverte à tous les utilisateurs ayant une adresse e-mail académique en France ou dans l’un des pays membres d’ELIXIR.

Le Core Cluster est accessible via trois modalités :

• SSH pour une utilisation directe du cluster via SLURM,
• le portail Open Ondemand pour utiliser des outils interactifs tels que JupyterLab ou RStudio,
• le portail UseGalaxy.fr, l’instance nationale de Galaxy.

L’administration du Core Cluster est réalisée en collaboration. Plus de six ingénieurs de cinq plateformes IFB construisent et contribuent au projet quotidiennement. Afin de gérer les multiples contributions, elles sont supervisés par des mécanismes CI (Ansible + Gitlab runner) connectés à un dépôt de code commun (Gitlab).

Documentation complète du Cluster : https://ifb-elixirfr.gitlab.io/cluster/doc/
Conditions d’utilisation :  https://ifb-elixirfr.gitlab.io/cluster/doc/terms-of-usage/

Services

Gestion des comptes
Tout utilisateur·rice académique peut demander un compte pour le Core Cluster via notre portail de gestion et d’enregistrement des comptes : https://my.cluster.france-bioinformatique.fr. Attention, ce compte n’est valide que pour le Core Cluster et ne sera pas reconnu sur d’autres services de l’IFB.

Soumission de tâches informatiques
L’utilisation principale du cluster se fait avec SLURM à partir d’une console SSH.

Si vous êtes débutant·e avec SLURM, veuillez lire la documentation et le tutoriel du Core Cluster pour apprendre à soumettre vos premières tâches :
https://ifb-elixirfr.gitlab.io/cluster/doc/slurm/slurm_user_guide/

Portail web interactif
Le portail web Open Ondemand vous permet d’exécuter des outils interactifs comme RStudio ou Jupyterlab sur les ressources du cluster via une interface web simple. Trouvez la page de présentation, la documentation et la vidéo dédiée.

Galaxy
Le Cluster IFB Core fournit les ressources informatiques de l’instance française de Galaxy : usegalaxy.fr
usegalaxy.fr offre une large gamme d’outils de bioinformatique accessibles en ligne. Certains outils sont également accessibles via des sous-domaines thématiques tels que métabolomique, singleCell, covid19, etc.

Support technique
Le portail support.cluster.france-bioinformatique.fr permet aux utilisateur·rices du cluster de contacter notre équipe de support pour toute demande technique, y compris:

• Utilisation de SLURM ou Open OnDemand,
• Installation d’outils sur le cluster (à l’exclusion de UseGalaxy.fr*),
• Gestion des comptes utilisateurs ou des espaces de projet.

* Le support pour usegalaxy.fr est disponible sur le forum communautaire IFB

Soutien à la communauté de bioinformatique
Un forum communautaire vous permet d’échanger des idées avec des biologistes et des bioinformaticien·nes sur la bioinformatique : utilisations et options d’un outil, mise en place d’un flux de travail autour d’un thème spécifique, etc.

Hébergement de formations
Le Cluster IFB Core peut fournir des ressources informatiques pour votre session de formation. De nombreuses modalités sont proposées par notre équipe de support (création de comptes génériques temporaires, réservation de ressources du cluster, etc.).
Pour demander des ressources du cluster pour votre formation, remplissez le formulaire de demande.

Contribuez à la TaskForce du Cluster IFB-core

Si vous avez des compétences en outils bioinformatiques ou en administration système, rejoignez la TaskForce du Core Cluster IFB pour déployer vos outils ou contribuez à la gestion de l’infrastructure IFB et entrez dans la légende. N’hésitez pas à nous contacter en envoyant un e-mail à :

contact-nncr-cluster@groupes.france-bioinformatique.fr . Sinon, si vous souhaitez être formé aux technologies utilisées sur l’infrastructure, des sessions de formation/tutorat sont régulièrement proposées.

Intégration continue (CI) & Travail collaboratif
L’administration des ressources est réalisée de manière collaborative. Afin de gérer plusieurs contributions, celles-ci sont gérées par un mécanisme d’intégration continue connecté à un dépôt de code commun.

Traçabilité & Contributions sécurisées
Toutes les actions d’installation, de paramétrage et de maintenance doivent être traçables autant que possible. Cela afin de :

• Déboguer
• Pouvoir revenir en arrière en cas de problème
• Informer les autres administrateurs des modifications apportées

Nous avons choisi d’utiliser un dépôt Git hébergé sur GitLab. Git répond à tous nos besoins en matière de traçabilité. Quant à l’interface GitLab, elle nous fournit un espace pour échanger des informations et offre la possibilité de travailler avec des Merge Request (Pull Request) et d’héberger nos propres runners de jobs CI. Ces MR nécessitent l’insertion d’une phase de révision de code avant la mise en production. Chaque modification ou ajout est ainsi validé par une révision par les pairs afin d’éviter les erreurs et de s’assurer qu’au moins deux personnes en ont connaissance.

Membres de la TaskForce :

• Gildas LE CORGUILLÉ :  CNRS/Sorbonne Université, ABiMS, FR2424, Roscoff (co-responsable)
• Julien SEILER : CNRS IFB-Core/BiGEst, UAR 3601, Strasbourg (co-responsable)
• David BENABEN : INRAe, Biologie du Fruit et Pathologie UMR 1332,  Bordeaux
• Nicole CHARRIERE : CNRS, IFB-Core/Genouest, UAR 3601, Rennes
• Manon CONNAULT : INRAe, IFB-Core/Migale, UAR 3601, Jouy-en-Josas
• Thomas CHAUSSEPIED : CNRS, IFB-Core/Genouest, UAR 3601, Rennes
• Jean-Christophe HAESSIG : CNRS, IGBMC/BiGEst UMR 7104, Illkirch
• Didier LABORIE : INRAe, GenoToul Bioinfo, Toulouse
• Guillaume SEITH : INSERM, IGBMC/BiGEst U 1258, Illkirch