Montpellier lance l’AICET, le premier test d’évaluation en IA en vue de délivrer les premières certifications AFNOR
En ce début d’année 2024, l’Université de Montpellier, la Métropole de Montpellier et les entreprises Numalis et BionomeeX lancent une AFNOR Spec pour proposer le premier test standardisé de compétences en intelligence artificielle. Nommé AICET pour “Artificial Intelligence Competence Evaluation Test” – Test d’évaluation des Compétences en Intelligence Artificielle, il répond aux besoins croissants des entreprises face à la montée en puissance des IA génératives et l’arrivée de la réglementation européenne sur l’IA (AI Act). Ce travail est rendu possible grâce au croisement des regards entre maîtrise scientifique et technologique, vision des usages et savoir-faire en standardisation.
Permettant de mesurer le niveau de maîtrise d’une personne de manière standardisée, l’AICET est une réponse française et européenne à l’un des grands défis qui accompagnent la révolution de l’IA en cours : acculturer et former le plus grand nombre de personnes, dans tous les secteurs et à tous les niveaux, à la compréhension des grands enjeux de l’IA. Ces enjeux sont multiples : réglementaires, théoriques, technologiques, éthiques, environnementaux… Ils nécessitent de prendre en compte différents niveaux de maîtrise.
Cette approche est unique en France et en Europe. Pensé à la fois pour être utilisé au sein des entreprises mais aussi dans le cadre de la formation des élèves et des enseignants, l’AICET a vocation à être une certification déployée de manière très large après une phase de mise en place à Montpellier, et à être utilisée par exemple pour l’embauche dans tous les secteurs. Conçu pour être un outil vivant, l’AICET se complétera au fur et à mesure en suivant l’évolution technologique très rapide de l’IA.
Compétences en intelligence artificielle : de très forts besoins et la nécessité de pouvoir mesurer le niveau sur différents axes
Le test est décliné selon 3 niveaux d’expertise (acculturation, utilisateur averti, expert) et selon 5 catégories de compétences.
- Axe théorique : connaissances fondamentales en IA
- Axe applicatif : connaissance des domaines d’application de l’IA
- Axe opérationnel : outils et méthodes de l’IA
- Axe juridique et éthique : lois, normes et règlements régissant l’IA
- Axe connaissances générales : histoire et personnalités de l’IA
« Tous les laboratoires de recherche et toutes les entreprises ont de plus en plus besoin de compétences en IA. En fournissant un moyen à la fois de motiver les apprentissages, d’évaluer les compétences, de suivre les progrès, et de détecter les experts et potentiels formateurs, ce test revêt donc une grande importance. Il sera un outil crucial pour accompagner l’augmentation du nombre de formations proposées à nos étudiants, à nos personnels et aux enseignants-chercheurs, mais aussi pour proposer des formations et une certification à d’autres publics. », souligne Philippe Augé, Président de l’Université de Montpellier.
Déjà testé à la fois sur des étudiants de l’Université de Montpellier, à l’école d’ingénieurs Polytech Montpellier, et sur des publics en reconversion, ce test est l’un des piliers des projets en Intelligence Artificielle de Montpellier. Gabriel Krouk, Directeur de Recherche au CNRS, inventeur du concept de l’AICET et porteur scientifique du projet vIA-UM en réponse à l’Appel à Manifestation d’intérêt “IA Cluster” le confirme : « l’’idée de ce test est venue de manière très naturelle en travaillant sur l’ambitieux projet de Montpellier. Il est essentiel de disposer de ce type d’outil. »
Une réponse standardisée reposant sur les compétences de Montpellier : l’AICET a l’ambition de devenir le “toeic de l’IA”
Un standard de référence de type AFNOR Spec permettra de définir une structure de test standardisée pour l’évaluation de la compétence d’une personne en intelligence artificielle ainsi que la manière de compléter et faire évoluer ce test dans le temps. De portée nationale, cette AFNOR Spec vise ensuite à être proposée au niveau européen pour répondre à une des exigences de l’AI Act qui vient d’être adopté, puis au niveau international. En cela ce standard s’appuiera sur la compétence de l’Afnor et de Numalis qui ont déjà permis de porter ce type de projet au niveau ISO/IEC.
Un appel à manifestation d’intérêt est organisé tout au long du mois de janvier 2024 pour une réunion de lancement qui est prévue le 5 février 2024. Ce standard sera élaboré sur la base de contributions successives des participants.
Il a pour objectifs de :
- Définir la structure du test et des principaux champs de compétences à couvrir
- Définir la nature et la répartition des types de questions et les contraintes liées au contenu : proportion de questions de type QCM par exemple
- Définir les modalités et contraintes dans la validation des questions et réponses d’un test
- Définir les modalités et contraintes des personnes physiques et morales habilitées à faire passer le test
- Définir les modalités et contraintes des personnes physiques et morales habilitées à corriger le test et attester d’un niveau d’évaluation
- Définir les modalités et contraintes des personnes physiques et morales habilitées à délivrer une certification liée à un passage de test
Plus d’informations sur le site de l’AFNOR.