Checklist de maturité IA : dix points à régler avant de construire

La maturité IA se réduit rarement à une capacité manquante. C’est un ensemble de réponses qu’un établissement possède ou non au moment où un système s’apprête à toucher un processus réel, et celles qui manquent apparaissent généralement tard — une fois le modèle au point, une fois le budget engagé, et au moment où quelqu’un doit signer.

La checklist ci-dessous présente les dix domaines où la maturité est le plus systématiquement éprouvée, ce à quoi ressemble une réponse solide dans chacun, et le symptôme qui trahit un établissement sur le point de financer un pilote qui n’atterrira pas.

Responsabilité et droits de décision#

Une réponse solide nomme le dirigeant responsable de l’IA pour l’ensemble de l’établissement, l’instance qui approuve la mise en production, le niveau de décision que chaque échelon peut autoriser, et la personne qui détient chaque système côté métier plutôt que côté technologie.

Le symptôme d’une réponse faible est un programme IA porté par la fonction la plus enthousiaste, avec une approbation par un comité qui n’a jamais rien refusé.

Demandez qui pourrait arrêter un déploiement demain ; si personne ne sait le nommer, personne ne le peut.

L’inventaire#

Une réponse solide produit sur demande une liste à jour de tout système dont le résultat façonne matériellement une décision — y compris les modules éditeurs des plateformes achetées, les règles de score enfouies dans les outils de workflow et les modèles départementaux ayant survécu à leurs auteurs — chacun assorti d’un propriétaire, d’une finalité, d’un niveau de risque et d’une date de revue.

Le symptôme d’une réponse faible est une liste constituée une fois pour un audit, ne couvrant que ce que la fonction technologie a construit. Demandez quand elle a été mise à jour et qui est tenu de le faire.

Maturité des données pour le cas d’usage précis#

Une réponse solide confirme que l’établissement détient les bonnes données, exploitables légalement pour cette finalité, en volume suffisant, assorties de résultats ou d’étiquettes rendant l’apprentissage possible, couvrant les conditions rencontrées en production — et que quelqu’un a examiné des enregistrements réels plutôt qu’un schéma.

Le symptôme d’une réponse faible est une évaluation exprimée en systèmes et en volumes, sans verdict sur la qualité et sans reconnaître que l’historique de résultats ne couvre que des conditions calmes. Demandez si la période d’entraînement contient un retournement, une vague de fraude ou le stress que le modèle finira par rencontrer.

Base légale et traitement des données#

Une réponse solide énonce :

• la base sur laquelle chaque catégorie de données peut servir à cette finalité
• ce qui ne peut pas être utilisé
• où les données résideront physiquement
• qui peut y accéder
• ce qui sort du périmètre de l’établissement et à quelles conditions
• ce qui a été dit aux clients

Le symptôme d’une réponse faible est un projet ayant supposé que des données disponibles pour une finalité le sont pour une autre, et une question de localisation soulevée pour la première fois par le schéma d’architecture du fournisseur. Demandez aux fonctions juridique et protection des données si elles ont été consultées avant ou après le choix du cas d’usage.

Le point d’atterrissage de la décision#

Une réponse solide parcourt le processus tel qu’il tourne aujourd’hui et identifie l’étape exacte où le résultat arrive, qui l’occupe, ce que cette personne ferait différemment, de quelle autorité elle dispose et comment sa charge de travail évolue.

Le symptôme d’une réponse faible est un cas d’usage entièrement décrit du point de vue du modèle, le processus opérationnel n’étant évoqué qu’au futur. Demandez qu’on vous montre l’étape ; si elle doit être conçue, cette conception représente généralement plus de travail que le modèle et doit figurer au plan.

Capacité de validation#

Une réponse solide identifie :

• qui validera le système indépendamment de celui qui le construit ou l’achète
• selon quel standard pour son niveau de risque
• avec quel accès aux données de test
• avec l’autorité de refuser l’approbation ou d’imposer des restrictions

Le symptôme d’une réponse faible est une validation confiée à l’équipe même qui a choisi le fournisseur, ou une deuxième ligne n’ayant jamais évalué ce type de modèle et sans moyens pour apprendre.

La supervision humaine comme mécanisme#

Une réponse solide précise :

• quelles décisions exigent une revue avant effet
• ce que l’on montre au réviseur — y compris le fondement de la recommandation et les indices contraires —
• le temps que la revue autorise réellement
• la manière dont un contournement est consigné
• le taux de contournement attendu

Le symptôme d’une réponse faible est une supervision décrite comme un principe, sans conception d’interface ni mesure.

Demandez le taux de contournement d’un processus existant comparable ; un taux nul ou quasi nul signifie que le contrôle y est décoratif et le sera ici.

La couche de production et de preuve#

Une réponse solide décrit ce qui en fait un logiciel régulé plutôt qu’un script — versionnement, contrôle d’accès, journalisation des entrées et sorties, capacité à reproduire à la demande n’importe quelle décision passée, surveillance de la dérive et de la performance, alertes, voie de retour arrière — et confirme que tout cela figure au périmètre de construction et non dans une phase ultérieure.

Le symptôme d’une réponse faible est un plan où le modèle est chiffré et l’ingénierie environnante ne l’est pas : signature arithmétique d’un pilote qui n’atteindra pas la production. Demandez ce qu’il faudrait pour expliquer une décision précise datant de six mois.

Clauses avec les tiers#

Une réponse solide démontre que la documentation de l’usage prévu et des limites, la preuve des tests du fournisseur, un droit de test indépendant sur les données de l’établissement, un préavis avant modification du modèle, un accès aux journaux suffisant pour reconstituer une décision et une sortie praticable ont été sécurisés au contrat plutôt que réclamés après coup.

Le symptôme d’une réponse faible est un contrat signé qui traite de la disponibilité et du prix et reste muet sur tout le reste. Demandez si la fonction risques a lu le contrat avant signature.

Les personnes et la capacité durable#

Ce dernier domaine détermine si les neuf autres survivent.

Une réponse solide démontre :

• que le conseil et les dirigeants comprennent assez pour poser les bonnes questions
• que les fonctions risques, conformité et audit ont été formées à challenger un modèle plutôt qu’à le subir
• que les équipes opérationnelles ont été préparées au changement de processus
• que quelqu’un, à l’intérieur de l’établissement, saura maintenir le système quand le fournisseur ou le consultant sera parti

Le symptôme d’une réponse faible est un programme IA dont toute l’expertise repose sur des personnes qui ne seront plus là l’an prochain — l’établissement a alors acheté un système qu’il ne peut pas gouverner, position pire que de ne pas l’avoir construit.