Prédire la défaillance bancaire par apprentissage automatique : l’effet de l’événement rare

La défaillance bancaire est rare, et ce seul fait défait l’essentiel de ce qui rend l’apprentissage automatique attrayant ailleurs. Pourquoi un taux de précision global flatte un modèle inutile, ce que coûte réellement le déséquilibre des classes, et ce qu’un superviseur devrait exiger avant de s’appuyer sur un résultat.

En bref

L’apprentissage automatique apporte réellement la non-linéarité, les effets d’interaction et la sélection de variables sur un ensemble plus vaste que ce qu’un superviseur peut tenir à l’esprit. Ces gains sont réels et ne constituent pas la difficulté.
La difficulté est que la défaillance bancaire est rare. Un modèle prédisant la survie de tout établissement paraîtra très précis dans une population où presque toutes les banques survivent : le taux de précision global est donc une mesure entièrement inadaptée.
La rareté implique aussi peu d’exemples d’apprentissage : les modèles tendent à épouser les crises particulières de la fenêtre d’estimation plutôt que le schéma général de la détresse.
Chaque remède au déséquilibre des classes a un coût, car rééchantillonner une population prudentielle modifie ce que le modèle estime, et donc le sens de son résultat.
La position défendable est que l’apprentissage automatique hiérarchise l’attention prudentielle et fait émerger des candidats à un examen approfondi. Il ne remplace pas le jugement prudentiel et ne justifie pas à lui seul une intervention.

Sur cette page

Ce que les méthodes récentes apportent réellement
Le problème de l’événement rare, énoncé simplement
Trop peu d’exemples pour apprendre
Ce qu’on fait du déséquilibre, et ce que coûte chaque remède
Ce qu’un superviseur devrait exiger avant de s’appuyer sur un résultat
Que faire ensuite

L’apprentissage automatique séduit naturellement les superviseurs : plus d’intrants qu’on ne peut en pondérer à la main, des relations qui ne sont pas des droites, et aucune forme fonctionnelle à spécifier d’avance. Tout cela est réel. Le problème est ailleurs.

Ce que les méthodes récentes apportent réellement#

Trois apports méritent d’être énoncés clairement, car les écarter est aussi peu utile que les survendre.

**La non-linéarité.** La détresse arrive rarement proportionnellement à un ratio ; elle s’accélère. Les méthodes qui ne présument pas une droite saisissent cette accélération sans qu’on les prévienne.
**L’interaction.** Un profil de financement anodin isolément devient sérieux à côté d’une concentration. Les spécifications classiques doivent être instruites des interactions à chercher ; ces méthodes les trouvent.
**L’ampleur.** La sélection de variables sur des centaines de champs déclarés, y compris ceux qu’aucun superviseur n’aurait proposés, fait parfois émerger une série réellement informative que personne ne suivait.

Le problème de l’événement rare, énoncé simplement#

La défaillance bancaire est rare. Dans la plupart des populations supervisées, sur la plupart des périodes, l’immense majorité des établissements ne défaillent pas. Ce seul fait défait une bonne part de ce qui rend ces méthodes attrayantes là où l’événement recherché est fréquent.

Considérons un modèle qui prédit la survie de chaque établissement, sans exception. Dans une population où presque toutes les banques survivent, ce modèle a raison presque à chaque fois. Présenté sous forme de taux de précision, il paraît excellent. Il a appris à dire « non », il ne repérera jamais une banque en difficulté, et il ne vaut rien.

Un modèle qui a appris à dire « non » aura raison presque à chaque fois, et ne sera utile pas une seule fois.

C’est pourquoi le taux de précision global est ici une mesure inadaptée, et pourquoi un superviseur devrait se méfier de tout chiffre récapitulatif unique proposé pour un modèle de détresse tant qu’il ignore quelle part de la population a connu l’événement.

Trop peu d’exemples pour apprendre#

La rareté a une seconde conséquence, moins discutée et plus dommageable. Ces méthodes apprennent d’exemples, et un événement rare en fournit peu. Le modèle apprend surtout les crises particulières qui se sont trouvées dans la fenêtre d’estimation.

Si celles-ci furent portées par une bulle immobilière, le modèle devient un excellent détecteur de bulles immobilières. Face à une détresse arrivant par un autre canal, il peut ne rien voir du tout, tout en continuant d’afficher les mêmes chiffres assurés.

Ce qu’on fait du déséquilibre, et ce que coûte chaque remède#

Des remèdes standards existent. Chacun modifie quelque chose, et un superviseur devrait savoir quoi.

**Le rééchantillonnage** — repondérer la population pour que les défaillances soient moins minoritaires. Le modèle estime alors un monde dont le taux de défaillance diffère du réel : ses résultats ne sont plus des probabilités de défaillance dans votre population.
**La pondération des coûts** — indiquer au modèle que manquer une défaillance est pire qu’une fausse alerte. C’est honnête et utile, et cela oblige l’autorité à énoncer explicitement ce coût relatif — décision de gouvernance plus que technique.
**L’élargissement de la cible** — prédire la détresse ou une dégradation prudentielle plutôt que la défaillance pure. Cela fournit bien plus d’exemples et change la question posée, ce qui doit ensuite se refléter dans l’usage du résultat.

La troisième est souvent la plus praticable, et se fait fréquemment sans le dire. Un modèle présenté comme prédisant la défaillance mais entraîné en réalité sur des dégradations prudentielles répond à une question différente et plus facile, et cette distinction a sa place dans la documentation.

Ce qu’un superviseur devrait exiger avant de s’appuyer sur un résultat#

Cinq exigences sont raisonnables, et aucune n’est techniquement lourde à formuler.

Énoncer ce que le modèle a été entraîné à prédire, et quelle part de la population d’entraînement a connu l’événement.
Rendre compte de la performance hors période — sur un intervalle postérieur à l’estimation — plutôt que sur un découpage aléatoire des mêmes années.
Démontrer la stabilité sur le cycle, y compris une période sans crise, car un modèle éprouvé seulement sur des années agitées ne l’a pas été sur celles où il servira surtout.
Rapporter séparément les deux types d’erreur au seuil réellement employé, le chiffre récapitulatif masquant l’arbitrage que fait l’autorité.
Révéler quels intrants portent le résultat, et surveiller leur évolution — un modèle dont les moteurs dérivent est devenu discrètement un autre modèle.

Que faire ensuite#

Poser une seule question à tout modèle de détresse qu’on vous présente, construit en interne ou acquis : quelle proportion des établissements des données d’entraînement a réellement connu l’événement prédit ?

La réponse détermine la lecture de tous les autres chiffres du document. Si elle ne vient pas rapidement, c’est en soi le constat, et il compte davantage que toute statistique de performance figurant sur la page.

Questions fréquentes

L’apprentissage automatique peut-il prédire la défaillance bancaire ?

Il peut améliorer le classement des établissements par risque et traite mieux que les approches classiques la non-linéarité et les interactions entre variables. Mais la défaillance bancaire est un événement rare, ce qui change ce que ces méthodes peuvent honnêtement offrir. Un modèle prédisant la survie de chaque établissement paraîtra très précis dans une population où presque toutes les banques survivent : le taux de précision global est donc trompeur. La rareté implique aussi peu d’exemples d’apprentissage, d’où une tendance à épouser les crises particulières de la fenêtre d’estimation plutôt que le schéma général. La position défendable est que l’apprentissage automatique hiérarchise l’attention prudentielle et fait émerger des candidats à un examen approfondi — il ne remplace pas le jugement prudentiel et ne justifie pas à lui seul une intervention.

Pourquoi le taux de précision est-il une mauvaise mesure pour un modèle de détresse bancaire ?

Parce que l’événement est rare. Imaginez un modèle prédisant la survie de chaque établissement, sans exception. Dans une population où presque toutes les banques survivent, il a raison presque à chaque fois et, présenté sous forme de taux de précision, paraît excellent — pourtant il a simplement appris à dire « non », ne repérera jamais une banque en difficulté, et ne vaut rien. Tout chiffre récapitulatif unique proposé pour un modèle de détresse doit donc être accueilli avec méfiance tant qu’on ignore quelle part de la population a connu l’événement. Le reporting utile présente séparément les deux types d’erreur au seuil réellement employé, car c’est là que devient visible l’arbitrage réel de l’autorité entre défaillances manquées et fausses alertes.

Qu’est-ce que le déséquilibre des classes et comment le traite-t-on ?

Le déséquilibre des classes désigne la situation où le résultat à prédire est bien moins fréquent que son contraire — en supervision, les défaillances face à une large majorité d’établissements survivants. Trois remèdes sont courants, chacun avec un coût. Le rééchantillonnage repondère la population pour que les défaillances soient moins minoritaires, mais le modèle estime alors un monde au taux de défaillance différent du réel : ses résultats ne sont plus des probabilités de défaillance dans votre population. La pondération des coûts indique au modèle que manquer une défaillance est pire qu’une fausse alerte — honnête, mais cela oblige l’autorité à énoncer ce coût relatif, décision de gouvernance et non technique. Élargir la cible à la détresse ou à une dégradation prudentielle fournit bien plus d’exemples et change la question posée.

Qu’exiger avant de s’appuyer sur un modèle de détresse ?

Cinq éléments, aucun techniquement lourd à demander. D’abord, l’énoncé de ce que le modèle a été entraîné à prédire et de la part de la population d’entraînement ayant connu l’événement — un modèle présenté comme prédisant la défaillance mais entraîné sur des dégradations prudentielles répond à une question plus facile. Ensuite, une performance mesurée hors période, sur un intervalle postérieur à l’estimation, plutôt que sur un découpage aléatoire des mêmes années. Troisièmement, la stabilité sur le cycle, y compris une période sans crise. Quatrièmement, les deux types d’erreur rapportés séparément au seuil réellement employé. Cinquièmement, la révélation des intrants qui portent le résultat, surveillés dans le temps, car un modèle dont les moteurs dérivent est devenu discrètement un autre modèle.

Le programme derrière cet article

Travaillez ces sujets avec les praticiens qui les ont écrits.