LO QUE NO TE CUENTA TU CONSULTOR V: El PSI y la estabilidad de modelos externos

Retomando esta serie de notas sobre "Lo que no te cuenta tu consultor", me viene a la cabeza algo que observo que muchas empresas asumen sin cuestionarse y va sobre el uso de modelos externos que llegan a utilizarse con mucha frecuencia en la toma de decisiones.

Sin entrar ya en el caso de la opacidad que en muchos casos existe con la composición de estos modelos y que como comenté en una entrada anterior, la empresa usuaria, via GDPR, es la responsable ante una futura inspección para ver por ejemplo qué variables lo pueden componer, voy a una cuestión aún mucho más sencilla y es ¿Cómo se controla la calidad del dato que nos están ofreciendo? Y para dar respuesta a esta pregunta voy a hacer uso de una herramienta que además de ser extremadamente sencilla de usar, es poderosa para detectar degradaciones de dicha calidad, se trata del Índice de Estabilidad Poblacional cuyas siglas en inglés son PSI de las que hago uso a partir de ahora para referirme a ésta.

Este índice es muy conocido en entornos de riesgo de crédito y se usa tanto como prueba test adicional para verificar que un modelo es estable tras la construcción como elemento posterior en el monitoring de modelos para analizar si el modelo se mantiene o no bajo unos límites de estabilidad razonables. En el caso que aquí ocupa se enfoca el análisis a ¿Cómo se mide que el dato que proporciona un modelo externo resulta estable?

Para hacer uso del índice anterior y posiblemente "abrir la caja de pandora en tu empresa" si usáis modelos externos y no los seguís debidamente el procedimiento es muy sencillo:

• Tomad un mes de referencia de puntuaciones por ejemplo 202601 generadas por un modelo sobre el que queráis analizar la estabilidad (si queréis evitar temas estacionales podéis tomar un año entero de datos o tomar 4 meses a lo largo del año, en general, lo que he observado, es que si se tiene más de 500 o 1000 puntuaciones, con un mes más que suficiente).

  
  

• Tras eliminar duplicidades y quedaros con todos los elementos que puntuó vuestro modelo (voy a suponer 202601) generar por ejemplo la distribución por deciles de lo que va interesar los puntos de corte que separa cada decil. Si el modelo a analizar os genera una puntuación anotar las 9 puntuaciones que generaría los 10 segmentos. En caso de que tengáis modelos más avanzados que un credit scoring (bien en interno o proporcionado por vuestro proveedor - consultor) como un xgboost, que os en general os ofrecería valores entre 0 y 1, también valdría anotar los 9 valores teóricos que os generaría

  
  

• Con lo anterior ya tendríais unos 10 segmentos que por construcción en 202601 tendrían aproximadamente la misma cantidad de información en cada uno, por tanto el siguiente paso es medir si ha habido o no cambio de distribución

Si la semana que viene que es Abril de 2026, queremos ver si la distribución se ha conservado en 202603 ¿Qué es lo que se tendría que hacer? Pues sencillamente seguir el procedimiento anterior pero usando siempre las 9 puntuaciones para ver cómo caen los nuevos datos que se puntuaron en dicho mes y por tanto os debe quedar una tabla tal como la que muestro a continuación extraía de https://medium.com/model-monitoring-psi/population-stability-index-psi-ab133b0a5d42 que explica con bastante detalle el cálculo, en este caso para un modelo tipo credit scoring:

Pues bien llevar y generar tablas similares a la anterior y observar si el PSI es o no bajo debería ser un imperativo legal para cualquier responsable de modelos de cualquier entidad sea o no sea de corte bancario (fuera de banca incluso ya a nivel de las entidades financieras el descontrol es bastante grande).

Básicamente se trata de ver si el numerito final, es decir la suma de los PSIs está dentro de los siguientes limites:

• Si es menor de 0.1 población estable

• Si está entre 0.1 - 0.2 la población empieza a diferenciarse

• Mayor de 0.2 población distinta

Pues bien, a pesar de lo tremendamente sencillo que sería implementar esta herramienta para llevar un correcto monitoring de la distribución inducida por un modelo, me encuentro mucha pereza por el mundo sobre todo fuera del entorno bancario porque ¿Para qué puede servir lo anterior?

La utilidad de esta técnica resulta inmensa porque en ocasiones, cuando se usa un modelo dado por un proveedor, éste suele requerir una serie de datos para realizar una "llamada al modelo" y claro como todo va vía "internet", puede pasar muchas cosas:

• La llamada no llega bien, porque por ejemplo alguna información llega a missing o incluso de modo erróneo, por tanto el modelo genera scores o probabilidades que están mal

• La llamada no se recibe bien, por la razón que sea el proceso en "casa del proveedor" no se realiza de modo correcto, por tanto pasaría lo del anterior caso

• Hay fallos de conexión en alguna/s de las componentes o variables del modelo externo y el dato es distinto, ...

• Etc(

SI NO SE DETECTA ... TE LO COMES

Pues bien, lo anterior aunque os prometan que no pasa ..., pues pasa y mucho y cuando pones un sencillo monitoring mensual (e incluso lo he llegado a poner de modo diario), los errores salen y se soluciona inmediatamente y os puedo asegurar que el ahorro es bastante significativo, es decir, con un sistema que no lleva montarlo más que un par de semanas, podemos estar ahorrando miles de euros a nuestra compañia sobre todo si el modelo se está usando áreas sensibles como la admisión de crédito de crédito en una entidad financiera o de telefonía. Por tanto, si en vuestro monitoring en el caso que lo tengáis (y me consta por lo que hablo con la gente que es más frecuente de lo que parece el no tenerlo) no tenéis algo tal como lo que aquí describo, en el caso de que uséis modelos externos, sencillamente lo tenéis fuera de control y a saber el resultado que os da.

Para finalizar y no extenderme demasiado, recordar que cuando surge un error y el modelo genera un número todo el mundo está feliz, negocio cree que la cosa va "viento en popa", riesgos cree que todo está controlado, ... y de repente un buen día, ... te encuentras con un pufo de difícil solución porque el impago que entra es difícil que se vaya generando distintos costes de recuperación e incluso con riesgo de inspección de cumplimiento de la IA Act, GDPR y demás.