LO QUE NO TE CUENTA TU CONSULTOR: Tú eres responsable de tu modelo

Desde que me empecé a dedicar al riesgo de crédito allá por el 2009 y tras estar unos 8-9 años imbuido en el mundo de las series temporales, he estado en diversas empresas tanto en cliente final como en proyectos bajo distintas consultoras (y sí, yo también he sido partícipe de la venta de humo de distintas calidades ...) y lo que me encuentro cuando llego a un proyecto de modelización en una empresa usuaria (o cliente) es generalmente el siguiente panorama:

• Un proveedor externo ha desarrollado, e incluso ejecuta un modelo que se usa en producción (cuando el externo ejecuta y cobra por ejecución del modelo, es lo el éxtasis de la consultoría porque entonces el cliente es lo que se denomina, una "vaca lechera")

  
  

• Apoyados en ocasiones por mi queridísima GDPR (nótese el sarcasmo ...) y demás eufemismos como (el know-how), ellos mismos, constructores del modelo, le hacen un seguimiento mediocre que, ¡Oh, sorpresa! ¡Sale estupendo! en algún parámetro que medianamente medio entiende la alta dirección como el Gini o la RoC (podéis preguntarle a los directivos aprueban las implantaciones que os lo describan con detalle y os echáis unas risas)

  
  

• En general, la empresa cliente se desentiende y no le dedica apenas tiempo, ni tan siquiera a corroborar lo más básico hasta que hay un momento de reducción de costes o se ha liado algo importante y entonces a lo más que se llega, de modo reactivo es a decir que sale muy caro el modelo, pero tras una inversión más o menos cuantiosa y tras unos 4 o 5 años ... ¡No hay narices a quitarlo!

Pues bien lo primero que hago y la vedad, que dada vez me aburre más porque pasa el tiempo y no se aprende, es montar el puñetero sistema de monitoring que debería estar montado desde el momento inicial y esto no es responsabilidad del consultor, esto es responsabilidad de la empresa cliente que ingenuamente se cree lo que le dice el que el vendor model dice: "te vamos a ahorrar trabajo", "te vamos a ahorrar costes", ... ya sabéis esas palabras mágicas que todo directivo - CEO le encantan.

Por tanto voy a tratar un poco qué hacer en el caso de Riesgos ya que es el que más me toca por ahora y desde luego, aunque en la gran banca está generalmente resuelto, fuera de ahí, la fiesta es divertida pero en todo caso, es el área donde más atención se pone, porque si comentamos sobre las áreas Comerciales donde están los modelos de Onboarding, Contratación, Vinculación, Fuga, ... eso sí que que desde luego es un auténtico desastre y que ya veré si tengo energía de hacer un coleccionable sobre sus miserias porque da para varias sesiones.

Lo primero que uno tiene que hacer cuando llega, si se va a dedicar al tema de gestionar modelos es hacer la pregunta ¿Cuántos modelos tenemos y dónde está la documentación? Depende de a quién haga la pregunta, puede desde no encontrar respuesta hasta encontrar distintas respuesta contradictorias y con un poco de suerte, en algún caso le darán lo que alguien entiende por documentación que será o un word o power point mal hecho de unas pocas hojas, por lo que ya desde ese momento, nota que la cosa va ser difícil.

Por tanto hay un trabajo duro en encontrar por cada modelo en responder lo siguiente:

• ¿Dónde están las puntuaciones (scoring, probabilidades, ...) de los modelos?

• ¿Cómo asociarla a las poblaciones?

• Y lo más complejo: como re-construir retrospectivamente la target

Con lo anterior se empezaría a solucionar sólo una parte del seguimiento de modelos y de lo que se trataría sería de conseguir unas gráficas de este estilo (con datos totalmente inventados por mí) que en cierto modo te genera tu vendor model, para venderte más en un futuro pero que ¡DEBERÍAS HACERLAS TÚ!:

Pues bien, lo anterior hacerlo por cada uno de los modelos que tengáis ya os digo que es un reto que hay que conseguir visualizar y mostrar y explicar al resto de responsables - directivos para tomar conciencia, pero además, si queréis analizar el nivel variable a través de Information Values, PSI, etc; la dificultad crece exponencialmente.

Tres son los elementos que se requiere para montar un sistema:

1. Lo primero mucha paciencia y ganas de hablar con mucha gente hasta que se encuentre lo poco que hay de documentación o en ocasiones de restos de código, vosotros tendréis que completar lo que falte

   
   

2. Después montar queries para sacar, en el caso más sencillo (sin variables), los gráficos anteriores, 3 son las columnas necesarias un identificador de elemento de la población, una puntuación, y el valor binario de la target a ser ordenada

   
   

3. Salvo que se tenga aplicativo (que generalmente suelen ser caros o malos), con R o con Python va a ser más que suficiente. Yo recomiendo 2 librerías:

   
   

   1. Si vais con R: la scorecardModelUtils que está en CRAN

   2. Si vais con Python: está la opción (que también sirve para construir modelos) de OptBinning

Cuando se empieza un proyecto de este tipo, al poco tiempo, la empresa usuaria de los modelos se da cuenta del trabajo que realmente generan los modelos pero también de los beneficios uno de ellos es que muchas veces la historia no es como la de la gráfica anterior sino que es más bien del siguiente tipo (nótese que se mantienen las mismas escalas que en el gráfico anterior):

Y entonces cuando se observan estos datos y se comparan con los que nos ofreció el consultor, es cuando se toma conciencia de que algo no me han contado bien porque no quieren, bien porque no pueden o porque no sabían, ... El tema es que no se ve un claro ROI.

Y eso sólo a nivel modelo ¿Y a nivel variable? ¿Qué puede ocurrir? Pues, eso da para otro post y la cosa aterra aún más, sobre todo si usar alguna de esas variables extras tiene algún coste.

Finalmente indicar que en un sistema de monitoring esto no es más que la punta del iceberg, porque hay aún más cosas a monitorizar como ¿Nos están sirviendo las puntuaciones correctamente? ¿Las estamos generando adecuadamente? La cantidad de sorpresas que salen de esta parte cuando se mira un poco debajo de la alfombra da también para otro post, por tanto, que nadie crea que externalizar modelos ahorrará gente y dolores de cabeza, sino que, aunque en ocasiones puede ser necesario, hay que tener muy en cuenta, que va a ser sano que desde el momento uno se programe el monitoring, en caso contrario, el lío "cuando llegue yo", va ser monumental y solucionarlo, no va a ser muy agradable.