- fjroar
- 4 ene 2024
- 6 Min. de lectura
Tras más de 20 años trabajando en modelización tanto en cliente final como consultor, me encuentro que no se suele dar importancia a un cálculo sistemático y al detalle del valor añadido que aportan los modelos que genera un área de lo que ahora se denomina DS.
Figura 1: Ordenación de datos por risk buckets en un model de bajo Gini frente a otro de mayor Gini (la muestra de simulación es exactamente la misma)
¿Acaso es igual la eficiencia del modelo de la izquierda frente al de la derecha? ¿Y qué ocurre cuando no hay ordenación de datos? ¿Cómo se cuantifica en términos monetarios el aporte económico de un área de DS?
En esta primera entrada del 2024 voy a tratar de cómo se puede dar valor a un área de modelización en el área de riesgo de crédito. Por tanto, no voy a abarcar la totalidad de los modelos que se pueden aplicar (en áreas como marketing, previsiones de demanda, …) porque cada grupo de modelos, va a requerir su propia metodología para medir su aporte económico en euros a la empresa.
En este sentido un área donde la aplicacón de modelos es bastante común es cuándo se trabaja con el problema de la admisión en riesgo de crédito. Es decir, se está ante una financiación de una compra, o bien la concesión de un préstamo, de una hipoteca e incluso en el seguro de riesgo de crédito cuando se trata de financiar una venta a plazos… En todos estos caso donde o bien se ofrece dinero o un producto con la esperanca de que un determinado contrato se cumpla, es habitual que exista un modelo que evalúe si dicho contrato será exitosamente cumplido o no.
Como bien cabe imaginar, en estas áreas un buen modelo puede hacer que se gane mucho dinero o que se pierda bastante, bien porque el modelo no era tan bueno, bien porque no se aplique adecuadamente como ocurre cuando hay desfases con la política comercial y el poder discriminante del modelo (que no se tratará aquí).
Este post es la primera parte de una serie de 3 posts que iré publicando semanalmente para que no sea muy largo. De modo que a continuación muestro como establecer una medida prudente de los beneficios aportados por un modelo de riesgo de crédito en el área de admisión sin considerar los rechazados, dejando esta parte para el segundo de los posts y uno final explicando como se puede hacer todo con R (mi lenguaje favorito a pesar de que siempre he tenido problmeas de pronunciación con esta letra).
Por tanto, para establecer una medida en euros de la eficiencia de un modelo, conviene considerar una serie de directrices:
La medición se realiza sólo sobre población aceptada, lo cual implica que la eficiencia obtenidos de un modelo de riesgo de crédito, será menor que si se pudiera medir sobre el total de la población (incluyendo la población rechazada), pero el problema es que de los rechazados por el modelo, no se sabe si éstos cumplirían o no con el contrato y sólo cabe ser estimada por alguna técnica de inferencia que se deja para la segunda parte (como se ha comentado anteriormente), por tanto cabe esperar que el resultado a ofrecer va a ser un un resultado mínimo del valor que aporta el modelo a la compañía.
En general se conoce el porcentaje de rechazo del modelo que se va a denominar rejection, el cual conviene que sea menor al 30%. En mi caso, suelo trabajar con rejection menores al 5% - 10%. Asociado al rejection y según el tipo de modelo que sea, hay un cutoff o punto de corte en términos de valores o de score o de probabilidad a partir del cual se acepta/rechaza un individuo (o una empresa, o incluso alguna transacción de un modo más genérico).
El Gini que se toma como referencia, al igual que la medida, se calcula también sobre la población aceptada por el modelo, por lo que cabe esperar que el Gini real sea incluso más eficiente que el considerado (hay modos de aplicar inferencias de denegados, pero se debe, en mi opinión realizar demasiadas asumpciones, por lo que el método que describo aquí, aunque con la limitación comentada en la primera directriz, es más sencillo de entender y fácil de usar en la mayoría de los casos).
Con todo lo anterior la metodología a aplicar sería la siguiente:
Se considera el segmento de aplicación del modelo y para un período temporal (un mes / trimestre), se considera toda la población donde existirá una exposición total que se denominará TotalExposure y la correspondiente al impago (tras haber pasado un horizonte de previsión, en ocasiones dicho horizonte es de 12 meses, pero en otros casos puede ser inferior) que se denominará TotalExposureAtDefault
Por otro lado, asociados a la cartera (dato a dato) se tendrá también unos ingresos, bien por pago de tipos de interés, bien por pago de primas (en el caso del seguro de riesgo de crédito), que caben denominarse TotalIncome
Tras lo anterior se aplica el correspondiente porcentaje de rejection del modelo y se considera toda la exposición que habría. A partir de aquí, para el perídodo considerado (y teniendo por supuesto también en cuenta el horizonte de previsión) se obtendrá una exposición tras el rejection (sobre la aceptación conocida) que cabe denominar ModelExposure y también se tendrá a partir de dicho procentaje los impagos, que tendrán la correspondiente exposición y que cabe finalmente denominar como ModelExposure
Análogamente, cabría estimar los correspondientes ingresos tras aplicar el modelo y que se denominarán como ModelIncome
Pues bien, a partir de las anteriores cantidades que (con mayor o menor dificultad), pueden ser calculadas (al ser datos que conectan fuentes operativas y contables por lo general), se obtendrían los siguientes ratios:
En general, si el modelo mejora el sistema, debería ocurrir que:
De hecho, una aproximación a la detección realizada por el modelo se obtendría con:
Así pues, el Detection Rate informa sobre qué parte del riesgo es detectado por el modelo y en teoría se rechazaría por éste. Por tanto, tendrá efecto en cómo de pequeño será el ratio Model Monetary Risk Rate frente al Total Monetary Risk Rate pudiéndose hablar de una mejora del modelo que se definiría como:
Finalmente, el cálculo en euros (que no siempre tiene que ser positivo, pero que se espera que así lo sea), cabría estimarse del siguiente modo, donde ahora entra la estructura de ingresos, que hasta ahora no se ha tratado y por tanto cabe hablar de benefios totales que van a ser denominados como TotalProfits frente a los atribuibles por el uso del model que se denominarían ModelProfits:
La anterior cantidad conviene que sea positiva, porque de no serlo, implicaría que el sistema de admisión actual no genera suficiente ingreso para cubrir el riesgo, además aquí no se consideran otros costes como los operacionales, por tanto, no basta con que sea positivo, sino que debería alcanzar un determinado nivel “suficientemente positivo”.
Por otro lado lo que nos interesa son los ModelProfits que, va a ser el aporte de aplicar el modelo sobre el TotalProfits y cuya estimación se haría del siguiente modo:
Figura 2: Esquema gráfico de algunos de los conceptos considerados en la metodología de estimación de riesgos y beneficios atribuilbles a un modelo de admisión de riesgo
Varias observaciones a lo anterior:
Conviene notar que ModelProfits depende del cutoff o de la aversión al riesgo o del nivel de rejection a considerar, se observa que si el modelo es bueno, hay un valor eficiente del cutoff donde se maximizan los beneficios, es por tanto falso que continuas restricciones de la concesión implique siempre mayores beneficios
ModelProfits está también muy conectada con el valor denominado RiskRedution, una elevada reducción del riesgo debida al modelo, hará que el aporte del modelo al sistema sea mayor
En general ModelAddValue es positivo, pero si fuese negativo puede ser debido a que o bien se esté rechazando por encima del 40%, o bien se esté ante un modelo con bajo Gini en cuyo caso habría que analizar si este valor tan bajo de Gini es porque realmente es un mal modelo o porque el rejection del que se parte es demasiado alto (a partir del 30%-40% podría dar inconsistnecias en el valor Gini y esta metodología, aunque aplicable, habría que tratarla con cuidado)
Por otro lado, en la mayoría de los sistemas de admisión, hay reglas que deniegan a los clientes antes de que llegue al modelo por tanto, esta población no se considera rechazada por el modelo, y no entran en la valoración que aquí se está aplicando (una regla podría ser rechazar a todos los clientes con los que la compañía ha tenido evento de riesgo de crédito no debidamente satisfecho)
Finalmente os pongo un modelo de tabla de seguimiento (con números simulados) de los resultados de una cartera que sigo mes a mes (con un horizonte de previsión de 3 meses):
