Con Reconocimiento de Validez Oficial de Estudios de la Secretaria de Educaci
ELABORACIÓN DE UN ESTUDIO DE CASO
QUE PARA OBTENER EL GRADO DE MAESTRO EN INGENIERÍA ECONÓMICA Y FINANCIERA
PRESENTA:
Jorge Apodaca Gaona
Ciudad de México, 2023
INTELIGENCIA ARTIFICIAL PARA PREDECIR DISPOSICIONES EN PYMES
Un Caso de Estudio presentado para obtener el grado de Maestro en Ingenier´ıa Econ´omica y Financiera
´
0.1. Introducci´on.............................. iii
0.2. Antecedentes ............................. iv
0.3. Planteamiento delproblema ..................... iv
0.4. Justificaci´on.............................. iv
0.5. Objetivo General ........................... v
0.6. Objetivos espec´ıficos ......................... v
1. Marco Teor´ıco 1
´
1.1. Arboles deDecisi´on ......................... 2
1.2. Redes Neuronales........................... 6
1.3. M´etricasdeefectividaddelosmodelos . . . . . . . . . . . . . . . 11
1.4. Metodolog´ıas para la aplicaci´on de modelos . . . . . . . . . . . . 14
1.5. Herramientas desoftware utilizadas. . . . . . . . . . . . . . . . . 16
2. Marco Metodol´ogico 19
2.1. Sampling ............................... 19
2.2. Explore ................................ 21
2.3. Modify ................................. 27
2.4. Model ................................. 28
2.5. Asses .................................. 31
3. Implementaci´on del modelo 37
3.1. Plandeimplementaci´on ....................... 37
3.2. Monetizaci´ondelproyecto ...................... 40
3.3. Evidenciadelapuestaenproducci´on. . . . . . . . . . . . . . . . 42
4. Discusi´on y conclusiones 45
4.1. SobrelaIAysuimplementaci´on .................. 45
4.2. Sobrelosresultadosdelosmodelos . . . . . . . . . . . . . . . . . 45
4.3. Sobrelaimplementaci´on....................... 46
A. Anexo de C´odigos en R y Python 49
B. Anexo de Definiciones Matem´aticas
B.1.AlgoritmoAdaBoost ......................... 52
B.2.AlgoritmosdeOptimizaci´on..................... 54
B.3.SobreRedesNeuronales ....................... 55
B.4.M´aquinasdeSoporte Vectorial ................... 56
En este texto no solo se propone una soluci´on basada en Inteligencia Artificial, sino que se presentan los pasos que se siguieron para su implementaci´on y seguimiento en plataformas tecnolog´ıas, en la metodolog´ıa AGILE y respetando marcos legales.
La informaci´on usada para mostrar en este caso de estudio es publicada por BBVA por lo que no generar´a controversias y se cuida el anonimato de los clientes, as´ı como la informaci´on estrat´egica del Banco ya que solo se utiliza la informaci´on muestra, de hace dos a˜nos y sin datos personales. La implementaci´on del modelo en un ambiente productivo signific´o diversos retos, en este texto se comentar´an los m´as importantes y c´omo fueron solucionados en el momento.
A lo largo del texto son presentados diferentes modelos de Machine Learning y diferentes plataformas de programaci´on, para as´ı encontrar las mejores herramientas de generaci´on e implementaci´on del modelo. Con esta informaci´on se abordar´a una breve discusi´on sobre cu´ales son los beneficios de cada una de las herramientas se˜naladas. En este caso, se selecciona la plataforma de Big Data Jupyter en un entorno distribuido de Spark y que, a manera de ejemplo, se muestra su funcionamiento en una plataforma de Big Data (Datio1), es por ello que se puede considerar que este modelo aqu´ı presentado es una aplicaci´on de Big Data que es aplicado en un ambiente de c´omputo distribuido.
Como se precisa en (Leo et al., 2019) y en (Kaminskyi et al., 2021), tradicionalmente las aplicaciones de Machine Learning est´an enfocadas en la contenci´on y evaluaci´on del riesgo. Estos enfoques son derivados de la necesidad de obtener la p´erdida esperada, el tama˜no de la p´erdida y la exposici´on al impago como lo pide la normativa de Basel Committee 2005. En este trabajo, en lugar de centrarse en la exploraci´on de estos aspectos, se busca analizar la necesidad de cr´edito por parte del cliente en lugar de examinar su riesgo, por lo que esta indagaci´on es una aportaci´on adicional para generar valor de conocimiento y econ´omico sobre los clientes e investigar, cu´ales son las razones por las que una PyME solicita un cr´edito a una instituci´on bancaria debido a que la informaci´on disponible sobre el comportamiento econ´omico de las PyMES es escasa.
Por otra parte, en (Guerra y Castelli, 2021) se ha realizado una investigaci´on que pretende mostrar cu´ales son los temas m´as estudiados en el ambito bancario.´ En donde, al evaluar 41 art´ıculos con m´as citas, se estima que el 29.29 % de ellos se enfocan en Machine Learning y que s´olo 2.4 % estudian el riesgo de liquidez, por lo que una de las aportaciones del presente caso de estudio es que el modelo propuesto se encuentra en un nicho de investigaci´on poco frecuente debido a que una de las variables m´as importantes en el modelo es el flujo de liquidez de la PyME por medio del Machine Learning.
En (Kaminskyi et al., 2021) se presenta una recopilaci´on de algoritmos de Machine Learning que permiten enfrentar los problemas a los que la banca se enfrenta en su operaci´on y estrategia. En (Kaminskyi et al., 2021) se espec´ıfica
1Datio es la plataforma de Big Data que utiliza BBVA para elaborar proyectos de Machine Learning con grandes cantidades de datos.
que el conocimiento del comportamiento del cliente suma valor econ´omico al banco que genera este conocimiento.
En los ultimos´ a˜nos, la IA ha cobrado mayor relevancia en la segmentaci´on de clientes de la Banca y se han generado m´ultiples propuestas para implementarla en ´ on de fraudes o para pronosticar ventas. Las
areas como seguros, prevenci´ entidades financieras buscan talento adecuado y soluciones tecnol´ogicas para aprovechar los beneficios de los avances en el campo de la IA. Adem´as, ´esta tiene que contemplar cambios en las pol´ıticas de los productos y actualizarse para poder competir con otros modelos de IA con que cuenta la competencia. Es por ello que cada a˜no BBVA lanza el reto Hackathon en el que pone como objetivo encontrar una soluci´on a problemas espec´ıficos de cada producto.
Este reto es de car´acter abierto; esto es, equipos de especialistas en tecnolog´ıa generan ideas e innovaci´on para presentar una posible soluci´on. En este caso, debido a la experiencia del autor de este texto en el producto PyME y a la necesidad del Banco de encontrar soluci´on al problema de pron´ostico de disposiciones del cr´edito (necesidad que expone p´ublicamente en el reto) se emprender´a una propuesta de soluci´on al tema y que fue aplicada por el autor de este texto en la empresa con resultados medibles.
El problema es descrito tanto por la instituci´on (BBVA. S.A.) como por el autor de este trabajo como se muestra a continuaci´on:
Con base en un conjunto de datos (an´onimos) que representan el comportamiento financiero de clientes de Peque˜nas y Medianas Empresas (PyME), se requiere encontrar cu´ales de estos clientes dispondr´an de su tarjeta en los siguientes tres meses para generar una lista que contenga la prioridad con que un ejecutivo de cuenta debe visitar a un cliente, con el fin de disminuir las p´erdidas de tiempo derivadas de visitas a clientes con baja propensi´on al cr´edito (BBVA, 2021).
Los ejecutivos de cuenta tienen asignada una cartera de clientes que tienen que visitar o contactar para promover los diferentes productos de cr´edito ofrecidos en el segmento PyME. Sin embargo, la gran cantidad de clientes que tienen asignados genera gran cantidad de tiempo perdido contactando y visitando clientes que no necesitan cr´editos en este momento. Por lo que el modelo propuesto sirve de gu´ıa al ejecutivo de cuenta para solo contactar a los clientes que necesitan un cr´edito y de esta forma priorizar las visitas a realizar y disminuir los tiempos invertidos en contactar clientes. De esta forma, se promover´a el aumento en la productividad de los ejecutivos de cuenta debido a que contaran con m´as tiempo para buscar clientes nuevos.
Por otra parte, el modelo puede ser usado para optimizar la asignaci´on de tasa a los clientes que necesitan un cr´edito debido a que se les podr´a ofrecer una mejor tasa a los clientes que tienen necesidad de cr´edito mejorando el indicador de ventas debido a que el cliente puede usar como factor de decisi´on una mejor tasa ofrecida oportunamente. Debido a que un cliente que no necesita el cr´edito no le importar´a una mejor tasa y, por otra parte, un cliente con necesidad de cr´edito que no est´a totalmente convencido de pedirlo en BBVA, podr´a convencerse de solicitarlo en BBVA debido a una promoci´on en la tasa del cr´edito.
Discutir la aplicaci´on y resultados de un modelo IA puesto en producci´on por parte del banco BBVA M´exico (en adelante, en ocasiones, se usar´a el t´ermino “el Banco” para referirse a BBVA M´exico) orientado a cr´editos PyME para generar una lista que contenga la prioridad con que un ejecutivo de cuenta debe visitar a un cliente, con el fin de disminuir las p´erdidas de tiempo derivadas de visitas a clientes con baja propensi´on al cr´edito. Usando datos proporcionados por BBVA que son p´ublicos, as´ı como estrategias comerciales de BBVA que ha presentado en diferentes foros.
Cap´ıtulo 1
Desde el comienzo del pensamiento humano, se ha generado inter´es por automatizar o hacer m´as f´aciles las tareas de los humanos. En el comienzo del siglo XX, las m´aquinas que calculaban miles de resultados de operaciones presentaron una soluci´on para necesidades matem´aticas para la segunda guerra mundial. Por ejemplo, la necesidad de calcular la cantidad necesaria de municiones para poder inhabilitar cierta infraestructura del enemigo, entre otros ejemplos de optimizaci´on (Taha, 2011).
Con estos precedentes, y al ver que muchas de las tareas humanas de c´alculos eran remplazadas por los llamados ordenadores, tanto en ciencia ficci´on como en el avance del descubrimiento de las c´elulas neuronas y su funcionamiento; el humano ha tratado de generar modelos matem´aticos que, traducidos a algoritmos, puedan simular el aprendizaje humano.
Sin embargo, no es casualidad que investigadores en la materia se han preguntado si estos modelos son los ´ erminos de tiempo de procesa
optimos en t´ miento y capacidad de los componentes electr´onicos de las computadoras. El humano, al hacerse estas preguntas, ha generado algoritmos m´as eficaces que las llamadas redes neuronales artificiales. Derivado de estos avances, en los ´
ultimos a˜nos se ha presentado un nuevo campo de conocimiento llamado Machine Learning en lugar de la IA. No solo se pueden dividir los conceptos de aprendizaje e inteligencia y posteriormente unirlos si es necesario; tambi´en podemos encontrar algoritmos que aprenden con reglas diferentes a las de las redes neuronales (Br´ıo, 2007).
En adelante, se usar´an modelos que aprenden de patrones en los datos y posteriormente, podremos discernir si estos modelos pueden razonar y en qu´e medida les podemos llamar inteligentes.
El problema matem´atico que buscan resolver los algoritmos de Machine Learning, en t´erminos generales es el siguiente: Minimizar el error de un modelo que pretende pronosticar un resultado desconocido por medio de un conjunto de informaci´on conocida y un algoritmo.
Si bien, muchos de los conceptos usados en la definici´on pueden ser ambiguos, se supondr´a que el lector ya tiene conocimiento sobre t´erminos como error, modelo, informaci´on o datos. Aunque, para eliminar ambig¨uedades, se esbozar´a la definici´on matem´atica de cada modelo.
´
Actualmente existen diferentes tipos de modelos que son usados dependiendo de su efectividad en cada fen´omeno a predecir. Sin embargo, la mayor´ıa tienen como objetivo pronosticar resultados con informaci´on recopilada de experiencia previa del fen´omeno. En este caso, se les llama modelos de aprendizaje supervisado debido a que son entrenados con informaci´on previa. Ejemplos de fen´omenos a predecir dada informaci´on previa, pueden ser:
Cabe se˜nalar que se pueden tener m´as clases pero, por simplicidad, hablaremos solo de dos, y las denotaremos como cero o uno a cada clase. Para poder realizar dicha clasificaci´on, es necesario un conjunto de vectores de datos que ser´an usados para poder obtener un cero o uno. Tambi´en, este conjunto debe dividirse en dos subconjuntos; uno de entrenamiento y otro en un conjunto de validaci´on. De tal forma, que necesitamos de una funci´on que nos clasifique al conjunto de datos de dimensi´on n (n columnas) de la siguiente forma:
f := Rn →{0, 1} (1.1)
Buscando siempre que el error sea el m´ınimo. De esta forma, el mejor modelo ser´a aquel que nos arroje el menor error posible. Diferentes y m´ultiples algoritmos se han creado para esta finalidad.
´
´
El primer clasificador que se ver´a es el Arbol de Decisi´on, que usa el concepto de ganancia de informaci´on para poder clasificar los datos de la mejor manera. Lamentablemente, solo puede clasificar la informaci´on en dos clases lo que supone dudas en algunos aspectos sobre la no linealidad del resultado. Sin embargo, es ampliamente usado y genera una base conceptual para m´as algoritmos como veremos a continuaci´on. El ´arbol de decisi´on toma una columna de la tabla de datos de entrenamiento (una variable); por ejemplo, supongamos que es seleccionada la variable de volumen en una temporada de conciertos de m´usica cl´asica y se busca clasificar aquellos conciertos que han dejado mayor satisfacci´on en los asistentes. Esta variable toma los valores Alto o Bajo y se busca determinar la satisfacci´on de los asistentes en una variable y que toma los siguientes valores: satisfecho o no satisfecho.
El objetivo del algoritmo llamado C4.5 (Rim y Liu, 2020), es buscar la Ganancia de la Informaci´on en los conciertos con volumen Alto respecto a los conciertos con volumen Bajo. En caso de que exista menor incertidumbre (mayor ganancia de la informaci´on) entre una u otra clase de la variable volumen, entonces divide el conjunto de datos en dos (genera una rama nueva del ´
arbol) y aplica este proceso para cada variable una y otra vez dependiendo de la profundidad (n´umero de divisiones) o exactitud (nivel de error) requeridos por el usuario del algoritmo. En espec´ıfico, la famosa f´ormula de Ganancia de la Informaci´on
o de medida de incertidumbre (Entrop´ıa) de Shannon IE es:
n
IE (f)= − f(xi) log2 f(xi) (1.2)
i=1
En donde f es la funci´on de distribuci´on de probabilidad, f(xi) es la probabilidad del evento xi, m es el total de eventos del espacio de eventos.
Para ver c´omo funciona esta medida, se puede evaluar el fen´omeno de lanzar una moneda al aire con las probabilidades de que salga cara o cruz; se podr´a ver que es el experimento con mayor incertidumbre ya que las probabilidades de que se consiga una u otra cara son iguales y son los ´
unicos resultados del experimento. En cambio, al tirar dos dados, el resultado con menos incertidumbre (la funci´on alcanza un m´ınimo) es el n´umero siete.
Una alternativa para la medida de incertidumbre de Shannon, es el ´ındice de Gini que es utilizado para evaluar el desempe˜no de un modelo como se ver´a m´as adelante y se define como:
n
Gini = pi(1 − pi) (1.3) i=1 en donde pi es la probabilidad del evento i y n es el total de eventos posibles de un experimento. Un ´ on se compone de hojas, nodos y ramas. Las hojas son la
arbol de decisi´ parte final de ´ on) encontrado en donde, sı
arbol y representa un segmento (patr´ ´ se divide m´as, el algoritmo sobrepasa las divisiones que se pre requirieron o ya no se encuentra ganancia de la informaci´on por alguna divisi´on. Los nodos, son las divisiones que encuentra el algoritmo de acuerdo a la ganancia de informaci´on calculada al encontrar un patr´on. Las ramas unen los nodos y las hojas para poder mostrar gr´aficamente las relaciones entre las variables.
Posteriormente, con este algoritmo, podemos construir otros dos que mejoran la precisi´on. El Random Forest y el Ada Boost (Freund et al., 1999). El Random Forest, en lugar de medir recursivamente la “Ganancia de Informaci´on” variable por variable cuantas veces se le asigne al algoritmo en profundidades genera cientos o miles de combinaciones de peque˜nos ´ on, por lo general,
arboles de decisi´ de una divisi´on de profundidad y posteriormente los une poniendo en primer t´ermino la uni´on que genere mayor “ganancia de informaci´on”.
Por ´ nos
ultimo, el Ada Boost, se basa en el supuesto de que si se unen peque˜ ´arboles de decisi´on (de una divisi´on de profundidad) como en un Random Forest, se puede caer en el abandono de informaci´on valiosa olvidando patrones que generan ganancia de la informaci´on pero que se han descartado por ser poco valiosos respecto de otro patr´on. De tal forma, que este algoritmo genera m´ultiples ´ on para generar uno en el que varios caminos pueden
arboles de decisi´ llegar al mismo resultado. Por ejemplo: Supongamos que un volumen alto siempre genera satisfacci´on en el p´ublico, entonces, un ´ on, o un Random Forest, dejarıan este resultado co
arbol de decisi´ ´ mo la ´ on es siempre relevante. Pero,
unica hoja ya que la ganancia de informaci´ ¿qu´e sucede si, la calidad de los instrumentos es una variable tambi´en relevante, aunque no tanto? La respuesta es que el an´alisis estar´ıa dejando de lado informaci´on importante. Es por ello, que el algoritmo de Ada Boost, generar´a dos ´
arboles (hasta donde se sabe solo se han presentado estas dos variables), y por ello, nos dir´a que, si los instrumentos son de calidad o el volumen es alto, entonces se prev´e un concierto con gran satisfacci´on.
Cabe se˜nalar, que un aspecto importante del Ada Boost es que utiliza la optimizaci´on del “Gradiente Descendiente” para poder dividir las ramas buscando un ´ on cuando la variable es continua y no
optimo en ganancia de la informaci´ discreta (clases).
En la Figura 1.1, se pude apreciar el algoritmo de un ´ on como
arbol de decisi´ el que hemos comentado.
Existen diferentes versiones del algoritmo de Radnom Forest, a continuaci´on se definir´a un algoritmo de Random Forest con base en (Rim y Liu, 2020), del cu´al se han presentado las ideas generarles:
Definici´on 1.1.1 (Algoritmo Random Forest) Con base en un conjunto de datos de entrenamiento y un par´ametro k, se busca un resultado de clasificaci´on con los siguientes pasos:
arboles generados).
Una de las ventajas del modelo de Random Forest es que evita el sobre ajuste debido a que intervienen los resultados de varios modelos que se han
Figura 1.1: Diagrama del flujo de un algoritmo para generar un ´ on
arbol de decisi´ C4.5. Fuente: (Br´ıo, 2007).
entrenado con subconjuntos de datos diferentes. Una de las desventajas es que su entrenamiento requiere de m´as recursos computacionales y tiempo debido a que estima varios ´ on. El modelo de Random Forest es usualmente el
arboles de decisi´ que genera mayor precisi´on debido a que considera las respuestas de un conjunto de modelos. Cabe se˜nalar que al tener m´as datos, se podr´a subdividir la muestra en m´as subconjuntos, obteniendo m´as modelos que adicionar´an valor al resultado final.
El Algoritmo B.1.1 presentado en 1997 pretende crear un conjunto de entrenamiento en cada iteraci´on (m´etodo conocido como algoritmo ensamblador). Este nuevo conjunto de entrenamiento tomar´a en cuenta, en mayor medida, aquellos registros en los que el mejor modelo no ha podido pronosticar adecuadamente. De esta forma, los ´
arboles se encuentran conectados debido a que un ´ arbol predecesor) de los
arbol aprende (con una variable diferente usada por el ´ registros que no fueron pronosticados adecuadamente por un ´
arbol predecesor. Una da las desventajas del modelo Ada Boost es que utiliza grandes cantidades de recursos computacionales ya que recalcula los una cantidad M de ´
arboles en cada iteraci´on. En el algoritmo (B.1.1) la funci´on I se refiera a la funci´on Caso que arroja el valor uno en caso de cumplir con cierta condici´on y cero en caso contrario.
En el caso de las redes neuronales, sus algoritmos son f´aciles de comprender1 y ampliamente usados hoy en d´ıa. Existe una amplia investigaci´on al respecto sobre sus formas y c´omo ordenarlas para obtener los mejores resultados.
Aunque no se han obtenido resultados contundentes en mejorar los resultados y en cada aplicaci´on es necesario realizar experimentos de prueba y error para comprobar hip´otesis sobre su arquitectura (topolog´ıa) como se precisa en (Br´ıo, 2007). Aunque son f´aciles de programar, consumen muchos recursos computacionales, por lo que la mayor´ıa de las aplicaciones solo utiliza topolog´ıas de pocas capas o un n´umero reducido de neuronas.
Sin embargo, en los ´ nos, el desarrollo del c´
ultimos a˜ omputo distribuido y nuevas estrategias para su programaci´on ha generado resultados insospechados hace unas d´ecadas en temas como reconocimiento de im´agenes o autonom´ıa de veh´ıculos; generando un resurgimiento de su uso con m´as potencia que hace unos a˜nos. Las mejoras y los nuevos algoritmos se pueden ver en el proyecto Tensor Flow de Google, que pretende ser referente para la programaci´on y uso de estas redes.
El concepto b´asico de red neuronal se basa en el modelo de neurona de Ram´on Cajal (Klein, 2017) que se pude apreciar en la Figura 1.2.
En la Figura 1.2, podemos apreciar diferentes arreglos y elementos que permiten a la neurona guardar informaci´on y compartirla con otras neuronas. En el centro observamos el n´ucleo (B) que recibe de las dendritas (A) informaci´on de otras neuronas y que despu´es la transmite a otras neuronas a trav´es del Ax´on
(C) con diferentes grosores (sinapsis) para enviar se˜nales moduladas a otras neuronas. El flujo de informaci´on en la Figura 1.2 ser´ıa de abajo hacia arriba; en “A” se recibe informaci´on de otras neuronas, B activa la salida que es modulada por C que lleva la nueva informaci´on (se˜nal) a otras neuronas. El modelo matem´atico m´as aceptado (Modelo Est´andar) para representar una neurona es el siguiente:
Definici´on 1.2.1 (Modelo Matem´atico de Neurona) Sea ⃗x =<x1,x2,...,xn > un vector con informaci´on, el procesamiento de esta informaci´on suceder´a de la siguiente forma:
n
y(⃗x)= φwixi − θ (1.4) i
La f´ormula es muy f´acil de programar y entender. Primero, sumamos cada entrada de informaci´on (dato del vector) multiplicado por wi el peso sin´aptico (brazos de la red con diferentes grosores) y posteriormente le se le resta a Theta
1Se consideran f´aciles de comprender debido a que se pueden interpretar como la uni´on de varias regresiones lineales que son ampliamente conocidas en el an´alisis econ´omico y estad´ıstico.
Figura 1.2: Una de las primeras ilustraciones de una neurona en 1889 con sus componentes se˜nalados. Fuente: Elaboraci´on propia con imagen de fondo provista en Klein, 2017.
que usualmente es una constante2 . Al sumar estos valores, se le aplica una funci´on φ (funci´on de activaci´on) que apaga o enciende una se˜nal3 , usualmente funciones que entreguen cero o uno como resultado. Cuando se tiene una red neuronal, usualmente se env´ıa este resultado a otra neurona para que lo procese con otros resultados.
Cuando se tiene una sola neurona, el modelo es el de una regresi´on lineal y su interpretaci´on es ampliamente conocida. Sin embargo, al unir m´ultiples neuronas, no se puede concluir lo mismo y no se puede interpretar la sinapsis del modelo, pero si se puede utilizar el conocimiento que se tenga sobre una regresi´on para explicar c´omo aprenden las redes neuronales.
Un aspecto importante sobre las Redes Neuronales es que el aprendizaje depende en gran medida de las funciones de activaci´on con que se cuente, entre las m´as comunes se tienen:
Definici´on 1.2.2 (Algunas de las funciones de activaci´on m´as comunes)
Sea x ∈ R y sea ⃗z =<z1,z2,...,zn > un vector de tama˜no n y con zi ∈ R,a las siguientes funciones se les denominar´a como Funciones de Activaci´on:
2Theta es usualmente una constante arbitrar´ıa y en ocasiones es conocida como “bias” (v´ease la Figura 1.3 c´ırculos en color azul). En una regresi´on lineal, la ecuaci´on de la recta en una regresi´on es de la forma y = mx + b, en este caso, b ser´ıa el bias.
3Existen diferentes funciones de activaci´on y cada una puede mejorar el modelo dependiendo de c´omo se configure la red neuronal. En el caso de las regresiones, al aplicar las funciones del tipo sigmoidea, se obtienen los llamados modelos probit o logit que clasifican la informaci´on de salida en cero o uno (SAS, 2011).
Identidad:
φ(x)= x (1.5)
Escal´on:
0 si x< 0
φ(x) = (1.6)
1 si x ≥ 0
Sigmoidal:
x
e
φ(x)= −x (1.7)
1+ e
ReLU (Rectified Lineal Unit):
φ(x) = m´ax(0,x) (1.8)
Softmax:
φ(zj )=
zj
e
para j =1,...,n (1.9)
n
i=1 ezi
La elecci´on de cada una de estas funciones se puede hacer arbitrariamente en un inicio, pero por medio de experimentos sucesivos se podr´a elegir a la mejor funci´on de activaci´on. Es importante se˜nalar, que la funci´on 1.8 ha sido de gran importancia en los ´
ultimos avances en la materia, probando mejoras sustanciales en los modelos. Esto, se podr´ıa explicar debido a que algoritmos de optimizaci´on tienen menos problemas al hallar un valor ´ on,
optimo en esta funci´ lo que se entender´a si se examinan los principales algoritmos para encontrar m´aximos y m´ınimos como ser mostrar´a m´as adelante.
Existen diferentes tipos de funciones de costo y la elecci´on de una de ellas para el aprendizaje ser´a determinante para el desempe˜no final de un modelo.
Definici´on 1.2.3 (Algunas funciones de costo m´as comunes) Las funciones de costo m´as comunes para una muestra de tama˜no N con n par´ametros son:
1. Error Simple (ES):
N
L(ˆy, y)= |yi − yˆi| (1.10)
i=1
2. Error Absoluto Medio (EAM):
N
|yi − yˆi|N
L(ˆy, y)=
(1.11)
i=1
3. Error Cuadr´atico Medio (ECM):
N
N
i=1
(yi − yˆi)2
L(ˆy, y)=
(1.12)
4. Cross Entropy (CE):
N
L(ˆy, y)= −(yilog(ˆyi) + (1 − yi)log(1 − yˆi)) (1.13) i=1
En donde yˆ=<yˆ1, ..., yˆN > es el vector de los valores pronosticados e y =< y1, ..., yN > los valores reales.
En el caso del modelo Ada Boost, la funci´on de costo ser´a la funci´on de incertidumbre de Shannon. Es importante se˜nalar, que la funci´on de costo debe contar con derivadas de primer y segundo orden y ser c´oncava para poder aportar una soluci´on no divergente.
Es importante comprender el funcionamiento de los algoritmos de optimizaci´on debido a que la elecci´on de uno u otro proporcionar´ıa diferentes resultados. El modelo de Gradiente Descendente (GD) es ampliamente usado en Machine Learning, tanto para Redes Neuronales, como para el algoritmo de Ada Boost. El algoritmo GD se explica en el anexo de Definiciones Matem´aticas.
Existen diferentes variantes de este algoritmo, la que se utilizar´a para el aprendizaje de la Red Neuronal es la variante ADAM (Adaptive Moment Estimation), que consiste en el algoritmo de gradiente descendiente, pero en el que la tasa de aprendizaje η se adapta (cambia) en funci´on de los primeros momentos del gradiente.El algoritmo ADAM se explica en el anexo de Definiciones Matem´aticas.
Los avances en optimizaci´on, en espec´ıfico, la funci´on de costo CE, la funci´on de activaci´on ReLU y el algoritmo ADAM han generado un avance en la Inteligencia Artificial en los ´ nos.
ultimos a˜
La Regresi´on Logit, ayudar´a a mostrar c´omo las diferentes definiciones presentadas se pueden unir para encontrar los mejores par´ametros de un modelo. El modelo b´asico de regresi´on, se podr´a definir de la siguiente forma:
n
yˆ(<x1, ..., xn >)= wixi + θ (1.14) i=1
Posteriormente, se podr´a aplicar alguna de las funciones de costo, usualmente la de ECM y utilizar un algoritmo de optimizaci´on para encontrar los mejores par´ametros. Este tipo de an´alisis se suele llamar modelo obtenido por m´ınimos cuadrados cuando se utiliza ECM. Es importante resaltar, como se ha mencionado, que los resultados del modelo cambiar´an de acuerdo al algoritmo de optimizaci´on, la funci´on de costo y la funci´on de activaci´on seleccionados. En el caso de que se le aplique al resultado de la regresi´on la funci´on φ sigmoidal (lo cual har´a que el resultado se encuentre entre cero y uno), entonces se dir´a que se cuenta con modelo de regresi´on Logit, pero por ser un modelo de clasificaci´on y no de regresi´on, entonces se tendr´a que usar la funci´on de costo CE.
En una regresi´on se busca minimizar el error del modelo obteniendo los wi ´optimos con un algoritmo de optimizaci´on, usualmente M´ınimos Cuadrados4 . En las redes neuronales sucede lo mismo (Br´ıo, 2007), pero cada neurona va fragmentando el error total del modelo en las m´ultiples neuronas paso a paso por un orden de atr´as hacia adelante. Es por ello, que el nombre del algoritmo m´as usual para el aprendizaje de las redes neuronales es llamado Back Propagation.
Figura 1.3: Ejemplo de una red neuronal de 2 capas ocultas. Fuente: Elaboraci´on propia con datos simulados (ver anexo).
En la Figura 1.3 se puede observar el modelo descrito en la Definici´on B.3.1. En este caso, dos entradas de informaci´on (x1,x2) pasan a una capa de siete neuronas que procesa la informaci´on por medio de una funci´on g1 y pasa la informaci´on a la capa dos con cuatro neuronas. Por ultimo, una capa de una
´ neurona recibe la informaci´on de la capa dos para proporcionar el resultado final.
Este tipo de par´ametros de aprendizaje (n´umero de capas, tasa de aprendizaje, funciones de activaci´on para cada capa o funci´on de costo) son llamados hiperpar´ametros y, por medio de varios experimentos se proponen valores que generen mejores resultados de la red neuronal.
Las m´aquinas de soporte vectorial (SVM por sus siglas en idioma ingl´es) se basan en encontrar fronteras (planos) multidimensionales que dividen a un conjunto de puntos en el espacio. Se busca un plano de tal forma que los puntos que se encuentran de un lado (C1) u otro (C2) de ´el tengan caracter´ısticas diferentes, esto es, que la distancia entre uno u otro conjunto de datos sea la m´as
4Existe otro algoritmo para encontrar los par´ametros de una regresi´on (m´axima verosimilitud) pero no ser´a mencionado en este p´arrafo debido a que lo que se quiere mostrar es la relaci´on del algoritmo de m´ınimos cuadrados de una regresi´on con el algoritmo de aprendizaje de una red neuronal.
Figura 1.4: Clasificaci´on lineal con una Maquina de Soporte Vectorial para dos clases (rojo y verde). Fuente: Elaboraci´on Propia en lenguaje R con datos simulados.
grande posible. Ser´a conveniente tomar a cada registro de la muestra como un punto en el espacio multidimensional, en donde cada caracter´ıstica (columna de la tabla muestra) ser´a una dimensi´on. En el anexo de Definiciones Matem´aticas se explica a detalle su funcionamiento.
En la Figura 1.4 se pueden observar planos que buscan dividir dos conjuntos de datos (rojos y verdes) y en la Figura 1.5 se puede apreciar la aplicaci´on del Kernel Gaussiano para dividir las dos clases de forma no lineal.
Para medir la efectividad de los modelos, ser´a preciso entrenarlos con un conjunto elegido aleatoriamente (llamado train set) y probarlo con un conjunto de prueba (test set). De acuerdo con (Hamstra y Zaharia, 2013) y (Br´ıo, 2007) se usar´a un muestreo aleatorio simple y una proporci´on de 0,7 vs 0,3 respectivamente que es lo que usualmente se considera apropiado.
Como ser´an evaluados diferentes modelos, ser´a necesario medir la efectividad de ellos por medio de m´etricas. En concreto, utilizaremos la matriz de confusi´on y la curva ROC (SAS, 2011) que es una representaci´on gr´afica de la matriz de confusi´on. Cabe se˜nalar que la matriz de confusi´on aporta mayor valor si se discuten y analizan sus resultados.
La matriz de confusi´on se compone de cuatro elementos que, al analizarlos podremos definir qu´e tan bueno es un modelo para los prop´ositos que necesitamos. Estos cuatro elementos se pueden apreciar en la Tabla 1.1.
Dependiendo del fen´omeno a modelar, ser´an m´as valiosos los verdaderos negativos o los verdaderos positivos. Por ejemplo, si se trata de pronosticar la subida de una acci´on, nos interesa ser adversos al riesgo, centraremos la atenci´on en los falsos positivos; En el caso de un modelo que pronostique una enfermedad
Figura 1.5: Clasificaci´on no lineal con una Maquina de Soporte Vectorial para dos clases (rojo y verde) con un kernel Gaussiano. Fuente: Elaboraci´on Propia en lenguaje R con datos simulados.
| Predicho Clase 1 | Predicho Clase 2 | |
|---|---|---|
| Real Clase 1 | Verdaderos Positivos (vp) | Falsos Negativos (fn) |
| Real Clase 2 | Falsos Positivos (fp) | Verdaderos Negativos (vn) |
Tabla 1.1: Relaci´on de resultados entre lo predicho y el conocido real. mortal que se pueda prevenir, nos interesar´an los verdaderos positivos y los falsos
| negativos. | |||
|---|---|---|---|
| En espec´ıfico, se utilizar´an las siguientes m´etricas: | |||
| Definici´on 1.3.1 M´etricas de efectividad de modelos de clasificaci´on | |||
| 1. Precision (Precisi´on) | |||
| P | = | vp vp + fp | (1.15) |
| 2. Recall (Sensibilidad, tambi´en llamado True Positive Rate o TPR) | |||
| T P R = | vp vp + fn | (1.16) | |
| 3. Accuracy (Exactitud o tambi´en llamado Efectividad) | |||
| A = | vp + vn vp + fn + fp + vn | (1.17) | |
| 4. Specificity (Especificidad) | |||
| vn | |||
| S | = | vn + fp | (1.18) |
5. f1
2vp
f1 = (1.19)
2vp + fp + fn
6. False Positive Rate (FPR)
fp
FPR = (1.20)
fp + vn
La Precisi´on es adecuada cuando se requiere hacer ´enfasis en los verdaderos positivos no importando que los verdaderos negativos sean elevados. Un ejemplo para usar este tipo de m´etricas sobre de otras es el pron´ostico de si un caballo ganar´a o no una carrera. En este caso es importante saber si el caballo elegido por el modelo ganar´a o no y no nos preocupa que el caballo gane si no fue pronosticado que ganar´a por el modelo. En el caso del uso del Recall (en el mismo ejemplo de la apuesta a los caballos), pude que adem´as de precisi´on, sea requerido volumen de carreras acertadas correctamente, es por ello que se adhiere fn a la ecuaci´on, de esta forma se podr´ıa apostar tambi´en por los caballos que pierden. En el caso de la m´etrica de Exactitud, se tiene una idea global del resultado del modelo, pero esto no necesariamente es adecuado a tomar en cuenta debido a que depende de la aplicaci´on del modelo si es necesario m´as precisi´on o sensibilidad.
Cuando se toma en cuenta la m´etrica de Especificidad, se requiere que el modelo no pronostique una gran cantidad de fp. Por ejemplo, en caso de que se pronostique que un fraude ocurrir´a o no, ser´a necesario que los fp sean los menos posibles para no perder recursos investigando casos que no ser´an fraude.
En el caso de la m´etrica f1, se busca combinar la Precisi´on con la Exactitud dando m´as peso a los verdaderos positivos multiplicando por dos y esto es adecuado para aplicaciones en las que la Precisi´on es necesaria pero sin dejar de lado la Exactitud.
Para modelos que no son de clasificaci´on existen diferentes m´etricas. Se considera apropiado mostrar las m´as importantes. La m´etrica R2 es ampliamente usada y se basa en el hecho de que una menor variabilidad de los datos pronosticados har´a un mejor modelo:
n
(ˆyi − µ)2
R2 i=1
= (1.21)
n
(yi − µ)2
i=1 en donde µ es el promedio de las yi y su versi´on modificada (promedio por elemento de la muestra):
n − 1
Rˆ2 =1 − (1 − R2) (1.22)
n − M − 1 en donde M es el n´umero de variables explicativas. Estas m´etricas son usadas en modelos de regresi´on lineal, pero en modelos m´as avanzados, se ha usado en
mayor medida la propia funci´on de costo que en el caso de modelos de regresi´on puede ser el ECM.
Otra m´etrica para modelos de clasificaci´on ampliamente usada es el ´ındice de Gini que se ha mostrado en la f´ormula 1.3. En el algoritmo de aprendizaje de Ada Boost se ha usado este ´ındice para encontrar el mejor modelo dentro de un conjunto de modelos. En el caso del ´ındice de Gini, el modelo con el menor ´ındice ser´a el mejor debido a que representa una medida de incertidumbre. Sin embargo, se recomienda contrastar diferentes m´etricas para elegir el mejor modelo.
Por otra parte, el ´
area bajo la curva de la ROC (Receiver Operating Characteristic) nos ayudar´a a vislumbrar la efectividad del modelo. Cuando esta medici´on converge a uno, se dir´a que el modelo predice todos los eventos propuestos.
La curva ROC representa de forma gr´afica el Accuracy del modelo, esto es, el ´
area bajo la curva es igual al Accuracy. Para graficar la curva ROC, se tienen que unir los puntos resultantes de Recall en el eje vertical y FPR en el eje horizontal a medida que el resultado del modelo va dejando valores de entre cero y uno. Por ejemplo, cuando el modelo predice que el cliente tomar´a un cr´edito con un puntaje de 0.8, entonces se calcula la Recall y la FPR para los clientes que el modelo calcul´o con ese puntaje.
Definici´on 1.3.2 (Curva ROC) La curva ROC para una muestra de tama˜no n es calculada con la siguiente funci´on de R → R2:
nn
I({y ≠ y,ˆ yˆ <l}) I({y = y,ˆ yˆ <l})
i=1 i=1
ROC(l)= 1 − , 1 − (1.23)
nn
I(y ̸= yˆ) I(y = yˆ)
i=1 i=1
en donde l es un n´umero en [0, 1] que es en donde se encontrar´a la respuesta de la funci´on φ. La funci´on caso I({a, b}) ser´a uno s´ı se cumplen las hip´otesis a y b y cero en otro caso.
Para aplicar un modelo, ser´a necesario seguir una metodolog´ıa. Para ello, fue seleccionada la metodolog´ıa SEMMA de SAS (SAS, 2011). La cual pretende ser una gu´ıa para generar modelos debido a que es la metodolog´ıa que toma los principales pasos de las otras dos metodolog´ıas de las que se hablar´a m´as adelante. Los pasos de la metodolog´ıa SEMMA son:
Si bien, existen muchas otras metodolog´ıas, la mayor´ıa coincide en los pasos y solo difieren unas de otras en el orden para aplicarlos como se precisa en la metodolog´ıa Box y Jenkins (Apodaca, 2014) y (Sarkar, 2012). La metodolog´ıa Box y Jenkins fue elaborada en el a˜no 1960 y sigue los siguientes pasos:
Otra metodolog´ıa usada para la aplicaci´on de un modelo es la llamada CRISP-DM (Cross Industry Standard Process for Data Mining) la cual pretende ser un est´andar para aplicar modelos en ´areas de Miner´ıa de Datos (EspinosaZ´u˜niga, 2020). Esta metodolog´ıa Europea es creada en el a˜no 1997, por el Programa de Investigaci´on y Desarrollo en Tecnolog´ıas de Informaci´on de la Uni´on Europea (ESPRIT) y consiste de los siguientes pasos:
areas de oportunidad.
En el caso de la metodolog´ıa CRISP-DM se propone una metodolog´ıa c´ıclica en la que la evaluaci´on de los resultados de la implementaci´on permite generar nuevas ideas para poder generar nuevos modelos o repensar los ya existentes. Cabe se˜nalar, que en la metodolog´ıa CRISP-DM, se propone comprender el problema para delimitar la aplicaci´on y responder mejor a las necesidades del negocio. Este paso no es mencionado en la metodolog´ıa Box y Jenkins debido a que es m´as enfocada al concebimiento de un modelo que surge de una necesidad ya existente. Por otra parte, la documentaci´on del modelo es parte de un proceso que ayudar´a al usuario a comprender c´omo funciona la herramienta y supone que el modelo debe ser parte de un ecosistema en el que el generador del modelo est´e en contacto con el usuario para mejorar la aplicaci´on del modelo.
Cuando las computadoras empezaron a generar y guardar datos de forma m´as eficiente que antes, las empresas que generaban grandes cantidades de informaci´on se encontraron con el problema de aplicar algoritmos o consultas a sus datos debido a la limitada capacidad de procesamiento de las computadoras de escritorio o servidores peque˜nos (Jules, 2019).
Una de las soluciones encontradas y que se ha generalizado su uso, es el c´omputo distribuido que pretende relevar m´ultiples tareas a un conjunto de procesadores en lugar de usar un solo procesador (Jules, 2019) y (Caballero, 2018).
Si bien, esta tecnolog´ıa existe desde hace decenas de a˜nos; las grandes corporaciones han puesto a disposici´on del usuario los grandes servidores con que cuentan para mejorar la eficiencia de los algoritmos. Esto es, es posible pensar, que no es una soluci´on al problema de eficiencia en el almacenamiento o procesamiento de un CPU5 , en cambio, multiplicar el n´umero de unidades de CPU que realizan una tarea (Jules, 2019).
En el medio computacional (Google, IBM o Microsoft) sigue sin respuesta consensuada la pregunta de qu´e es Big Data, como se precisa en (Davenport, 2014).
Sin embargo, existe un consenso en que debe de tratarse de un conjunto de t´ecnicas enfocadas a solucionar problemas que no se pueden resolver en un servidor o equipo personal com´un por temas de capacidad de memoria o tiempo (Jules, 2019) y (Caballero, 2018). Adem´as, se pueden a˜nadir otras especificaciones como variedad de datos que son formatos o estructuras dif´ıciles de registrar debidamente en bases de datos convencionales (im´agenes, sonido, texto, etc.)6 .
Ya que se cuenta con la capacidad de c´omputo suficiente para trabajar con grandes vol´umenes de datos, es preciso encontrar software que trabaje de forma distribuida.
El software pionero en popularizar estos temas fue Hadoop creado por la empresa Google. Sin embargo, Spark ha generado mejoras sustanciales y es
5CPU son las siglas de: Central Processing Unit 6Es conocido en el medio las tres V: velocidad, variedad y volumen (Davenport, 2014).
Figura 1.6: Ecosistema de las herramientas que se pueden utilizar en Spark. Fuente: (Eman, 2019).
mucho m´as f´acil de usar (a opini´on del autor de este texto) que Hadoop (Jules, 2019). Adem´as, es el software con el que se contaba y es con el que trabajan Datio, DataBricks y Horton.
Entre los algoritmos de Big Data m´as conocidos, se encuentra Map and Reduce, creado y patentado por Google, el cual mapea una tarea y la reduce en peque˜nas tareas que le asigna a cada procesador. Como ejemplo, sup´ongase que se requiere conocer el saldo total de todas las cuentas de todos los clientes de un banco en el menor tiempo posible. El algoritmo de Map and Reduce tomar´a conjuntos de n registros de forma ordenada y a cada conjunto le asignar´a un id nodo (identificador ´
unico de cada nodo) dependiendo del nodo al que se le asignar´a la tarea (Map). Cada conjunto de datos se trasladar´a a cada nodo (CPU) con que cuente el servidor. Cada nodo, sumar´a los saldos de los clientes que le fueron asignados y devolver´a el resultado. Posteriormente, se sumar´an los resultados obtenidos en cada nodo (Reduce).
La principal diferencia entre Spark y Hadoop, es que Spark trabaja inmemori y no escribe la informaci´on distribuida en los discos duros de cada servidor del sistema distribuido; esto permite una ganancia sustancial en tiempo.
Por otra parte, es posible programar en los lenguajes de programaci´on R, SCALA y Python (Bill, 2017). Lo cual hace de Spark, la plataforma de Big Data m´as usada hasta el momento. Para mayor detalle de Spark, se pueden obtener los manuales que se encuentran en su sitio web (spark.apache.org, 2021).
En la Figura 1.6 se puede apreciar que Spark cuenta con herramientas para trabajar los datos en forma distribuida, pero con los lenguajes m´as comunes. Por ejemplo, Java, R, SQL o Python. Por otra parte, permite, que Bibliotecas de manejo de datos o de Machine Learning sean programadas en estos lenguajes como MLlib que permitir´a programar en Python modelos de Machine Learning pero haciendo el procesamiento en un ambiente distribuido.
En la Figura 1.7, se presenta una descripci´on del procesamiento interno de Spark, se programa en un lenguaje (Python, Scala, R, etc.) una aplicaci´on, despu´es, el m´odulo de Spark Context, traduce ese programa en algoritmos Map and Reduce y lleva este procesamiento al Cluster Manager quien asigna tareas ordenadas y recibe las respuestas de cada Nodo ordenando la informaci´on.
Figura 1.7: Descripci´on del funcionamiento distribuido de Spark. Fuente: (Eman, 2019).
Cap´ıtulo 2
A continuaci´on, se seguir´an los pasos propuestos por la metodolog´ıa SEMMA, por lo cual, las subsecciones seguir´an el orden de la metodolog´ıa y tendr´an los respectivos nombres de las siglas de SEMMA.
Los datos proporcionados y publicados a los participantes del Hackathon fueron usados por el autor para generar el modelo1 . Los datos proporcionados son descritos en la Tabla 2.1.
Si bien, como se precisa en (BBVA, 2021), se plantean diferentes problemas a resolver; Se eligi´o el problema de encontrar un clasificador para las PyMES para saber si necesitan o no un cr´edito revolvente (propensi´on al cr´edito revolvente) ya que esta fue la soluci´on que se construy´o y qued´o en producci´on en la empresa BBVA.
El total de registros es de 45,7182 y difieren de los datos entregados al Hackaton debido a que los desarrolladores del evento cambiaron algunos campos para poder hacer la tabla m´as entendible para el p´ublico en general. El autor de este texto, quien fue responsable de crear la tabla, se da la libertad de mejorarla con la experiencia adquirida en los ´ as
ultimos meses. A saber, los cambios m´ importantes son, quitar el C´odigo Postal y las ofertas hasta ese momento. En cambio, se agreg´o la liquidez del cliente.
Sin embargo, debido a que este dato no forma parte de la tabla original, solo se har´a menci´on al campo y no se evaluar´an sus descriptivos. Cabe se˜nalar que la variable Y fue incluida por el autor para el reto Hackaton pero fue quitada por los desarrolladores por razones de mala comunicaci´on.
1Para el modelo final, el autor contaba con m´as campos que ayudaron al desempe˜no del modelo. Sin embargo, no se pueden mostrar debido a la protecci´on de secretos industriales.
2La tabla original presentada en el Hackaton ten´ıa 60,048 registros, esta nueva tabla es un subconjunto de la original.
| Campo | Valores | Descripci´on |
| NU-CTE | 1-45,717 | N´umero aleatorio para no mostrar datos confidenciales |
| Y | 0,1 | Variable Objetivo (tiene cr´edito en los pr´oximos 3 meses) 1 si tiene cr´edito 0 caso contrario. |
| IMY | 0-14,000,000 | Variable Objetivo Monto en pesos Mexicanos (tiene cr´edito en los pr´oximos 3 meses) |
| MONTO-EXP | 0-14,000,000 | Monto en pesos Mexicanos de Cr´editos simples que se le han otorgado en 12 meses |
| CREDIS-EXP | 0-15 | N´umero de cr´editos simples en 12 meses que se le han otorgado |
| MoraTarj | 0-1 | Atraso de m´as de 30 d´ıas en tarjeta, 1 si cuenta cae en mora en ese rango de d´ıas en el producto Tarjeta de Cr´edito |
| MoraCS | 0-1 | Atraso de m´as de 30 d´ıas en CS, 1 si cuenta cae en mora en ese rango de d´ıas en el producto Cr´edito Simple |
| SALIDAS-100 | 0-2,019 | N´umero de Salidas (cargos) de m´as de 100 mil en un periodo de 3 meses |
| SALIDAS-300 | 0-857 | N´umero de Salidas (cargos) de m´as de 300 mil en un periodo de 3 meses |
| SALIDAS-600 | 0-746 | N´umero de Salidas (cargos) de m´as de 600 mil en un periodo de 3 meses |
| SALIDAS-1M | 0-698 | N´umero de Salidas (cargos) de m´as de 1 M en un periodo de 3 meses |
| Liquidez-pyme | 0-46M | Saldo en pesos Mexicanos con cuentas PyME |
| Liquidez-total | 0-166M | Saldo en pesos Mexicanos en todas las cuentas |
| Bcom | 0-1 | Canal digital , 1 si cuenta con acceso a banca en l´ınea, 0 otro caso |
| TDCN | 0-1 | Tiene tarjeta, 1 si cuenta con tarjeta, 0 otro caso |
| TP-PERSONA | F,G,M | Tipo de persona SHCP F´ısica, Gobierno o Moral |
Figura 2.1: Comparaci´on del n´umero de positivos antes (arriba) y despu´es (abajo) del balanceo de la muestra. Fuente: Elaboraci´on Propia.
El primer paso para explorar los datos consiste en encontrar la proporci´on de positivos versus negativos para poder balancear la muestra de aprendizaje y poder encontrar mejor las relaciones. Este paso es poco mencionado, pero es crucial para mejorar los modelos. No solo funciona para que los modelos de Machine Learning aprendan mejor, tambi´en, para valorar mejor las relaciones entre las variables. Es por esto ´
ultimo, que es preciso desarrollar este paso primero. La l´ogica detr´as de este paso es que un modelo que aprende de una muestra con una proporci´on de positivos muy peque˜na, por ejemplo, 1 %, aprender´a que lo mejor es marcar cada registro como falso; obteniendo una efectividad del 99 %. En las Figura 2.1, se puede ver un comparativo de c´omo queda la muestra cuando balanceamos las cargas de aprendizaje:
En este caso, se ha utilizado una proporci´on de positivos del 20 %. Sin embargo, es necesario precisar, que la elecci´on de las proporciones debe de hacerse con un ejercicio de prueba y error para alcanzar la mejor muestra de aprendizaje. El c´odigo en Spark con Python para balancear la muestra queda de la siguiente forma:
1 A=df .filter (df.Y ==0) 2 B=df . filter (df.Y ==1) 3 tamb =B. count () 4 tama =tamb *(0.8/0.2) 5 propa = tama /(A. count ()) 6 (A1, A2) = A. randomSplit([1 -propa , propa]) 7 df2 = B. union(A2)
Figura 2.2: Comparaci´on del n´umero de positivos antes del balanceo de muestra. Fuente: Elaboraci´on Propia.
C´odigo 2.1: Balanceo de la muestra. Fuente: Elaboraci´on propia.
Uno de los argumentos en contra de esta metodolog´ıa es que reduce el tama˜no de la muestra. En las Figuras 2.2 y 2.3, se muestra un ejemplo de mejora en la obtenci´on de correlaciones entre la variable objetivo y las variables de entrada usando el balanceo de la muestra.
En la Figura 2.3, podemos apreciar que las variables que m´as se relacionan
con la variable Y (bajo el coeficiente de correlaci´on de Pearson), son las variables
de salidas en los tres ´ as si el cliente cuenta ya con unaultimos meses. Adem´
tarjeta de cr´edito o con la experiencia previa en el uso d cr´edito se aprecia una
correlaci´on m´as alta con la variable Y.
Sin embargo, ser´a necesario buscar otro tipo de relaciones basadas en distribuciones conjuntas. Una metodolog´ıa para lograr esto es correr un algoritmo random forest en m´ultiples ocasiones (se recomienda unas 500 ocasiones para este experimento debido a que si se corr´ıa en m´as ocasiones no se obten´ıan cambios en los resultados, en cambio, s´ı se corr´ıa en menos ocasiones, se obten´ıan variaciones en los resultados). Para poder obtener las mejores variables (las que m´as explican Y) el algoritmo random forest (usando combinaciones aleatorias y la medida de ganancia de la informaci´on) permitir´a saber qu´e variable o conjunto de variables son las m´as importantes para predecir la variable objetivo Y.
Sin embargo, este proceso, por su naturaleza ser´a presentado m´as adelante.
No ser´a necesario abundar m´as sobre las relaciones entre variables, dejando de
lado temas como c´opulas o la correlaci´on de t de Kendal ya que se espera que los algoritmos aprendan sobre las relaciones entre las variables y nos muestren los resultados posteriormente3 .
Figura 2.3: Comparaci´on del n´umero de positivos despu´es del balanceo de muestra. Fuente: Elaboraci´on Propia.
En la Figura 2.4 se pueden observar las correlaciones gr´aficamente. Sin embargo, no ser´a necesario profundizar en el an´alisis ya que la matriz de correlaciones dejar´a m´as informaci´on que una inspecci´on visual de las distribuciones conjuntas. Se puede ver que las variables de gastos y liquidez se encuentran altamente correlacionadas. En la diagonal de la matriz de dispersiones, se gr´afica el histograma de cada variable.
Una forma adecuada de evaluar las relaciones entre las variables es genera un diagrama de ´ on condicional, en donde se podr´
arbol de decisi´ an encontrar las correlaciones condicionales entre las variables. Lamentablemente, este tipo de gr´aficos, no pueden ser generados en todas las plataformas. Una de estas plataformas que no cuentan con la capacidad para graficarlos es Datio, por lo que se recurrir´a al uso del lenguaje R para poder mostrar los beneficios de este diagrama en el an´alisis de la informaci´on.
En la Figura 2.5 se pueden apreciar las relaciones que ha construido el algoritmo con los datos de entrenamiento, debido a que el formato de salida de R cuenta con una letra peque˜na, no se puede apreciar el resultado de cada rama en la imagen de este texto, el lector interesado podr´a ver la imagen en formato PDF y legible en (Apodaca, 2022). En la parte de abajo de la Figura 2.5 se puede apreciar una barra; cuando la barra tiene m´as color oscuro que claro, se entender´a que es m´as probable obtener un cr´edito.
En la Figura 2.6 se pueden apreciar las relaciones que ha construido el algoritmo con los datos de entrenamiento, pero en un nivel de acercamiento en el que podemos dimensionar y apreciar las relaciones entre las variables. Por
3Para mayor informaci´on sobre medidas de dependencia se puede ver (Apodaca, 2014).
Figura 2.4: Diagramas de dispersi´on de las variables que se usaran en el modelo. Fuente: Elaboraci´on propia.
Figura 2.5: . Esbozo del resultado del ´ on condicional generado
arbol de decisi´ en R, para ver el ´arbol de decisi´on con mayor precisi´on visitar el sitio web (Apodaca, 2022).
Figura 2.6: . Acercamiento al ´ on condicional generado en R. Fuen
arbol de decisi´ te: Elaboraci´on Propia.
ejemplo, mientras m´as salidas contra liquidez realice una PyME, m´as probable ser´a que requiera un pr´estamo, pero esto depende de otras variables como mora
o experiencia en el producto como se muestra en los niveles m´as altos del ´arbol
de decisi´on. El c´odigo utilizado para generar las Figuras 2.5 y 2.6 se encuentra
en el anexo.
Las relaciones encontradas en el ´
arbol condicional nos ayudaran a determinar qu´e es lo que los algoritmos de Machine Learning est´an aprendiendo de la informaci´on proporcionada y c´omo los patrones encontrados podr´an traducirse en un futuro en informaci´on para mejorar las estrategias de venta. Los patrones que ha encontrado el algoritmo de ´
arbol condicional son los siguientes:
15 11) Liquidez _total <= 175107.9; 16 12) CARGOS <= 99561.87;
| 17 | 1 3 ) * w e i g h t s = 3 7 0 |
|---|---|
| 18 | 1 2 ) C A R G O S > 9 9 5 6 1 . 8 7 |
| 19 | 1 4 ) L i q u i d e z _ t o t a l <= 2 3 7 8 3 . 2 9 ; |
| 20 | 1 5 ) * w e i g h t s = 1 0 2 9 |
| 21 | 1 4 ) L i q u i d e z _ t o t a l > 2 3 7 8 3 . 2 9 |
| 22 | 1 6 ) * w e i g h t s = 1 3 0 1 |
| 23 | 1 1 ) L i q u i d e z _ t o t a l > 1 7 5 1 0 7 . 9 |
| 24 | 1 7 ) * w e i g h t s = 2 5 7 |
| 25 | 1 0 ) S A L I D A S _ 1 0 0 > 0 |
| 26 | 1 8 ) L i q u i d e z _ p y m e <= 8 8 4 6 0 7 . 2 ; |
| 27 | 1 9 ) S A L I D A S _ 1 0 0 <= 6 ; |
| 28 | 2 0 ) S A L I D A S _ 3 0 0 <= 1 ; |
| 29 | 2 1 ) L i q u i d e z _ p y m e <= 3 0 3 4 7 4 ; |
| 30 | 2 2 ) * w e i g h t s = 2 2 8 5 |
|---|---|
| 31 | 2 1 ) L i q u i d e z _ p y m e > 3 0 3 4 7 4 |
| 32 | 2 3 ) * w e i g h t s = 1 5 5 |
| 33 | 2 0 ) S A L I D A S _ 3 0 0 > 1 |
| 34 | 2 4 ) * w e i g h t s = 2 4 8 |
| 35 | 1 9 ) S A L I D A S _ 1 0 0 > 6 |
| 36 | 2 5 ) * w e i g h t s = 4 6 7 4 |
| 37 | 1 8 ) L i q u i d e z _ p y m e > 8 8 4 6 0 7 . 2 |
| 38 | 2 6 ) * w e i g h t s = 8 8 3 |
| 39 | 9 ) C R E D I S _ E X P > 0 |
| 40 | 2 7 ) S A L I D A S _ 6 0 0 <= 1 ; |
| 41 | 2 8 ) * w e i g h t s = 9 9 1 |
| 42 | 2 7 ) S A L I D A S _ 6 0 0 > 1 |
| 43 | 2 9 ) * w e i g h t s = 1 0 1 6 |
C´odigo 2.2: Resultados de las relaciones entre variables por un ´ on
arbol de decisi´ condicional. Fuente: Elaboraci´on Propia.
El patr´on m´as fuerte (al tener la mayor ganancia de informaci´on con base en el resultado de la f´ormula uno) es el de experiencia previa del cliente con el uso de cr´editos, se puede apreciar, que el uso de tarjeta previo, predispone al consumo futuro del cliente (ramas uno y nueve).
Posteriormente, otra variable ser´a de gran ayuda para medir la propensi´on del cliente a tomar un cr´edito, pues una alta liquidez de un cliente (ramas 11, 14,18 y 21) muestran que, al aumentar la liquidez, el cliente ser´a menos propenso a solicitar un cr´edito.
Tambi´en, el algoritmo detect´ ultimos
o que los gastos acumulados durante los ´ meses pueden generar la necesidad de cr´edito como se aprecia en las ramas que cuentan con salidas mayores a 600 mil, a 100 mil o con cargos en sus cuentas.
Una de las ventajas del uso de ´ on condicional con respecto
arboles de decisi´ al an´alisis de regresi´on, es que para las regresiones se suele considerar que las variables usadas en el modelo tienen una relaci´on lineal con la variable objetivo, en el caso de los ´ on condicional, esto no es necesario. Adem´
arboles de decisi´ as, se puede observar c´omo estas variables interact´uan de forma unida y no por separado para llegar a un resultado, por ejemplo, la experiencia previa del cliente con el uso de cr´edito combinado con las salidas acumuladas mayores a 600 mil pesos durante tres meses como se aprecia en la rama 27.
Adem´as, el algoritmo del ´arbol de decisi´on condicional ha podido generar
1 2 3
puntos de corte obtenidos con funci´on de ganancia de informaci´on cuando es m´axima. De esta forma, se podr´a asignar una estrategia comercial a cada tipo de cliente ya que un cliente que ha tenido muchos gastos en un periodo de tiempo y tiene poca liquidez, es diferente a un cliente que ha tenido los mismos gastos, pero mayor liquidez (en este caso, por mayor, o menos liquidez, se entender´a que un cliente sobrepasa o no el punto de corte determinado por el algoritmo con base en la funci´on de ganancia de la informaci´on).
Otra de las ventajas de este algoritmo es que puede incluir informaci´on categ´orica o continua, adem´as de poder trabajar con valores nulos en la informaci´on, proporcionando una ventaja con respecto a otros algoritmos debido a que disminuye la cantidad de tiempo dedicado a limpiar o transformar los datos.
Para modificar los datos antes de entrenar los modelos con ellos, ser´a preciso elegir las variables y transformarlos para una mejor efectividad. En concreto, no ser´an seleccionadas las variables categ´oricas, (tipo de persona y giro) por no mostrar una alta correlaci´on. Sin embargo, se pueden incluir dentro de un experimento para poder validar con los resultados del modelo si fue efectivo o no el hecho de incluir la variable. Tambi´en, se quitaron por tener poca efectividad con el an´alisis de relaci´on con la variable objetivo con un random forest que se mostrar´a m´as adelante.
En el caso de la transformaci´on de datos, usaremos la estandarizaci´on de la muestra; En concreto se trata de aplicar la siguiente f´ormula a cada variable:
x1 − µ
x2 = (2.1)
σ En donde x1 es un valor de la variable x1 a transformar, x2 es el valor resultante. Los valores µ y σ son la media y desviaci´on est´andar de la variable x1 respectivamente Para aplicar estas transformaciones se puede usar el siguiente c´odigo que es simple y se explica en (spark.apache.org, 2021) y (Bill, 2017):
from pyspark .ml. feature import StandardScaler
# Normalizamos las variables standard _scaler = StandardScaler(inputCol =’features ’, outputCol =’
standardized _features ’)
C´odigo 2.3: Aplicar la funci´on standard a los campos para normalizarlos. Fuente: Elaboraci´on Propia.
De esta forma, los resultados del modelo ser´an m´as precisos debido a que se estar´an dimensionando los datos en una sola m´etrica. Por ejemplo, no se comparar´a monto de experiencia de cuatro millones contra la variable de tarjeta que arroja valores uno o cero.
Existen otras transformaciones que se pueden aplicar a los datos. Una recomendaci´on ser´a hacer pruebas en un mismo modelo cambiando estas transformaciones para elegir la m´as adecuada. Las transformaciones que se pueden encontrar en las bibliotecas de Python y Spark (que generan menos errores al momento de enviar un dato transformado a los algoritmos de Tensor Flow debido a que se encuentran aceptadas y programadas en Spark), son las transformaciones de Box Cox y Yeo Jhonson (Weisberg, 2001). Las cuales se definen
de la siguiente forma: =
λ
y − 1
i if λ ̸=0,
(λ)
(2.2)
y λ
i
ln yi if λ =0,
La funci´on 2.2 es la transformaci´on Box Cox del dato y, en donde λ es un n´umero positivo que puede ser encontrado con un algoritmo de optimizaci´on que busca como objetivo que la distribuci´on sea lo m´as estandarizada posible (media cero y mejor simetr´ıa). Es preciso notar que esta transformaci´on requiere que y sea positiva, lo cual ha propiciado el surgimiento de nuevas transformaciones que adicionan par´ametros u operaciones para lograr esto; por ejemplo, sumar un n´umero muy alto a y para asegurar que sea positiva. Sin embargo, una soluci´on m´as apropiada a este problema se encuentra en la transformaci´on Yeo Jhonson:
=
((yi + 1)λ − 1)/λ if λ ≠ 0,y ≥ 0 log(yi + 1) if λ =0,y ≥ 0
−((−yi + 1)(2−λ) − 1)/(2 − λ) if λ ≠ 2,y < 0 − log(−yi + 1) if λ =2,y < 0 (2.3)
(λ)
y
i
En donde λ es un par´ametro que se puede encontrar con un algoritmo de optimizaci´on, buscando que la distribuci´on resultante sea lo m´as estandarizada posible. Como ejemplo de la aplicaci´on de estas transformaciones a los conjuntos de datos, se muestra en el C´odigo 2.4 el cambio en las distribuciones de acuerdo
| a un experimento realizado en (scikit-learn, 2022): | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | f r o m | s k l e a r n . p r e p r o c e s s i n g | i m p o r t | P o w e r T r a n s f o r m e r | |||||||
| 2 | f r o m | s k l e a r n . p r e p r o c e s s i n g | i m p o r t | Q u a n t i l e T r a n s f o r m e r | |||||||
| 3 | f r o m | s k l e a r n . m o d e l _ s e l e c t i o n | i m p o r t | t r a i n _ t e s t _ s p l i t | |||||||
| 4 | bc | = | P o w e r T r a n s f o r m e r ( m e t h o d = ’ bo x -c o x ’ ) | ||||||||
| 5 | yj | = | P o w e r T r a n s f o r m e r ( m e t h o d = ’ ye o -j o h n s o n ’ ) | ||||||||
| C´odigo | 2.4: | Aplicar | transformaciones | a | los | campos | para | obtener | mejores | ||
| resultados. | Fuente: | Elaboraci´on | propia | con | las | funciones | de | la | librer´ıa | ||
| PowerTransformer. | |||||||||||
| 2.4. | Model |
Ha llegado el momento de modelar, esto es, aplicar modelos a los datos analizados y transformados. El primer modelo ser´a una regresi´on log´ıstica, que corre con el C´odigo 3.5 que funcionar´a como base para los siguientes modelos. Este c´odigo es generado f´acilmente leyendo el manual de SPARK (spark.apache.org, 2021) y en donde se encontrar´an m´as detalles y modelos para probar.
Para poder encontrar cu´ales son las caracter´ısticas de cada uno de los modelos se deben realizar m´ultiples simulaciones de cada modelo con diferentes par´ametros. Para hacer esto, se utiliz´o la librer´ıa GridSearchCV de Python que a cada posible combinaci´on de par´ametros entrena un modelo y ´este es probado en un n´umero finito de muestras distintas del conjunto de validaci´on (validaci´on cruzada) y, de esta forma, calcula el promedio y la desviaci´on est´andar de una funci´on de costo. Como se mencion´o, este proceso puede tomar horas, d´ıas, meses u a˜nos, dependiendo del n´umero de par´ametros que se requiera combinar para probar diferentes modelos. Los par´ametros de los modelos presentados en este caso de estudio son el resultado de aplicar la librer´ıa GridSearchCV de Python para encontrar el modelo que m´as se adapte al fen´omeno que se estudi´o. El c´odigo para realizar este ejercicio se muestra en el Anexo.
En el C´odigo 2.5 se muestran las sentencias para entrena un modelo en un ambiente distribuido con el lenguaje Spark con el ejemplo de la Regresi´on Log´ıstica. Se puede observar que se ha definido un pipeline que permite ordenar los procesos que seleccionan y modifican los datos para despu´es entrenar el modelo. De la misma forma se aplica el c´odigo para los diferentes modelos mencionados anteriormente. Los resultados de los modelos se mostrar´an en la siguiente secci´on.
1 # Definimos el modelo: 2 log _reg = LogisticRegression(featuresCol =’standardized _features ’, labelCol =’Yfinal ’) #recibe s f de la funcion normalizadora 3 #Generamos un vector (unimos todas las variables en una) para que Spark pueda correr el modelo
4 5 vectorAssembler = VectorAssembler(inputCols = 6 [’ MONTO _EXP ’,’ CREDIS _EXP ’,’ MoraTarj ’,’MoraCS ’,’SALIDAS _100 ’,’
SALIDAS _300 ’,’SALIDAS _600 ’,’ 7 SALIDAS _1M ’,’Liquidez _pyme ’,’ Liquidez _total ’,’Bcom ’,’TDCN ’],
outputCol = ’features ’)
8 #Generamos una nueva tabla para ingestar al modelo
9 vdf = vectorAssembler .transform(df)
10 vdf = vdf .select([ ’features ’, ’Yfinal ’])
11 #Dividimos la muestra en entrenamiento y en validaci n
12 (trainingData , testData) = vdf .randomSplit([0.7, 0.3])
13 # Lo ponemos en cola de producci n en Pipeline
14 pipeline _log _reg = Pipeline(stages =[standard _scaler ,log _reg])
15 #Entrenamos el modelo
16 pipeline _model _log _reg = pipeline _log _reg .fit(trainingData)3 ki
17 #Calificamos la muestra de test para validar el modelo
18 tarjeta _test _log _reg = pipeline _model _log _reg .transform(testData)
C´odigo 2.5: C´odigo en Spark para entrenar los modelos en un ambiente distribuido (ejemplo con la Regresi´on Log´ıstica). Fuente: Elaboraci´on propia.
Los par´ametros y funciones usadas para generar los modelos se muestran a continuaci´on:
1 #Red Neuronal: 2 layers = [12 ,45 ,25 ,2] 3 MultilayerPerceptronClassifier ( featuresCol =’ standardized _features ’,
labelCol = ’Yfinal ’,
4 maxIter =100, layers =layers , 5 seed =1234 , ) 6 7 #Ada Boost : 8 GBTClassifier(featuresCol =’standardized _features ’, labelCol =’Yfinal
’, maxIter =10)
9
10 # Arbol de decision :
11 DecisionTreeClassifier(featuresCol =’standardized _features ’, labelCol =’Yfinal ’)
12
13 # Random Forest :
14 RandomForestClassifier(featuresCol =’standardized _features ’, labelCol =’Yfinal ’)
15
16 #Regresi n Logistica:
17 LogisticRegression(featuresCol =’standardized _features ’, labelCol =’ Yfinal ’)
18
19 #SVM :
20 LinearSVC(featuresCol =’standardized _features ’, labelCol =’Yfinal ’)
C´odigo 2.6: Definici´on de los modelos en SPARK. Fuente: Elaboraci´on propia.
En el caso de la Red Neuronal, fue seleccionada una estructura descendente, esto es, las neuronas van disminuyendo capa a capa. Despu´es de realizar diferentes experimentos, la efectividad del modelo no cambiaba con un aumento en el n´umero de neuronas en cada capa, es por ello que se eligi´o esta topolog´ıa.
Para poder evaluar m´as par´ametros del modelo, ser´a necesario evaluar diferentes escenarios. Para ello, se utiliz´o la Biblioteca TensoFlow que proporciona facilidades para simular diferentes escenarios de una red neuronal. En el C´odigo 2.7, se aprecia la definici´on de una red neuronal de cuatro capas, con 12 entradas, y una salida, as´ı como dos capas de 45 y 25 neuronas.
1 inputs = tf. keras .layers .Input(shape =(12)) # es el n mero de entradas
2 h1 = tf .keras .layers .Dense(45, activation =’relu ’)(inputs) # capa
oculta 1
3 h2 = tf .keras .layers .Dense(25, activation =’sigmoid ’)(h1) # capa
oculta 2
4 outputs = tf. keras .layers .Dense(1, activation =’sigmoid ’)(h2) #
salidas
5 model = tf . keras . models . Model ( 6 inputs = inputs , 7 outputs = outputs ) 8 9 model .compile (optimizer ="Adam ", loss ="binary _crossentropy ", metrics =[ " acc "])
10 model . metrics _names
C´odigo 2.7: Definici´on de una red neuronal con la librer´ıa Tensor Flow. Fuente: Elaboraci´on propia”.
Tambi´en se observa, c´omo se puede definir la funci´on de salida Sigmoidal o
ReLU para cada capa. Se ha elegido el m´etodo de optimizaci´on ADAM y se ha
seleccionado la funci´on de costo CE. As´ı mismo, es posible definir las m´etricas para poder evaluar el modelo. En la Figura 2.7, ser´a posible ver los resultados de cinco entrenamientos de la Red Neuronal con los par´ametros previamente definidos. Se aprecia que, en este caso, que la efectividad del modelo queda en 0.85.
Figura 2.7: Salida de c´odigo al definirse una Red Neuronal multicapa. Fuente: Elaboraci´on Propia.
En la Figura 2.7, se puede apreciar c´omo se generan cinco iteraciones de entrenamiento (repite el proceso de entrenamiento cinco ocasiones) con tres muestras aleatorias del grupo de entrenamiento. Este tipo de entrenamiento suele llamarse validaci´on cruzada.
A continuaci´on, se mostrar´a en resumen las diferentes m´etricas aplicadas a los modelos que fueron generados y aplicados a la muestra de prueba. En espec´ıfico, se muestra el Recall, Precision, Efectividad y los valores de la matriz de confusi´on, se muestra en la Tabla 2.2.
Se puede observar que los diferentes modelos muestran diferentes resultados. Si bien el Random Forest muestra la mejor efectividad tanto en valores positivos
o negativos, para el pron´ostico de los valores de inter´es (positivos) queda por ´
debajo de otros modelos como la Red Neuronal y el Arbol de decisi´on. En este caso, buscamos un mejor Recall. Por otra parte, la Regresi´on Log´ıstica y la M´aquina de Soporte Vectorial parecen ser un modelo promedio, pero se puede apreciar que es porque le da mayor peso a pronosticar los negativos que no son de inter´es.
Para poder valorar mejor qu´e modelo es m´as preciso, se puede apreciar en la Figura 3.8 que la curva ROC proporciona un panorama visual que puede ayudar a mostrar la efectividad del modelo.
A continuaci´on, se analizar´an las curvas de los modelos puestos a prueba para compararlos. En el caso de la Red Neuronal y la SVM, no se generaron las curvas debido a que la versi´on de Spark con la que se cuenta, no arroja el par´ametro de probability que se encuentra en la salida del entrenamiento de los modelos y que representa el valor que el modelo le otorga al cliente para poder determinar si usar´a cr´edito o no. Sin embargo, se cuenta con las otras m´etricas y no ser´a necesaria su gr´afica para poderla comparar con los otros modelos.
| Modelo | Random Forest | Ada Boost | Logit | Red Neuronal | ´Arbol Decisi´on | SVM |
|---|---|---|---|---|---|---|
| Recall | 0.7262 | 0.7143 | 0.754 | 0.754 | 0.7619 | 0.6949 |
| Precision | 0.7804 | 0.7725 | 0.751 | 0.751 | 0.7456 | 0.7610 |
| Efectividad | 0.9013 | 0.8976 | 0.8976 | 0.8976 | 0.8972 | 0.8890 |
| Verdaderos Negativos | 1834 | 1831 | 1864 | 1811 | 1806 | 1810 |
| Falsos Negativos | 138 | 144 | 138 | 124 | 120 | 113 |
| Falsos positivos | 103 | 106 | 73 | 126 | 131 | 71 |
| Verdaderos positivos | 366 | 360 | 366 | 380 | 384 | 360 |
Tabla 2.2: Diferentes m´etricas para evaluar los diferentes modelos puestos a prueba. Fuente: Elaboraci´on Propia.
Se puede observar (curva azul) que la regresi´on log´ıstica genera mejor efectividad, pero cuenta con dificultades al momento de predecir a toda la poblaci´on uniformemente (la curva azul se encuentra por debajo de las otras curvas cuando se aproxima a uno en el eje vertical); se observa que predice bien solo ciertos registros y otros no. Esto puede ser ocasionado por no contemplar la no-linealidad en este modelo. El c´odigo para elaborar est´a gr´afica en Spark se muestra a continuaci´on:
1 from pyspark .mllib .evaluation import BinaryClassificationMetrics 2 import matplotlib .pyplot as plt 3 class CurveMetrics(BinaryClassificationMetrics): 4 def __init __(self, *args): 5 super (CurveMetrics , self). __init __(*args) 6 def _to _list(self, rdd): 7 points = [] 8 for row in rdd .collect(): 9 points += [( float (row. _1()), float (row ._2()))]
10 return points
11 def get _curve(self, method):
12 rdd = getattr (self ._java _model , method)(). toJavaRDD()
13 return self ._to _list(rdd)
14 preds = tarjeta _test _log _reg .select( ’Yfinal ’,’probability ’).rdd .map ( lambda row :
15 (float (row[ ’probability ’][1]), float (row[ ’Yfinal ’])))
16 preds2 = tarjeta _test _rf .select( ’Yfinal ’,’probability ’). rdd. map ( lambda row :
17 (float (row[ ’probability ’][1]), float (row[ ’Yfinal ’])))
18 preds3 = tarjeta _test _tree .select( ’Yfinal ’,’probability ’). rdd .map ( lambda row :
19 (float (row[ ’probability ’][1]), float (row[ ’Yfinal ’])))
20 preds4 = tarjeta _test _gbt .select( ’Yfinal ’,’probability ’).rdd .map ( lambda row :
21 (float (row[ ’probability ’][1]), float (row[ ’Yfinal ’])))
22 preds5 = red _NN .select( ’Yfinal ’,’prediction ’). rdd .map (lambda row: ( float (row[ ’probability ’][1]),
23 float ( row [ ’Yfinal ’]) ))
24 points = CurveMetrics(preds). get _curve( ’roc ’)
25 points2 = CurveMetrics(preds2). get _curve( ’roc ’)
26 points3 = CurveMetrics(preds3). get _curve( ’roc ’)
27 points4 = CurveMetrics(preds4). get _curve( ’roc ’)
28 #points5 = CurveMetrics(preds5). get _curve( ’roc ’)
29 plt .figure(figsize =(10,10))
30 x_val = [x[0] for x in points]
31 y_val = [x[1] for x in points]
32 x_val2 = [x[0] for x in points2]
33 y_val2 = [x[1] for x in points2]
34 x_val3 = [x[0] for x in points3]
35 y_val3 = [x[1] for x in points3]
36 x_val4 = [x[0] for x in points4]
37 y_val4 = [x[1] for x in points4]
38 recta _x =[0 ,1]
39 recta _y =[0 ,1]
40 plt . plot ( x _val , y_val )
41 plt .plot(x _val2 , y_val2)
42 plt .plot(x _val3 , y_val3)
Figura 2.8: Curvas ROC de los modelos evaluados. Regresi´on Log´ıstica azul, ´
Arbol de Decisi´on naranja, Ada Boost roja, Random Forest verde. Fuente: Elaboraci´on Propia.
43 plt .plot(x _val4 , y_val4)
C´odigo 2.8: C´odigo en Spark para generar curva ROC. Fuente: Elaboraci´on propia.
Por otra parte, se tienen los resultados de las correlaciones encontradas por
medio del m´etodo de Random Forest. Como se explic´o en la secci´on anterior;
este m´etodo genera centenares de ´ on para poder determinar cu´ arboles de decisi´ al
es la variable m´as importante. En este caso, el resultado en orden descendente
de importancia se muestra a continuaci´on:
1 [( ’ SALIDAS _300 ’) , 2 (’TDCN ’), 3 (’SALIDAS _100 ’), 4 (’SALIDAS _600 ’)]
C´odigo 2.9: Variables m´as importantes con base en un algoritmo de Random Forest. Fuente: Elaboraci´on propia.
Se puede observar, que las salidas mayores a 300 mil pesos son la variable m´as importante para poder pronosticar si el cliente pedir´a un cr´edito en los siguientes tres meses. Por otra parte, la experiencia que el cliente tiene con el cr´edito dentro del banco es muy importante, ya sea que cuente con el producto de tarjeta de cr´edito PyME o con montos de cr´edito simple en el pasado. Las salidas altas (mayores a 600 mil) son importantes, pero no tanto como las de 100 mil o 300 mil, esto puede generar la hip´otesis que es m´as importante para la PyME un efecto bola de nieve de gastos peque˜nos acumulados que una compra de un activo de m´as de 600 mil pesos. Sin embargo, la discusi´on de estos resultados se presentar´a en la secci´on de conclusiones.
Cap´ıtulo 3
Para poder aplicar el modelo generado, se cre´o una tabla de tiempos de respuesta de cada ´ areas que
area implicada en el proceso. Se detectaron cuatro ´ estar´ıan implicadas y que tendr´ıan diferentes actividades para poder aplicar el modelo y llevarlo a la fuerza de ventas. Antes de continuar con el plan, ser´a necesario definir el objetivo del plan y definir algunos conceptos que son propios de la organizaci´on. El objetivo de la implementaci´on se muestra a continuaci´on:
Definici´on 3.1.1 (Objetivo de implementaci´on.) Generar un ranking (ordenamiento de mayor a menor de un conjunto de registros con base en un par´ametro) de clientes que cuentan con campa˜na activa (t´ermino usado para referirse a un cliente que tiene una oferta aprobada activa), cumpliendo con las siguientes caracter´ısticas:
Por ranking, se entender´a una lista ordenada por importancia (propensi´on a tomar el cr´edito) por cada promotor de ventas. El software Max Pyme es una plataforma que muestra informaci´on de los clientes a la fuerza de ventas. Un cliente con campa˜na activa es aquel que cuenta con una o m´as ofertas durante un mes y estas ofertas son calculadas de acuerdo a su comportamiento en pagos y uso de los productos financieros ofrecidos.
| Periodo | Actividad | ´Area encargada | Tiempo (horas) | Software |
| T-4 | Generaci´on del modelo | Analytics | 2 | Spark |
| T-4 | Etiquetar universo de clientes | Analytics | 2 | Spark |
| T-3 | Ponerles plantilla de ventas | Analytics | 2 | Spark |
| T-3 | Etiquetar campa˜nas | Analytics | 2 | Spark |
| T-2 | Enviar a CRM | CRM | 4 | Excel |
| T-2 | Subir etiquetas a sistema | CRM | 2 | MaxPyME |
| T-1 | Validaci´on de Implementaci´on | CRM | 2 | MaxPyME |
| T-0 | Entrega al gestor | Ventas | 6 | MaxPyME |
| T+1 | Contacto con el cliente | Ventas | 1 | Canal de ventas |
| T+2 | Visita al cliente | Ventas y Cliente | 2 | Canal de ventas |
Tabla 3.1: Mapa del proceso en ´areas, recursos necesarios y tiempos de respuesta para su implementaci´on. Fuente: Elaboraci´on Propia.
Ya que se han definido algunos conceptos clave y de igual forma el objetivo final del modelo, ser´a necesario mapear las actividades de las cuatro areas´ involucradas y los tiempos de producci´on para poder implementar el modelo. En resumen, se tiene la siguiente la Tabla 3.1 con los datos mapeados:
La Tabla 3.1, muestra en orden descendente la prioridad con la que las diferentes ´
areas reciben insumos para poder implementar el modelo. En la columna Tiempo es expresada la variable T que toma valores enteros entre menos cuatro y dos, ya que expresa en d´ıas antes o despu´es de que es lanzado el modelo en la plataforma MaxPyME (puesto en producci´on). De tal forma que el d´ıa de lanzamiento es T-0. De esta forma se podr´a aprovisionar el tiempo de trabajo anterior para no tener retrasos en las entregas.
La metodolog´ıa AGILE que ha implementado BBVA (BBVA, 2019) mejora la eficiencia y efectividad para poder implementar un nuevo proyecto. Con ella, se forman equipos multidisciplinarios que solo se dedican a un conjunto de tareas espec´ıficas (Rasmusson, 2010), como es en este caso. De tal forma que un nuevo proyecto es implementado en el flujo preconcebido para lanzamientos. Cada ´
area recibe un insumo de otra y ya cuenta con las tecnolog´ıas y conocimiento para hacer su parte. De esta forma, la persona que sube el modelo a la plataforma no necesita saber c´omo se ha generado el modelo, solo sabe que recibir´a en tal fecha una lista de clientes que debe subir a la plataforma.
Por otra parte, la autogesti´on de los equipos definidos con la metodolog´ıa AGILE permite dejar de lado la burocracia corporativa, permitiendo que nuevas ideas como ´esta sean implementadas f´acilmente y sin encontrar problemas pol´ıticos dentro de la empresa. De esta forma, los Directores se convierten en proveedores de herramientas para cada una de las ´
areas y esperan de los equipos nuevas ideas para poder implantarse.
Adem´as, la metodolog´ıa AGILE permite minimizar costos puesto que la infraestructura ya est´a puesta para solo recibir nuevas ideas. En cambio, en otro tipo de gesti´on, en cada proyecto nuevo, habr´ıa que organizar un equipo y comprar infraestructura o contratar proveedores que lo hagan. En cambio, la misma infraestructura es usada para varios proyectos.
Sobre los retos que present´o la puesta en marcha de la implementaci´on, fue necesario convencer a los tomadores de decisiones que este modelo podr´ıa mejorar la productividad de la fuerza de ventas. Sin embargo, usando el hecho de que el costo ser´ıa m´ınimo debido a que ya se cuenta con la infraestructura y que lo mejor ser´ıa probar el uso de esta nueva herramienta en la fuerza de ventas para ver c´omo aceptaba el usuario final (la fuerza de ventas) la herramienta; antes de desechar la idea, entonces, no se tuvieron mayores obst´aculos para la aprobaci´on de la puesta en marcha del proyecto. La herramienta fue aceptada f´acilmente y de forma positiva por la fuerza de ventas como se mostrar´a posteriormente.
La descripci´on del proceso que se muestra resumido en la Tabla 3.1 comienza en un primer paso con la actualizaci´on del modelo para calificar a todos los clientes que se tienen con una puntuaci´on que es el resultado de la variable probability que nos da el output del modelo de ´ on (el que mayor
arbol de decisi´ efectividad tiene en verdaderos positivos). Ya que se obtiene este campo que representa la propensi´on de un cliente a pedir un cr´edito, se cruza esta informaci´on con la plantilla de colaboradores que se tienen asignados a los clientes, esto es, se obtiene el colaborador que gestionar´a al cliente.
Ya que se tiene esta lista, se esperan las ofertas por parte del ´
area de Riesgos para poder filtrar solo a los clientes que tienen una oferta en espec´ıfico. Ya que el ´ tiene esta lista, ordena de mayor a menor la variable de
area de Analytics1 probability y por promotor. De esta manera se obtiene el ranking para poder enviar al ´area de CRM que sube la informaci´on a la herramienta de visualizaci´on de ofertas MaxPyMe.
El proceso no termina con la carga en la herramienta; el siguiente paso es que cada promotor contacte en orden del ranking a los clientes que aparecen con mayor necesidad de un cr´edito.
Posteriormente, el promotor cierra el trato con el cliente, y con ello, un mes despu´es, ser´a necesario medir la efectividad del modelo. Bajo este proceso, surgen preguntas, principalmente: ¿cu´anto fue el aumento en productividad traducido a t´erminos monetarios?
Resulta, que se tuvo un aumento mayor del 0,01 en la efectividad de ´estas, posiblemente, por dedicar m´as tiempo a cada una de las ofertas con mayor probabilidad de formalizarse en lugar de dedicar tiempo a clientes que no ten´ıan la intenci´on de pedir un pr´estamo.
Se sabe que el consumo de bebidas gaseosas genera propensi´on a que las personas que las consumen obtengan obesidad. Sin embargo, la pregunta de ¿cu´anto aportan estas bebidas a la obesidad de las personas? es m´as compleja de responder debido a que son m´as variables las que intervienen en el resultado; por ejemplo, la gen´etica de la persona, su actividad laboral, la educaci´on que ha recibido, su estado an´ımico, su dieta, etc. Es por ello que definir o probar con certeza c´omo una variable afecta a un fen´omeno es complicado a´un con todas las herramientas estad´ısticas con que se cuenta debido a que son muchos otros los factores que intervienen en los fen´omenos complejos.
Sin embargo, no es necesario descartar las variables por completo; Por ejemplo, un vigilante parece poco productivo a la entrada de una empresa, pero no deber´ıa ser quitado jam´as. De la misma forma, se tratar´a de mostrar la necesidad del uso de este modelo si es usado correctamente, y, por otra parte, si bien se tienen los resultados estad´ısticos de la mejora en la productividad, estos son considerados por el autor como estrat´egicos de la empresa y no se mostrar´an en este texto ya que este an´alisis est´a basado en la mejora de la efectividad de las ofertas que se encuentran en las primeras 10 que se presentan en el ranking.
Con los precedentes del p´arrafo anterior, se gener´o el siguiente modelo econ´omico para probar la utilidad de la herramienta:
Sean las siguientes variables:
1 ´ on y proponer estrategias de negocio basadas en
Area encargada de analizar la informaci´ informaci´on.
La ganancia neta ser´a dada por la siguiente f´ormula:
G1 =(i − r − w − b)M(vp + fn) − TUC − gU (3.1)
En donde f´acilmente podemos traducirla como las ganancias brutas menos los gastos por evaluar todos los clientes. Aplicando el modelo tendr´ıamos los siguientes cambios:
G2 =(i − r − w − b)M(vp − fn) − T (vp + fp)C − gU (3.2)
En esta nueva f´ormula solo se tienen las ganancias brutas por motivo de los vp y se descuentan las ganancias por los fn (costo de oportunidad por aplicar el modelo). Por otra parte, solo son descontados los costos por evaluar los vp+fp y no toda la cartera de clientes.
De Ecuaci´on 3.2, se observa que el mejor modelo ser´a el que obtenga la mayor diferencia vp − fn. Es por ello que se seleccion´o como uno de los mejores modelos al ´ on ya que cuenta con una diferencia de 264. Aunque
arbol de decisi´ una aproximaci´on al problema consistir´ıa en disminuir costos, esto es, utilizar el modelo que tenga menor vp+fp que en este caso, se eligi´o por querer maximizar la ganancia bruta por temas de rentabilidad en el momento de la aplicaci´on del modelo, pero la decisi´on debe tomar en cuenta qu´e tasa es mayor (la de rentabilidad o la de costo).
El modelo tendr´a beneficios si sucede lo siguiente:
1. vp > fn (3.3)
2. (i − r − w − b)M(vp − fn) − T (vp + fp)C >gU (3.4)
3. (i − r − w − b)M(vp − fn) > gU + T (vp + fp)C (3.5)
En caso de que alguna de estas desigualdades no se cumpla, el modelo no podr´a mostrar rentabilidad si se aplica de esa forma. Aunque el punto de vista que se puede tener respecto a la monetizaci´on del modelo pueda cambiar si el enfoque es distinto; por ejemplo, si solo se le asignan al promotor los clientes con baja propensi´on, ya que, si el cliente necesita el cr´edito y lo va a pedir, no tendr´ıa sentido pagarle al gestor por ese trabajo. Bajo ese supuesto, el modelo quedar´ıa as´ı:
G3 =(i − r − w)M (vp) − (i − r − w − b)M(fn) − T (fn + vn)C − gU (3.6)
En este caso, la ganancia incrementar´a por no pagar beneficio por los clientes que son propensos a solicitar el cr´edito. Como tanto la primera propuesta como la segunda ser´ıan irreales de aplicar, se supondr´a que el modelo servir´a de herramienta para mejorar la productividad del gestor d´andole m´as tiempo para gestionar mejor y m´as r´apido los cr´editos. En este caso, la ganancia monetaria ser´a TUC − T (1 − q)(vp + fp)C, con q como la proporci´on de T que el promotor invierte en estudiar al cliente gracias al modelo y a priorizar sus tareas. Esta proporci´on deber´ıa de obtenerse por medio de la observaci´on, pero hasta ahora no se tienen resultados concretos sobre ella.
Otra forma de monetizar el modelo es aumentando un valor z a la tasa de inter´es a los clientes propensos debido a que cuentan con mayor demanda del cr´edito. O en caso de que se requiera premiarles por quedarse en el Banco y no ir a la competencia, disminuir la tasa a estos clientes. En el primer caso, la ganancia ser´ıa de la forma:
G4 =(i + z − r − w − b)M(vp) − (i − r − w − b)M(fn) − TUC − gU (3.7)
Obteniendo una ganancia por incremento de tasa a los clientes que necesitan el cr´edito. Sin embargo, se recomienda estudiar las posibilidades de aumento de tasa para este tipo de clientes antes de aplicar la Ecuaci´on 3.7. Si bien, todos estos modelos muestran formas de monetizar la aplicaci´on del modelo, en el caso del Banco, el modelo se aplic´o sin estos puntos de vista financieros ya que se encontr´o que el modelo es m´as valioso para generar una mejor experiencia al cliente y no, por el contrario, aprovecharse de su necesidad. El modelo fue aceptado para anticiparse a las necesidades del cliente y ofrecer un mejor servicio, lo cual, a largo plazo generar´a fidelidad y rentabilidad constante.
Para mostrar el resultado final, se presenta la Imagen 4.1, en donde se puede observar la lista de clientes en orden por prioridad en la que los promotores pueden consultar cada d´ıa a cada uno de sus clientes.
Imagen 4.1: Resultado final de la implementaci´on. Fuente: Elaboraci´on Propia.
Por otra parte, se muestra la Imagen 4.2, en donde la carga de los clientes fall´o y, por lo tanto, esta imagen la ha enviado un promotor al que le urg´ıa tener el ranking para gestionar mejor su cartera. Este hallazgo muestra la necesidad generada en la fuerza de ventas y su funcionalidad.
Por ´
ultimo, se muestra la Imagen 4.3 de un correo en el que el autor de este trabajo env´ıa al CRM la lista generada para cargarla en el sistema.
Con estas im´agenes podemos observar la puesta en marcha del modelo aplic´andolo a una herramienta que es apreciada y usada por la fuerza de ventas para mejorar la experiencia del cliente.
Imagen 4.2: Queja sobre problemas en la carga. Fuente: Elaboraci´on Propia.
Imagen 4.3: Parte del proceso de generaci´on del ranking. Fuente: Elaboraci´on Propia.
Cap´ıtulo 4
El Machine Learning ha tomado relevancia en los ´ nos debido a la
ultimos a˜ facilidad con que pueden ser generados los modelos con algoritmos de aprendizaje y aprovechando el auge de las plataformas de BigData. Sin embargo, es necesario tener conocimiento del fen´omeno a modelar e investigar la mayor´ıa de las fuentes de informaci´on que puedan nutrir y abundar al resultado del modelo, pues no importa el tama˜no del de la Red Neuronal si no se cuenta con la informaci´on que le proporcione aprendizaje.
Por otra parte, cada que se tenga oportunidad, ser´a buena pr´actica incluir nuevos modelos y valorar diferentes simulaciones de sus par´ametros debido a que no se tiene certeza a´un sobre una metodolog´ıa segura para determinar el conjunto de par´ametros de los modelos; por ejemplo, la cantidad de neuronas o capas o el tama˜no final de los ´ on (Brıo, 2007).
arboles de decisi´ ´
El balanceo de la muestra usando la variable objetivo cuando toma un valor positivo es muy importante para mejorar el aprendizaje del modelo y evitar el sobreajuste. Sin embargo, disminuye en gran medida el tama˜no de la muestra de aprendizaje.
Los diferentes resultados de los modelos proporcionan aplicaciones distintas. Esto es, dependiendo de la m´etrica que se eval´ue o el objetivo del modelo, ser´a necesario elegir una u otra m´etrica para determinar cu´al es el mejor modelo que represente un fen´omeno o que sea util para aplicarlo en la vida real. Como en
´ el ejemplo que se mostr´o en este trabajo, el mejor modelo result´ ´
o ser un arbol de decisi´on debido a que el fen´omeno econ´omico en el que se aplicaba as´ı lo requer´ıa.
De la misma forma que se recomienda entrenar los modelos bajo diferentes par´ametros, se recomienda evaluar el modelo bajo diferentes m´etricas.
Una de las formas de evaluar el modelo para futuras investigaciones es la validaci´on cruzada, en la que se eval´uan los modelos bajo diferentes muestras aleatorias diferentes entre s´ı. Esto permite obtener mayor certeza en los resultados del modelo.
La metodolog´ıa AGILE permite aumentar la creatividad del area´ de Analytics debido a que proporciona el ambiente adecuado y la infraestructura para poder probar e implementar modelos que ayuden a obtener mejores resultados en la empresa. El flujo de informaci´on durante todo el proceso fue siempre claro para todas las partes involucradas y el tiempo de planeaci´on fue menor debido a que la aplicaci´on del modelo es parecida a la aplicaci´on de otros en producci´on.
Por otra parte, la evaluaci´on del desempe˜no del modelo no se puede obtener desde el punto de vista econ´omico debido a que se trata de una aplicaci´on que tiene como objetivo mejorar la experiencia del cliente y la vida laboral del promotor. Estos objetivos son intangibles en muchas ocasiones por lo que pueden no siempre ser medidos los resultados. Sin embargo, se muestran diferentes formas de sacar ventaja econ´omica del modelo (Secci´on 4.2.).
Si bien, se puede usar para desplazar campos de trabajo o sacar provecho de las necesidades encontradas de los clientes, en cambio, se le puede dar un enfoque en el que todos sean beneficiados.
Con este modelo, se permitir´a realizar trabajo futuro para la mejora de la productividad del promotor y ayudar al cliente a tener una mejor experiencia, pero ser´a necesario aplicar nuevos modelos y obtener mayor informaci´on sobre el cliente que permita desarrollar nuevas ideas.
En un futuro, se propone indagar en la informaci´on de redes sociales o de navegaci´on del cliente para poder ayudarlo a tomar mejores decisiones econ´omicas. En este caso, el modelo ser´ıa enfocado en mostrar a la PyME cu´al es la mejor tasa y plazo para sus diferentes proyectos de inversi´on.
Una variable importante, que se plantea utilizar en un futuro es la situaci´on del giro del negocio en un momento y lugar dados para saber si la correlaci´on con el aumento o disminuci´on de la demanda de cierto producto puede generar propensi´on a la obtenci´on del cr´edito. Por ejemplo, si un cliente PyME se dedica al hospedaje de personas en una zona vacacional, necesitar´a del cr´edito para mejorar sus instalaciones algunos meses antes de la temporada alta de turismo. Analizando estas correlaciones, se le podr´a generar un mayor servicio anticipando sus necesidades y generando estrategias diferenciadas.
Apodaca, J. (2014). Simulaci´on por Computadora de Modelos Estoc´asticos. UNAM.
Apodaca, J. (2022). Arbolito Propen. Consultado el 1 de marzo de 2022, desde https://github.com/Elyorch35/ML/blob/main/Arbolito Propen.pdf
BBVA. (2019). innovation BBVA. Consultado el 1 de julio de 2021, desde https: //www.youtube.com/watch?v=xooKa-uwxI
BBVA. (2021). BBVA Open Innovation. Consultado el 22 de junio de 2021, desde https://openinnovation.bbva.com/es/evento/hackathon-bbva-2020
Bill, C. (2017). Spark: The Definitive Guide: Big Data Processing Made Simple. USA O´reilly.
Br´ıo, B. M. (2007). Redes Neuronales y Sistemas Borrosos. Alfaomega, Madrid, Espa˜na.
Caballero, R. (2018). Big Data con Python. Espa˜na Alfaomega.
Davenport, T. (2014). Big data at work: dispelling the myths, uncovering the opportunities. Harvard Business Review Press.
Eman, S. (2019). Apache Spark: A Big Data Processing Engine. Ingenierıa, investigaci´on y tecnologıa.
Espinosa-Z´u˜niga, J. J. (2020). Aplicaci´on de metodologıa CRISP-DM para segmentaci´on geogr´afica de una base de datos p´ublica. Ingenierıa, investigaci´on y tecnologıa, 21 (1).
Freund, Y., Schapire, R., & Abe, N. (1999). A short introduction to boosting. Journal-Japanese Society For Artificial Intelligence, 14 (771-780), 1612.
Fuentes, E. J. (2020). Introducci´on a los m´etodos Deep Learning. Espa˜na, Universidad de Vigo.
Guerra, P., & Castelli, M. (2021). Machine learning applied to banking supervision a literature review. Risks, 9 (7), 136.
Hamstra, M., & Zaharia, M. (2013). Learning Spark: lightning-fast big data analytics. O’Reilly.
Hansen, V. L. (1999). Fundamental Concepts in Modern Analysis. World Scientific Publishing, USA.
Jules, D. (2019). Learning Spark: Lightning-Fast Data Analytics. USA O´reilly.
Kaminskyi, A., Nehrey, M., & Zomchak, L. (2021). Machine learning methods application for consumer banking. SHS Web of Conferences, 107, 12001.
Klein, J. (2017). Santiago Ram´on y Cajal, el hombre que dibuj´o los secretos del cerebro.
Leo, M., Sharma, S., & Maddulety, K. (2019). Machine learning in banking risk management: A literature review. Risks, 7 (1), 29.
Rasmusson, J. (2010). The agile samurai: How agile masters deliver great software. The Agile Samurai, 1-264.
Rim, P., & Liu, E. (2020). Optimizing the C4. 5 Decision Tree Algorithm using MSD-Splitting. International Journal of Advanced Computer Science and Applications, 11 (10), 41-47.
Rodrigo, J. A. (2017). M´aquinas de Vector Soporte (Support Vector Machines, SVMs). Consultado el 1 de julio de 2022, desde https://rpubs.com/ Joaquin AR/267926
Sarkar, M. A. (2012). Events identification using Box-Jenkins methodology with application to accelerated durability tests of ground vehicles (Tesis de maestr´ıa).
SAS, I. (2011). Applied Analytics Using SAS. NC, USA: SAS Institute.
Schapire, R. E. (2013). Explaining adaboost. Springer.
scikit-learn. (2022). scikit-learn. Consultado el 1 de marzo de 2022, desde https: / / scikit -learn . org / stable / auto examples / preprocessing / plot map data to normal.html
spark.apache.org. (2021). spark.apache.org. Consultado el 6 de julio de 2021, desde https://spark.apache.org/docs/latest/ml-classification-regression. html#multilayer-perceptron-classifier
Taha, H. A. (2011). Operations research: an introduction (Vol. 790). Pearson/-Prentice Hall Upper Saddle River, NJ, USA.
Weisberg, S. (2001). Yeo-Johnson power transformations. Department of Applied Statistics, University of Minnesota. Retrieved June, 1, 2003.
Ap´endice A
1 # Lenguaje R 2 # install package 3 install . packages (" neuralnet ") 4 # Crear datos de entrada 5 input1 =c (20 ,10 ,30 ,20 ,80 ,30 ,20 ,10 ,10 ,30 ,40 ,60) 6 input2 =c (90 ,20 ,40 ,50 ,50 ,80 ,20 ,10 ,10 ,30 ,40 ,60) 7 Resultado =c(1 ,0 ,0 ,0 ,1 ,1 ,0 ,0 ,0 ,0 ,1 ,1) 8 # Generar dataframe 9 df =data .frame (input1 ,input2 ,Resultado)
10 # Cargar libraria 11 require ( neuralnet ) 12 # Entrenar Red 13 nn =neuralnet(Resultado ~input1+input2 ,data =df , hidden =c(7,4),act .fct
= "logistic ",linear .output = FALSE)
C´odigo A.1: C´odigo en R para generar red neuronal Fuente: Elaboraci´on propia.
| 1 | l i b r a r y ( p a r t y , q u i e t l y = T R U E ) |
|---|---|
| 2 | A r b o l i n _ P r o p e n 1 < c t r e e ( |
| 3 | Y ~ |
| 4 | M O N T O _ E X P + |
| 5 | C R E D I S _ E X P + |
| 6 | M o r a T a r j + |
| 7 | M o r a C S + |
| 8 | P e r d i d a s + |
| 9 | U N O + |
| 10 | D O S + |
| 11 | T R E S + |
| 12 | C U A T R O + |
| 13 | L i q u i d e z _ p y m e + |
| 14 | L i q u i d e z _ t o t a l + |
|---|---|
| 15 | B c o m + |
| 16 | T D C N + |
| 17 | b u r o _ a n t e s + |
| 18 | b u r o _ vs _ s a l i d a s + |
19 Salidas _vs _liquidez+ TP _PERSONA 20 ,data = datos 21 , control = ctree _ control ( maxdepth =5) )
C´odigo A.2: C´odigo en R para generar ´arboles de decisi´on. Fuente: Elaboraci´on propia.
1
2 modelo _svm <-svm( formula = y ~ X1 + X2, data = datos , kernel = "
linear " , 3 cost = 10 , scale = FALSE ) 4 5 rango _X1 <-range (datos $X1) 6 rango _X2 <-range (datos $X2) 7 8 new _x1 <-seq (from = rango _X1[1], to = rango _X1[2], length = 75) 9 new _x2 <-seq (from = rango _X2[1], to = rango _X2[2], length = 75)
10 nuevos _puntos <-expand .grid (X1 = new _x1, X2 = new _x2)
11
12 predicciones <-predict (object = modelo _svm, newdata = nuevos _ puntos )
13
14 colores <-data .frame (nuevos _puntos , y = predicciones)
15
16 beta <-drop (t(modelo _svm $coefs) %*% as .matrix (datos[, c("X1 ","X2 ") ])[ modelo _ svm $index ,])
17 beta0 <-modelo _ svm $rho
18
19
20 ggplot () +
21 geom _point( data = colores , aes(x = X1, y = X2, color = as .factor (
y)), 22 size = 1) + 23 geom _point( data = datos , aes(x = X1, y = X2, color = as .factor (y)
), 24 size = 6) + 25 geom _ point ( data = datos [ modelo _ svm $index , ], 26 aes(x = X1, y = X2, color = as .factor (y)), 27 shape = 21, colour = "black ", 28 size = 6) + 29 theme _bw() + 30 theme( legend .position = "none ")
C´odigo A.3: C´odigo en R para las gr´aficas de Maquina de Soporte Vectorial. Fuente: Elaboraci´on propia con c´odigo base de (Rodrigo, 2017).
1 2 # Ejemplo de selecci n de par metros con GridSearchCV para un r ndom Forest y con validaci n cruzada
3 4 parameters = { 5 ’ max _depth ’:[5 ,10 ,20] , 6 ’min _samples _split ’:[10,20,60], 7 ’ min _samples _leaf ’:[10 ,20 ,60] , 8 ’max _features ’:[ ’sqrt ’, ’log2 ’, ’None ’] 9
10 } 11
12 rf = RandomForestClassifier()
13 clf = GridSearchCV(rf, parameters ,cv =10)
14 clf .fit(X _train , y_train)
16 # Ejemplo de selecci n de par metros con GridSearchCV para una m quina de soporte vectorial y con validaci n cruzada
17
18 parameters = {
19 ’kernel ’:( ’linear ’, ’poly ’, ’rbf ’, ’sigmoid ’), ’C ’:[1, 10],
21 ’degree ’:[2 ,3 ,4] ,
22 ’gamma ’:( ’scale ’, ’auto ’)
23
24 }
svc = svm .SVC() 26 clf = GridSearchCV(svc, parameters ,cv =10) 27 clf .fit(X _train , y_train) 28
29 # Ejemplo de selecci n de par metros con GridSearchCV para una red neuronal y con validaci n cruzada
31
32 parameters = {
33
34 ’hidden _layer _sizes ’:[(20,15,5) ,(40,20,10) ,(10,5,3)], ’solver ’:( ’sgd ’, ’adam ’),
36 ’activation ’:[ ’relu ’,’logistic ’, ’tanh ’],
37 ’learning _rate _init ’:[0.001,0.01] ,
38 ’max _iter ’:[300 ,500]
39 ,’learning _rate ’:( ’constant ’, ’invscaling ’, ’adaptive ’) }
41 svc =MLPClassifier()
42 clf = GridSearchCV(svc, parameters ,cv =10)
43 clf .fit(X _train , y_train)
44 #clf . cv _results _
46 df = pd .DataFrame(clf .cv _results _) 47 df2 =df[df. rank _test _score ==1]. params
C´odigo A.4: C´odigo en Python para evaluar diferentes par´ametros de los modelos. Fuente: Elaboraci´on propia con c´odigo base de GridSearchCV.
Ap´endice B
El algoritmo busca un resultado ponderado de un vector de entrada Xj =< x1, ..., xM > con M modelos (G1, ..., GM ) con la siguiente funci´on:
M
AB(Xj)= φαiGi(Xj ) (B.1) i=1
en donde j =1, 2, .., n (n es el tama˜no de la muestra de aprendizaje). φ es la funci´on 1.7.
A continuaci´on se muestran los pasos para pronosticar una clase con base en un modelo de Ada Boost que se ha mencionado.
Definici´on B.1.1 (Algoritmo Ada Boost) Con base en un conjunto de datos de entrenamiento denominado A de tama˜no n con M variables. En donde yi es la respuesta categ´orica (1 o 0) de cada registro i para cada registro de entrada Xi =<x1, ..., xM >. Mientras k<T (T un n´umero natural definido por el usuario) seguir los siguientes pasos:
1
1. Para k =0 asignar Ak ← A y asignar un peso wi = para cada observa
n
ci´on i de un conjunto de entrenamiento de tama˜no n.
2. Dada una muestra Ak, generar un ´arbol de decisi´on Gm para cada variable m del modelo (G1, ..., GM ) con la restricci´on de solo tener un nivel de nodos1 .
1Por un nivel de nodos, se entender´a que el ´
arbol solo utiliza una variable de aprendizaje y solo se podr´a encontrar una divisi´on (dos clases) obteniendo un nodo y una rama para cada clase.
3. Calcular el ´ındice de Gini para cada ´arbol Gm y seleccionar al que tenga menor ´ındice de Gini y denominarlo G1 .
m
4. Calcular el error de este modelo para cada entrada:
n
= G1
̸ (Xi))
i=1 wiI(yim
Em = (B.2)
n i=1 wi
5. Aplicar logaritmo al error para que no se disparen sus valores:
1 (1 − Em)
αm = log (B.3)
2 Em
6. Asignar el nuevo valor de las ponderaciones:
′
(αI(yi̸=G1 (Xi)))
m
w = wi exp (B.4)
i
7. Normalizar las ponderaciones:
′
w
i
wi = (B.5)
n ′ i=1 wi
La la f´ormula B.3, es propuesta por los autores del algoritmo y se deriva de despejar αm del gradiente del error exponencial:
∂E
−yj (yj)
| ∂αm | = 0 | (B.6) | |||||
|---|---|---|---|---|---|---|---|
| en donde si | |||||||
| ′ | ′ | ||||||
| E = | wje −αm + | wje αm | (B.7) | ||||
| yj =Gm(Xj) | yj ≠ Gm(Xj ) | ||||||
| ′ | ˆ |
en donde w = e para m> 1 y 1 otro caso. Entonces, se tiene que:
j
1 (1 − Em)
αm = log (B.8)
2 Em esto es, el resultado AB(Xj) ser´a la ponderaci´on de un conjunto de arboles´ de decisi´on con base en la aportaci´on del error m´ınimo de cada modelo. Existen diferentes versiones de este algoritmo, en este caso se trata de la versi´on presentada en (Schapire, 2013). Existen dos aspectos clave en el algoritmo, el primero es aplicar logaritmo para hacer manejable el error pues de esta forma, el error no diverge cuando es muy grande y esto genera un apropiado aprendizaje del modelo. Por otra parte, en el paso seis, al aplicar la funci´on exponencial se evita que los valores del error se disparen y el peso wi pueda mantenerse menor a uno lo que facilita el posterior c´alculo y que se disparen los pesos en la muestra.
Definici´on B.2.1 (Algoritmo de Gradiente Descendiente) Dados los par´ametros w(t) y la funci´on de p´erdida L(t), en donde t indexa el n´umero de iteraci´on (iniciando en 0) y sea m el n´umero de iteraciones seleccionadas previamente,
(t+1)
el nuevo par´ametro w se obtendr´a al seguir los siguientes pasos:
(t)
Et = L(t)(wt1, ..., wtn) (B.9)
∂L(t)(wt1, ..., wtn)
∇Eti = para t =1,...,m (B.10)∂wti
3. Obtener el nuevo valor de los par´ametros:
w(t+1)i = w(t)i −∇Etiη (B.11)
en donde η es la tasa de aprendizaje, puede ser variable o constante con respecto a t.
4. Detener si el valor de la funci´on de costo no disminuye lo deseado.
(t)
Definici´on B.2.2 (Algoritmo ADAM) Dados los par´ametros w =<wt1, ..., wtn > y la funci´on de p´erdida L(t), en donde t indexa el n´umero de iteraci´on (iniciando en 0), el nuevo par´ametro w(t+1) ser´a estimado con las siguientes ecuaciones:
∂L(t)(wt1, ..., wtn)
| ∇Eti = | ∂wti | (B.12) | |
| . |
(t+1) (t)
m = β1m + (1 − β1)∇Eti (B.13)
wi wi (t+1) (t)
v = β2v + (1 − β2)(∇Eti)2 (B.14)
wi wi
(t+1)
m
wi
mˆ wi =1 − β1 t (B.15)
(t+1)
v
wi
vˆwi = (B.16)1 − β2 t
(t+1) (t) mˆ wi
w = w − η √ (B.17)
ii vˆwi + ϵ
en donde ϵ es un escalar peque˜no (e.g. 10−8) usado para prevenir la divisi´on por 0. Los par´ametros β1 y β2 son las tasas de aprendizaje para el primer y segundo momento de los gradientes respectivamente. η es un valor arbitrario (usualmente cercano a cero) que es otra tasa de aprendizaje. Los valores iniciales
(0) (0)
m y v son cero (Fuentes, 2020).
wi wi
En un modelo multi capa podr´a apreciarse mejor el funcionamiento de una red neuronal, para ello, es preciso definir la funci´on g(.) de flujo de informaci´on:
Definici´on B.3.1 (Funci´on g(.) de flujo de informaci´on) Un modelo de red neuronal puede ser descrito como el paso de informaci´on de una capa a otra en un conjunto de capas con caracter´ısticas predefinidas. Sea k una capa con m neuronas a la cu´al se le ha asignado la funci´on de activaci´on φk, y sea (k − 1) la capa predecesora que cuenta con n neuronas y que le proporcionar´a informaci´on a la capa k, la funci´on gk de traspaso de informaci´on de una capa a otra se define como:
gk(gk−1)= gk(g1(k−1), ..., gn(k−1))=
nn
φk , ··· ,φk (B.18)
i=1 wi1gi(k−1) + θ1 i=1 wimgi(k−1) + θm
en donde gk es una funci´on de Rn → Rm , ya que gk(g1(k−1), ..., gn(k−1))= (g1(k), ..., gm(k)), θj es el bias de la neurona j en la capa k y g0 =(x1, ..., xl) en donde (x1, ..., xl) es la informaci´on de entrada (l columnas de entrada de informaci´on) del modelo.
Para que una Red Neuronal pueda aprender se puede utilizar el algoritmo de Back Propagation como se mencion´o anteriormente y consiste en distribuir el error entre cada uno de los par´ametros proporcionalmente desde la ´
ultima capa a la primera. Para calcular los nuevos par´ametros, se puede utilizar alguno de los algoritmos de optimizaci´on mencionados (GD o ADAM), con la peculiaridad de que el gradiente se le calcula a una funci´on compuesta L(gk,y) para una red de k capas, es por ello que se hace uso de la regla de la cadena:
∂p(q) ∂p ∂q
= (B.19)
∂a ∂q ∂a
en donde p y q son funciones y a es una variable de la funci´on q. Con esta f´ormula ser´a posible calcular el gradiente ∇Et(zij):
∂L(gk ◦ gk−1 ◦···◦ gz ◦···◦ g0,y)
∇Et(zij) = (B.20)∂w(zij)
para el par´ametro w(zij) que representa el peso sin´aptico que conecta a la neurona j en la capa z con la neurona i que se encuentra en la capa z −1.Usando la regla de la cadena recursivamente se pueden calcular las derivadas parciales para cada par´ametro de la siguiente forma:
∂L ∂gk ∂gz+1 ∂gz
∇Et(zij) = ··· (B.21)
∂gk ∂gk−1 ∂gz ∂w(zij)
Se puede notar que si se selecciona la funci´on de activaci´on ReLU, su derivada ser´a uno o cero dependiendo del valor de la variable independiente facilitando el c´alculo del gradiente.
Podemos observar, que para el m´etodo de aprendizaje de Back Propagation se ha utilizado una funci´on de costo, un algoritmo de optimizaci´on basado en Gradiente Descendiente con una tasa de aprendizaje. M´ultiples experimentos cambiando estos hiperpar´ametros podr´an aportar mejoras en los resultados.
Sea el plano de la clase C1 definido como:
w⃗ · x⃗+ − b = 1 (B.22)
y el plano de la clase C2:
w⃗ · x⃗− − b = −1 (B.23)
en donde w⃗ es un vector de valores <w1, ..., wp > de los pesos para cada xi en donde i ∈{1, ..., p} para un problema de p variables de entrada. El escalar b orienta a los planos en una apropiada regi´on del espacio y se buscar´a su valor en un problema de optimizaci´on. El vector ⃗x tiene sub´ındice + o − para denotar que pertenece a los puntos que resuelven las ecuaciones B.22 y B.23 respectivamente. Estos dos planos pueden ser representados por la siguiente funci´on:
yi(w⃗ · x⃗i − b) ≥ 1 (B.24)
en donde yi es igual a uno cuando ⃗xi ∈ C1 y a menos uno cuando ⃗xi ∈ C2 para cada ⃗x1 elemento de una muestra de tama˜no n. Los planos B.22 y B.23 son paralelos entre s´ı, debido a que cuentan con los mismos valores w⃗ y b. Si se toma un vector x⃗+ que pertenece a B.22 y otro vector x⃗− que pertenece a B.23, la distancia entre ambos vectores ser´a:
x⃗+ − x⃗− (B.25)
Si se encuentran dos vectores con el mismo ´
angulo desde el origen, entonces se podr´a saber la distancia entre ambos planos, que ser´a la distancia entre ambos vectores. Para encontrar dos vectores con estas caracter´ısticas, se puede encontrar la proyecci´on de la resta B.25 con respecto a un plano definido por w⃗ y que se sabe que es paralelo a B.22 y B.23:
(x⃗+ − x⃗−) · w⃗
P roy(x⃗+ − x⃗−, w⃗) = (B.26)
∥w⃗∥ x⃗+ · w⃗ − x⃗− · w⃗
= (B.27)
∥w⃗ ∥ 1+ b +1 − b
| = | ∥ ⃗w∥ | (B.28) | |
| 2 | |||
| = | (B.29) |
∥w⃗ ∥
y como se busca encontrar el plano que maximice la distancia entre los dos planos B.22 y B.23, el problema de optimizaci´on quedar´a de la siguiente forma:
2
M´ax⃗ (B.30)
w,b
∥w⃗∥
Sujeto a: w⃗ · ⃗x − b ≥ 1 ∀⃗x ∈ C1 (B.31) w⃗ · ⃗x − b ≤−1 ∀⃗x ∈ C2 (B.32)
2
Maximizar equivale a minimizar ∥w⃗∥ y esto a su ves es equivalente a
∥w⃗∥
minimizar 1 ∥w⃗ ∥2 la cual se usar´a en lo sucesivo por ser una expresi´on matem´ati
2
camente conveniente para la determinaci´on del gradiente.
Los multiplicadores de Lagrange (Hansen, 1999) que cambian la funci´on de optimizaci´on, permiten convertir el problema de optimizaci´on en uno m´as sencillo en el caso de que sea m´as f´acil (una ecuaci´on m´as sencilla) encontrar un ´
optimo local en las restricciones. Cuando se aplican los multiplicadores de Lagrange a un problema de optimizaci´on, se obtiene uno segundo llamado dual y al primer problema que se ten´ıa se le denomina primal. Aplicando los multiplicadores de Lagrange al problema de optimizaci´on primal que se estaba tratando, se obtendr´a el siguiente problema dual:
n
L(w, b, α⃗ )= 1 ∥w⃗ ∥2 − α [yi(w⃗ · x⃗i − b) − 1] (B.33)
2
i=1
para encontrar un m´aximo de la funci´ w, b, α) se requiere calcular los
on L( ⃗ gradientes:
| n∂L( ⃗w, b, α) = ⃗w − αyi ⃗xi = 0 ∂ ⃗w i=1 | (B.34) | |
| y | ||
| n∂L( ⃗w, b, α) = − αyi = 0 ∂b i=1 | (B.35) |
De la ecuaci´on B.34 se puede despejar w⃗ y sustituir en la ecuaci´on B.33 obteniendo la siguiente ecuaci´on:
L( ⃗w, b, α)=
nn
1
αiyix⃗i · αj yjx⃗j
2
i=1 j=1
nn
− αiyix⃗i · αj yjx⃗j
i=1 j=1
nn
− bαiyix⃗i + αi (B.36) i=1 i=1
La ecuaci´on B.36 puede resumirse en la siguiente:
n nn
1
L( ⃗αi − xi ⃗ (B.37)
w, b, α)= αiαjyiyj ⃗ · xj
2
i=1 i=1 j=1
Se puede observar que el problema de optimizaci´on depende de x⃗i · x⃗j por lo que la elecci´on de estos vectores deber´a ser la apropiada. Para ello, se ide´o el llamado Truco del Kernel. Se llama como Truco del Kernel o Truco del N´ucleo cuando se aplica una de estas transformaciones a los datos lo cual permite mejorar la interpretaci´on de estos en varias dimensiones debido a que crece su relaci´on cuando se les aplican algunos tipos de transformaciones. Por ejemplo, y = x implica que existe una correlaci´on lineal de uno entre y y x, si se aplica
2
la transformaci´on y = x , se tendr´a una relaci´on no lineal, creciente a medida que x crece a diferencia de la relaci´on (constante) de la ecuaci´on inicial. Cuando se aplica una transformaci´on (funci´on) a un conjunto en Rn que resulta en un conjunto en Rm , se dice que esta funci´on es un Kernel que mapea al espacio Rn en el espacio Rm . Dependiendo del Kernel elegido, se obtendr´an resultados diferentes, es por ello que se recomienda realizar diferentes experimentos con diferentes n´ucleos. Dos de ellos se definen a continuaci´on:
1. Kernel Polinomial
T
K(x⃗i, x⃗j )=(x⃗i · x⃗j − θ)d (B.38)
en donde θ y d son hiperpar´ametros que se pueden obtener a trav´es de m´ultiples experimentos.
2. Kernel Gaussiano
1
K(x⃗i, x⃗j) = exp 2σ2 ∥x⃗i − x⃗j∥2 (B.39)
en donde σ es un hiperpar´ametro que puede obtenerse por medio de m´ultiples experimentos o con el c´alculo de la desviaci´on est´andar de los datos.