6/27/2017

Algoritmos simples y transparentes para gestionar personas


Nuestras acciones tienen consecuencias. Y los resultados de lo que hacemos no son siempre positivos. En este post vamos a defender la necesidad de priorizar los algoritmos simples y transparentes para gestionar bien a las personas.
Porque vamos a intentar demostrar que en People Analytics necesitamos tres cosas:
1)    Entender las causas reales de un problema.
2)   Poder explicar a los empleados las razones de una intervención.
3)   Anticipar las consecuencias de las acciones de mejora que vamos a tomar.
Veremos que hay algoritmos de caja negra (como las redes neuronales) y algoritmos de caja de cristal (también llamados “de caja blanca”), los héroes del post de hoy.
En un algoritmo de caja negra podemos observar solo las entradas y salidas (o características de transferencia), sin ningún conocimiento de su funcionamiento interno. Su implementación es "opaca" (negra).

Lo contrario de una caja negra es un sistema en el que los componentes internos o la lógica están disponibles para la inspección. Se le llama caja de cristal, caja blanca o caja transparente.

La toma de decisiones

Como las organizaciones quieren gestionar lo mejor posible a las personas, su activo más valioso, demandan que en el camino de la optimización nos apoyemos en los datos para tomar importantes decisiones. 
Pero nuestras acciones para gestionar mejor a las personas van a tener consecuencias más allá de lo que queremos mejorar. Lo queramos o no.
Os pongo unos ejemplos:
1.    En un mercado que cada vez más necesita talento, muchas empresas están tratando de averiguar cómo fidelizar a los empleados. Y para ellos, el primer paso es averiguar cómo se sienten los trabajadores de la empresa. ¿Por qué no le echamos un vistazo a los correos electrónicos para conocerlos mejor?
Pista: Podríamos perder la confianza de nuestros empleados, algo seguramente peor que lo que nos aportaría ese conocimiento éticamente dudoso y desencadenaría efectos negativos en motivación e incluso podría llegar a afectar negativamente el desempeño, la rotación y el absentismo.
2.    Imaginemos que nos encargan que mejoremos el ratio de abandono. Un algoritmo de clasificación nos señala a aquellos que tienen mayor riesgo de abandonar la empresa. De entre ellos seleccionamos a los que muestran mejores niveles de desempeño. ¿Les ofrecemos una subida de sueldo sólo a ellos, o cualquier otra acción de fidelización, sin darles una explicación a los “afortunados” o a los compañeros que no reciben la subida?
Pista: Mejor que entendamos las causas reales y seamos capaces de explicarlas y anticipar consecuencias, si queremos intervenir en compensaciones. Podríamos, si no, llegar a dañar gravemente el clima laboral.
3.    Queremos mejorar el rendimiento de los comerciales con unos cursos de negociación. Como es lógico queremos ofrecer ese curso, que resulta más bien caro, a aquellos comerciales que son más propensos a aprovechar el curso y a mejorar más sus ventas. Podemos segmentar al equipo con algoritmos de clustering para anticipar quiénes serán los que van a aprovechar mejor el curso. ¿Llevamos al curso sólo a los que el algoritmo prediga que van a responder mejor, sin más explicaciones?
Pista: Cuidado con el efecto que podría tener en los que no han sido seleccionados para el curso.
Si no somos capaces de anticipar el impacto completo de nuestras acciones de optimización, es muy probable que acabemos como el aprendiz de brujo, que se entromete en cosas que no entiende.
Wisdom consists of the anticipation of consequences. Norman Cousins

El aprendiz de brujo


"El Aprendiz de brujo" es un poema de Goethe de 1797. El poema comienza cuando un viejo hechicero sale de su taller y deja solo a su aprendiz con una serie de tareas de limpieza para cumplir. El joven, cansado de ir buscar agua con el cubo, hace un encantamiento sobre una escoba para que haga el trabajo por él, usando la magia en la cual todavía no está completamente entrenado... El aprendiz se da cuenta de que no puede detener la escoba, porque no sabe cómo hacerlo. Se desencadena el caos.
Cuando todo parece perdido, el viejo hechicero regresa y rompe rápidamente el hechizo.

Y un antecesor griego que cuenta la misma historia

En el año 150 de nuestra era Luciano ya escribió casi la misma historia. En Philopseudes (“amante de mentiras"), el narrador, Tychiades, visita la casa de un amigo enfermo, Eucrates, donde tiene una discusión sobre la verdad de lo sobrenatural. Eucrates y varios otros visitantes cuentan diversos cuentos, destinados a convencer a Tychiades de que los fenómenos sobrenaturales son reales. Cada historia a su vez es refutada o ridiculizada por Tychiades. ¡Esa es la parte que me gusta de esta versión antigua! La historia que cuenta Eucrates es casi la misma de Goethe.

¿Cómo puedo prever las consecuencias?


Simplificando muchísimo, que es lo que en el fondo queremos hacer, hay tres caminos que nos pueden ayudar a simular lo que puede pasar en una intervención de People Analytics:
1)    ¡Hable con ellas!: Hay personas en la organización que son capace de decirnos qué consecuencias puede tener una intervención en segmentos diferentes. Hablemos con ellas. Que nos orienten sobré qué áreas se verán afectadas y cómo. Que nos den su opinión sobre lo que pasará. Tenemos nuevas hipótesis. Ya intentaremos sustanciar este “creer saber” con conocimiento validado.
2)   El pasado nos ayuda a simular el futuro. Busquemos en el pasado qué ha sucedido, para poder anticipar lo que sucederá. Aunque no sea el mismo tipo de intervención, busquemos los datos que nos revelen las consecuencias de una acción que se le parezca y de la que podemos aprender. ¿Qué efectos sobre productividad, abandono o absentismo ha tenido una subida o una bajada de sueldo o de otras compensaciones? ¿Tenemos datos, verdad? Analicemos. Lo que aprendemos del pasado nos debería ayudar a simular el futuro.
3)   Nuestra propia evaluación. No se hizo antes nada parecido, no se parece a nada, nadie sabe nada. Está bien. A veces pasa. Tenemos nuestro propio criterio, no lo descartemos. En territorios de gran incertidumbre, la opinión previa puede tener un gran valor. Toda la estadística bayesiana, que gana terreno día a día sobre la estadística frecuentista clásica, reposa sobre la asignación probabilística a priori de que suceda un evento antes de tener cualquier evidencia relevante. Es decir, la probabilidad se interpreta como expectativa razonable o como cuantificación de una creencia personal. Tranquilos porque los resultados irán moldeando esta cuantificación personal.

Algoritmos buenos y algoritmos malos

Tenemos que tomar decisiones para mejorar la organización. Varios algoritmos nos pueden ayudar en el proceso.
Lo vimos en el post sobre metodología. El proceso de análisis predictivo nos lleva a identificar patrones que representan la relación entre los datos, mediante algoritmos como regresiones, algoritmos de clustering, redes neuronales, árboles de decisión, redes bayesianas, etc.
Los patrones descubiertos pueden ser utilizados para predecir el rendimiento de los empleados, su comportamiento, actitud o predisposición ante diferentes retos laborales, predecir el progreso de los empleados en el tiempo, o identificar el mejor perfil laboral para una cierta necesidad entre diferentes candidatos.
Defendemos aquí, sin embargo, que mucho más importante que la precisión del modelo generado por el algoritmo, es entender las causas del problema y las consecuencias de nuestras acciones.
Para tomar una decisión es necesario ir más allá de la efectividad de esa acción medida por su nivel de precisión. Tenemos que ser capaces de calcular los costos y beneficios de la decisión correcta o incorrecta. A menudo, el análisis predictivo en recursos humanos ignora las consecuencias de la acción que recomendamos tomar.
Por una parte, es necesario entender que nos enfrentamos a territorios de incertidumbre. No podemos anticipar si nos encontraremos con una situación altamente asimétrica desde la perspectiva de costes y beneficios. Si la acción sale mal podría generar un pérdida muchísimo mayor que el beneficio que proporciona si sale bien.
Por ejemplo, hacemos un modelo de predicción del abandono que tiene un 80% de precisión. ¿Es suficiente? Depende. Si el resultado de equivocarse es pequeño, entonces la precisión podría ser lo suficientemente buena. Si no, podría ser un riesgo demasiado alto. 
¿Qué proponemos entonces? Tres condiciones:
1.    Necesitamos modelos que podamos comprender . Además de la acción de mejora, tenemos que ser capaces de entender por qué lo hacemos, cuáles son las causas reales del problema y justificar así la intervención. Cuando tenemos modelos que podemos interpretar, somos capaces de impulsar cambios efectivos en las políticas porque dirigimos nuestras acciones de transformación allí donde se necesitan.
2.    En segundo lugar, deberíamos ser capaces de anticipar las consecuencias de nuestras acciones. Esta simulación sólo es posible si entendemos sobre qué áreas vamos a intervenir y podemos anticipar (simular) lo que esta intervención puede causar en áreas como desempeño, absentismo o rotación.
3.    Cuando las acciones de mejora no son uniformes, y vamos a actuar de forma segmentada (sólo sobre unos individuos, no sobre toda la plantilla por igual), necesitamos además que nuestros cambios parezcan razonables a las personas de la organización. Tenemos que explicar a nuestros empleados por qué hemos realizado ciertos cambios y cómo hemos identificado los segmentos a los que va dirigida la intervención.
Como práctica habitual, generamos más de un modelo con algoritmos diferentes. Algunas de estas técnicas son más fáciles de interpretar que otras. Algunos algoritmos pueden podrían producir una mayor exactitud. Pero si son "cajas negras", no nos van a servir para cumplir las tres condiciones que hemos enumerado arriba: identificar causas, anticipar consecuencias y explicar nuestras acciones.

Un caso real de algoritmos enfrentados y cómo lo transparente gana a la precisión

Una empresa TIC lleva adelante sus evaluaciones de desempeño y capacidades con un conjunto de indicadores que denomina “vector talento”. Consta de 3 subvectores:
1)   Subvector Capacidades: mide los conocimientos técnicos sobre el área de desempeño, las capacidades de aprendizaje y las capacidades personales.
2)   Subvector Desempeño: mide el rendimiento de cada empleado en áreas diferentes. Se compone de 14 indicadores.
3)   Subvector Engagement: mide el compromiso y la motivación de cada empleado. Se compone de 4 indicadores.

La empresa buscaba un modelo predictivo que le permita anticipar el nivel de rendimiento de un empleado a partir de indicadores del Vector Talento.
Las variables independientes (predictores) utilizadas para construir el modelo son los indicadores del Subvector Capacidades y del Subvector Engagement.
En esta actividad se llevó a cabo una investigación comparativa sobre la idoneidad de dos familias de algoritmos, regresiones lineales multivariantes y redes neuronales, para conseguir el mejor modelo predictivo sobre rendimiento.
Las regresiones, tanto lineales como no lineales, ha sido un instrumento de valoración estándar utilizado durante muchos años para la generación de modelos. En muchos casos la regresión parece funcionar muy bien, sin embargo, en otros puede ser frustrante.

Anatomía básica de las redes neuronales: las cajas negras.

Se puede pensar en una red neuronal como un laberinto en el que un conjunto de datos (fila) entra desde diferentes aberturas e intenta alcanzar el centro (el resultado deseado) después de recorrer varios caminos. En cada vuelta dentro del laberinto hay una opción más probable para tomar, pero si esa opción no consigue alcanzar el centro entonces los datos comienzan otra vez y las probabilidades se cambian.
El término laberinto nos da una idea de la complejidad del modelo. No nos vemos capaces de cumplir ninguna de las tres condiciones: ni comprendemos el modelo, ni lo podemos explicar, ni podemos anticipar las consecuencias.
En los modelos predictivos para este proyecto se trabajó con dos algoritmos diferentes: perceptrón multicapa (multilayer perceptron-MLP en inglés) y de función de base radial (radial basis function -RBF en inglés).
Un red neuronal de base radial se vale de una función real cuyo valor depende sólo de la distancia del origen o alternativamente de algún centro. Normalmente se evalúa a partir de la que se conoce como función radial. La Norma vectorial usada es frecuentemente la norma euclidiana. En general es un modelo que resulta muy eficaz a la hora de detectar valores extremos, aunque tiene un coste mayor de computación. 

Figura 1: Arquitectura de una red de función de base radial. Un vector de entrada se utiliza como entrada para todas las funciones de base radial, cada una con diferentes parámetros. La salida de la red es una combinación lineal de las salidas de las funciones de base radial.
Un red neuronal de perceptrón multicapa utiliza una técnica llamada“propagación hacia atrás” (backward propagation) para ajustar los pesos en cada conexión.
La propagación hacia atrás supone que todos las conexiones son igualmente responsables de errores en la evaluación de los datos. Así, para cada vector de entrada, el vector de salida esperado se determina utilizando los pesos actuales, que usualmente comienzan como valores aleatorios, y usando los cambios de cálculo en pesos se determinan para cada peso actual y posteriormente se aplican a los pesos actuales para la próxima prueba.

Gana el algoritmo de Base Radial pero no lo aplicamos

Para evaluar la precisión de los modelos empleamos el Coeficiente de Variación (COV). Resultaos: Comparación de error (COV) para los 14 indicadores del Subvector Capacidades y del Subvector Engagement según 3 algoritmos: BFP, MLP y Regresión Múltiple.

 El mejor modelo es el que ofrece la red neuronal de base radial (BFP) para predecir el desempeño a partir de los subvectores Capacidades y Engagement.
Y sin embardo, no es el algoritmo que se elige para operar con esta empresa TIC. Porque, como hemos dicho, de qué nos sirve disponer de un modelo preciso (en este caso con poquísimo error), si no somos capaces de actuar y simular las consecuencias de las acciones.
Así que nos quedamos con la Regresión múltiple, donde podemos entender razonablemente bien el peso específico de cada uno de los indicadores del vector talento en su relación con el desempeño. Así es posible plantear intervenciones y con un poco más de esfuerzo ser capaces de simular las consecuencias.

Reivindicando (tímidamente) la denostada regresión múltiple paso a paso

Los sesgos y deficiencias de la regresión múltiple paso a paso están bien documentados en la literatura estadística. Los principales inconvenientes de la regresión múltiple paso a paso incluyen el sesgo en la estimación de parámetros y las inconsistencias entre los algoritmos de selección de modelos.
Sin embargo, un examen de los artículos publicados en 2004 por tres principales revistas ecológicas y conductuales sugirió que el uso de esta técnica sigue siendo generalizado: de 65 artículos en los que se utilizó un método de regresión múltiple, el 57% de los estudios utilizaron un procedimiento paso a paso (Why do we still use stepwise modelling in ecology and behaviour?).
La regresión paso a paso es una variante de la regresión lineal multivariante. Hace esencialmente una regresión múltiple varias veces, cada vez quitando la variable correlacionada más débil. Al final se queda con las variables que mejor explican la regresión. Los únicos requisitos son que los datos respondan a una distribución normal y que no haya correlación entre las variables independientes (que no haya multicolinealidad). Este algoritmo cumple con las tres condiciones que hemos visto arriba. Y además aporta sencillez al modelo: elige el modelo con menor número de variables que más información aporta.
Recientemente, en el Workforce Analytics 2017 de Londres, Kevin Dickens un experto analista de Experian contaba en su ponencia (Using Business Analytics Capabilities to Predict People Risks) que los modelos de abandono que habían preparado utilizaban con mucho éxito precisamente este tipo de regresión paso a paso para conseguir modelos muy sencillos
El denostado “Stepwise Regression” le hace ganar a Experian en el Reino Unido 10 millones de libras.