Los 4 niveles de evaluación de Kirkpatrick, revisitados

Foto: Egidio Levendale - Flickr

Donald Kirkpatrick tiene el modelo de evaluación de la capacitación más ampliamente utilizado en el mundo. Publicado primero a fines de los años 50, con el tiempo se ha convertido en un clásico y en un referente obligatorio. Éste identifica cuatro niveles independientes pensados como una secuencia de maneras para evaluar un programa de entrenamiento:
1. Reacción
2. Aprendizaje
3. Conducta
4. Resultados
Lo anterior no significa que sea igualmente aceptado por todos. Entre las críticas que se le han planteado están que se presta a simplificaciones y malos entendidos, por ejemplo cuando se trata de diferenciar entre los niveles 2 y 3. A pesar de ello, las taxonomías alternativas no han tenido éxito en reemplazar un modelo ya cumple 54 años.
En 1997, un grupo de 4 profesores liderados por George Alliger preparó un artículo para la Armada de Estados Unidos planteando una mejora en el famoso modelo. Para ello, mantuvo en general los niveles incorporando algunos subniveles y precisando algunos conceptos. La propuesta contiene lo siguiente:

Original	Modelo aumentado
Reacciones	Reacciones       Afectivas: la más frecuente forma de evaluación, pregunta por la satisfacción con la actividad. Se suele recopilar a través de encuestas al terminar el entrenamiento. Es importante debido a que los entrenados son uno de los “clientes” de la capacitación, y porque su opinión influye en variables relevantes como la asistencia futura, la publicidad “boca a boca” de otras actividades, financiamiento del área de entrenamiento, etc.      Juicios de utilidad: busca identificar la utilidad percibida del entrenamiento para el desempeño laboral posterior; pregunta por la relevancia, el valor práctico y si la capacitación afectará la habilidad para desempeñarse en el puesto.
Aprendizaje	Aprendizaje       Conocimiento inmediato: Mediciones realizadas generalmente utilizando test tradicionales, como pruebas de selección múltiple, preguntas abiertas       Retención de conocimiento: Mediciones realizadas un tiempo después del entrenamiento, similares a las anteriores en cuanto al método, sólo que realizadas un tiempo después       Demostración de conducta o habilidad: Incluye indicadores de competencia o de cambio conductual cuando son medidas durante el entrenamiento. Esto incluye simulaciones, juegos de rol, puntajes o notas en clases centradas en el desempeño del puesto de trabajo
Conducta	Transferencia:  Implica conducta en el trabajo; la medición ocurre no sólo después del entrenamiento, sino que hace referencia a un aspecto cuantificable del puesto. Puede incluir muestras de trabajo u outputs de diferente tipo.
Resultados	Resultados:  Implica un impacto organizacional; ganancias en la productividad, satisfacción de clientes, ahorros, rentabilidad, clima organizacional o satisfacción laboral (en el caso del entrenamiento de jefaturas).

Alliger continuaba un esfuerzo que había comenzado en 1989, cuando hizo un meta análisis de las relaciones entre los diferentes niveles de evaluación. En la segunda ocasión, aumentó la cantidad de estudios que establecían algún vínculo entre los diferentes niveles de Kirkpatrick, llegando a 34. Algunos hallazgos que se derivan del artículo son los siguientes:

•        Los resultados muestran correlaciones modestas, en el mejor de los casos, entre los diferentes niveles. Las más altas se obtienen al interior de cada nivel, lo que sugiere validez convergente que refuerza conceptualmente la taxonomía

•        Las evaluaciones de reacción basadas en aspectos afectivos, si bien son relevantes para efectos de gestión y como registro de la satisfacción tienen una baja utilidad para predecir transferencia o aprendizaje

•        Las evaluaciones de reacción basadas en la utilidad no tienen correlaciones de importancia con el aprendizaje inmediato, sin embargo sí correlacionan moderadamente con transferencia.

•        Las mediciones de aprendizaje basado en demostraciones de habilidad correlacionan con la transferencia en una magnitud similar a las mencionadas. De esta forma, el aprendizaje conductual no predice mejor la aplicación en el puesto, comparado con las medidas de reacción basadas en la utilidad

•        Debido a la baja correlación entre las medidas de reacción y el aprendizaje inmediato, no debiera considerarse que las evaluaciones de nivel 1 reemplazan la medición del aprendizaje de nivel 2

•        La escasez de estudios sobre el impacto de resultados no permite establecer su relación con el resto de los niveles. Son necesarias más investigaciones al respecto

•       Recomiendan recoger información de reacción multifuente, incorporando la opinión de pares y supervisores, así como recoger información en el tiempo (1, 3 y 6 meses después del entrenamiento).

El meta análisis de Alliger es el esfuerzo más grande realizado en clarificar la relación entre los diversos niveles de evaluación de la capacitación y, aun así, desnuda que el conocimiento sobre el tema sigue siendo parcial y necesita muchas más horas de dedicación.

Alliger, G. & Tannenbaum, S. & Bennett, W. & Traver, H. & Shotland, A. (1997) A meta-analysis of the relations among training criteria. Personnel Psychology 50 (2): 341-358

Influyendo en los capacitados para mejorar la transferencia

La profesora Rebecca Grossman junto a Eduardo Salas, un experimentado investigador del mundo de la capacitación plantean su propio resumen de las variables críticas para mejorar la transferencia de las actividades de entrenamiento. Más allá de las coincidencias con la revisión de Burke y Hutchins (2007), el artículo de Grossman y Sala permite profundizar en aspectos prácticos, respecto a qué pueden hacer los profesionales a cargo de la capacitación para aumentar la posibilidad que los aprendizajes se transformen en conducta laboral relevante para la organización.

El punto de partida no es muy auspicioso, porque tanto en la revisión de Burke y Hutchins como la de Grossman y Salas, el predictor individual más fuerte de la transferencia es la capacidad cognitiva de los participantes (correlación corregida de 0,43). Tal como en selección, donde la inteligencia ha resultado ser el mejor predictor para la el desempeño individual, parece que las personas más inteligentes llevan más los aprendizajes obtenidos en la capacitación a sus puestos de trabajo.
Ahora, seleccionar personas más inteligentes o incorporarlos sólo a ellos a la capacitación es una medida que no siempre está bajo el control de los ejecutivos, por lo tanto si queremos influir en la transferencia debiéramos fijarnos en otra cosa. Una buena pista viene de las otras características del participante; la autoeficacia, es decir los juicios que los participantes hacen sobre su habilidad para desempeñarse, su motivación y la utilidad, que perciben, tiene el entrenamiento. De ellas se derivan algunas tareas específicas para los que diseñan o coordinan actividades de entrenamiento:

• Realizar actividades para reforzar en los participantes la creencia de que obtendrán resultados positivos en él y de que son capaces de realizar su trabajo. Esto implica monitorear sus opiniones sobre el curso, identificar sus temores y evitar que éstos se refuercen. Que enfrenten la capacitación con relativa confianza en que podrán hacerlo bien afectará positivamente la transferencia.
• Fortalecer la motivación para transferir, de forma de reforzar la visión de que son capaces de aprender, que su esfuerzo afectará su desempeño, y que esto traerá resultados positivos para ellos. 
• Dejar parte del tiempo del programa para comunicar la necesidad y la utilidad del entrenamiento. Esto implica transmitir que las nuevas habilidades mejorarán el desempeño, que los participantes reconozcan la necesidad de mejorar, que aplicar lo aprendido mejorará su desempeño y que las habilidades serán lo suficientemente prácticas como para facilitar la aplicación.

Rebecca Grossman, R. & Salas, E. (2011) The transfer of training: what really matters. International Journal of Training and Development 15 (2): 103-120

El futuro del trabajo según expertos digitales

Cómo influye el ambiente laboral en la transferencia de la capacitación (Parte III)

Foto: Iain Farrell

Siguiendo con la serie sobre transferencia de la capacitación, esta vez van los hallazgos de Burke y Hutchins (2007) sobre transferencia del entrenamiento.

• Relación con la estrategia: Varios estudios han encontrado una relación entre la transferencia en el trabajo y el alineamiento del programa con la orientación estratégica de la organización. La limitación de estos estudios es que han sido realizados utilizando solamente percepciones de los participantes; es decir, tanto la transferencia como el alineamiento estratégico refleja sólo las opiniones de los participantes y no observaciones en terreno o de terceros no involucrados en el programa.

• Clima de transferencia: Se ha encontrado una correlación de 0,37 entre clima y transferencia. Los elementos de un clima positivo para la transferencia, ya sea directamente o como moderadores de la intención a transferir, son los siguientes;
         o Señales explícitas que estimulan el uso
         o Consecuencias para el uso correcto
         o Corrección en caso de no usar las habilidades

• Apoyo social de los pares y supervisores: Si bien ha sido considerado como elemento parte del clima, es el factor que del ambiente laboral que más consistentemente ha mostrado su relación con la transferencia. Algunas de las conductas que reflejan este apoyo;
         o Discutir lo aprendido
         o Participar en el entrenamiento
         o Entregar estímulo y coaching sobre el uso del conocimiento y habilidades aprendidas (incentivos y feedback)
En el caso específico de los pares, algunos estudios han encontrado que incluso puede ser un factor más importante que el apoyo del supervisor, 6 meses después del entrenamiento, específicamente con conductas como mantener redes con los pares y conversar sobre los contenidos del entrenamiento.

• Oportunidad para desempeñar: Las investigaciones han mostrado consistentemente desde mediados de los años 90 que el mayor impedimento a la transferencia es que los participantes del programa no tenga la oportunidad de usar el nuevo aprendizaje en su entorno laboral. Para evitar esto, se recomienda modificar la carga de trabajo para permitir la transferencia. También se ha sugerido realizar action planning y acordar previamente al entrenamiento cómo se realizará la transferencia, sin embargo esto último no cuenta con evidencia concluyente.

• Responsabilizar al entrenado de la transferencia (accountability) cuenta con cierta evidencia inicial, pero no concluyente

Las investigadoras mencionan algunos instrumentos que intentan medir si el clima es favorable o no para la transferencia, señalando que se encuentran en etapa de transición (LTSI y General Training Climate Scale).
A futuro, sugieren evitar el uso excesivo de información basada en percepciones y realizar mediciones multifuentes (ej. Auto percepción, pares y supervisores). Asimismo, proponen fomentar la investigación aplicada, que resulte de utilidad para las organizaciones. Finalmente, sugieren profundizar los modelos que, más allá de ver el proceso de transferencia como un fenómeno lineal, proponen que éste es un proceso multinivel, que tiene múltiples dimensiones y que requiere metodologías cualitativas y cuantitativas para dar cuenta efectivamente de él.

Burke, L. & Hutchins, H. (2007) Training Transfer: An Integrative Literature Review. Human Resource Development Review 6 (3): 263-296