lunes, 12 de enero de 2015

English spoken


Para saber si las prácticas de recursos humanos generan valor es necesario medir los resultados, ya sea verificando su efecto en los indicadores de negocio o utilizando mediciones estándares que permitan comparar diferentes realidades usando una misma regla.
Las becas Corfo, sin quererlo, generaron el experimento más grande que se haya realizado en Chile en relación al aprendizaje del inglés en ambientes laborales. Más de 17.000 personas fueron beneficiadas entre los años 2012 y 2013 con cursos de Inglés financiados por el estado, con el objetivo de contribuir en la meta de convertirnos en un país bilingüe. A diferencia de la mayoría de los programas de entrenamiento que se realizan en el país, el programa incorporó una medida independiente para evaluar los resultados del aprendizaje. Para ello, los alumnos rindieron, antes y después, el examen internacional TOEIC, que mide el nivel de dominio del idioma inglés específicamente en entornos laborales. Bajo estas condiciones, el programa Becas Corfo constituyó una oportunidad soñada para conocer si los cursos de inglés que se dictan en el país logran aumentar el dominio del idioma según un estándar internacional.

Para determinar si la participación en el programa tuvo un efecto en el manejo del idioma se pueden comparar los puntajes antes y después del curso. Más allá de cuántas personas mejoraron su puntaje, una medida interesante de efectividad es la cantidad de puntos TOEIC que sube una persona por cada hora de entrenamiento. Si bien no existen reportes públicos internacionales que señalen un estándar esperable de puntos, los resultados de diferentes experiencias disponibles permiten establecer un rango entre 1 y 2, donde subir un punto TOEIC por hora de capacitación es un registro razonablemente bueno (y dos puntos, muy bueno). 

Las versiones anteriores de las Becas Corfo habían registrado mejoras más bien modestas (0,71 puntos). Para analizar los últimos resultados obtenidos, hay que considerar que se ofrecieron dos tipos de programas diferenciados por el número de horas; uno de 100 horas y otro del doble de duración. Por alguna razón, quienes fueron inscritos en los cursos de 100 horas tenían un puntaje inicial estadísticamente superior; probablemente se creyó que los que toman más horas de capacitación mejoran más. La evaluación del programa muestra que eso no es tan cierto. 

Si bien tomar 200 horas implica un aumento de más puntos comparado con participar en cursos de 100 horas (149 versus 119), si se pondera por el tiempo invertido en capacitarse esa diferencia prácticamente se desvanece. Los cursos de 100 horas fueron más efectivos que los de 200 horas, subiendo 1,2 puntos por hora de entrenamiento, comparado con un alza de sólo 0,7 puntos por hora obtenido por los cursos largos. Como el costo de éstos es prácticamente el doble, queda claro que los resultados nos muestran que un curso de 100 horas es una opción más eficiente.

Internacionalmente, está razonablemente documentado que es más fácil subir el puntaje en los niveles más bajos de dominio del idioma. Dicho de otra forma, mientras más avanzado es el nivel de inglés, más tiempo toma mejorar un punto TOEIC. Esa relación también se dio en la muestra chilena, de manera que mientras más alto el puntaje inicial, menos puntos por hora se mejora. ¿A quién capacitar entonces? Queda claro que los cursos más cortos son preferibles, pero ¿conviene invertir los recursos en alguien que va a mejorar más puntos pero está más lejos del estándar mínimo para trabajar en un ambiente en inglés? 

Para responder esa pregunta hay que considerar que, además de los puntajes, el TOEIC considera una serie de niveles de dominio. El mínimo para desempeñarse laboralmente es el llamado Limited Working Proficiency, que se logra a los 605 puntos. Habría que ver, entonces, cuántas personas pueden lograr ese nivel luego del curso. 




Los resultados del programa de Becas Corfo en Chile muestran que, en el global, hay un 34% de los que tomaron cursos de inglés que no mejoran su nivel. De los que toman 100 horas de entrenamiento, un 56% logra subir un nivel y un 5% logra mejorar dos niveles. Por su parte, de los que toman cursos de 200 horas, un 61% sube de nivel, el 8% sube dos niveles y un no despreciable 30% se queda en el mismo con que partió. 

Un resultado más bien modesto y que muestra que existe el riesgo de que, aun después de tomar cursos, un porcentaje relevante de los trabajadores no logre desempeñarse bien en el idioma. Para minimizar este riesgo, lo mejor es invertir en personas que estén en el nivel inmediatamente inferior y que tomen un curso de no más de 100 horas. Como vimos, tomar un curso de 200 horas probablemente duplicará el costo pero no duplicará los resultados, por lo que resulta más eficiente que participen en la modalidad más breve. Con los datos reales de las personas que estuvieron en esa situación en el programa se puede predecir que aproximadamente un 57% de ellos alcanzará o superará el nivel mínimo para trabajar en inglés. Inscribir a quienes están dos o más niveles parece poco efectivo en el corto plazo; aun cuando tomen 200 horas de capacitación, sólo un 12% sube los niveles necesarios para lograr un desempeño laboral razonable.

El dominio de un idioma no es una habilidad simple y las mejoras espectaculares a corto plazo son excepcionales. La experiencia chilena con las Becas Corfo para aprender inglés confirma esta afirmación. Para una empresa que quiere tener un grupo de personas con un nivel mínimo de dominio para el trabajo en el corto plazo, lo más racional es evitar hacer cursos masivos donde todos puedan inscribirse independiente del nivel. Es mejor evaluar el nivel inicial y concentrarse en quienes no están demasiado lejos del nivel esperado e inscribirlos un curso de no más de 100 horas (4-6 meses, dependiendo de la frecuencia). 

Si no se cuenta con personas que estén cerca del nivel esperado, y se está dispuesto a realizar un esfuerzo de largo plazo, la experiencia chilena indica que conviene no inscribirlos en cursos largos, dividiendo el tiempo total en cursos más bien cortos. Aun así, hay que considerar que cerca de un tercio de los alumnos no alcanzará el nivel esperado, lo que implica que habrá que inscribir un número bastante superior a los que efectivamente la organización requiere. Y probablemente revisar el proceso de selección.