¿Qué puede y qué no puede evaluar una IA sobre un equipo?

¿Qué puede observar una IA en una sesión de equipo?

Solamente lo que quedó registrado. Esa frase suena obvia y es la que más se olvida: un modelo de lenguaje no «ve» un equipo, lee un archivo. Lo que puede decir está limitado por lo que haya en ese archivo, y nada más.

Si el registro es un log de lo que pasó en una actividad, ahí hay cosas bastante concretas:

• Quién intervino y cuánto. Cuántas veces habló o actuó cada persona, y cómo se reparte eso entre los integrantes.
• El orden de los turnos. Si una persona habla y las otras responden, o si dos sostienen un intercambio mientras el resto mira.
• Quién pidió y quién ofreció. Los pedidos de ayuda y las ofertas no solicitadas son identificables en un texto con bastante fiabilidad.
• Si las instrucciones se confirmaron. Una indicación seguida de una confirmación es un patrón detectable.
• Cambios de plan. Momentos donde el grupo abandona una estrategia y adopta otra.
• Secuencias temporales. Qué pasó antes de que las cosas se complicaran, y qué después.

Nada de esto es mágico. Es lectura atenta de un registro, hecha rápido y de forma consistente. El valor real de usar un modelo acá no es que entienda mejor que una persona: es que no se cansa en la tercera sesión del día y aplica el mismo criterio a las doce.

¿Qué no puede saber?

Todo lo que no esté en el registro, que es casi todo lo interesante sobre un ser humano:

• Por qué alguien hizo lo que hizo. La intención no queda registrada. Que alguien no haya hablado puede ser timidez, desinterés, falta de contexto, un problema de audio o que ya sabía que su propuesta iba a ser ignorada. Las cuatro cosas se ven igual en un log.
• Cómo es esa persona. Una sesión es una muestra de una tarde. Cualquier afirmación sobre personalidad a partir de ahí es una extrapolación sin respaldo.
• Si va a rendir en un puesto. Esto no lo sabe nadie con ningún instrumento, y menos con uno de dos horas.
• Si encaja en la cultura. Es la conclusión más peligrosa que se puede automatizar, porque suena técnica y en la práctica funciona como un filtro de parecido.
• Qué pasaba fuera de la pantalla. Que a alguien se le cayó internet, que estaba en una oficina abierta, que era su primer día.

¿Por qué el problema no es la IA, es la evidencia?

Porque un modelo de lenguaje siempre te va a dar una respuesta. Es lo que hace. Si le pedís el perfil de liderazgo de alguien a partir de tres líneas de chat, te lo va a escribir, y va a estar bien redactado y va a sonar razonable. La fluidez del texto no tiene ninguna relación con el respaldo del contenido, y nuestro cerebro no distingue bien entre esas dos cosas.

Así que el problema real no es «¿la IA se equivoca?». Es: ¿esta conclusión está anclada en algo verificable, o es prosa? Y eso no se resuelve cambiando de modelo. Se resuelve exigiendo que toda conclusión venga con el momento que la produjo.

¿Qué es «evidencia textual» y por qué cambia todo?

Es la práctica de que cada afirmación de un reporte venga acompañada de la cita literal del registro que la respalda. En lugar de «el equipo mostró dificultades de coordinación», el reporte dice qué se dijo, cuándo, y qué pasó después.

Cambia tres cosas de golpe:

1. Se puede verificar. Cualquiera puede abrir el registro y ver si la cita existe y si dice eso. Una conclusión sin cita no se puede auditar; con cita, sí.
2. Deja de ser discutible en abstracto. Un equipo al que le dicen «les cuesta comunicarse» se pone a la defensiva, y con razón. Un equipo al que le muestran tres momentos concretos reconoce dos y discute el tercero, que es exactamente la conversación que querías tener.
3. Limita al modelo. Si la regla es que no puede afirmar nada sin citar, las conclusiones sin respaldo simplemente no se pueden formular. La restricción hace el trabajo que la buena intención no hace.

Dicho de otro modo: la cita no es un adorno de transparencia que se agrega al final. Es el mecanismo que impide que el reporte invente.

¿Se puede usar una IA para decidir una contratación?

No. Y no principalmente por un tema legal, aunque también: por un tema de validez.

Una sesión de equipo, por bien diseñada que esté, es una muestra de conducta en una situación artificial. Aporta evidencia sobre cómo se comportó alguien en esa tarea, con ese grupo, ese día. Eso es un insumo legítimo para una decisión, al lado de la entrevista, la referencia y la prueba técnica. No es la decisión.

La distinción práctica es simple. Un instrumento que aporta evidencia le da material a una persona que decide y se hace responsable. Un instrumento que decide produce un número que alguien usa para descartar sin mirar. El mismo software puede usarse de las dos maneras, y la diferencia la pone el proceso, no la herramienta.

En el plano regulatorio, la dirección en varias jurisdicciones es la misma: a las herramientas automatizadas que participan en decisiones de empleo se les empieza a exigir auditoría de sesgo, aviso al candidato y supervisión humana sobre el resultado. Los plazos y los alcances concretos cambian según la jurisdicción y se han movido más de una vez, así que no los vamos a citar acá: si operás en varios países, eso se verifica con un abogado y a la fecha en que lo necesitás, no en un artículo. Lo que sí es estable es el principio: una persona tiene que poder explicar la decisión, y para eso tiene que poder ver en qué se basó.

¿Y el sesgo?

Está, y hay que decir dónde. Un modelo de lenguaje aprende de texto producido por personas, con todos sus patrones. Aplicado a evaluación, eso puede aparecer de varias formas: premiando estilos de comunicación más asertivos, interpretando el silencio como falta de compromiso, o tratando una forma de hablar como más «profesional» que otra.

Tres cosas que reducen el riesgo, en orden de importancia:

• Medir el grupo, no a las personas. Un reporte sobre cómo se repartió la palabra en un equipo tiene mucho menos superficie de daño que un ranking individual. Si nadie recibe una etiqueta, nadie recibe una etiqueta sesgada.
• Exigir la cita. Un sesgo se esconde bien en una generalización y muy mal en un ejemplo concreto. Cuando tenés que mostrar el momento, los juicios sin respaldo se caen solos.
• No usarlo como filtro. El daño del sesgo escala con la automatización de la decisión. Si siempre hay una persona que lee, discute y puede descartar la conclusión, el techo del error es mucho más bajo.

¿Qué preguntarle a un proveedor que te vende evaluación con IA?

Seis preguntas. Las respuestas te dicen más que cualquier demo:

1. ¿De dónde sale cada conclusión del reporte? Si no pueden mostrarte el fragmento del registro que respalda una afirmación concreta, el reporte es prosa generada.
2. ¿Qué dice el reporte que no puede saber? Un proveedor que no tiene una lista de limitaciones a mano no se la hizo nunca. La respuesta «lo medimos todo» es la peor posible.
3. ¿Evalúa personas o evalúa al equipo? No hay una respuesta correcta universal, pero la respuesta cambia completamente el riesgo que estás asumiendo. Si evalúa personas, las tres preguntas que siguen se vuelven obligatorias.
4. ¿Se puede usar para descartar a alguien? Y si la respuesta es que no, ¿qué hay en el producto que lo impida, además de la buena voluntad del cliente?
5. ¿Qué pasa con los datos? Quién los guarda, cuánto tiempo, si se usan para entrenar modelos, si el participante puede pedir que se borren, y qué queda si cortás el contrato.
6. ¿Qué sabe el participante? Si la gente no sabe que está siendo evaluada, ni cómo, ni para qué se va a usar, hay un problema antes de cualquier consideración técnica.

Una observación sobre la pregunta 2, que es la más reveladora: cualquiera que haya trabajado en serio con estas herramientas tiene una lista de cosas que no funcionan. Si alguien no la tiene, lo más probable no es que su producto sea perfecto.

¿Entonces para qué sirve de verdad?

Para dos cosas, y son menos espectaculares de lo que se promete pero bastante útiles.

Consistencia. Un observador humano, por bueno que sea, aplica criterios distintos a la primera sesión del lunes y a la cuarta del jueves. Un procedimiento automatizado aplica el mismo criterio siempre. Eso no lo vuelve más acertado, lo vuelve más comparable, y la comparabilidad es lo que permite ver un cambio entre dos sesiones separadas por meses.

Volumen. Revisar el registro completo de una sesión de doce personas a mano lleva horas. Hacerlo para doce sesiones no es realista. Eso es un trabajo de lectura paciente y repetitiva, que es exactamente donde estas herramientas aportan.

Lo que no hacen es entender a nadie. Eso sigue siendo trabajo de la persona que lee el reporte y conoce al equipo, y es la parte que no conviene automatizar aunque se pudiera.