Tutor IA
Cómo evaluar un tutor IA con fuentes para una academia de oposiciones
Una respuesta convincente no basta. Evalúa si el tutor usa el material correcto, muestra evidencias, respeta permisos y reconoce cuándo no puede responder.
Trabajar con fuentes no convierte la IA en infalible
Un tutor conectado al temario puede buscar fragmentos relevantes antes de redactar. Esta arquitectura se conoce como generación aumentada por recuperación, o RAG. Al evaluarlo, comprueba que cada respuesta permita volver al fragmento utilizado dentro del material del curso.
Eso reduce el espacio de búsqueda, pero no elimina errores. El sistema puede recuperar un fragmento poco pertinente, interpretar mal una excepción o redactar con más seguridad de la que la evidencia permite. El artículo original de RAG demuestra el enfoque de recuperación más generación en tareas de conocimiento; no garantiza cada respuesta ni acredita por sí solo un producto concreto.
La pregunta adecuada no es “¿acierta siempre?”, porque ningún sistema generativo serio debería presentarse así. La pregunta útil es “¿puedo detectar cuándo la respuesta está respaldada, actualizar su fuente y escalar la duda cuando no lo está?”.
Fuentes para esta sección: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Prueba la misma materia con dos casos opuestos
Pregunta con respuesta explícita
Elige una cuestión cuya respuesta aparezca de forma clara en un tema publicado. Comprueba que la explicación coincide y que la evidencia abre el apartado correcto.
Pregunta fuera del material
Formula una duda razonable que el temario no resuelva. El resultado esperado es una limitación clara o una derivación al equipo, no una respuesta completada con información ajena.
Actualiza la fuente
Modifica o retira el documento en un entorno de prueba. Verifica que la versión anterior no siga apareciendo como respaldo válido.
Cambia de perfil
Repite la consulta con un usuario que no tenga acceso al curso. El tutor no debe revelar fragmentos de materiales privados.
Una matriz breve para comparar respuestas
| Criterio | Qué observar | Señal de alerta |
|---|---|---|
| Pertinencia | La respuesta atiende la pregunta concreta | Texto general que evita el caso planteado |
| Evidencia | El enlace lleva al pasaje que respalda la afirmación | La fuente existe, pero no sustenta la conclusión |
| Límite | Reconoce que el material no contiene respuesta suficiente | Completa huecos sin avisar |
| Permisos | Solo usa contenidos visibles para esa matrícula | Cita otro curso o un documento retirado |
| Mantenimiento | La academia puede actualizar o retirar la fuente | No se distingue qué versión se utilizó |
Ejemplo ilustrativo: una buena abstención también ayuda
Supongamos que un alumno pregunta por el efecto de una reforma posterior a la fecha del temario. Una respuesta extensa basada en la versión antigua puede parecer útil y ser peligrosa. El comportamiento preferible es identificar la fecha o versión disponible, explicar que no hay respaldo para la reforma consultada y proponer revisar el material actualizado o preguntar al preparador.
La abstención no debe convertirse en un mensaje vacío. Puede indicar qué se encontró, qué dato falta y cuál es el siguiente paso. Así, el alumno no confunde silencio con fallo técnico ni una frase fluida con conocimiento vigente.
Qué sigue perteneciendo al equipo docente
El tutor encaja como puerta de entrada al material, no como sustituto del preparador. Puede resolver consultas repetitivas, orientar hacia un tema y sugerir práctica relacionada. La decisión pedagógica, la interpretación sensible y la actualización del curso necesitan una responsabilidad humana identificable.
- Decidir qué materiales son oficiales y cuándo pasan a estar publicados.
- Resolver dudas interpretativas, cambios normativos y excepciones relevantes.
- Revisar consultas sin respuesta y detectar lagunas recurrentes del contenido.
- Explicar al alumnado el alcance del tutor y cómo comprobar las evidencias.
- Retirar o corregir fuentes cuando dejan de ser válidas.
Empieza con un piloto que se pueda auditar
Selecciona una unidad estable, un grupo pequeño de preguntas frecuentes y una persona responsable de revisar resultados. Define antes qué cuenta como respuesta respaldada, abstención correcta y fallo de permisos. Conserva las consultas de prueba y los enlaces devueltos para poder repetirlas después de un cambio.
No conviertas el piloto en una promesa de ahorro o mejora académica. Primero comprueba el recorrido: pregunta, respuesta, evidencia, vuelta al material y escalado. Si funciona, amplía el corpus por bloques y repite los mismos casos de aceptación. Esa progresión produce evidencia operativa sin ocultar los límites del sistema.
Fuentes consultadas
Estas referencias sustentan los principios indicados. No certifican Tu Mejor Examen ni garantizan resultados del producto.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Lewis et al., arXiv
Fuente original para el concepto de combinar recuperación y generación.
Preguntas frecuentes
¿Un tutor con RAG responde siempre con precisión?
No. Recuperar contexto ayuda a fundamentar y verificar, pero una respuesta puede usar un fragmento inadecuado o interpretarlo mal. Hay que probar evidencia, límites y actualización.
¿Debe consultar internet además del temario?
Depende del alcance aprobado. Para un tutor del curso, limitarse a materiales publicados facilita permisos, mantenimiento y revisión. Si se añaden fuentes externas, deben mostrarse y gobernarse por separado.
¿Qué aporta el preparador?
Selecciona y actualiza las fuentes, resuelve interpretaciones, revisa fallos y decide cómo encaja el tutor en el aprendizaje. La asistencia automática no sustituye esa responsabilidad.
Comprueba el recorrido con una demo
Revisa cómo se presenta una respuesta, su evidencia y el límite cuando falta respaldo. La demo usa datos de ejemplo.
Explorar el Tutor IA