Investigación y sistemas de producto
Especialista en evaluación
Este rol se centra en decidir qué significa “bueno” en medición de IA y hacerlo repetible. Diseñarás rúbricas, flujos de revisión y controles para separar señales útiles de ruido convincente.
Resumen del rol
Define estándares de calidad para evaluar respuestas de IA, citas y señales de visibilidad, y construye la revisión humana que mantiene honestos los resultados.
Por qué existe este rol
A medida que crece el volumen de prompts, también crece la distancia entre salida bruta e insight fiable. Necesitamos una disciplina de evaluación real, no una casilla de QA.
En qué trabajarás
- Diseñar rúbricas para calidad de respuesta, precisión de citas y posicionamiento.
- Ejecutar revisiones humanas estructuradas sobre salidas generadas por IA.
- Detectar patrones de error y convertirlos en mejoras de producto.
- Trabajar con investigación y producto para hacer operativos los estándares.
Cómo se ve un gran encaje
- Experiencia creando guías de anotación, rúbricas o flujos de revisión de calidad.
- Instinto analítico para detectar sesgo, inconsistencia y ruido de etiquetado.
- Comodidad trabajando con salidas de LLMs y sus fallos habituales.
- Escritura clara para explicar por qué un estándar es correcto.
Qué te entusiasmará aquí
- Definir calidad en una categoría que aún no tiene benchmarks claros.
- Construir procesos que aumentan la confianza en todo el producto.
- Trabajar entre juicio humano y análisis automatizado.
Primeros 90 días
- Auditar las rúbricas existentes y encontrar brechas de cobertura.
- Diseñar un flujo de revisión para un tipo central de análisis.
- Mejorar de forma medible la consistencia entre revisores.
Proceso de hiring
El proceso es intencionalmente corto, directo y anclado en el trabajo real.
Solicitud
Envíanos tu trayectoria, trabajo relevante y por qué este rol tiene sentido para ti.
Conversación base
Una conversación centrada en tu trabajo, tu criterio y el rol.
Profundización específica del rol
Una conversación o ejercicio que se parezca al trabajo real más que a un bucle genérico.
Conversación con el fundador
Una charla final sobre estándares, ambición y cómo sería el éxito aquí.
Decisión
Cerramos el proceso con claridad y nos movemos rápido cuando hay convicción.
Especialista en evaluación
Escribe a careers@chatobserver.com con tu trayectoria, trabajo relevante y el rol que te interesa.
careers@chatobserver.com