Investigación y sistemas de producto
Especialista en evaluación
Este rol se centra en decidir qué significa “bueno” en medición de IA y hacerlo repetible. Diseñarás rúbricas, flujos de revisión y controles para separar señales útiles de ruido convincente.
Resumen del rol
Define estándares de calidad para evaluar respuestas de IA, citas y señales de visibilidad, y construye la revisión humana que mantiene honestos los resultados.
Por qué existe este rol
A medida que crece el volumen de prompts, también crece la distancia entre salida bruta e insight fiable. Necesitamos una disciplina de evaluación real, no una casilla de QA.
Primeros 90 días
Auditar las rúbricas existentes y encontrar brechas de cobertura.
Por qué existe este rol
A medida que crece el volumen de prompts, también crece la distancia entre salida bruta e insight fiable. Necesitamos una disciplina de evaluación real, no una casilla de QA.
En qué trabajarás
- Diseñar rúbricas para calidad de respuesta, precisión de citas y posicionamiento.
- Ejecutar revisiones humanas estructuradas sobre salidas generadas por IA.
- Detectar patrones de error y convertirlos en mejoras de producto.
- Trabajar con investigación y producto para hacer operativos los estándares.
Cómo se ve un gran encaje
- Experiencia creando guías de anotación, rúbricas o flujos de revisión de calidad.
- Instinto analítico para detectar sesgo, inconsistencia y ruido de etiquetado.
- Comodidad trabajando con salidas de LLMs y sus fallos habituales.
- Escritura clara para explicar por qué un estándar es correcto.
Qué te entusiasmará aquí
- Definir calidad en una categoría que aún no tiene benchmarks claros.
- Construir procesos que aumentan la confianza en todo el producto.
- Trabajar entre juicio humano y análisis automatizado.
Primeros 90 días
- 01Auditar las rúbricas existentes y encontrar brechas de cobertura.
- 02Diseñar un flujo de revisión para un tipo central de análisis.
- 03Mejorar de forma medible la consistencia entre revisores.
Proceso de hiring
El proceso es intencionalmente corto, directo y anclado en el trabajo real.
- 1
Solicitud
Envíanos tu trayectoria, trabajo relevante y por qué este rol tiene sentido para ti.
- 2
Conversación base
Una conversación centrada en tu trabajo, tu criterio y el rol.
- 3
Profundización específica del rol
Una conversación o ejercicio que se parezca al trabajo real más que a un bucle genérico.
- 4
Conversación con el fundador
Una charla final sobre estándares, ambición y cómo sería el éxito aquí.
- 5
Decisión
Cerramos el proceso con claridad y nos movemos rápido cuando hay convicción.
¿Necesitas contexto antes de aplicar? [email protected]
Especialista en evaluación
Escribe a [email protected] con tu trayectoria, trabajo relevante y el rol que te interesa.
Envía tus materiales a [email protected] e incluye el rol que te interesa.
[email protected]