Pesquisa e sistemas de produto
Especialista em avaliação
Este papel transforma qualidade em algo repetível. Você criará rubricas, fluxos de revisão e controles que separam sinais úteis de ruído convincente.
Resumo da vaga
Defina padrões de qualidade para avaliar respostas de IA, citações e sinais de visibilidade, com uma revisão humana estruturada.
Por que esta vaga existe
Quanto maior o volume de prompts, maior a distância entre saída bruta e insight confiável. Precisamos de disciplina de avaliação, não só QA no fim.
Primeiros 90 dias
Auditar as rubricas atuais e encontrar lacunas importantes.
Por que esta vaga existe
Quanto maior o volume de prompts, maior a distância entre saída bruta e insight confiável. Precisamos de disciplina de avaliação, não só QA no fim.
No que você vai trabalhar
- Criar rubricas para qualidade de resposta, precisão de citações e posicionamento.
- Conduzir revisões humanas estruturadas de saídas geradas por IA.
- Encontrar padrões de erro e convertê-los em melhorias de produto.
- Tornar padrões de avaliação operacionais junto com pesquisa e produto.
Como é um bom encaixe
- Experiência com guias de anotação, rubricas ou revisão de qualidade.
- Olhar analítico para viés, inconsistência e ruído de rotulagem.
- Escrita clara para explicar por que um padrão é o correto.
- Conforto com saídas de LLMs e seus modos comuns de falha.
O que vai te empolgar aqui
- Definir qualidade em uma categoria sem benchmarks maduros.
- Criar processos que aumentam a confiança em todo o produto.
- Trabalhar entre julgamento humano e análise automatizada.
Primeiros 90 dias
- 01Auditar as rubricas atuais e encontrar lacunas importantes.
- 02Desenhar um fluxo de revisão para uma análise central.
- 03Melhorar de forma mensurável a consistência entre revisores.
Processo seletivo
O processo é intencionalmente curto, direto e ancorado no trabalho real.
- 1
Candidatura
Envie seu histórico, trabalhos relevantes e por que essa vaga faz sentido para você.
- 2
Conversa inicial
Uma conversa focada no seu trabalho, no seu julgamento e na vaga.
- 3
Aprofundamento específico da função
Uma conversa ou exercício que se parece mais com o trabalho real do que com um loop genérico.
- 4
Conversa com fundador
Uma conversa final sobre padrão, ambição e como o sucesso se pareceria aqui.
- 5
Decisão
Fechamos o loop com clareza e andamos rápido quando existe convicção.
Precisa de contexto antes de se candidatar? [email protected]
Especialista em avaliação
Escreva para [email protected] com seu histórico, trabalhos relevantes e a vaga de interesse.
Envie seus materiais para [email protected] e inclua a vaga de interesse.
[email protected]