Specjalista ds. oceny

Wraz ze wzrostem liczby promptów zwiększa się różnica między surowym wynikiem a wiarygodnym wnioskiem. Potrzebujemy osoby traktującej jakość oceny jako dyscyplinę, a nie pole na liście kontrolnej.

• Projektowanie i utrzymywanie kryteriów oceny jakości odpowiedzi, dokładności cytowań i sygnałów pozycjonowania.
• Prowadzenie uporządkowanych procesów ręcznego przeglądu do oznaczania i kontroli wyników analiz generowanych maszynowo.
• Wykrywanie systematycznych wzorców błędów w bieżącym procesie oceny i proponowanie działań naprawczych.
• Współpraca z zespołami badań i produktu przy przekładaniu wyników oceny na ulepszenia produktu.

• Duże doświadczenie w projektowaniu instrukcji oznaczania, kryteriów oceny lub procesów przeglądu jakości.
• Silne umiejętności analityczne pozwalające wykrywać stronniczość, niespójność i szum w etykietach uporządkowanych zbiorów danych.
• Swoboda pracy z wynikami LLM i zrozumienie ich typowych błędów w praktyce.
• Umiejętność jasnego pisania i uzasadniania, dlaczego dany standard jakości jest właściwy.

• Określanie znaczenia wysokiej jakości w kategorii produktu bez ustalonych punktów odniesienia.
• Tworzenie infrastruktury oceny zwiększającej wiarygodność całego produktu.
• Praca na styku ludzkiej oceny i automatycznej analizy.

1. 01Przegląd bieżących kryteriów oceny i wskazanie najważniejszych luk w zakresie lub spójności.
2. 02Zaprojektowanie uporządkowanego procesu przeglądu dla co najmniej jednego podstawowego typu analizy.
3. 03Dostarczenie mierzalnej poprawy zgodności między osobami oceniającymi w kluczowym zadaniu.