Participe do Project Spearmint, uma iniciativa multilíngue de avaliação de respostas de IA que analisa saídas de grandes modelos de linguagem (LLMs) em diferentes idiomas, com foco em um dos dois aspectos: Tom ou Fluência. Você deve ser falante nativo do idioma-alvo e ter excelente compreensão de inglês.

Como avaliador(a), você revisará conjuntos de dados curtos e pré-segmentados e classificará respostas geradas pelos modelos com base em critérios específicos de qualidade. Seu trabalho ajudará a validar estruturas de avaliação e a estabelecer referências de qualidade para melhorias futuras dos modelos.

Principais responsabilidades:
– Avaliar as respostas dos modelos no seu idioma nativo, com foco em Tom ou Fluência.
– Julgar a qualidade geral, a precisão e a naturalidade de cada resposta.
– Ler o enunciado do usuário e duas respostas dos modelos e, em seguida, atribuir uma nota a cada uma em uma escala de cinco pontos.
– Fornecer explicações breves para quaisquer avaliações incomumente altas ou baixas.

Visão geral do projeto:
Lote 1 – Tom: Determinar se as respostas são úteis, perspicazes, envolventes e justas. Identificar problemas como formalidade inadequada, tom condescendente, viés ou outros problemas de tonalidade.
Lote 2 – Fluência: Verificar correção gramatical, clareza, coerência e o quão naturalmente a resposta flui.

Esta é uma oportunidade baseada em projeto por meio da CrowdGen. Se você for selecionado(a), a CrowdGen enviará um e-mail com instruções para criar uma conta usando seu endereço de e-mail de inscrição. Você precisará fazer login, redefinir sua senha, concluir os requisitos de configuração e, então, prosseguir com sua candidatura para a vaga.

Ajude a moldar o futuro da IA—candidate-se hoje e contribua de casa.

US$ 3,70–US$ 3,70 por hora