Benchmark de Curadoria Assistida por IA no WokManager

Comparação reprodutível entre prompt monolítico e pipeline decomposto com validadores e revisão humana

[object Object]
IA e Curadoria Educacional
Sem CEP
Data de Publicação

14/11/2026

Data de Modificação

14/11/2026

Código: TCC 05 · Trilha: Trilha 2: IA e Ciência de Dados · Status: Disponível · Modalidade: Desenvolvimento + Benchmark de IA · Perfil: Individual · Complexidade: Média–Alta · Regime Ético: Sem CEP (Computacional)

1. Contexto e Problema

A autoria de um pacote WOKDEX exige enunciado, manifesto, solução de referência, testes, cenários e mensagem curada. O WokManager já organiza esse trabalho em fases e validadores, mas ainda é necessário verificar se decompor a curadoria em etapas produz pacotes mais tecnicamente e editorialmente aceitáveis do que solicitar o pacote completo em um único prompt. O objetivo não é substituir a pessoa autora por IA: é avaliar a viabilidade de um fluxo humano–IA controlado para apoiar curadoria.

2. O que será feito (Objetivos Técnicos e Escopo)

  1. Congelar 12–20 especificações de exercícios de programação básica, com entradas, restrições e rubrica editorial definidas antes da geração.
  2. Implementar um harness reproduzível para duas condições, com o mesmo modelo, versão, orçamento e tarefas: (a) prompt monolítico; e (b) pipeline WokManager por fases, contexto estruturado e validadores.
  3. Validar schema, compilação, execução de soluções de referência, testes e cenários; revisar os artefatos sem informação sobre a condição de origem quando viável.
  4. Registrar aceite, revisão, rejeição, defeitos críticos, ciclos de validação, tempo humano, tempo de máquina e proveniência.
  5. Analisar resultados e ameaças à validade sem alegar aprendizagem, autonomia editorial ou produtividade universal.

3. Perguntas para você refletir

  • Como garantir que condições monolítica e decomposta recebam entradas e orçamento comparáveis?
  • Quais defeitos tornam um pacote inutilizável, mesmo que o schema seja válido?
  • Como separar validação determinística de julgamento editorial humano?

4. Divisão Sugerida (TCC 1 e TCC 2)

  • TCC 1: revisão de curadoria humano–IA e geração estruturada; rubrica, condições experimentais, conjunto de tarefas e protótipo do harness.
  • TCC 2: implementação do benchmark, execução das condições, revisão dos artefatos, análise quantitativa/qualitativa e redação final.

5. Entregáveis e Métricas de Avaliação

6. Pré-requisitos e Tecnologias Sugeridas

  • Base necessária: Python, Git, JSON/YAML, testes automatizados e interesse em experimentação reprodutível.
  • Tecnologias e conceitos envolvidos: WokManager, APIs/SDKs de LLM, validadores, Docker/ambientes reprodutíveis, rubricas e métricas de qualidade.

7. Origem e Ponto de Partida

  • Origem na pesquisa WOKDEX: Capítulos 4–6 da qualificação, especialmente QP4, Fluxo C e o módulo de curadoria do WokManager.
  • Leitura inicial: diretrizes de interação humano–IA, geração estruturada, documentação do WokManager e protocolo de avaliação QP4.
  • Delimitação: não usa estudantes, não requer CEP e não implementa feedback generativo em tempo de submissão.

8. Como demonstrar interesse

Antes de agendarmos uma conversa, prepare respostas curtas para:

  1. Por que esse tema chamou sua atenção?
  2. Que tipo de validador ou métrica você gostaria de implementar primeiro?
  3. Qual sua disponibilidade semanal estimada para o TCC?
De volta ao topo