Calibração, Abstenção e Benchmark do Índice de Confiança Diagnóstica (ICD) sobre Cenários Concorrentes

Benchmark e calibração empírica de pesos e limiares de abstenção para desambiguação diagnóstica no motor WOKDEX

[object Object]
Feedback Formativo
Análise de Resultados com IA
Sem CEP
Data de Publicação

14/11/2026

Data de Modificação

14/11/2026

Código: TCC 01 · Trilha: Trilha 1: Sistemas e Juízes · Status: Disponível · Modalidade: Desenvolvimento + Benchmark Experimental · Perfil: Individual · Complexidade: Média–Alta · Regime Ético: Sem CEP (Computacional)

1. Contexto e Problema

A política congelada do baseline WOKDEX (HMD v1) utiliza exclusivamente a taxa de falha \(r_s\) de um cenário individual para modular a diretividade do retorno formativo. Contudo, conforme apontado em cap04-metodologia.tex e no documento arquivado apendice-h-logica-heuristica-pre-hmd-v1.tex, quando uma submissão dispara múltiplos cenários concorrentes (por exemplo, falha simultânea em FUNCTIONAL e MISCONCEPTION) ou possui controles ausentes, a taxa \(r_s\) isolada não discrimina ambiguidades e pode gerar falsos diagnósticos.

O Índice de Confiança Diagnóstica (ICD) foi formulado matematicamente na tese com porta de elegibilidade \(G_k\), componentes \(M_k\), \(D_k\), \(U_k\) e pesos \(w_M, w_D, w_U\), mas carece de calibração empírica sistemática de seus pesos e limiares de abstenção categorial antes de substituir ou complementar a HMD v1 em produção.

2. O que será feito (Objetivos Técnicos e Escopo)

  1. Implementar um motor de referência configurável em Python que execute tanto a HMD v1 (\(r_s\)) quanto o ICD parametrizado (\(G_k, M_k, D_k, U_k\) e política de abstenção categorial);
  2. Construir uma suíte controlada de casos sintéticos com gabaritos rotulados (oráculos) contemplando erros simples, falhas compostas, controles negativos e cenários ambíguos;
  3. Executar busca sistemática e estudo de ablação sobre pesos (\(w_M, w_D, w_U\)) e limiares de abstenção;
  4. Comparar HMD v1 vs. ICD via precisão, revocação, \(F_1\)-score por categoria, matriz de confusão e taxa de abstenção apropriada em cenários ambíguos.

3. Perguntas para você refletir

Se você se identifica com as questões abaixo, este tema pode ser uma boa escolha:

  • Quando duas hipóteses diagnósticas (FUNCTIONAL vs. MISCONCEPTION) empatam ou se sobrepõem nos casos de teste, quando é melhor o juiz se abster de emitir uma dica específica do que arriscar um diagnóstico errado?
  • Qual o impacto relativo de cada componente do ICD (\(M_k, D_k, U_k\)) na discriminação de falhas compostas?
  • Como projetar uma suíte de sondas sintéticas que garanta reprodutibilidade sem depender de coleta com turmas reais?

4. Divisão Sugerida (TCC 1 e TCC 2)

  • TCC 1: Revisão bibliográfica (diagnóstico baseado em testes e incerteza em avaliação automática), formalização do motor ICD e construção do protocolo de benchmark e da base de sondas rotuladas.
  • TCC 2: Implementação da suíte de benchmark, experimentos de calibração/ablação, testes automatizados de regressão e redação final com pacote de reprodutibilidade.

5. Entregáveis e Métricas de Avaliação

6. Pré-requisitos e Tecnologias Sugeridas

  • Base necessária: domínio de Python, Estruturas de Dados, noções de probabilidade/estatística e familiaridade com juízes online.
  • Tecnologias e conceitos envolvidos: pytest, análise quantitativa (scikit-learn / numpy / pandas), formalização de métricas diagnósticas e estudos de ablação.

7. Origem e Ponto de Partida

  • Origem na pesquisa WOKDEX:
    • cap04-metodologia.tex (Políticas HMD e formulação do ICD: \(G_k, M_k, D_k, U_k, w_M, w_D, w_U\));
    • cap05-implementacao.tex (§ 5.4.1 — estado preliminar do ICD frente ao baseline congelado \(r_s\));
    • apendices/arquivo-editorial/apendice-h-logica-heuristica-pre-hmd-v1.tex (estruturas Submission, ProblemMetadata, DiagnosisResponse, política fail-fast);
    • planejamento-final/roadmap-artigos-apendices-arquivados.md (artigo técnico de benchmark WOKDEX).
  • Consulte também o guia de Metodologia e Ética antes da primeira reunião.

8. Como demonstrar interesse

Antes de agendarmos uma conversa, leia as seções acima e o guia metodológico, preparando respostas curtas para:

  1. Por que esse tema chamou sua atenção?
  2. Qual parte do problema (modelagem matemática, suíte de sondas ou estudo de ablação) você gostaria de explorar primeiro?
  3. Qual sua disponibilidade semanal estimada para o TCC?
De volta ao topo