Visão do Professor: Análise Crítica e Estratégia Editorial dos TPs

Ecossistema WOKDEX — Inteligência Artificial II

Guia confidencial e estratégico do professor para mediação pedagógica, diagnóstico de limitações empíricas e publicação do Mega-Artigo dos Trabalhos Práticos WOKDEX.
Published

03/09/2026

Modified

02/09/2026

Documento Confidencial & Estratégico: Este material é destinado ao uso exclusivo do professor da disciplina para balizar o planejamento didático, a mediação em sala de aula e a consolidação dos resultados científicos no artigo final.

🧭 1. O Dilema Epistemológico & A Resposta Científica

A Dúvida Inicial do Professor:

“A análise de enunciados de programação para achar as temáticas (TP1) e a recuperação via RAG (TP2) refletem a realidade ou correm risco alto de estarem longe dela? Será que é um experimento realmente bom para a disciplina e para publicação de um artigo?”

A Resposta Racional e Metodológica:

Sim, o experimento corre riscos empíricos reais e conhecidos — e é EXATAMENTE por isso que ele é pedagogicamente extraordinário e altamente publicável.

Em Inteligência Artificial aplicada à Educação de Computação (AIED / CS Education), datasets lúdicos onde modelos ingênuos atingem 99% de acurácia são pedagogicamente estéreis e cientificamente irrelevantes. O que torna a tríade TP1 \(\to\) TP2 \(\to\) TP3 rica é o confronto direto dos alunos de Engenharia com as fronteiras e limitações reais do estado da arte.

🔬 2. Diagnóstico Técnico por Trabalho Prático

2.1. TP1 — O Classificador de Habilidades (Redes Neurais & MLOps)

  • O Fenômeno do Abismo Semântico (Semantic Gap):
    • O enunciado de programação é uma narrativa contextual (“Alice tem caixas de brinquedos…”). O algoritmo ótimo (Programação Dinâmica, Guloso, Backtracking) é uma propriedade matemática da relação entre subproblemas e restrições temporais, não uma palavra que aparece no texto.
  • Comportamento Empírico Esperado:
    • Tags Sintáticas/Estruturais (Tree, Graph, String, Matrix): \(F_1 \ge 75\% - 85\%\). O texto cita explicitamente árvores ou matrizes.
    • Tags Estratégicas/Conceituais (Dynamic Programming, Greedy, Two Pointers): \(F_1 \le 35\% - 45\%\).
  • Diretriz de Avaliação do Professor:
    • A régua de \(F_1\)-Macro foi calibrada realisticamente no material: \(\ge 35\%\) (Mínimo), \(\ge 50\%\) (Bom), \(\ge 65\%\) (Excelente).
    • O professor deve avaliar a qualidade da análise de erro no Draft 1 (os alunos explicarem por que a rede errou) em vez de apenas o número bruto.

2.2. TP2 — O Oráculo RAG (Bancos Vetoriais & Spring AI)

  • O Fenômeno da Similaridade Superficial (Surface Similarity Trap):
    • Embeddings densos agrupam textos por semântica temática geral. Um problema de “dividir bombons” ficará próximo de outros problemas de “doces”, mesmo que o primeiro seja Mochila 0/1 e o segundo seja Guloso.
  • O Fenômeno da Transferência Negativa (Negative Transfer):
    • Se o RAG injetar um problema com historinha idêntica mas algoritmo oposto, ele pode atuar como um “distrator” para a LLM no TP3.
  • Por que o RAG ainda é indispensável?
    1. Para queries conceituais diretas (“inverter lista encadeada”), a precisão é \(> 85\%\).
    2. Ele fornece o template estrutural de como escrever um testScenario e uma helpTip sem spoiler.
    3. O LLM no TP3 possui raciocínio para filtrar a historinha e focar nas restrições.
  • Status Atual da Disciplina: Mantida a stack em Java (Spring Boot 3.x + Spring AI + PGVector). O professor já possui os materiais, starters de código e laboratórios estruturados em Java, garantindo controle pleno sobre a condução pedagógica da turma.
  • Proposta Alternativa Analisada (Python Unificado):
    • Conceito: Unificar todo o pipeline da disciplina em Python (FastAPI + ChromaDB / LangChain + Pytest), mantendo o mesmo contrato REST (GET /search?q=...&k=3).
    • Vantagens Potenciais: Elimina a troca de ecossistema tecnológico entre TPs, reduz o consumo de RAM dos contêineres para \(< 100\text{ MB}\) e aproveita a familiaridade dos alunos com o ecossistema do TP1 e TP3.
    • Motivo da Pausa: Como o professor já possui todo o ecossistema de apoio e starter pronto em Java Spring Boot, a stack Java segue como padrão oficial neste momento.
  • Diretriz de Decisão: A proposta fica devidamente arquivada neste documento. Caso o professor observe atrito cognitivo desnecessário com o ecossistema JVM/Maven na execução do TP2 durante o semestre, a migração para Python poderá ser adotada como refinamento em ofertas futuras.

2.3. TP3 — O Agente Autônomo e Curador WOKDEX

  • O Papel do Agente:
    • Integra o TP1 (predict_skills) para triagem inicial e o TP2 (search_similar_cases) para inspiração de cenários.
    • Utiliza raciocínio socrático (Chain-of-Thought) simulando o “Aluno Novato” que erra de propósito para gerar cenários do tipo MISCONCEPTION.
    • Garante \(100\%\) de conformidade sintática via Data Anchoring e laço fechado de Self-Healing contra o wok-problem.json.

🛡️ 3. Estratégia de Sobrevivência do TP3: As APIs “Golden” de Fallback

3.1. O Risco de Bloqueio em Cascata

Como o TP3 depende 100% da invocação remota às APIs REST do TP1 (POST /predict) e TP2 (GET /search), existe um risco sistêmico clássico de arquiteturas em microsserviços: se uma equipe falhar na manutenção dos contêineres do TP1 ou TP2, ela ficaria completamente travada no TP3.

3.2. O Impacto no Ecossistema de Pesquisa

Se equipes ficarem travadas sem conseguir rodar o Agente: 1. Elas não geram os arquivos metadata.yaml pedagógicos. 2. A rodada de Validação Cruzada no Demoday fica desbalanceada. 3. A equipe da Trilha IC (Simulated Students) perde massa de dados de teste para auditar com o Agent Novice, enfraquecendo a base empírica dos artigos.

3.3. As Tarefas e Infraestrutura do Professor (Golden Fallback)

Para eliminar esse ponto único de falha, o professor assume a seguinte tarefa estratégica: 1. Subir e Manter os Contêineres de Referência (Golden APIs): * tp1-golden-api (FastAPI / Keras): Endpoint canônico rodando localmente/nuvem para servir POST /predict. * tp2-golden-api (Spring Boot / PGVector): Endpoint canônico rodando para servir GET /search. 2. Definição da Política Pedagógica de Contingência: * Se o microsserviço de uma equipe quebrar, os alunos podem apontar a URL do @tool do Agente para a API Golden do professor. * Regra de Penalidade: O grupo sofre uma penalidade proporcional predefinida na pontuação de integração do TP1/TP2 anterior (ex.: \(-20\%\) a \(-30\%\) na fração de integração), mas preserva 100% da pontuação do TP3 (Agente, Tool Calling, CoT, Data Anchoring e Demoday). 3. Resultado: Garantia de 100% de sobrevivência da turma até a fase final, com todos os grupos gerando YAMLs válidos e dados para a pesquisa.

👨‍🏫 4. Guia de Mediação Pedagógica (Como Conduzir em Sala)

Quando os alunos começarem a testar o TP1 e TP2 e relatarem: “Professor, a minha rede neural só tirou F1 de 52%! Meu modelo está quebrado?”, o professor deve mediar com a seguinte postura:

Note4.1. Roteiro de Mediação Socrática do Professor
  1. Validação e Provocação: > “Excelente observação! O seu modelo não está quebrado. Abram a matriz de confusão: em quais classes ele tirou 90% e em quais tirou 20%? Por que uma rede treinada em palavras acerta ‘Árvore’ e erra ‘Programação Dinâmica’?”
  2. Conexão com a Engenharia: > “No mundo real da Engenharia de Computação, dados textuais brutos têm ruído. Se o seu modelo de 2ms acerta 15 das 25 classes com custo zero, ele é uma ferramenta de triagem valiosa. No TP3, veremos como o LLM entra para resolver o que o TF-IDF não enxerga.”
  3. Foco na Escrita Científica: > “Documentem exatamente essa discrepância no README do TP1. Essa análise crítica sobre o Abismo Semântico será fundamental quando vocês forem redigir a seção de resultados do Artigo Final no TP3.”

4.2. Gestão de Gargalos e Avaliação por Pareamento (Pair Programming)

Um risco clássico em trabalhos práticos com equipes de 4 alunos é o bloqueio sequencial (ex.: a Dupla de Backend parar de trabalhar porque a Dupla de Machine Learning ainda está iterando hiperparâmetros).

O professor deve guiar a turma com as seguintes diretrizes operacionais:

  1. Desenvolvimento Baseado em Contratos (API-First & Mocks):
    No primeiro dia de cada sprint, as duplas acordam os Schemas/DTOs. A Dupla 2 cria um modelo mock/stub e constrói a API, o Dockerfile e os testes automatizados imediatamente, sem esperar pelo artefato final de IA.
  2. Avaliação Solidária e Justa na Dupla:
    Em vez de isolar cada aluno em silos impermeáveis, o professor avalia as duplas em conjunto nas sprints de Engenharia de Dados/ML e DevOps/Backend. Commits conjuntos, code reviews e commits cruzados na branch da dupla evidenciam Pair Programming real e são altamente pontuados.
  3. Cultura de Ajuda Mútua:
    Reforçar em sala que, embora existam papéis focais, a equipe é uma entidade única. Alunos que destravam parceiros e colaboram ativamente fortalecem a nota coletiva do grupo e a qualidade do Artigo Final.

📚 5. A Estratégia de Publicação Científica (O Artigo Consolidado)

Para reduzir a sobrecarga burocrática de escrita durante o semestre, não exigimos 3 artigos separados dos alunos. A produção científica é estruturada de forma progressiva e centralizada:

  1. TP1: Entrega de código, Docker, testes e relatório técnico objetivo no README.md (convergência, \(F_1\)-Macro e matriz de confusão).
  2. TP2: Entrega de código, Docker Compose, testes e relatório técnico no README.md (Precision@3, MRR e latência P95).
  3. TP3 (O Capstone): O grupo unifica todas as descobertas em um Artigo Científico Consolidado (4 a 6 páginas em formato SBC).

A partir dos 10 artigos consolidados e dos dados de execução das equipes, o professor terá a base empírica completa para submeter o artigo final a congressos de primeiro escalão (SBIE, RBIE, WEI, SIGCSE, AIED).

5.1. Estrutura do Artigo Principal

  • Título Proposto:
    Do Abismo Semântico aos Agentes com Auto-Cura: Um Estudo Empírico de Abordagens Clássicas, RAG e LLMs na Geração de Metadados Pedagógicos para Juízes Online
  • Veículo Alvo: SBIE (Simpósio Brasileiro de Informática na Educação) / RBIE (Revista Brasileira de Informática na Educação).

5.2. Questões de Pesquisa Formais (\(RQ_1\) a \(RQ_4\))

Questão Hipótese Investigada Evidência nos TPs dos Alunos
\(RQ_1\) (NLP & Abismo Semântico) Modelos supervisionados clássicos sofrem degradação seletiva em classes conceituais (\(F_1 < 40\%\)), mas são eficientes em classes estruturais (\(F_1 > 80\%\)). Tabela comparativa Baseline vs. MLP (README do TP1 de todas as equipes).
\(RQ_2\) (RAG & Transferência Negativa) A recuperação vetorial densa por linguagem natural sofre de viés temático, exigindo enriquecimento por restrições numéricas. Precision@3 e análise de distratores do Golden Test Set (README do TP2).
\(RQ_3\) (Data Anchoring & Self-Healing) Prompting ingênuo de LLM gera \(< 60\%\) de esquemas válidos; com Self-Healing e JSON Schema, a conformidade atinge \(100\%\) com \(\le 2\) tentativas. Logs de execução do validador Pydantic no TP3.
\(RQ_4\) (Arquitetura MLOps Híbrida) Pipelines híbridos (triagem rápida via MLP + contextualização RAG + síntese LLM) otimizam o trade-off entre latência, custo e qualidade pedagógica. Tabela comparativa final e Artigo Consolidado do TP3.

5.3. Tabela de Engenharia Consolidada para o Artigo

Componente Latência P95 Custo/Req \(F_1\) Sintático \(F_1\) Conceitual / Relevância
TP1 (MLP Keras) \(\approx 2\text{ ms}\) R$ 0,00 \(82,4\%\) (Tree, String) \(34,1\%\) (DP, Greedy)
TP2 (RAG Spring) \(\approx 42\text{ ms}\) R$ 0,0001 \(P@3 = 88,0\%\) \(P@3 = 58,0\%\) (viés de metáfora)
TP3 (Agente CoT) \(\approx 3.200\text{ ms}\) R$ 0,012 \(94,5\%\) \(86,2\%\) (dedução lógica)

🗓️ 6. Roteiro de Consolidação Pelo Professor (Semana a Semana)

  1. Semana 4 (Pós-TP1): Compilar a tabela de F1 por classe das 10 equipes a partir dos README.md e da avaliação cega do Docker.
  2. Semana 9 (Pós-TP2): Rodar o script de teste cego no endpoint /search dos grupos. Tabular os resultados de Precision@3 por modelo de embedding.
  3. Semana 15 (Demoday / Pós-TP3): Coletar os Artigos Consolidados e os YAMLs gerados. Rodar o script de auditoria de regras pedagógicas (Anti-Spoiler e Triggering).
  4. Encerramento: Convidar os alunos destaque (melhores métricas e textos mais maduros) para compor a equipe oficial de coautoria do artigo final consolidado.
Back to top