Relatório Diagnóstico e Pedagógico — Prova Escrita 1

Autópsia das Questões, Equívocos Recorrentes e Estatísticas Consolidadas (IA II - 2026.2)

Data de Publicação

27/10/2026

Data de Modificação

22/10/2026

Nota

← Voltar ao Quadro de Resultados e Auditoria da Prova 1 | Planilha de Notas (CSV)

1. Visão Geral Executiva

A Prova Escrita 1 (Modelo A) foi concebida para avaliar o domínio dos estudantes de Engenharia de Computação sobre os fundamentos críticos de aprendizado de máquina prático e profundo cobertos no Módulo 1 da disciplina. A avaliação fugiu intencionalmente de memorização de definições, exigindo a resolução de cinco estudos de caso de engenharia em cenários do mundo real:

  1. Questão 1: Triagem clínica com dados heterogêneos (interpretação de curvas de aprendizado, sobreajuste na época 8, pré-processamento tabular e retropropagação).
  2. Questão 2: Inspeção visual industrial sob mudança de turnos (convoluções locais, transfer learning, congelamento de camadas e diagnóstico de covariate shift vs ruído de anotação).
  3. Questão 3: Sistema hospitalar de alerta crítico (leitura quantitativa de curvas de calibração, assimetria de custos de falsos negativos e fadiga de alarmes operacionais).
  4. Questão 4: Motor de busca e recuperação de conhecimento jurídico/normativo (embeddings estáticos vs contextuais, limitações da similaridade de cosseno, métricas de ranking em IR e busca híbrida com BM25).
  5. Questão 5: Assistente generativo confiável com política formal de abstenção (recusa de resposta por duplo limiar \(\tau_1\) e \(\tau_2\), resolução de conflitos normativos por metadados e telemetria de abstenção).

Indicadores Globais Consolidados

Indicador Valor Obtido Diagnóstico Pedagógico
Discentes Avaliados 33 discentes 100% de presença em ambas as turmas
Nota Média Global 15,04 / 25,0 (60,2%) Desempenho satisfatório na média da turma, superando o corte de aprovação
Mediana Global 13,80 / 25,0 Indica ligeira assimetria à direita (concentração de notas nas faixas intermediárias)
Desvio Padrão ± 6,88 pontos Elevada dispersão: coexistem estudantes com domínio quase perfeito (> 24,0) e estudantes com lacunas severas (< 10,0)
Maior Nota Registrada 24,9 / 25,0 (99,6%) Daniel Caetano de Assis (Turma 2)
Menor Nota Registrada 4,0 / 25,0 (16,0%) Vitor Mateus Morais Silva (Turma 2)
Taxa de Sucesso (\(\ge\) 15,0) 16 / 33 (48,5%) Praticamente metade da turma demonstrou competência plena para engenharia
Taxa de Atenção (< 15,0) 17 / 33 (51,5%) Estudantes que necessitam de intervenção e consolidação nas primeiras semanas do Módulo 2

2. Documentação e Interpretação dos Gráficos Analíticos

Os seis gráficos de alta resolução gerados a partir da base oficial de notas (notas_prova1.csv) encontram-se salvos no diretório /avaliacoes/provas/prova-1/graficos/ e revelam padrões diagnósticos essenciais:

Gráfico 1: Distribuição das Notas Finais e Curva de Densidade

Distribuição Global das Notas Finais

Distribuição Global das Notas Finais
  • Interpretação: A curva de densidade estimada (KDE) exibe uma distribuição bimodal:
    • Um pico expressivo na faixa de excelência (21 a 25 pontos), correspondendo a 30,3% da turma (10 alunos) que demonstraram articulação matemática e conceitual impecável.
    • Um segundo platô nas faixas de 10 a 14 pontos (Regular) e um vale na cauda inferior com 8 alunos (24,2%) abaixo de 10 pontos (Insuficiente).
  • Linha de Corte (15,0 pontos): 16 alunos (48,5%) superaram a linha tracejada vermelha de aproveitamento satisfatório.

Gráfico 2: Desempenho e Dispersão por Questão (Q1 a Q5)

Desempenho e Dispersão por Questão

Desempenho e Dispersão por Questão
  • Interpretação:
    • Questão 1 (Média: 3,74): Foi a questão com o melhor desempenho da prova e a menor dispersão. Nenhum aluno zerou a questão.
    • Questões 2 e 3 (Médias: 2,99 e 3,00): Apresentam medianas idênticas em 3,0 pontos, refletindo bom domínio conceitual dos compromissos operacionais de engenharia, com perda de pontos em rigores estatísticos pontuais.
    • Questão 4 (Média: 2,85): Dispersão moderada; 4 alunos zeraram por ausência de resposta.
    • Questão 5 (Média: 2,45): A questão com menor média e maior dispersão, com 9 alunos obtendo nota zero.

Gráfico 3: Comparativo Detalhado entre Turma 1 (Manhã) e Turma 2 (Tarde)

Comparativo Detalhado entre Turmas

Comparativo Detalhado entre Turmas
  • Interpretação:
    • Nota Global: A Turma 1 (Manhã, \(N=15\)) obteve média de 15,53 pontos (mediana 16,0), enquanto a Turma 2 (Tarde, \(N=18\)) registrou média de 14,63 pontos (mediana 13,65).
    • Comportamento por Questão:
      • A Turma 1 superou a Turma 2 nas Questões 1 (3,91 vs 3,60), 3 (3,09 vs 2,93) e 4 (2,96 vs 2,76).
      • Ambas empataram virtualmente na Questão 2 (3,01 vs 2,98) e Questão 5 (2,47 vs 2,43).
      • A Turma 2 apresentou maior polarização: contém tanto as maiores notas da disciplina (24,9 e 24,4) quanto as quatro menores notas registradas na avaliação (abaixo de 5,0).

Gráfico 4: Matriz de Correlação Linear entre Questões (Pearson)

Matriz de Correlação entre Questões

Matriz de Correlação entre Questões
  • Interpretação: Todos os coeficientes de correlação de Pearson são positivos e altamente significativos (\(r > 0,66\)):
    • Forte acoplamento entre Q2 e Q3 (\(r = 0,868\)): Ambas as questões demandavam discernimento sobre falhas do modelo em ambiente de produção (mudanças ambientais dia/noite e descalibração hospitalar). O aluno que domina o conceito de distribuição empírica em um cenário domina também no outro.
    • Forte acoplamento entre Q4 e Q5 (\(r = 0,850\)): Ambas tratavam do ecossistema de Recuperação de Informação e RAG (busca vetorial densa, escores de similaridade e mecanismos de abstenção).
    • Q1 como preditor estrutural (\(r = 0,811\) com Q2 e \(r = 0,799\) com Q3): O domínio sobre curvas de treino/validação, sobreajuste e métricas clínicas é o pré-requisito cognitivo para o sucesso em todas as demais questões da prova.

Gráfico 5: Composição do Nível de Domínio e Taxa de Zeros por Questão

Composição do Nível de Domínio e Taxa de Zeros

Composição do Nível de Domínio e Taxa de Zeros
  • Interpretação:
    • Q1: 69,7% dos discentes obtiveram pontuação Plena (\(\ge 70\%\)) e 0,0% de zeros.
    • Q2: 45,5% de pontuação Plena, 42,4% de pontuação Média e 0,0% de zeros.
    • Q3: 45,5% de pontuação Plena, 45,5% de pontuação Média e 0,0% de zeros.
    • Q4: 45,5% de pontuação Plena e 12,1% (4 alunos) de zeros (abandono por tempo/omissão).
    • Q5: 39,4% de pontuação Plena e 27,3% (9 alunos) de zeros. A taxa expressiva de abandono na última questão aponta diretamente para o fator tempo de prova.

Gráfico 6: Radar de Competências Avaliadas

Radar de Domínio Médio por Competência

Radar de Domínio Médio por Competência
  • Interpretação: O gráfico de teia sintetiza o perfil de competências da turma em relação à linha meta de 60%:
    • Redes MLP & Curvas de Aprendizado (Q1): 74,8% (Domínio amplo e consolidado).
    • Calibração Probabilística & Custos (Q3): 60,1% (Alinhado à meta de corte).
    • Visão Computacional & Transfer Learning (Q2): 59,9% (No limiar da meta).
    • Embeddings & Information Retrieval (Q4): 57,0% (Ligeiramente abaixo da meta).
    • Sistemas RAG & Políticas de Abstenção (Q5): 49,0% (Área crítica de atenção).

3. Raio-X Pedagógico Questão por Questão

A seguir, apresenta-se a autópsia qualitativa detalhada de cada questão, contrastando o gabarito oficial com as respostas reais dos alunos, mapeando acertos recorrentes e equívocos frequentes.

Questão 1 — Triagem com Dados Heterogêneos

  • Tema: Perda de treino vs. validação na Época 8, pré-processamento de tabelas clínicas e retropropagação.
  • Pontuação Máxima: 5,0 pontos | Média da Turma: 3,74 pontos (74,8%) | Desvio Padrão: 1,19
  • Alinhamento Didático: Livro-Texto (Cap. 02, 03, 05) e Laboratórios (Lab 02, 03, 05).

O que foi mais acertado (Pontos Fortes):

  1. Identificação da Época 8: 32 dos 33 alunos apontaram imediatamente que a partir da Época 8 a curva de treino continua caindo enquanto a curva de validação sobe, diagnosticando sobreajuste (overfitting) / memorização de padrões.
  2. Refutação de Produção: Quase a totalidade da turma vetou a implantação em produção, compreendendo que a diminuição contínua da perda de treino isolada não garante capacidade de generalização e causaria danos aos novos pacientes.
  3. Pré-processamento Tabular: Grande maioria prescreveu Normalização / StandardScaler / Z-Score para variáveis numéricas contínuas e One-Hot Encoding (ou embeddings) para categóricas.
  4. Prevenção de Vazamento de Dados (Data Leakage): Estudantes mais atentos (como Pedro Augusto, Thiago Moura e Daniel Caetano) registraram expressamente a regra de aplicar fit_transform no treino e apenas transform na validação e teste.
  5. Métricas Clínicas: Ampla citação do Recall / Sensibilidade e da matriz de confusão como métricas essenciais em detrimento da acurácia simples.

Argumentos Errados Recorrentes e Concepções Alternativas (Misconceptions):

  1. Mecanismo da Retropropagação Reduzido a ‘Ajuste Mágico’: Vários alunos explicaram o backpropagation de forma vaga (“serve para a rede voltar e corrigir os neurônios para acertar”), sem explicitar o cálculo matemático dos gradientes da função de perda via regra da cadeia (chain rule) e a atualização pelo otimizador.
  2. Esquecimento da Reprodutibilidade: No subitem 1.c, diversos estudantes listaram apenas métricas de avaliação, esquecendo de mencionar a fixação de sementes aleatórias (random seeds) e o versionamento do pipeline/hiperparâmetros.
  3. Colapso Linear Fora de Contexto: Estudantes (como Marcela Freitas) responderam que a evidência de confiança era verificar funções de ativação não lineares para evitar o colapso linear. Embora o conceito matemático de colapso linear seja correto e tenha sido ensinado na aula, o item demandava evidências metodológicas externas de validação.

Questão 2 — Inspeção Visual em Condições Novas

  • Tema: CNNs, transfer learning, turno diurno vs. noturno e diagnóstico de falhas operacionais.
  • Pontuação Máxima: 5,0 pontos | Média da Turma: 2,99 pontos (59,9%) | Desvio Padrão: 1,33
  • Alinhamento Didático: Livro-Texto (Cap. 06, 07) e Laboratórios (Lab 07).

O que foi mais acertado (Pontos Fortes):

  1. Justificativa de CNNs: Alunos explicaram com muita clareza a aptidão das CNNs para dados visuais com base na extração hierárquica de características locais (bordas \(\rightarrow\) texturas \(\rightarrow\) peças completas) com filtros deslizantes e compartilhamento de pesos.
  2. Protocolo de Transfer Learning: Excelente domínio sobre o processo de congelamento das camadas base extratoras de modelos pré-treinados generalistas (ImageNet), realizando o treinamento focado da cabeça classificadora densa e posterior descongelamento com taxa de aprendizado reduzida.
  3. Data Augmentation Direcionado: Compreensão da necessidade de aplicar transformações sintéticas de variação de luminosidade, brilho e contraste para simular a iluminação noturna.

Argumentos Errados Recorrentes e Concepções Alternativas (Misconceptions):

  1. Confusão de Diagnóstico Experimental com Teoria de Redes: Em 2.a, o enunciado solicitava um protocolo experimental para discriminar três hipóteses concorrentes (covariate shift, sobreajuste e ruído de rotulação humana). Vários alunos responderam descrevendo como uma CNN funciona ou dizendo que usariam filtros pequenos, deixando de responder como separariam as hipóteses empiricamente.
  2. Omissão da Hipótese de Ruído Humano: Quase metade da turma identificou a mudança de iluminação (covariate shift) e o sobreajuste, mas esqueceu de mencionar a terceira hipótese: a inconsistência na rotulação humana manual entre os anotadores do turno diurno e noturno.
  3. Superficialidade na Cautela Amostral (2.c): Grande parte dos discentes propôs soluções operacionais físicas (“trocar as lâmpadas do galpão”, “padronizar o fundo da foto” ou “olhar com mais calma”), em vez de formalizar o protocolo estatístico exigido: validação cruzada estratificada por turno, teste cego no turno noturno e cálculo de intervalos de confiança com testes de hipótese.

Questão 3 — Alerta que Muda Decisões

  • Tema: Curva de calibração na Figura 2, custos assimétricos na clínica e monitoramento de drift.
  • Pontuação Máxima: 5,0 pontos | Média da Turma: 3,00 pontos (60,1%) | Desvio Padrão: 1,37
  • Alinhamento Didático: Livro-Texto (Cap. 08) e Laboratórios (Lab 08).

O que foi mais acertado (Pontos Fortes):

  1. Assimetria Crítica do Custo Clínico: Compreensão madura e unânime de que na área da saúde o custo de um Falso Negativo (deixar de alertar um paciente em deterioração clínica, com risco de óbito) é incomparavelmente superior ao de um Falso Positivo.
  2. Equilíbrio Operacional e Fadiga de Alarmes: Alunos destacados articularam com precisão que, embora seja vital capturar os positivos, um modelo superconfiante gerando excesso de falsos alarmes estoura o teto de capacidade física da equipe médica, provocando a desatenção aos chamados.
  3. Diferenciação de Drifts: Menção expressa por alunos de topo (Mariana Luciano, Daniel Caetano, Lucas Barros) da distinção entre Data Drift (mudança nas variáveis de entrada) e Concept Drift (alteração na relação estatística entre sinais clínicos e desfechos).

Argumentos Errados Recorrentes e Concepções Alternativas (Misconceptions):

  1. Omissão da Leitura Quantitativa da Figura 2: A Figura 2 fornecida no caderno continha a curva empírica de calibração do modelo demonstrando que para um escore previsto de \(\hat{p} = 0,50\), a taxa real observada de urgência era de apenas 18% (ou seja, 82% de alarmes disparados eram falsos). Poucos alunos extraíram o número “18%” da figura; a maioria apenas disse genericamente que o modelo estava “mal calibrado”.
  2. Concepção Errada de Limiar 0,50 como ‘Moeda Aleatória’: Estudantes afirmaram textualmente que “fixar o limiar em 0,50 é ruim porque é aleatório, acionando 50% das vezes e não acionando em 50% das vezes”. Isso confunde o ponto de corte operacional com um processo estocástico de Bernoulli com \(p=0,5\).
  3. Ausência de Protocolo de Fallback Seguro: No item 3.c, muitos alunos mencionaram apenas “retreinar o modelo”, sem estabelecer a ação técnica imediata de contenção: acionar o fallback para triagem humana direta enquanto o modelo passa por auditoria.

Questão 4 — Busca de Conhecimento para Atendimento

  • Tema: Word2Vec vs. Transformers, similaridade do cosseno, métricas de IR e busca híbrida.
  • Pontuação Máxima: 5,0 pontos | Média da Turma: 2,85 pontos (57,0%) | Desvio Padrão: 1,65
  • Alinhamento Didático: Livro-Texto (Cap. 09, 10) e Laboratórios (Lab 09, 10).

O que foi mais acertado (Pontos Fortes):

  1. Diferenciação de Embeddings: Alunos explicaram com muita clareza que no Word2Vec o embedding é estático e atribui um vetor fixo por palavra baseado em coocorrência (janela Skip-gram/CBOW), enquanto modelos contextuais baseados em Transformers geram representações dinâmicas que variam conforme a posição e o papel sintático/semântico na sentença.
  2. Limitações do Cosseno: Reconhecimento de que a proximidade angular mede apenas afinidade temática global no espaço vetorial, sendo cega à veracidade factual, especificidade léxica e validade temporal de uma norma jurídica.
  3. Critica à Métrica de Retorno Bruto: Rejeição fundamentada da ideia de que “ter retornado documentos” atesta a qualidade da busca, uma vez que o sistema pode recuperar passagens irrelevantes com escores moderados.

Argumentos Errados Recorrentes e Concepções Alternativas (Misconceptions):

  1. Confusão com Regras de Associação (Suporte, Confiança, Lift): Mais de um estudante (como Thiago Moura) sugeriu formalmente o uso de métricas como suporte, confiança e lift para avaliar o sistema de busca. Essas métricas pertencem à mineração de regras de associação (como algoritmo Apriori), e não à Recuperação de Informação (IR).
  2. Omissão de Métricas Canônicas de Ranking: Poucos alunos lembraram de citar métricas consagradas de ranking como MRR (Mean Reciprocal Rank), nDCG (Normalized Discounted Cumulative Gain) ou Recall@K.
  3. Falta de Referência ao BM25: No subitem 4.c, grande parte dos alunos descreveu a busca híbrida como “misturar tudo”, sem dar nome à técnica canônica de busca lexical esparsa (BM25 / TF-IDF) combinada com vetores densos e filtros determinísticos de metadados de vigência.

Questão 5 — Assistente que Pode Não Responder

  • Tema: RAG, contestação da regra de maior escore, política formal de abstenção (\(\tau_1, \tau_2\)) e governança.
  • Pontuação Máxima: 5,0 pontos | Média da Turma: 2,45 pontos (49,0%) | Desvio Padrão: 2,03
  • Alinhamento Didático: Livro-Texto (Cap. 10 - P2) e Laboratórios (Lab 10 - P2).

O que foi mais acertado (Pontos Fortes):

  1. Formulação Canônica de Abstenção por Duplo Limiar: Estudantes com excelente nota formularam a política de abstenção com rigor matemático impecável: \[\text{Emitir resposta se: } s_1 \ge \tau_1 \quad \text{E} \quad (s_1 - s_2) \ge \tau_2\] Caso contrário, o sistema deve se abster e acionar a triagem humana (human-in-the-loop).
  2. Governança por Metadados: Proposta de resolver conflitos normativos priorizando fontes por autoridade institucional, hierarquia da lei e data de publicação (recência/vigência).
  3. Telemetria de Abstenção: Compreensão de que um aumento repentino na taxa de abstenção em produção atua como alarme de telemetria, indicando surgimento de novas dúvidas (query drift) ou lacunas normativas no acervo após alterações legais.

Argumentos Errados Recorrentes e Concepções Alternativas (Misconceptions):

  1. Concordância Ingênua com a Regra do Maior Escore: O erro conceitual mais grave foi cometido por alunos que concordaram com o gestor, argumentando que “a proposta do gestor é correta porque o maior escore sempre terá a maior probabilidade de conter a resposta certa”. Isso ignora o risco basilar de alucinação e a perda de confiança do usuário em casos de perguntas fora de escopo.
  2. Taxa Expressiva de Abandono (27,3% de Zeros): Nove alunos deixaram a questão 5 em branco ou incompleta. A leitura dos cadernos físicos e das transcrições comprova que esse abandono foi primariamente motivado por esgotamento do tempo regulamentar de prova (50 minutos de explanação teórica/resolução intensa), prejudicando estudantes com velocidade de escrita e elaboração mais cadenciada.

4. Análise Comparativa entre Turma 1 (Manhã) e Turma 2 (Tarde)

Métrica Analítica Turma 1 (Manhã) Turma 2 (Tarde) Comparação Relativa
Número de Alunos (\(N\)) 15 discentes 18 discentes Total = 33 alunos
Nota Média Global 15,53 / 25,0 (62,1%) 14,63 / 25,0 (58,5%) +0,90 ponto favorável à Turma 1
Mediana Global 16,00 13,65 +2,35 pontos favorável à Turma 1
Desvio Padrão ± 6,87 ± 7,07 Dispersão equivalente em ambas
Média Q1 (MLP) 3,91 3,60 Turma 1 demonstrou melhor fundamentação
Média Q2 (CNN) 3,01 2,98 Empate técnico virtual
Média Q3 (Calibração) 3,09 2,93 Ligeira vantagem da Turma 1
Média Q4 (IR / Embeddings) 2,96 2,76 Maior consistência na Turma 1
Média Q5 (Abstenção / RAG) 2,47 2,43 Ambas sofreram com abandono por tempo
Taxa de Sucesso (\(\ge\) 15,0) 8 / 15 (53,3%) 8 / 18 (44,4%) Turma 1 teve maior taxa de aprovação
Notas Extremas Min: 4,4 | Max: 24,8 Min: 4,0 | Max: 24,9 Turma 2 registrou a maior e a menor nota

Síntese Comparativa:

A Turma 1 apresentou uma curva de notas mais homogênea e centrada acima da média de aprovação (mediana 16,0). A Turma 2 caracterizou-se pela bipolaridade: congregou alunos com notas excepcionais (Daniel com 24,9; Daiana com 24,4; Mariana com 24,2; Matheus Henrique com 23,9), mas também concentrou alunos que deixaram cadernos praticamente em branco nas questões finais (Vitor Mateus, Erick Reis, Gabriel Batistuta, Eliel Vitor).

5. Recomendações Pedagógicas e Plano de Ação para o Módulo 2

Com base nas evidências deste diagnóstico, recomendam-se as seguintes intervenções didáticas para o Professor Aléssio Miranda Júnior ao longo do Módulo 2:

1. ‘Flashback Didático’ de 10 Minutos na Primeira Aula do Módulo 2

  • Dedicar a abertura da próxima aula para projetar e desmistificar os dois maiores equívocos da Prova 1:
    • O gráfico de calibração da Figura 2: Mostrar visualmente que projetar um limiar em 0,50 num modelo descalibrado gera 82% de alarmes falsos, associando isso aos custos humanos nos hospitais.
    • O risco do ‘Maior Escore Sempre’: Demonstrar em código como um RAG sem política de abstenção alucina ao ser submetido a perguntas fora da base de conhecimento.

2. Reforço Formal em Laboratório sobre Métricas de IR e Busca Híbrida

  • Incorporar no roteiro prático do próximo laboratório uma célula de cálculo explícito de MRR (Mean Reciprocal Rank) e Recall@K, contrastando os resultados da busca por cosseno puro com a busca híbrida via BM25 + Cross-Encoder.

3. Gestão do Tempo em Avaliações Escritas Futuras

  • Como a Questão 5 registrou 27,3% de notas zero devido ao esgotamento do tempo, sugere-se para a Prova 2:
    • Redimensionar ligeiramente a extensão das pautas manuscritas (ou manter 4 questões densas com foco mais pontual).
    • Avisar a turma sobre o controle de tempo aos 25 minutos e aos 40 minutos de prova para incentivar a resolução equilibrada de todas as páginas.

4. Monitoria e Nivelamento Direcionado

  • Convidar os 8 discentes que obtiveram nota inferior a 10,0 pontos para sessões de nivelamento com os monitores e atendimento extraclasse, focando nos conceitos de retropropagação, curvas de aprendizado e cálculo de matriz de confusão.

Relatório emitido automaticamente e auditado para fins de aprimoramento pedagógico contínuo do corpo docente.

De volta ao topo