Transcrição da Prova — Matheus Henrique Almeida Silva
Matrícula: 20233004039 • Turma2 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: Matheus Henrique Almeida Silva
Matrícula: 20233004039
Turma: turma2
Taxa de Legibilidade Estimada: 94%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“Na época 8 em diante há overfitting, isso indica uma baixa generalização, ou seja, é necessário usar o early stopping como forma de teste antes de realmente implantar o modelo.”
Observações de Leitura (OCR): Cursiva muito clara e organizada; diagnostica o início do overfitting na época 8 e recomenda a utilização de early stopping.
Item 1.b — Representação e Retropropagação (2,0 pontos)
“Os dados devem ser normalizados e codificados (one-hot encoding). A retropropagação calcula os gradientes do erro em relação aos pesos, permitindo ajustá-los pra minimizar perda.”
Observações de Leitura (OCR): Cita normalização, one-hot encoding e a mecânica formal do cálculo de gradientes de erro para minimizar a função de perda.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“Separar dados de treino, validação e teste, avaliar recall, precisão e sensibilidade clínica, pra reproduzir experimentos, fixar a semente aleatória e registrar os parâmetros do treinamento.”
Observações de Leitura (OCR): Menção completa a partição tripla, métricas de precisão/recall/sensibilidade clínica e controle de sementes aleatórias.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“A rotina de investigação seria uma análise das imagens e os resultados do modelo, comparando os dados do turno diurno e noturno. Overfitting: uma diferença significativa entre resultado de treinamento e validação indicaria possível sobreajuste. Covariate shift: se as imagens noturnas apresentarem características diferentes das imagens de treinamento, pode haver mudança na distribuição dos dados. Falha de rotulação: pegaria amostras mal classificadas e pediria uma nova avaliação humana pra verificar se existem rótulos errados ou inconsistentes.”
Observações de Leitura (OCR): Resposta extremamente precisa e estruturada, delimitando as três hipóteses concorrentes com procedimentos de verificação claros.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“Utilizaria uma CNN com transferência de aprendizado aproveitando um modelo pré-treinado com imagens gerais.”
Observações de Leitura (OCR): Aponta o uso de CNN com transferência de aprendizado baseada em representações de modelos pré-treinados generalistas.
Item 2.c — Cautela Amostral (1,0 ponto)
“Separaria um conjunto de teste independente (representando o turno noturno) com rótulos revisados por especialistas, avaliaria métricas como precisão, recall, F1-score e matriz de confusão considerando intervalos de confiança.”
Observações de Leitura (OCR): Excelente recomendação de base de teste independente auditada por especialistas com intervalos de confiança.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“A premissa da direção para fixar o limiar em 0,50 é falha porque previsão não é risco real de 50%, na verdade é 18%, o modelo está mal calibrado.”
Observações de Leitura (OCR): Interpretação pontual da curva: probabilidade prevista de 50% traduz-se em apenas 18% de eventos reais.
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“É necessário encontrar um equilíbrio, já que os falsos positivos sobrecarregam e falsos negativos podem colocar pacientes em situação de risco.”
Observações de Leitura (OCR): Pondera a sobrecarga operacional dos falsos alarmes contra a letalidade clínica do falso negativo.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“Ficar de olho em previsões, erros, calibração e entradas. Dependendo do contexto realizar uma revisão do modelo e até mesmo retreinamento.”
Observações de Leitura (OCR): Monitoramento contínuo de entradas, previsões e calibração com gatilhos de retreinamento.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“Embeddings estáticos atribuem um valor fixo a cada palavra, enquanto Transformers geram representações contextualizadas. A similaridade do cosseno mede proximidade entre vetores, mas não garante relevância.”
Observações de Leitura (OCR): Distingue com exatidão vetores fixos por token de embeddings dinâmicos por contexto em Transformers.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“Retornar documentos não garante que sejam relevantes. Criaria um conjunto de consultas com documentos relevantes identificados por especialistas e avaliaria com Precision@K, Recall@K e MRR.”
Observações de Leitura (OCR): Citação técnica precisa de métricas canônicas de Information Retrieval: Precision@K, Recall@K e MRR.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“Combinaria busca vetorial com busca lexical BM25, que identifica termos exatos, e filtros de metadados, como data e categoria, normas revogadas seriam marcadas como obsoletas e excluídas por padrão, priorizando documentos atuais e válidos.”
Observações de Leitura (OCR): Integração canônica da busca híbrida: vetores densos + BM25 léxico + filtros de metadados para expurgo de normas revogadas.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“O sistema deve responder somente se o maior escore ultrapassar um limiar mínimo (T1) e a diferença entre os dois maiores escores ultrapassar outro limiar (T2), caso contrário deve se abster e solicitar revisão humana.”
Observações de Leitura (OCR): Formulação impecável da política de abstenção por corte duplo (\(\tau_1\) de confiança absoluta e \(\tau_2\) de margem de separação).
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“Documentos conflitantes devem ser identificados e comparados por confiabilidade, data e autoridade da fonte. Se não for possível resolver o conflito, o sistema deve se abster. A política deve ser validada com casos de teste contendo documentos conflitantes.”
Observações de Leitura (OCR): Arbitragem por metadados de confiabilidade/autoridade e validação empírica com banco de testes com conflitos simulados.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Monitoraria a taxa de abstenção, a precisão das respostas e os erros por tipo de consulta. Se as abstenções aumentarem, analisaria exemplos de consultas e documentos pra identificar a causa, ajustando os limiares ou melhorando a recuperação de documentos.”
Observações de Leitura (OCR): Telemetria em produção correlacionando picos de abstenção com desvios temáticos e necessidade de reajuste de limiares.
Espaço para Rascunho ou Cálculos Adicionais (Opcional)
[Pequeno traço esquemático de caneta no rodapé esquerdo]