Transcrição da Prova — Danilo Fróis Kaizer
Matrícula: 20233004010 • Turma1 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição da Prova Escrita 1 — Danilo Fróis Kaizer
Questão 1 — Triagem com dados heterogêneos (5,0 pts) — [Páginas 1 e 2]
- Legibilidade da Questão: 94%
1.a Figura 1 e Decisão de Produção (Valor: 2,0) — [Página 1]
- Resposta Manuscrita: > “A partir da época 8 o modelo começa a dar overfitting, ou seja, começa a decorar padrões do conjunto de treino. Isso justifica a diminuição do loss (começa a acertar mais no treino) e o aumento do val_loss (perde a generalização e começa a errar). A afirmação da equipe está parcialmente correta: o modelo está pronto, mas não é pelo motivo dado, e sim porque o val_loss começou a subir, o que deixa claro que a época com os melhores pesos é a 8.”
- Observações de Leitura (OCR): Explicação detalhada da divergência das perdas e identificação da Época 8 como ponto ótimo de checkpoint de pesos.
1.b Representação e Retropropagação (Valor: 2,0) — [Página 2]
- Resposta Manuscrita: > “As entradas numéricas devem ser normalizadas e as categóricas devem ser convertidas em numéricas, por exemplo, via One Hot ou Ordinal Encoding. O papel do backpropagation é de calcular o erro dos neurônios de trás pra frente, usando uma abordagem recursiva e programação dinâmica. Esse erro é utilizado para corrigir os pesos do modelo durante o treinamento.”
- Observações de Leitura (OCR): Excelente conexão conceitual do backpropagation com recursão e programação dinâmica para ajuste de pesos.
1.c Evidências de Confiança e Reprodutibilidade (Valor: 1,0) — [Página 2]
- Resposta Manuscrita: > “É essencial dividir a base em conjuntos de treino (ajuste dos pesos), teste (conjunto independente para validar o final) e validação (evitar overfitting no treino). Além disso, para avaliar o modelo é imprescindível utilizar várias métricas em conjunto: acurácia, precisão, recall e f1-score. Para reprodutibilidade, deve-se utilizar uma seed específica para geração de números randômicos (Ex: 42).”
- Observações de Leitura (OCR): Detalha a tríade de partições, conjunto de métricas e citação explícita de fixação de seed (com exemplo “Ex: 42”).
Questão 2 — Inspeção visual em condições novas (5,0 pts) — [Páginas 2 e 3]
- Legibilidade da Questão: 92%
2.a Diagnóstico Experimental (Valor: 2,0) — [Página 2]
- Resposta Manuscrita: > “Para investigar, seria interessante fazer um teste de estresse do modelo com foto de peças no período noturno e matutino. Uma hipótese para o problema é de que, ao invés de aprender padrões de peças com defeito, o modelo esteja identificando os padrões de luzes nas fotos. Supondo que a noite tem mais peças defeituosas por motivos biológicos do corpo humano, o modelo pode ter aprendido que vale mais a pena mandar o alerta a noite (também pode ser causado por uma amostra ruim).”
- Observações de Leitura (OCR): Hipótese perspicaz sobre correlação espúria entre padrão de iluminação noturna e defeitos.
2.b Arquitetura e Transferência de Aprendizado (Valor: 2,0) — [Página 3]
- Diagrama / Elemento Visual: Sem diagrama desenhado.
- Resposta Manuscrita: > “Para trabalhar com imagens, CNN é o melhor modelo, pois foi desenhado para isso. Usar MLP por exemplo iria explodir o número de parâmetros. Ao usar um modelo pré-treinado, o ideal é congelar o backbone nas primeiras épocas até que o modelo head se estabilize e, somente depois, descongelá-lo. Isso evita a destruição dos pesos pré-calculados e permite um ajuste fino ao final do modelo.”
- Observações de Leitura (OCR): Aponta a explosão de parâmetros em MLPs e descreve a estratégia de congelamento do backbone com estabilização prévia do head antes do fine-tuning.
2.c Cautela Amostral (Valor: 1,0) — [Página 3]
- Resposta Manuscrita: > “Uma solução seria aumentar o número de imagens de peças à noite, por exemplo, tirando fotos à noite das peças produzidas de manhã ou aplicando filtros de imagem.”
- Observações de Leitura (OCR): Proposta de aumento de dados noturnos e filtros de imagem para balanceamento.
Questão 3 — Alerta que muda decisões (5,0 pts) — [Páginas 3 e 4]
- Legibilidade da Questão: 93%
3.a Interpretação da Calibração e Crítica ao Limiar (Valor: 2,0) — [Página 3]
- Diagrama / Elemento Visual: Anotação manuscrita marginal: “Recall - hospital / Precision - spam”.
- Resposta Manuscrita: > “O limiar fixado do modelo depende do contexto do problema, no caso de alarmes falsos, o ideal seria aumentar o limiar para evitá-los. É justamente esse ajuste contextual que define a calibração do modelo. Mas é importante destacar que essa decisão é um trade-off: aumentar o limiar aumenta a precisão e diminui o recall.”
- Observações de Leitura (OCR): Conexão clara do ajuste de limiar com o trade-off entre precisão e recall.
3.b Custos Assimétricos e Capacidade Operacional (Valor: 2,0) — [Página 4]
- Resposta Manuscrita: > “A equipe deve avaliar se o custo é maior com alarmes falsos, cuja solução é aumentar o limiar, ou se um falso negativo (paciente que precisa de ajuda mas o alarme não toca) é mais custoso, cuja solução é diminuir o limiar.”
- Observações de Leitura (OCR): Mapeamento correto do efeito direcional do limiar sobre falsos positivos e falsos negativos.
3.c Telemetria e Deriva de Conceito (Valor: 1,0) — [Página 4]
- Resposta Manuscrita: > “Uma das formas de monitorar o treinamento do modelo é usar um conjunto de validação, o qual irá auxiliar o engenheiro a tomar a decisão correta.”
- Observações de Leitura (OCR): Cita uso de conjunto de validação para acompanhamento.
Questão 4 — Busca de conhecimento para atendimento (5,0 pts) — [Páginas 4 e 5]
- Legibilidade da Questão: 92%
4.a Representação Semântica e Limitações do Cosseno (Valor: 2,0) — [Página 4]
- Resposta Manuscrita: > “O uso de embeddings estáticos vai limitar a busca a encontrar padrões léxicos na base. O uso de transformers permitiria a capacidade de generalização por similaridades semânticas.”
- Observações de Leitura (OCR): Distingue padrões léxicos de generalização semântica via Transformers.
4.b Avaliação Rigorosa de Recuperação (Valor: 1,5) — [Página 5]
- Resposta Manuscrita: > “Um protocolo que soluciona esse problema é o RAG, pois ele avalia a proporção e o escore de consultas e decide se é suficiente para a LLM dar a resposta ou se há falta de informação na base.”
- Observações de Leitura (OCR): Menção ao paradigma RAG no contexto de suporte a decisões.
4.c Busca Híbrida e Governança (Valor: 1,5) — [Página 5]
- Resposta Manuscrita: > “A busca híbrida combina a melhor parte das buscas lexical e semântica. Se o modelo encontrar uma correspondência direta, como um código, nome ou norma, a busca léxica toma a frente, caso contrário, a busca semântica e a generalização se impõem.”
- Observações de Leitura (OCR): Raciocínio excelente sobre quando a busca léxica prevalece (códigos e normas exatas) versus busca semântica.
Questão 5 — Assistente que pode não responder (5,0 pts) — [Páginas 5 e 6]
- Legibilidade da Questão: 90%
5.a Contestação do Maior Escore e Desenho da Abstenção (Valor: 2,0) — [Página 5]
- Resposta Manuscrita: > “A decisão do gestor é ruim, pois o documento de maior escore não é necessariamente o melhor. O correto seria utilizar um limiar de escore para o modelo caso não tenha evidência suficiente e outro para avaliar documentos com resultados menores que o primeiro.”
- Observações de Leitura (OCR): Propõe dois limiares: um para suficiência de evidência e outro para margem comparativa.
5.b Conflito de Fontes e Validação Prévia (Valor: 2,0) — [Página 6]
- Resposta Manuscrita: > “Uma das ideias seria pré computar algumas buscas e repostas. Assim, o modelo não entraria em conflito de normas antes de emitir seu resultado.”
- Observações de Leitura (OCR): Sugere pré-computação e validação de buscas/respostas.
5.c Telemetria e Impacto Operacional (Valor: 1,0) — [Página 6]
- Resposta Manuscrita: > [NÃO RESPONDEU / EM BRANCO]
- Observações de Leitura (OCR): Subitem deixado em branco pelo discente.