Transcrição da Prova — Gustavo Alexandre Silva
Matrícula: 20233004100 • Turma1 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: Gustavo Alexandre Silva
Matrícula: 20233004100
Turma: turma1
Taxa de Legibilidade Estimada: 91%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“A afirmação da equipe é uma afirmação incorreta a queda contínua da perda de treino indica que o modelo se tornou especialista naqueles dados de treinamento e perdeu a capacidade de generalizar, no entanto a partir da época 8 o modelo começa a sofrer overfitting, ou seja ele começa a errar as predições de novos dados.”
Observações de Leitura (OCR): Cursiva nítida e contínua; destaca perda de generalização e erro em novos dados a partir da época 8.
Item 1.b — Representação e Retropropagação (2,0 pontos)
“Dados categóricos devem ser convertidos em numéricos aplicando-se a tecnica de one hot incoding e os dados numéricos devem ser normalizados. O backpropagation serve para ajuste dos pesos no treinamento a cada época, indicando a direção e a necessidade e grau de ajuste”
Observações de Leitura (OCR): Explicação clara de pré-processamento (one-hot, normalização) e papel do backpropagation.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“Antes de avaliar o modelo é necessário extrair as métricas para avaliar precisão, Recall, F1-Score, são métricas que ajudam a verificar a capacidade de previsão do modelo, escolhendo aumentar uma métrica que diminua a consequência caso haja um erro de previsão. Uma medida concreta para garantir reprodutividade é usar earlystop para verificar a validação e parar o treinamento antes de sofrer overfitting”
Observações de Leitura (OCR): Cursiva bem delineada; cita precisão, recall, F1 e early stopping.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“É necessário uma análise durante o treinamento de treino e validação para não treinar demais ao ponto de não ser generalista. É interessante comparar os dois turnos e verificar o resultado se a rotulação predita está compatível com a real”
Observações de Leitura (OCR): Aborda comparação empírica entre os dois turnos.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“A CNN (rede convolucional) é ideal para esse problema porque lida com precisão de imagem, entretanto pelo custo operacional é necessário carregar um modelo pré-treinado e congelar os pesos durante o treinamento, após isso como é apresentado poucos dados para melhorar o modelo é essencial regularizar usando data augmentation, pegando os dados já existentes e rotacionar, aplicar alguns filtros e transformações para aumentar os dados”
Observações de Leitura (OCR): Resposta completa detalhando congelamento, data augmentation e rotações/filtros.
Item 2.c — Cautela Amostral (1,0 ponto)
“É necessário aumentar as amostras para o modelo ter um treinamento melhor e capaz de generalizar mais então coletar mais dados realizar data augmentation contribui para isso. Outro ponto é avaliar as métricas, porque sem uma análise de métricas, pode dar uma falsa sensação de resultado bom.”
Observações de Leitura (OCR): Cursiva clara.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“Porque ouve uma falsa sensação de aceitável, 0,5 não quer dizer 50% na verdade é somente 18% do real o que deixa passar ainda muitos erros por estar mal calibrado”
Observações de Leitura (OCR): Identifica com precisão o valor de 18% real para o limiar de 0,50 no gráfico.
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“A matriz de confusão deve ser bem analisada para o contexto específico, então a escolha do ponto deve levar em conta os efeitos colaterais de um erro. Dessa forma, deve priorizar a analise de uma métrica que reduza o dano.”
Observações de Leitura (OCR): Letra cursiva legível.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“É necessário um monitoramento das previsões, qual os resultados, monitorar as entradas e caso disparado uma anomalia revisar imediatamente o modelo de treinamento”
Observações de Leitura (OCR): Cursiva fluida.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“no uso de Transformers/BERT é levado em conta contextos já WORD2VEC gera vetores fixos. O cosseno calcula a similaridade semântica com base na direção do vetor mas não garante a relevância real de documentos”
Observações de Leitura (OCR): Distingue vetores contextuais vs. fixos e detalha o limite geométrico do cosseno.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“Porque você não tem uma garantia apenas pela analise visual é necessário validações como ‘ground truth’ para analisar as métricas de relevância dos documentos com base nos top k itens”
Observações de Leitura (OCR): Cita explicitamente ‘ground truth’ e métricas sobre top-k.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“Porque a busca híbrida analisa tanto buscas semânticas como também busca léxicas o que faz com que haja um desempenho melhor que busca vetoriais puras não cobrem.”
Observações de Leitura (OCR): Cursiva clara.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“O maior escore não vai garantir uma resposta correta, é necessário um limiar mínimo para que o agente não alucine e cuspa uma resposta incorreta mas porque teve que dar uma resposta por não ter um limiar mínimo”
Observações de Leitura (OCR): Crítica clara ao risco de alucinação sem limiar mínimo.
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“Deve ser validado, tanto com metricas, na qual especialistas vão dizer quais documentos são relevantes e atribuir metricas a partir do resultado gerado, quanto os documentos devem carregar metadados de origem. Deve ser feito consultas: queris respondíveis e não respondíveis, no qual quando não respondível, o score abaixo do limiar dizer que não tem informações sobre isso e não trazer respostas alienadas”
Observações de Leitura (OCR): Protocolo experimental completo com queries respondíveis/não respondíveis e metadados.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Deve ser monitorado através dos metadados que carregam apresentando uma serie de informações do documento retornado”
Observações de Leitura (OCR): Cursiva legível.
Espaço de Rascunho / Cálculos Adicionais
[EM BRANCO]