Transcrição da Prova — João Carlos Ferreira Martins
Matrícula: 20213003750 • Turma2 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: João Carlos Ferreira Martins
Matrícula: 20213003750
Turma: turma2
Taxa de Legibilidade Estimada: 92%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“O modelo presente nesta rede está sofrendo com overfitting, em que a curva de loss do treinamento diminui porém a curva ao aplicada aos dados de validação começam a aumentar a partir de determinada época. Desta forma, o modelo acaba se viciando em determinadas características e diminuindo sua qualidade de métricas.”
Observações de Leitura (OCR): Cursiva bem delineada em caneta azul escura; explica o descasamento e o vício em características de treino.
Item 1.b — Representação e Retropropagação (2,0 pontos)
“As entradas numéricas devem ser normalizadas para que a escala da unidade de medida não afete o resultado. Já as categóricas, podem utilizar técnicas como ordinal encoding e one-hot cooling para representar as categorias em números. O conceito e aplicação do backpropagation auxilia a ajustar os pesos do modelo e acelerar as curvas de loss.”
Observações de Leitura (OCR): Cursiva clara; utiliza o termo grafado “one-hot cooling” (lapso por encoding).
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“O modelo não deve ser treinado com dados de testes a fim de evitar o vazamento de dados e deve-se analisar além da acurácia, outras métricas como Recall, precisão e f1-score para avaliar o modelo. Assim, com estas métricas e tratamento de dados, haja uma maior confiança e reprodutibilidade do modelo treinado.”
Observações de Leitura (OCR): Cita vazamento de dados (data leakage) e métricas clínicas.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“Uma rotina de monitoramento levando em conta outras variáveis utilizadas para identificar os defeitos poderia ser levado em conta, já que outro dado além do horário do dia está afetando as peças. Para analisar qual hipótese deve ser seguida, deve-se monitorar sua curva de perda relacionada aos dados de validação que possam estar apresentando erros consideráveis por um vício ou não estabilidade do modelo.”
Observações de Leitura (OCR): Cursiva legível.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“Ao utilizar uma base previamente treinada, a taxa de acerto pode ser evoluída mais rapidamente e seria necessário menos ajustes relacionados aos pesos nas camadas adicionais. Desta forma, utilizar uma base treinada com seus pesos congelados e adicionar duas camadas com ReLU e uma de Sigmoid auxiliaria o modelo atingir uma taxa de acerto melhor mais rápido.”
Observações de Leitura (OCR): Especifica arquitetura com pesos congelados, ativações ReLU e camada Sigmoid.
Item 2.c — Cautela Amostral (1,0 ponto)
“Para evitar conclusões precipitadas, seria recomendado monitorar as curvas de aprendizado do modelo adotando uma estratégia de Early Stopping ou gerando dados artificiais para o período noturno que façam sentido com os dados recém apresentados.”
Observações de Leitura (OCR): Propõe Early Stopping e síntese de dados noturnos.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“A premissa é falha pois o sistema pode oscilar a medida que os dados de testes são aplicados ao modelo pelo limiar ser baixo. Desta forma, a presença de falsos positivos no modelo se torna recorrente e acaba gerando um grande loss na curva de validação.”
Observações de Leitura (OCR): Cursiva nítida.
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“Eles devem ser levados em conta para que o modelo não esgote a capacidade médica do hospital. Assim, deve-se tornar evidentes aqueles o modelo não indica piora mas por análise humana estão com o quadro, ajustando o modelo e não sobrecarregando a equipe.”
Observações de Leitura (OCR): Foco no teto de capacidade e na triagem clínica.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“O monitoramento deve ser aplicado analisando a precisão e o recall dos resultados do modelo, de forma que aplique algum algoritmo para minimizar o aumento da anomalia como o desligamento de parte dos neurônios por época, diminuindo o loss.”
Observações de Leitura (OCR): Cursiva clara.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“O uso de embeddings estáticos podem tornar as respostas geradas incorretas ou desatualizadas, já que a similaridade de cosseno representa apenas uma pontuação no espaço de distância entre os vetores. Desta forma, os embeddings contextualizados geram respostas mais coerentes e atualizadas por levarem em conta…”
Observações de Leitura (OCR): Frase encerra com reticências no fim da página 4; complemento anotado no espaço de rascunho da página 6.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“A métrica é inadequada devido não levar em conta se a resposta do modelo está correta ou não. Dessa maneira, o conteúdo recuperado não contabilizará métricas para indicar se o conteúdo da resposta está relacionado ao embedding correto.”
Observações de Leitura (OCR): Argumentação objetiva sobre retorno vs. relevância real.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“A abordagem híbrida incluindo vetores densos e busca lexical tornaria o processo de recuperação de dados mais preciso ao analisar outros fatores além da busca vetorial pura com as pontuações definidas por similaridade de cossenos.”
Observações de Leitura (OCR): Cursiva bem delineada.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“A proposta do gestor é inadequada para o sistema já que o documento com maior score retornado não significa que seja o apoio certo para a resposta. O sistema descrito conta com documentos conflitantes e com alterações frequentes, tornando necessário aumentar os chunks dos embeddings e levar em conta as datas dos documentos recuperados.”
Observações de Leitura (OCR): Contesta o gestor e pontua governança temporal.
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“Para tratar normas conflitantes, é considerado um retreino da base atual, levando em conta a data e maior conteúdo dos embeddings para corrigir o conflito. Assim, testes em ambientes controlados após o retreino da base podem medir a qualidade da recuperação de informação.”
Observações de Leitura (OCR): Cursiva fluida.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Pode-se monitorar a taxa de abstenção do modelo através da qualidade das respostas apresentadas em produção de modo que o modelo se contradiz frequentemente ao responder perguntas semelhantes, indicando que a recuperação de informação está retornando embeddings que não estão necessariamente corretos.”
Observações de Leitura (OCR): Analisa contradições e inconsistências como sinal de telemetria.
Espaço de Rascunho / Cálculos Adicionais
“4.a / … uma maior quantidade de conteúdo atualizado para o modelo.”