Transcrição da Prova — Luiz Henrique Santos Dias
Matrícula: 20233004280 • Turma1 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: Luiz Henrique Santos Dias
Matrícula: 20233004280
Turma: turma1
Taxa de Legibilidade Estimada: 93%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“A afirmação da equipe não é adequada, porque leva em consideração somente a diminuição dos erros nos dados de treinamento, sem levar em consideração o aumento dos erros nos dados de validação a partir da época 8. O gráfico da Figura 1 mostra que está acontecendo overfitting, ou seja, está ocorrendo memorização dos dados de treinamento. É necessário que sejam adotadas técnicas de regularização, Dropout para avaliar o modelo.”
Observações de Leitura (OCR): Cursiva bem desenhada em tinta escura; aponta com firmeza a divergência na época 8 como sobreajuste/memorização e sugere técnicas de regularização como Dropout.
Item 1.b — Representação e Retropropagação (2,0 pontos)
“As entradas heterogêneas devem ser representadas respectivamente cada uma com o seu próprio peso, evitando ao máximo introduzir viés para não prejudicar a análise. Numéricos e categóricos representam classes distintas, então é essencial que seja aplicada de forma correta a normalização dos dados, garantindo que tudo esteja na mesma escala.”
Observações de Leitura (OCR): Foca no tratamento de escala através da normalização para evitar viés de magnitude entre atributos heterogêneos.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“Para poder confiar no modelo várias evidências adicionais são indispensáveis, tais como: Número de épocas; Matriz de confusão; Quais métricas (Precision, recall) foram utilizadas para garantir que o modelo seja confiável etc. No caso de um tratamento de câncer por exemplo, a acurácia não é a métrica mais adequada, o Recall (Penaliza falsos negativos) consegue passar mais credibilidade.”
Observações de Leitura (OCR): Excelente ilustração prática: uso de matriz de confusão e ênfase no Recall para penalizar criticamente os falsos negativos no contexto da saúde.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“Para investigar corretamente é necessário ter o conhecimento de quais atributos/variáveis estão sendo utilizados e qual é a quantidade de dados que está sendo usada para realizar a identificação dos defeitos nas imagens. Além disso, investigar o número de épocas utilizadas. Se o modelo apresentar pequeno erro nos dados de treinamento e um erro maior nos dados de validação é um sinal de overfitting. É interessante também entender quantos dados foram utilizados para treino, validação e teste.”
Observações de Leitura (OCR): Enfatiza a auditoria do conjunto de treino/validação/teste e a disparidade de erros para identificar overfitting.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“O CNN é a forma mais adequada e utilizada para trabalhar com imagens. Porque ele consegue lidar com as características das imagens, tais como: largura, altura, quantidade de pixels etc. Se o modelo utilizou uma taxa de aprendizado de 0,01, o ideal é que nesse ajuste fino seja utilizado um valor menor e ir descongelando aos poucos para verificar se está melhorando ou piorando o modelo.”
Observações de Leitura (OCR): Propõe descongelamento progressivo com taxa de aprendizado reduzida durante a transferência.
Item 2.c — Cautela Amostral (1,0 ponto)
“As conclusões precipitadas podem ser evitadas analisando o resultado final e não criando cenários genéricos, ou seja, se conseguir identificar bem o defeito da imagem, não generalizar que em qualquer período ela vai conseguir identificar bem.”
Observações de Leitura (OCR): Alerta contra a generalização ingênua entre turnos com condições ambientais distintas.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“A premissa da direção para fixar o limiar em 0,50 é falha porque após 0,50 os dados não são representados de forma correta. A calibração deve ser maior porque para um contexto clínico alarmes pouco úteis ou falsos têm um custo muito alto dependendo da situação.”
Observações de Leitura (OCR): Critica a adoção arbitrária do limiar de 0,50 sob descalibração e custo elevado de alarmes falsos.
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“A combinação desses custos deve ser a menor possível de preferência de modo que no modelo final haja um equilíbrio, ou seja, todos os custos tenham pesos próximos, de modo que uma variável/atributo não sobreponha os demais. E a partir disso verificar se atende ao ponto operacional (limiar)”
Observações de Leitura (OCR): Discute a busca pelo ponto de equilíbrio de custos operacionais.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“Após ser realizado o pré-processamento ou já ter um modelo pré-treinado pegar esse modelo e fazer pequenas repartições de modo que não haja prejuízo dos dados que foram utilizados, parâmetros etc e verificar cenários específicos com o intuito de tornar o modelo o mais adequado. E a ação técnica imediata que deve ser tomada é descobrir quais fatores (variáveis/atributos) levou a aquele cenário e utilizar métricas de avaliações rigorosas.”
Observações de Leitura (OCR): Sugere análise de causa-raiz sobre fatores/atributos causadores da anomalia e adoção de métricas rigorosas.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“A similaridade do cosseno é útil quando os dados, as variáveis tem correlações entre si. Nesse cenário está lidando com variáveis que possuem características bem distintas entre si, não conseguindo assegurar a relevância real de um documento.”
Observações de Leitura (OCR): Aponta a fraqueza do cosseno puro frente a documentos heterogêneos com diferentes graus de especificidade.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“A acurácia não é o modelo mais adequado para ser utilizado como métrica para avaliar o desempenho de um modelo, com dados desbalanceados. Nesse cenário consulta com retorno pode ter mais dados do que consultas sem retorno, passando a impressão de que o modelo é bom, generaliza bem, sendo que na verdade pode alavancar prejuízos”
Observações de Leitura (OCR): Rejeita a contagem simplista de retorno bruto como reflexo de utilidade informacional real.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“A abordagem híbrida consegue lidar com dados que possuem características bem distintas, além de utilizar ferramentas que permitem automatizar o processo e devolver resultados mais confiáveis e precisos. Esta reduz tempo computacional, consumo de memória. Essa abordagem utiliza tecnologias sofisticadas a qual consigo compensar por meio de passos lógicos e coerentes para identificar normas antigas e revogadas.”
Observações de Leitura (OCR): Argumenta a favor da complementariedade da busca híbrida e de regras para filtragem de normas revogadas.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“Contesto a proposta do gestor, porque maior score não significa que o modelo seja 100% confiável. Defino um limiar mínimo de x, se o documento passar de x há evidências de que ele conseguiu lidar com os casos que não comuns, porém essa é a 1ª Verificação. A 2ª Verificação (\(\tau_2\)) terá o acréscimo de alguns cenários que seria a combinação dos fatos comuns para evidenciar se o modelo está adequado ou não.”
Observações de Leitura (OCR): Contesta o gestor propondo validação em dois estágios (limiar mínimo \(\tau_1\) e critério comparativo secundário \(\tau_2\)).
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“O ideal é pegar essas normas conflitantes e verificar qual está sendo o conflito e armazená-lo em um atributo ou variável e analisar se esse conflito possui importância ou não para o modelo, caso a resposta seja sim ir fazendo ajustes de parâmetros, ajustes finos de modo a conseguir eliminar o conflito e devolver a norma OK”
Observações de Leitura (OCR): Sugere rotulagem e isolamento de conflitos normativos em atributos de controle.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Score. Porque definindo os parâmetros e deixando que somente aqueles que tem pontuação mínima tenham uma resposta automática, enquanto que aqueles que não alcançarem são indícios de taxa de abstenção em produção. Ideal também que seja criado variáveis que emitem sinal quando acontecer alguma modificação.”
Observações de Leitura (OCR): Relaciona a pontuação mínima de corte diretamente à taxa de abstenção observada em ambiente produtivo.
Espaço para Rascunho ou Cálculos Adicionais (Opcional)
[NÃO RESPONDEU / EM BRANCO]