Laudo Técnico de Avaliação — TP1

grupo_victor

Tipo: Avaliacao tecnica coletiva

Status: Recomendacao tecnica

Nota tecnica: 5,0/10

Sintese: Ha experimento e artefatos relevantes, mas o protocolo de split precisa ser corrigido e a API nao inicia com o conjunto de inferencia entregue.

Nota recomendada

5,0/10 Nota tecnica recomendada. Ha experimento e artefatos relevantes, mas o split precisa ser corrigido/reexecutado e a API nao inicia com o bundle entregue. Parcela coletiva individual: 2,50/5,0.

Evidencias e execucao

• Inspecionados README, ANALISE_FINAL.md, src/, API, artefatos, Docker, testes, dependencias, CI e analitica.
• pytest no host foi bloqueado pela ausencia de fastapi, sem desconto automatico.
• docker build concluiu em aproximadamente 102 s, mas a aplicacao encerrou no startup com FileNotFoundError: /app/artifacts/thresholds.pkl. E falha de entrega, nao do ambiente.

Achados tecnicos preservados

• Foram entregues dataset, modelo Keras, vetorizador, MLB, baseline serializado, metricas JSON, curva de loss e tabela comparativa. A rede usa Dense/Dropout, sigmoid e BCE.
• A tabela registra F1-macro 0,2326 no baseline e 0,4676 na rede com threshold 0,20; neural_metrics.json tambem compara 0,50 (0,3523) com 0,20, em 21 epocas e para 25 classes.
• Ha FastAPI, Pydantic, sete testes de contrato em mock e Docker separado. Todos possuem participacao no historico, embora desigual.
• api/model.py exige artifacts/thresholds.pkl com chave global, mas o arquivo nao foi entregue. A suite cobre apenas MODEL_MODE=mock.
• src/divisao_estratificada.py parece inverter a ordem dos indices retornados por IterativeStratification.split, contradizendo o 80/10/10 declarado e comprometendo o protocolo e metricas.
• ANALISE_FINAL.md chama metricas de baseline de simuladas (0,70), em conflito com o artefato (0,2326). README permanece em grande parte template, CI falhou e nao houve MRs/issues.

Criterio coletivo	Max.	Nota	Justificativa
Dados e formulacao multi-label	1,5	0,6	Componentes existem; split tem ordem suspeita/invertida.
Baseline, rede e resultados	2,5	1,7	Artefatos/comparacao entregues; validade comprometida.
Evolucao experimental	2,0	1,1	Threshold e F1 por classe; justificativa critica inconsistente.
API e contrato	1,5	0,4	Contrato/mock testados; deploy real falha.
Reproducibilidade e qualidade	1,5	0,8	Docker constroi; startup e CI falham.
Documentacao e colaboracao	1,0	0,4	Analise/autores existem; README incompleto e sem MRs.

Notas individuais

Integrante	Papel declarado e observado	Produto /5	Papel /3	Rastreabilidade /1,5	Colaboracao /0,5	Final /10
Evelyze Pinheiro dos Reis	Dados e NLP (Aluno A)	2,50	2,0	1,5	0,2	6,2
Hugo Vicente	Modelagem e avaliacao (Aluno B)	2,50	2,6	1,4	0,3	6,8
Victor Magione	API e contratos (Aluno C)	2,50	1,4	1,1	0,2	5,2
Esther Magalhaes	DevOps, testes e documentacao (Aluno D)	2,50	1,8	1,4	0,3	6,0

Evidencias e ressalvas individuais

• Evelyze Pinheiro dos Reis: README a declara A; commits de carga, requisitos, pipeline e reorganizacao de dados demonstram autoria. A divisao estratificada precisa de correcao e reexecucao, restringindo a entrega do papel.
• Hugo Vicente: commits identificam rede Keras, metricas/graficos, pipeline_complet.py e correcoes de exportacao. A modelagem e atribuivel, mas herda a incerteza do split e a incoerencia do baseline documentado.
• Victor Magione: o commit c1da961 implementa FastAPI, /predict, /health, Pydantic e lifespan. A API real falha por thresholds.pkl ausente e os testes exercitam somente mock.
• Esther Magalhaes: commit ee97dcc entrega Dockerfile, compose, CI e testes; ccd47e4 adiciona a analise final. O CI e o startup falham, e a documentacao conflita com artefatos, reduzindo qualidade.

Sem MRs/issues, a rastreabilidade deriva dos commits e da autoria de arquivos; ela sera confirmada na arguicao.