Laudo Técnico de Avaliação — TP1

equipe_mit

Tipo: Avaliacao tecnica coletiva

Status: Recomendacao tecnica

Nota tecnica: 6,9/10

Sintese: A evolucao experimental e bem estruturada, mas a ausencia de artefatos reais impede reproduzir a inferencia e verificar os resultados declarados no checkout.

Nota recomendada

6,9/10 Nota tecnica recomendada. A evolucao experimental e bem concebida, mas o checkout nao reproduz a inferencia real nem permite auditar os resultados declarados. Parcela coletiva individual: 3,45/5,0.

Evidencias e execucao

• Inspecionados README, src/model, src/api, imagens, testes, Docker, CI, dependencias e analitica GitLab.
• pytest foi interrompido na coleta pela ausencia de fastapi no ambiente do avaliador, sem desconto automatico.
• O build Docker excedeu dois minutos durante pip install: TensorFlow/MLflow e dependencias nao possuem versoes fixadas. Isto impediu validacao operacional, mas nao prova falha da API.

Achados tecnicos preservados

• README contem papeis, Kim/CodeBERT, justificativa de sigmoid/BCE, arquitetura, baseline versus rede e metricas declaradas: F1-macro de 0,3006 no baseline e 0,5267 na rede.
• train.py implementa baseline OvR, rede regularizada, pesos, early stopping, busca opcional e calibracao por classe na validacao; ha graficos e historico de submodelos.
• A API possui contratos, health, inferencia real planejada e fallback mock; ha seis testes, CI, dez issues fechadas e cinco MRs integradas.
• Faltam modelo, vetorizador, MLB, scaler, features, thresholds e dados processados. A API cai em mock e os resultados nao sao reproduziveis no checkout.
• O split e estratificado somente por difficulty, nao pelas labels multi-label. Imagens referenciadas em docs/ nao existem sob aqueles nomes e a validacao com artefatos reais nao e comprovavel.

Criterio coletivo	Max.	Nota	Justificativa
Dados e formulacao multi-label	1,5	1,0	Top-25 e sigmoid/BCE corretos; split nao e multi-label.
Baseline, rede e resultados	2,5	1,9	Codigo/comparacao fortes; artefatos e dados finais ausentes.
Evolucao experimental	2,0	1,5	Pesos, tuning, threshold e analises presentes; evidencia final incompleta.
API e contrato	1,5	0,9	Contrato/testes bons; checkout opera em mock.
Reproducibilidade e qualidade	1,5	0,8	CI/estrutura bons; dependencias sem pin e build nao concluiu.
Documentacao e colaboracao	1,0	0,8	README e GitLab fortes, com referencias de imagem quebradas.

Notas individuais

Integrante	Papel declarado e observado	Produto /5	Papel /3	Rastreabilidade /1,5	Colaboracao /0,5	Final /10
Iviner Santos	Dados e preprocessamento (Aluno A)	3,45	2,6	1,4	0,4	7,9
Thiago Moura	Modelagem e ML (Aluno B)	3,45	2,7	1,5	0,4	8,1
Carlos Eufrazio	API e integracao (Aluno C)	3,45	2,1	1,5	0,5	7,6
Cassio Freire	DevOps e testes (Aluno D)	3,45	2,5	1,3	0,4	7,7

Evidencias e ressalvas individuais

• Iviner Santos: issues #1/#2 e MR !1 atribuem dados e vetorizacao; os commits de preprocessamento usam o alias ivinercassio, nao contabilizado pela analitica como Iviner. O historico e coerente com o papel, mas o split adotado e insuficiente para multi-label.
• Thiago Moura: MR !2, commits de rede/treinamento e atualizacoes tecnicas do README demonstram entrega de ML. A retirada dos artefatos pesados explica a falha reprodutivel e reduz a entrega, nao a autoria.
• Carlos Eufrazio: abriu/organizou as dez issues, assumiu C1/C2 e possui MRs !3 e verificacoes da API. A API entregue fica em fallback mock pela ausencia dos artefatos reais.
• Cassio Freire: issues #7/#8 e commits de Docker, pytest e CI sustentam o papel D, embora parte apareca como autor unknown pelo e-mail alternativo. A imagem nao concluiu no limite e as dependencias nao foram fixadas.

As associacoes de aliases e autores unknown devem ser confirmadas na arguicao, sem reduzir automaticamente a nota por volume de commits.