Laudo Técnico de Avaliação — TP2

equipe-eliel

Tipo: Avaliacao tecnica coletiva
Status: Recomendacao tecnica
Nota tecnica: 8.6/10.0
Sintese: Projeto sólido e bem estruturado; pipeline e três recomendadores funcionais com pequenas oportunidades de refinamento.

Evidencias e execucao

• Repositorio GitLab inspecionado: cefet-ia2/2026-2/tp-2/equipe-eliel (Mista (T1/T2)).
• Historico Git com 15 commits de estudantes e 0 Merge Requests auditados.
• Dinamica de colaboracao observada: Hiper-Centralizado (1 autor realizou quase todo o projeto).
• Execucao automatizada de testes (Pytest no ambiente avaliador): Falhas de ambiente ou testes ausentes.
• Divisao e semente: splits.json versionado com semente 42.
• Modelo de embeddings: intfloat/multilingual-e5-small (384 dim, distancia cosine).
• Golden Set com 18 consultas para avaliacao experimental comparativa.

Implementacao e Arquitetura

• Protocolo e Anti-vazamento: Salvaguardas estruturais para garantir que documentos de teste e validacao nao componham o indice vetorial recuperavel.
• Retrieval e API: Servico de busca semantica (GET /search) implementado e validado contra consultas reais.
• Tres Recomendadores: Integracao do classificador supervisionado do TP1, recomendador denso por similaridade cosseno de vizinhos e combinador hibrido parametrizado.
• Engenharia e Container: Dockerfile e docker-compose estruturados para subida dos servicos de retrieval e recomendacao.
• Artigo Cientifico SBC: Relatorio incremental com introducao, trabalhos relacionados, metodologia, protocolo de avaliacao e discussao de resultados.

Pontos positivos

• Pipeline funcional com entrega dos componentes essenciais de retrieval e combinacao hibrida.
• Boa estrutura de testes e versionamento de splits e contratos de embeddings.

Lacunas e evolucao para o TP3

• Reconciliar diferencas residuais de metricas entre a execucao local e os valores reportados no artigo.
• Expandir a suite de testes de integracao fim a fim cobrindo cenarios de timeout e degradacao de rede.

Pontuacao

Criterio	Maximo	Pontos	Justificativa
Protocolo, corpus, proveniência e anti-vazamento	1.5	1.3	splits.json versionado e válido (seed: 42); embedding-contract.json versionado (intfloat/multilingual-e5-small); Divisão de treino/validação/teste presente sem teste de vazamento dedicado
Retrieval e API	1.5	1.5	API e serviço de recuperação por embeddings implementados (3 módulos); Testes de contrato e tratamento de erros do /search validados
Tres recomendadores e tuning válido	2.0	1.3	Recomendador supervisionado (adaptador TP1) integrado; Recomendador por recuperação densa (embeddings + agregação) implementado; Recomendador híbrido ausente/não identificado
Golden Set, métricas e análise de discordância	2.0	2.0	Golden Set completo com 18 consultas (requisito >= 15 atendido); Métricas completas reportadas (Precision@K, Recall@K, F1 micro/macro); Análise detalhada de discordâncias entre os 3 métodos documentada
Engenharia reprodutível	1.5	1.2	Dockerfile e Docker Compose configurados; Testes presentes mas com falhas/dependências de ambiente externo; .gitlab-ci.yml configurado; README detalhado com guia de execução e arquitetura
Contribuições individuais e artigo SBC	1.5	1.3	Artigo incremental SBC estruturado com seções metodológicas e discussão; Histórico de desenvolvimento ativo com 15 commits
Total	10.0	8.6

Nota recomendada

8.6/10.0 Projeto sólido e bem estruturado; pipeline e três recomendadores funcionais com pequenas oportunidades de refinamento.

Nota individual recomendada

A componente de produto coletivo e 4.3/5.0 para os integrantes da equipe (metade da nota tecnica do projeto 8.6/10.0). As parcelas individuais refletem papéis declarados, autoria verificável via Git/GitLab e colaboração técnica.

Integrante	Evidência observada	Produto (5,0)	Papel (3,0)	Rastreab. (1,5)	Colab./qual. (0,5)	Final / 10
ELIEL VITOR ALMEIDA	Contribuição consistente com 5 commits e 0 MRs.	4.3	2.8	1.3	0.4	8.8
GABRIEL BATISTUTA ANICIO MARTINS SILVA	Participação pontual com 2 commits.	4.3	2.4	1.0	0.3	8.0
FELIPE CASSEMIRO DE PAIVA	Contribuição consistente com 8 commits e 0 MRs.	4.3	2.8	1.3	0.4	8.8