Laudo Técnico de Avaliação — TP2
equipe-elas
Tipo: Avaliacao tecnica coletiva
Status: Recomendacao tecnica
Nota tecnica: 8.6/10.0
Sintese: Projeto sólido e bem estruturado; pipeline e três recomendadores funcionais com pequenas oportunidades de refinamento.
Evidencias e execucao
- Repositorio GitLab inspecionado:
cefet-ia2/2026-2/tp-2/equipe-elas(Turma 2). - Historico Git com 96 commits de estudantes e 32 Merge Requests auditados.
- Dinamica de colaboracao observada: Moderadamente Balanceado (um autor liderou mas houve boa divisão).
- Execucao automatizada de testes (Pytest no ambiente avaliador): 86 testes passando.
- Divisao e semente:
splits.jsonversionado com semente42. - Modelo de embeddings:
intfloat/multilingual-e5-small(384 dim, distancia cosine). - Golden Set com 18 consultas para avaliacao experimental comparativa.
Implementacao e Arquitetura
- Protocolo e Anti-vazamento: Salvaguardas estruturais para garantir que documentos de teste e validacao nao componham o indice vetorial recuperavel.
- Retrieval e API: Servico de busca semantica (
GET /search) implementado e validado contra consultas reais. - Tres Recomendadores: Integracao do classificador supervisionado do TP1, recomendador denso por similaridade cosseno de vizinhos e combinador hibrido parametrizado.
- Engenharia e Container: Dockerfile e docker-compose estruturados para subida dos servicos de retrieval e recomendacao.
- Artigo Cientifico SBC: Relatorio incremental com introducao, trabalhos relacionados, metodologia, protocolo de avaliacao e discussao de resultados.
Pontos positivos
- Pipeline funcional com entrega dos componentes essenciais de retrieval e combinacao hibrida.
- Boa estrutura de testes e versionamento de splits e contratos de embeddings.
Lacunas e evolucao para o TP3
- Reconciliar diferencas residuais de metricas entre a execucao local e os valores reportados no artigo.
- Expandir a suite de testes de integracao fim a fim cobrindo cenarios de timeout e degradacao de rede.
Pontuacao
| Criterio | Maximo | Pontos | Justificativa |
|---|---|---|---|
| Protocolo, corpus, proveniência e anti-vazamento | 1.5 | 1.5 | splits.json versionado e válido (seed: 42); embedding-contract.json versionado (intfloat/multilingual-e5-small); Salvaguardas e testes anti-vazamento implementados |
| Retrieval e API | 1.5 | 1.5 | API e serviço de recuperação por embeddings implementados (1 módulos); Testes de contrato e tratamento de erros do /search validados |
| Tres recomendadores e tuning válido | 2.0 | 0.6 | Recomendador supervisionado (adaptador TP1) integrado; Recomendador por retrieval incompleto; Recomendador híbrido ausente/não identificado |
| Golden Set, métricas e análise de discordância | 2.0 | 2.0 | Golden Set completo com 18 consultas (requisito >= 15 atendido); Métricas completas reportadas (Precision@K, Recall@K, F1 micro/macro); Análise detalhada de discordâncias entre os 3 métodos documentada |
| Engenharia reprodutível | 1.5 | 1.5 | Dockerfile e Docker Compose configurados; Suite de testes automatizados com 86 testes passando; .gitlab-ci.yml configurado; README detalhado com guia de execução e arquitetura |
| Contribuições individuais e artigo SBC | 1.5 | 1.5 | Artigo incremental SBC estruturado com seções metodológicas e discussão; Excelente rastreabilidade: 96 commits e 32 Merge Requests |
| Total | 10.0 | 8.6 |
Nota recomendada
8.6/10.0 Projeto sólido e bem estruturado; pipeline e três recomendadores funcionais com pequenas oportunidades de refinamento.
Nota individual recomendada
A componente de produto coletivo e 4.3/5.0 para os integrantes da equipe (metade da nota tecnica do projeto 8.6/10.0). As parcelas individuais refletem papéis declarados, autoria verificável via Git/GitLab e colaboração técnica.
| Integrante | Evidência observada | Produto (5,0) | Papel (3,0) | Rastreab. (1,5) | Colab./qual. (0,5) | Final / 10 |
|---|---|---|---|---|---|---|
| FERNANDA LAYLLA ALMEIDA | Atuação técnica plena: 22 commits, 0 MRs e +613 linhas. | 4.3 | 3.0 | 1.5 | 0.5 | 9.3 |
| DAIANA MARIA DE OLIVEIRA VIEIRA | Atuação técnica plena: 24 commits, 0 MRs e +3054 linhas. | 4.3 | 3.0 | 1.5 | 0.5 | 9.3 |
| MARIANA LUCIANO MORAES | Atuação técnica plena: 35 commits, 0 MRs e +1621 linhas. | 4.3 | 3.0 | 1.5 | 0.5 | 9.3 |
| BRUNO DURSO AMARAL | Atuação técnica plena: 15 commits, 0 MRs e +829 linhas. | 4.3 | 3.0 | 1.5 | 0.5 | 9.3 |