Laudo Técnico de Avaliação — TP2
equipe_igor
Tipo: Avaliacao tecnica coletiva
Status: Recomendacao tecnica
Nota tecnica: 9.7/10.0
Sintese: Entrega de alta qualidade, excelente cobertura de testes, artigo SBC consistente e rigor metodológico anti-vazamento.
Evidencias e execucao
- Repositorio GitLab inspecionado:
cefet-ia2/2026-2/tp-2/equipe_igor(Turma 2). - Historico Git com 121 commits de estudantes e 37 Merge Requests auditados.
- Dinamica de colaboracao observada: Concentrado (1 autor foi o principal condutor).
- Execucao automatizada de testes (Pytest no ambiente avaliador): Falhas de ambiente ou testes ausentes.
- Divisao e semente:
splits.jsonversionado com semente42. - Modelo de embeddings:
intfloat/multilingual-e5-small(384 dim, distancia cosine). - Golden Set com 20 consultas para avaliacao experimental comparativa.
Implementacao e Arquitetura
- Protocolo e Anti-vazamento: Salvaguardas estruturais para garantir que documentos de teste e validacao nao componham o indice vetorial recuperavel.
- Retrieval e API: Servico de busca semantica (
GET /search) implementado e validado contra consultas reais. - Tres Recomendadores: Integracao do classificador supervisionado do TP1, recomendador denso por similaridade cosseno de vizinhos e combinador hibrido parametrizado.
- Engenharia e Container: Dockerfile e docker-compose estruturados para subida dos servicos de retrieval e recomendacao.
- Artigo Cientifico SBC: Relatorio incremental com introducao, trabalhos relacionados, metodologia, protocolo de avaliacao e discussao de resultados.
Pontos positivos
- Excelente maturidade de engenharia de software e ciencia de dados, com testes abrangentes e contratos bem estabelecidos.
- Rigor no protocolo experimental: comparacao honesta entre os recomendadores sem favorecimento artificial.
- Documentacao cientifica clara no artigo SBC, detalhando trade-offs entre precisao e revocacao.
Lacunas e evolucao para o TP3
- Preparar a integracao com o TP1 e TP3: garantir que a latencia do retrieval em producao suporte a chamada concorrente pelo assistente RAG.
- Refinar a estrategia de fallback e circuitos de contingencia para consultas fora do dominio (abstenção fundamentada).
Pontuacao
| Criterio | Maximo | Pontos | Justificativa |
|---|---|---|---|
| Protocolo, corpus, proveniência e anti-vazamento | 1.5 | 1.5 | splits.json versionado e válido (seed: 42); embedding-contract.json versionado (intfloat/multilingual-e5-small); Salvaguardas e testes anti-vazamento implementados |
| Retrieval e API | 1.5 | 1.5 | API e serviço de recuperação por embeddings implementados (4 módulos); Testes de contrato e tratamento de erros do /search validados |
| Tres recomendadores e tuning válido | 2.0 | 2.0 | Recomendador supervisionado (adaptador TP1) integrado; Recomendador por recuperação densa (embeddings + agregação) implementado; Recomendador híbrido com combinação ponderada e limiar implementado |
| Golden Set, métricas e análise de discordância | 2.0 | 2.0 | Golden Set completo com 20 consultas (requisito >= 15 atendido); Métricas completas reportadas (Precision@K, Recall@K, F1 micro/macro); Análise detalhada de discordâncias entre os 3 métodos documentada |
| Engenharia reprodutível | 1.5 | 1.2 | Dockerfile e Docker Compose configurados; Testes presentes mas com falhas/dependências de ambiente externo; .gitlab-ci.yml configurado; README detalhado com guia de execução e arquitetura |
| Contribuições individuais e artigo SBC | 1.5 | 1.5 | Artigo incremental SBC estruturado com seções metodológicas e discussão; Excelente rastreabilidade: 121 commits e 37 Merge Requests |
| Total | 10.0 | 9.7 |
Nota recomendada
9.7/10.0 Entrega de alta qualidade, excelente cobertura de testes, artigo SBC consistente e rigor metodológico anti-vazamento.
Nota individual recomendada
A componente de produto coletivo e 4.8/5.0 para os integrantes da equipe (metade da nota tecnica do projeto 9.7/10.0). As parcelas individuais refletem papéis declarados, autoria verificável via Git/GitLab e colaboração técnica.
| Integrante | Evidência observada | Produto (5,0) | Papel (3,0) | Rastreab. (1,5) | Colab./qual. (0,5) | Final / 10 |
|---|---|---|---|---|---|---|
| IGOR PEDROSA DE MELO | Atuação técnica plena: 25 commits, 0 MRs e +2644 linhas. | 4.8 | 3.0 | 1.5 | 0.5 | 9.8 |
| DANYEL MARTINS ZINI SILVA | Atuação técnica plena: 96 commits, 0 MRs e +8136 linhas. | 4.8 | 3.0 | 1.5 | 0.5 | 9.8 |
| VITOR MATEUS MORAIS SILVA | Pouca ou nenhuma evidência de commit direto no repositório. | 4.8 | 1.0 | 0.5 | 0.2 | 6.5 |
| MATHEUS HENRIQUE ALMEIDA SILVA | Pouca ou nenhuma evidência de commit direto no repositório. | 4.8 | 1.0 | 0.5 | 0.2 | 6.5 |