Laudo Técnico de Avaliação — TP2
equipe_mit
Tipo: Avaliacao tecnica coletiva
Status: Recomendacao tecnica
Nota tecnica: 9.3/10.0
Sintese: Entrega de alta qualidade, excelente cobertura de testes, artigo SBC consistente e rigor metodológico anti-vazamento.
Evidencias e execucao
- Repositorio GitLab inspecionado:
cefet-ia2/2026-2/tp-2/equipe_mit(Turma 1). - Historico Git com 21 commits de estudantes e 7 Merge Requests auditados.
- Dinamica de colaboracao observada: Moderadamente Balanceado (um autor liderou mas houve boa divisão).
- Execucao automatizada de testes (Pytest no ambiente avaliador): 99 testes passando.
- Divisao e semente:
splits.jsonversionado com semente42. - Modelo de embeddings:
intfloat/multilingual-e5-small(384 dim, distancia cosine). - Golden Set com 15 consultas para avaliacao experimental comparativa.
Implementacao e Arquitetura
- Protocolo e Anti-vazamento: Salvaguardas estruturais para garantir que documentos de teste e validacao nao componham o indice vetorial recuperavel.
- Retrieval e API: Servico de busca semantica (
GET /search) implementado e validado contra consultas reais. - Tres Recomendadores: Integracao do classificador supervisionado do TP1, recomendador denso por similaridade cosseno de vizinhos e combinador hibrido parametrizado.
- Engenharia e Container: Dockerfile e docker-compose estruturados para subida dos servicos de retrieval e recomendacao.
- Artigo Cientifico SBC: Relatorio incremental com introducao, trabalhos relacionados, metodologia, protocolo de avaliacao e discussao de resultados.
Pontos positivos
- Excelente maturidade de engenharia de software e ciencia de dados, com testes abrangentes e contratos bem estabelecidos.
- Rigor no protocolo experimental: comparacao honesta entre os recomendadores sem favorecimento artificial.
- Documentacao cientifica clara no artigo SBC, detalhando trade-offs entre precisao e revocacao.
Lacunas e evolucao para o TP3
- Preparar a integracao com o TP1 e TP3: garantir que a latencia do retrieval em producao suporte a chamada concorrente pelo assistente RAG.
- Refinar a estrategia de fallback e circuitos de contingencia para consultas fora do dominio (abstenção fundamentada).
Pontuacao
| Criterio | Maximo | Pontos | Justificativa |
|---|---|---|---|
| Protocolo, corpus, proveniência e anti-vazamento | 1.5 | 1.5 | splits.json versionado e válido (seed: 42); embedding-contract.json versionado (intfloat/multilingual-e5-small); Salvaguardas e testes anti-vazamento implementados |
| Retrieval e API | 1.5 | 1.5 | API e serviço de recuperação por embeddings implementados (3 módulos); Testes de contrato e tratamento de erros do /search validados |
| Tres recomendadores e tuning válido | 2.0 | 1.3 | Recomendador supervisionado (adaptador TP1) integrado; Recomendador por retrieval incompleto; Recomendador híbrido com combinação ponderada e limiar implementado |
| Golden Set, métricas e análise de discordância | 2.0 | 2.0 | Golden Set completo com 15 consultas (requisito >= 15 atendido); Métricas completas reportadas (Precision@K, Recall@K, F1 micro/macro); Análise detalhada de discordâncias entre os 3 métodos documentada |
| Engenharia reprodutível | 1.5 | 1.5 | Dockerfile e Docker Compose configurados; Suite de testes automatizados com 99 testes passando; .gitlab-ci.yml configurado; README detalhado com guia de execução e arquitetura |
| Contribuições individuais e artigo SBC | 1.5 | 1.5 | Artigo incremental SBC estruturado com seções metodológicas e discussão; Excelente rastreabilidade: 21 commits e 7 Merge Requests |
| Total | 10.0 | 9.3 |
Nota recomendada
9.3/10.0 Entrega de alta qualidade, excelente cobertura de testes, artigo SBC consistente e rigor metodológico anti-vazamento.
Nota individual recomendada
A componente de produto coletivo e 4.7/5.0 para os integrantes da equipe (metade da nota tecnica do projeto 9.3/10.0). As parcelas individuais refletem papéis declarados, autoria verificável via Git/GitLab e colaboração técnica.
| Integrante | Evidência observada | Produto (5,0) | Papel (3,0) | Rastreab. (1,5) | Colab./qual. (0,5) | Final / 10 |
|---|---|---|---|---|---|---|
| THIAGO VICTOR DE JESUS MOURA | Contribuição consistente com 9 commits e 0 MRs. | 4.7 | 2.8 | 1.3 | 0.4 | 9.2 |
| CASSIO FREIRE | Contribuição consistente com 8 commits e 0 MRs. | 4.7 | 2.8 | 1.3 | 0.4 | 9.2 |
| CARLOS MATHEUS DE ALMEIDA EUFRAZIO | Participação pontual com 2 commits. | 4.7 | 2.4 | 1.0 | 0.3 | 8.4 |
| IVINER CÁSSIO DE MATOS SANTOS | Participação pontual com 2 commits. | 4.7 | 2.4 | 1.0 | 0.3 | 8.4 |