Programa IC Especial: Auditoria Experimental WOKDEX
Convite para equipes com interesse em pesquisa aplicada em IA
O que é o Programa IC Especial?
A disciplina oferece uma trilha opcional de Iniciação Científica para equipes que demonstrem interesse e condições de conduzir uma investigação experimental curta. Em 2026-2, a proposta é auditar os artefatos que a própria turma produz no TP2 e no TP3: retrieval, proveniência, contratos, evidências, citações, abstinção e reprodução.
A seleção ocorre após o TP1 e a substituição precisa ser confirmada antes do início do TP3. A participação na IC é voluntária; quem não aceitar o convite, ou não for formalmente aceito, segue o percurso regular sem penalidade.
Objetivo científico
A investigação pergunta se as respostas RAG integradas no TP3 são sustentadas pelas evidências recuperadas no TP2, se citam corretamente suas fontes, se se abstêm quando não há suporte e se outra pessoa consegue reproduzir os resultados a partir dos artefatos versionados.
O trabalho não tenta criar agentes ou gerar metadata.yaml. Em 2026-2, o TP3 regular é um assistente RAG fundamentado, e os dados da auditoria são seus contratos, logs, casos de avaliação, citações e artefatos de retrieval. Agentes, LLMs com tool calling e orquestração pertencem à TP3.5, que é opcional, isolada e nunca fonte de dados obrigatória para a IC.
Quem pode participar?
Critérios de seleção
| Critério | Como é observado |
|---|---|
| Trabalho consistente no TP1 | Métricas, organização e correção do experimento |
| Contribuições identificáveis | Commits/MRs, revisão de colega e responsabilidade assumida |
| Qualidade de engenharia | Testes, documentação, controle de versão e comunicação de limites |
| Interesse em pesquisa | Formulário e conversa breve com o professor |
| Disponibilidade | Cerca de 15 horas por estudante no TP3, sem promessa de trabalho extra ilimitado |
O professor pode aceitar uma ou mais equipes de quatro estudantes conforme a capacidade de mentoria e a disponibilidade de artefatos. A aceitação será documentada no repositório/canal da disciplina.
Método e entregáveis IC
As equipes aceitas seguem o método fixo do TP3 Master:
- Inventariar e congelar os artefatos do TP2 até 19/10: corpus, hashes,
splits.json, contrato de embeddings, Golden Set, resultados e comandos. - Definir antes da rodada final ao menos 12 casos: os seis casos exigidos no TP3 e seis derivados do Golden Set ou das discordâncias do TP2.
- Auditar, por caso, o suporte das evidências, a validade das citações e a decisão de responder, abster-se ou pedir esclarecimento.
- Reexecutar a auditoria com uma pessoa diferente da autora principal em ambiente limpo ou perfil separado.
- Consolidar resultados, divergências, limitações e um artigo curto SBC de 3-4 páginas.
Os entregáveis detalhados, papéis, rubrica e checklist estão no TP3 Master. Dados de terceiros só podem ser usados com origem, permissão/licença e anonimização documentadas. Não versionem segredos, dados pessoais ou raciocínio interno de modelos.
Papéis realistas para uma equipe de quatro
| Papel | Foco |
|---|---|
| Pessoa A - Protocolo e dados | Proveniência, inventário, hashes, anonimização e casos |
| Pessoa B - Evidência e citações | Vínculo entre retrieval, trechos, IDs e citações RAG |
| Pessoa C - Abstenção e integração | Decisões, falhas de contrato, degradação segura e logs |
| Pessoa D - Reprodução e artigo | Ambiente, scripts, segunda execução, tabelas e texto SBC |
Toda pessoa revisa uma entrega de colega e mantém autoria verificável. Os papéis podem ser ajustados quando documentados no README, desde que preservem responsabilidades comparáveis.
Cronograma 2026-2
| Marco | Data/período | Resultado esperado |
|---|---|---|
| Seleção e confirmação IC | Após TP1, antes do TP3 | Equipe aceita e escopo de substituição confirmado |
| Fechamento dos artefatos TP2 | Até 19/10 | Inventário, protocolo e casos candidatos preparados |
| Congelamento e piloto | 20/10-10/11 | Contratos, hashes, dois casos auditados e política de abstinção verificável |
| Alerta técnico de risco (não avaliativo) | 16/11 | Contratos e mocks verificados, um caso fundamentado, um caso de abstenção e risco com responsável |
| Auditoria e reprodução | 11/11-25/11 | 12+ casos, revisão cruzada, segunda execução e tabelas |
| Entrega TP3 Master | 26/11 | Repositório e artigo SBC de 3-4 páginas |
| Apresentação | 30/11 e 02/12 | Defesa dos resultados, limitações e recomendação |
Mentoria e resultados esperados
- Reunião curta semanal, em horário combinado, para revisar protocolo, impedimentos e qualidade dos artefatos.
- Revisão de código/documentação por meio de MRs ou mecanismo equivalente.
- Resultados podem ser positivos, negativos ou inconclusivos; a qualidade do método e a transparência dos limites são o critério central.
- Uma evolução para projeto de IC, relatório técnico ou artigo posterior depende dos resultados, disponibilidade e avaliação do professor. Coautoria não é garantida pela participação na disciplina.
Riscos e mitigação
| Risco | Mitigação |
|---|---|
| Serviço TP1/TP2 indisponível | Usar mock explicitamente identificado para testar contrato, sem confundi-lo com execução real |
| Artefato sem versão ou hash | Registrar a lacuna como achado; não reconstruir silenciosamente o experimento |
| Poucos dados de outras equipes | Priorizar os artefatos da própria equipe e dados autorizados; não depender de coleta ampla |
| Resultado sem melhora aparente | Reportar falhas, abstinções inadequadas e limites como evidência válida |
| Experimento com agentes | Mantê-lo em TP3.5, separado da auditoria e da nota-base |