Mineração de Repositórios Competitivos (Codeforces, COFO, LeetCode) e Migração Histórica (CETECOP) para o Formato WOKDEX

Pipeline ETL reprodutível e classificação automática na escala A–E e tópicos CS1/CS2 sobre cinco bases competitivas e acervo histórico

Código: TCC 07 · Trilha: Trilha 2: IA e Ciência de Dados · Status: Disponível · Modalidade: Ciência de Dados / ETL + Curadoria · Perfil: Individual · Complexidade: Média · Regime Ético: Sem CEP (Computacional)

1. Contexto e Problema

O repositório da pesquisa já dispõe de cinco grandes bases de dados competitivas em apendices/dataset/ (codeforces-competitive-programming-dataset com raw_dataset_with_hints.csv, COFO, forces-problems-catalogue, CodeContests do Google DeepMind e leetcode-problems-dataset), além do acervo histórico de 100+ problemas de LP1 do projeto CETECOP/FAPEMIG 2018 (apendices/cetecop/relatorio-formal.md).

Contudo, esses dados estão dispersos em schemas heterogêneos (CSVs e JSONs sem validação cruzada nem classificação pedagógica A–E compatível com CS1/CS2). Falta um pipeline reproduzível de Engenharia de Dados (ETL) que filtre problemas adequados ao ciclo básico, extraia dicas editoriais, mapeie tags para o vocabulário WOKDEX e realize bootstrap estruturado de pacotes validáveis rumo à meta de expansão para 120+ problemas (cap07).

2. O que será feito (Objetivos Técnicos e Escopo)

1. Construir um pipeline ETL reprodutível unificando metadados de Codeforces, COFO, LeetCode, CodeContests e do acervo histórico CETECOP;
2. Desenvolver modelos de classificação/agrupamento — comparando métodos clássicos (TF-IDF/SVM) e embeddings semânticos modernos com justificativa de features e validação estatística rigorosa — para mapear automaticamente problemas à escala A–E e aos tópicos de CS1/CS2 (apendices/disciplinas/cs1..cs3.yaml);
3. Gerar e validar um subconjunto curado (ex.: 50–75 novos rascunhos de pacotes compatíveis com wok-scheme.json) com revisão humana documentada e verificação automática de soluções de referência;
4. Publicar o catálogo unificado (respeitando licenças) e métricas completas de qualidade da classificação.

3. Perguntas para você refletir

Se você se identifica com as questões abaixo, este tema pode ser uma boa escolha:

• Como deduplicar e alinhar enunciados e ratings de plataformas com escalas diferentes (Codeforces 800–3500, LeetCode Easy/Medium/Hard, CETECOP LP1) na escala pedagógica A–E do WOKDEX?
• Por que métodos clássicos bem calibrados (TF-IDF + modelos lineares) muitas vezes constituem um baseline indispensável frente a embeddings densos em classificação textual técnica?
• Quais critérios de qualidade e licenciamento precisam ser automatizados antes de aceitar um problema minerado no repositório WOKDEX?

4. Divisão Sugerida (TCC 1 e TCC 2)

• TCC 1: Auditoria exploratória das 5 bases em apendices/dataset/ e do acervo CETECOP, definição do schema unificado e protocolo de classificação A–E.
• TCC 2: Implementação do pipeline ETL, treinamento e avaliação estatística dos classificadores de dificuldade/tópicos e geração de pacotes WOKDEX validados.

5. Entregáveis e Métricas de Avaliação

• Análise exploratória e catálogo unificado documentando as 5 bases + CETECOP (com controle de licenças e deduplicação)
• Pipeline ETL reproduzível + gerador de rascunhos compatíveis com wok-scheme.json
• Avaliação comparativa de classificadores com Acurácia, \(F_1\)-score macro/ponderado, Matriz de Confusão e validação cruzada estratificada (evitando as falhas metodológicas registradas em tcc-alvim.md)
• Monografia de TCC

6. Pré-requisitos e Tecnologias Sugeridas

• Base necessária: Python (pandas, scikit-learn), SQL/Parquet/JSON e noções de Aprendizado de Máquina e PLN.
• Tecnologias e conceitos envolvidos: HuggingFace / sentence embeddings, TF-IDF, validação cruzada, JSON Schema (wok-scheme.json), ETL reprodutível.

7. Origem e Ponto de Partida

• Origem na pesquisa WOKDEX:
  • apendices/dataset/ (codeforces-competitive-programming-dataset, COFO, forces-problems-catalogue, google-deepmind CodeContests, leetcode-problems-dataset);
  • apendices/cetecop/relatorio-formal.md (acervo CETECOP FAPEMIG 10520/2018);
  • cap07-plano-execucao-qualificacao.tex (meta de expansão 45 → 120 problemas);
  • apendices/disciplinas/tcc-alvim.md e cs1..cs3_estrutura_disciplinar.yaml.
• Consulte também o guia de Metodologia e Ética.

8. Como demonstrar interesse

Antes de agendarmos uma conversa, prepare respostas curtas para:

1. Por que esse tema chamou sua atenção?
2. Qual recorte te atrai mais: engenharia do pipeline ETL/CETECOP ou modelagem de classificação A–E / extração de dicas?
3. Qual sua disponibilidade semanal estimada para o TCC?