Zeezazum
Coleta posts e mídias do Instagram para pesquisa a partir de qualquer tabela com links, lendo o tráfego que a própria página carrega.
O desafio
Pesquisa sobre redes sociais quase sempre começa com uma planilha: candidaturas, organizações, perfis citados em algum cadastro. Os links vêm misturados em texto livre, as APIs oficiais fecharam o acesso e raspar o HTML da página quebra a cada mudança de layout.
O que fizemos
Inspirado no Zeeschuimer, da Digital Methods Initiative, o Zeezazum navega pelo perfil com Playwright e guarda as respostas de rede que a página já recebe, em vez de ler o HTML. O comando prepare tira os perfis de uma coluna de texto livre, em parquet, csv ou xlsx. O scrape coleta posts, métricas e mídias e grava em JSON e Parquet, no disco ou no S3. O estado de cada perfil fica num DuckDB, então a coleta pode rodar todo dia, retoma de onde parou e só baixa o que é novo. Para ir mais longe no histórico há o backfill, e o media-sync recupera arquivos que ficaram pelo caminho.
Destaques
- 01Entrada por qualquer tabela com links ou perfis em texto livre
- 02Coleta incremental e retomável, com estado em DuckDB
- 03Saída em JSON e Parquet, no disco ou no S3
Galeria
Zeezazum, tela 1 de 2