Market & App Intelligence Architecture
Sistema operacional de inteligencia de mercado que coleta, processa e transforma dados externos em insights acionaveis para o ecossistema de apps. Financas e Varejo em tempo real.
Cada estagio do pipeline foi projetado para maximizar precisao e minimizar latencia.
Varredura inteligente com 2 niveis de profundidade, filtros de relevancia, canonicalizacao de URLs e respeito a robots.txt.
Ontologia versionada com dimensoes estrategicas, mecanismos de impacto e catalogo de metricas para analise estruturada.
Grafo de identidade com aliases, resolucao por LLM e vinculacao empresa-app versionada para rastreabilidade completa.
Fila de revisao humana para eventos sensiveis, conflitos entre fontes e baixa confianca. Auditoria completa de acoes.
Integracao com dados de apps via MI Tool e DataRank para correlacionar eventos com metricas reais de mercado.
Motor de insights que combina eventos, impactos e metricas para gerar declaracoes factuais e hipoteses com confianca calibrada.
Do dado bruto ao insight acionavel, cada camada adiciona valor e contexto.
RSS, Websites, APIs, Documentos regulatorios
Crawler 2 niveis + rate limiting + robots.txt
Relevancia, extracao, normalizacao, dedup
PostgreSQL + pgvector + evidencias linkadas
Ontologia v1 + Matriz de Impactos 62 seeds
MI Tool + DataRank integrations
Factual + hipotese com confianca calibrada
REST APIs + Admin Console + Agentes AI
Visao detalhada do fluxo desde a coleta ate a geracao de insights.
source_config.yaml
11 fontes configuradas com frequencia, seletores CSS e regras de relevancia
crawler.py
Nivel 1: lista de artigos. Nivel 2: conteudo completo. Canonicalizacao + dedup.
llm_pipeline.py
Structured output via GPT-4o. Eventos, entidades, categorias, confianca.
PostgreSQL + pgvector
Eventos normalizados, embeddings vetoriais, evidencias com source links.
insight_engine.py
Cruzamento evento x impacto x metrica. Confianca calibrada + caveats.
Endpoints para integracao com qualquer sistema ou agente.
/api/v1/events
Buscar eventos por categoria, empresa, app, pais
/api/v1/events/search
Busca semantica de eventos via embeddings
/api/v1/impacts
Impactos por evento, metrica, categoria
/api/v1/insights
Insights gerados com confianca e caveats
/api/v1/runs/manual
Disparar coleta manual com parametros
/api/v1/sources
Catalogo de fontes com health e last run
curl -s https://maia.shinp.ai/api/v1/events \
-H "Accept: application/json" \
| jq '.events[:3]'