Ir para o conteúdo

A solução

Como funciona, do cadastro ao histórico.

As peças da plataforma, na ordem em que você vai usar.

Os quatro blocos

É com estes quatro que você monta qualquer rotina.

Job

Um processo. É o que se agenda, se executa e se acompanha.

Etapa

Um passo do processo: SQL, script, cópia de dados, backup. Cada uma decide o que fazer se falhar.

Agenda

Quando rodar. Cadastro próprio, reutilizável, com fuso horário explícito.

Executor

O serviço que roda as rotinas no seu servidor. Fica separado do portal, e pode haver vários — em máquinas diferentes, perto de onde o dado está.

Tipos de etapa

O que você monta na tela, e o que precisa de script.

Vale saber a diferença: é ela que diz se você precisa de alguém que programe.

🗃️

SQL

Consulta ou procedure em qualquer um dos bancos conectados. O resultado pode alimentar a etapa seguinte.

🔁

DataSync

Cópia de dados entre bancos, com origem, destino e mapeamento de campos na tela — sem uma linha de código. Quatro estratégias: carga completa, janela por data, incremental por chave e upsert. Scripts SQL antes e depois tanto na origem quanto no destino, e arquivo como origem ou destino: CSV, Parquet e Excel.

💾

Backup de banco

Dump agendado, compactado, com retenção própria — e aviso quando falha.

🐍

Python

É por aqui que entra qualquer sistema com API — Salesforce, Dynamics, HubSpot, o ERP da casa, um serviço interno. Conexões e credenciais chegam prontas por variável de ambiente, então o script não carrega senha.

Sem catálogo, sem limite: não há conector pronto para arrastar — em troca, não há integração fora do alcance nem módulo a mais para contratar.

⌨️

Shell / PowerShell

O mesmo, para quem prefere script de sistema. SFTP, SMB e rsync já vêm na imagem do executor.

🔗

Comando compartilhado

Escreva uma vez, use em vários processos. Versionado, com sincronização explícita.

Arquivo e Python

Planilha é fonte de dados, não anexo.

Boa parte do ETL real do mundo começa num Excel que alguém exporta. Ele entra pelo DataSync, na tela: CSV, Parquet e Excel são lidos direto, com mapeamento de campos e sem escrever código. O Python continua ali para o que não é banco nem planilha — uma API, um formato próprio, uma transformação que só código resolve.

Excel, CSV e Parquet

Lidos direto pelo DataSync, com mapeamento de campos na tela — sem conversão manual e sem alguém abrindo planilha para salvar como CSV antes. E os mesmos três formatos servem de destino, com compressão.

Sem script: arquivo é origem e destino na própria etapa.

Quando o Python entra

Quando o formato é próprio, a regra é complexa demais para mapeamento, ou o dado vem de algo que não é arquivo nem banco. pandas e openpyxl já estão na imagem.

JSON e XML

Nativos no Python. Parquet não precisa dele: o DataSync grava e lê Parquet por conta própria.

Qualquer API

REST, SOAP, o serviço interno da casa. A credencial chega por variável de ambiente.

ETL ou ELT — você escolhe

Transformar no Python antes de gravar, ou despejar cru e transformar em SQL depois: a plataforma não impõe o desenho. O que ela dá nos dois casos é o que falta num script solto — agenda, ordem entre etapas, histórico, aviso quando falha e quem pode mexer.

Entre etapas

O que uma etapa entrega para a seguinte.

Sucesso e falha

Cada etapa escolhe: parar, seguir para a próxima, ou pular para uma etapa específica.

Dados

O resultado de uma consulta vira variável na etapa seguinte — inclusive em laço, uma execução por linha.

Dependência e encadeamento

Um processo pode esperar outro, ou disparar o próximo quando termina bem.

Perguntas frequentes

O que perguntam antes de marcar a conversa.

Dá para carregar uma planilha Excel no banco de dados automaticamente?
Dá, e sem programar: a etapa DataSyncExcel (.xlsx), CSV e Parquet direto, com mapeamento de campos na tela. Python continua disponível para o que exigir tratamento fora do comum — com pandas e openpyxl já instalados e a conexão injetada, sem senha no script. A rotina roda no horário que você agendar, com histórico e aviso por e-mail quando falha.
Dá para copiar tabelas entre bancos de dados diferentes?
Sim, e sem escrever código: a etapa DataSync tem origem, destino e mapeamento de campos na tela, com quatro estratégias — carga completa, janela por data, incremental por chave e upsert — e Scripts SQL antes e depois tanto na origem quanto no destino. Origem e destino podem ser de fornecedores diferentes — por exemplo, de Oracle para PostgreSQL.
Com quais bancos de dados ele conversa?
Sete para execução: Oracle, SQL Server, PostgreSQL, MySQL/MariaDB, Firebird, DB2 e ODBC. O próprio banco de controle da plataforma pode ser SQL Server, MySQL, PostgreSQL, Firebird ou Oracle — você usa o que já tem.
Preciso saber programar para usar?
Para SQL, DataSync e backup, não: monta-se na tela. Script (Python, Shell ou PowerShell) só é necessário quando a rotina precisa falar com algo que não é banco — uma API, um arquivo remoto, um sistema legado.
Ele integra com sistemas que têm API, como Salesforce, Dynamics ou o ERP da casa?
Integra, pela etapa Python: qualquer sistema com API REST ou SOAP está ao alcance, e as credenciais chegam por variável de ambiente. Não há catálogo de conectores prontos para arrastar — em troca, não há integração fora do alcance nem módulo a mais para contratar.
Funciona sem internet, dentro da nossa rede?
Funciona. A instalação é no seu servidor, em container, e com o banco de controle também na sua casa nada precisa sair da rede. Não há telemetria e o produto não “liga para casa”.
Substitui o cron e o SQL Server Agent?
Substitui, e resolve o que eles não resolvem: uma rotina só, atravessando bancos de fornecedores diferentes, com histórico, aviso quando falha, controle de quem pode executar e versão do que foi alterado.
Roda em Windows?
O portal roda em Linux, em container — inclusive sobre Windows Server com virtualização. Os executores rodam das duas formas: em container Linux, com todos os tipos de automação, ou como serviço nativo do Windows, para alcançar o que vive na rede interna sem uma VM Linux no meio. O executor Windows roda consultas SQL, sincronização de dados (DataSync) e scripts PowerShell e Prompt de Comando; para scripts Python, scripts Bash e backup de banco de dados, use um executor Linux.
Como fico sabendo que uma rotina falhou?
Por e-mail, em dois níveis independentes — do processo inteiro e de cada etapa — e pelo painel, que mostra o que rodou, quando, por quanto tempo e com que resultado, com o log completo da execução.

Vamos rodar um processo seu?

A gente monta, com você, uma rotina parecida com a que roda hoje na sua empresa.