Pular para o conteúdo

Databricks + Querri

Respostas do Databricks,sem notebook e sem uma linha de SQL.

O lakehouse guarda o que operações, finanças e vendas querem saber. O Querri copia as tabelas que você escolher para uma só Biblioteca, junto com o resto do seu negócio, para que qualquer pessoa pergunte sobre elas em linguagem natural e receba as respostas com as definições do seu time.

O Querri só lê o Databricks, com um token guardado criptografado e fora da vista do agente. Certificações SOC 2 Type II, HIPAA e ISO 27001:2022.

Por que os relatórios do Databricks empacam

O lakehouse está pronto. O negócio ainda não consegue entrar.

Os engenheiros de dados migram para o Databricks porque ele dá conta do trabalho pesado de pipelines. O atrito aparece depois, quando alguém de fora do time de dados tem uma pergunta sobre o que está lá dentro.

01

Notebooks e SQL são a porta de entrada

Um gerente regional não vai abrir um notebook nem o editor de SQL. Cada pergunta vira um pedido ao time de dados, e a fila cresce mais rápido que o time.

02

As definições se escondem no código

Receita líquida é um CASE num notebook, um modelo do dbt em outro e um filtro um pouco diferente na consulta de um dashboard. Ninguém fora da engenharia consegue ver qual está certo.

03

Poucas perguntas mantêm a computação ligada

Por padrão, os SQL warehouses classic e pro esperam 45 minutos ociosos antes de parar, e os serverless, 10. Um fio de perguntas avulsas ao longo do dia mantém um warehouse cobrando.

04

Resultados grandes acabam como export.csv

Uma tabela de notebook mostra no máximo 10.000 linhas ou 2 MB, o que for menor. Qualquer coisa maior é baixada, colada no Excel e enviada por e-mail, e as cópias começam a divergir.

05

A governança para no download

O Unity Catalog decide quem lê qual tabela dentro do Databricks. Quando um CSV sai do workspace, essas permissões não vão junto, e cada destinatário vê todas as linhas.

O que você finalmente consegue responder

Oito perguntas sobre o Databricks que pulam a fila do time de dados

Cada uma é um pedido que chega todo mês a um time de lakehouse, o motivo de demorar tanto hoje e o que o Querri faz com ele.

Como operações e finanças conseguem respostas do Databricks sem um notebook?

Por que é difícil

As tabelas estão limpas e documentadas, mas os únicos jeitos de lê-las são um notebook, o editor de SQL ou um dashboard que outra pessoa escreveu.

Com o Querri

O Querri sincroniza as tabelas gold que você escolher, e as pessoas perguntam no chat com as próprias palavras. Toda resposta lista os seus passos, e uma resposta útil pode ser salva como um projeto que qualquer pessoa executa de novo.

Todo cliente foi cobrado pelo uso que medimos no mês passado?

Por que é difícil

O uso medido chega ao lakehouse, enquanto as faturas são emitidas no ERP. Comparar os dois exige um pipeline que ninguém construiu ainda, ou uma planilha de fim de mês.

Com o Querri

Conecte o NetSuite ao lado do Databricks e o Querri alinha o uso medido de cada cliente com as faturas de uso dele. Diga uma vez em Fatos e regras quais eventos são cobráveis, e a lista de clientes não cobrados segue essa regra.

A receita líquida das nossas tabelas gold pode chegar a quem nunca entra no Databricks?

Por que é difícil

A definição combinada fica no código de transformação. Um líder de vendas que refaz o número numa planilha chega perto, e é chegando perto que dois números acabam na mesma reunião.

Com o Querri

Escreva a definição em palavras simples na Biblioteca e acompanhe-a como um KPI. O chat, os dashboards e os relatórios agendados leem o mesmo significado, e o KPI guarda o histórico desde o dia em que você começa.

A previsão de demanda que os nossos cientistas de dados criaram está se sustentando frente ao real?

Por que é difícil

O modelo grava a previsão numa tabela Delta e segue em frente. Conferi-la com os pedidos reais, semana a semana e região por região, não é trabalho de ninguém.

Com o Querri

Sincronize a tabela de previsão e a de pedidos, e acompanhe o erro da previsão como um KPI. Os Insights noturnos comparam cada região com o próprio histórico toda noite e põem na sua Caixa de entrada a que estiver se desviando.

Como exportar dados do Databricks para o Excel automaticamente toda segunda?

Por que é difícil

Alguém roda a consulta, baixa o resultado, formata a planilha e a divide por região à mão. Na semana de folga dessa pessoa, ninguém recebe.

Com o Querri

Salve o recorte por região como um projeto com execução às 7h de segunda. Relatórios e automação o executa de novo sobre a sincronização mais recente e envia por e-mail a cada gerente uma pasta de trabalho formatada só com a região dele, montada com as Ferramentas de Excel.

Clientes que procuram muito o suporte passam a comprar menos depois?

Por que é difícil

Os pedidos estão no lakehouse e as conversas, na ferramenta de suporte. Ninguém junta os dois, então o custo de um mês ruim de suporte nunca aparece na receita.

Com o Querri

Conecte o Intercom ao lado do Databricks e pergunte. O Querri cruza os clientes entre os dois e diz como fez esse cruzamento. O playbook de volume de tickets mostra como encontrar os contatos que sempre voltam.

Dá para dar aos clientes um dashboard com dados do lakehouse sem um login no Databricks?

Por que é difícil

Acesso ao workspace para gente de fora é uma revisão de segurança, e uma ferramenta de BI separada para relatórios de clientes é mais um contrato e mais uma cópia do modelo de dados.

Com o Querri

Crie o dashboard pedindo e depois faça o embed dele no seu próprio portal, com um filtro de linhas por cliente. Com a marca branca, ele leva a sua marca, não a nossa.

Posso perguntar sobre as nossas tabelas do Databricks no Claude ou no ChatGPT?

Por que é difícil

Um assistente que recebe nomes crus de tabelas adivinha qual coluna é receita e por qual data filtrar. A resposta soa bem, esteja certa ou não.

Com o Querri

Conecte o Querri ao Claude ou ao ChatGPT, e as perguntas sobre dados do lakehouse são respondidas a partir da sua Biblioteca, dentro do acesso de cada pessoa no Querri. Quando uma pergunta tem duas leituras, ele diz qual leitura usou.

O Databricks e o resto

O lakehouse ainda não guarda todos os sistemas

A engenharia leva primeiro os dados de alto volume para o Databricks. O ERP, o CRM, a central de suporte e a planilha de orçamento muitas vezes esperam a vez. O Querri os coloca em uma só Biblioteca ao lado das suas tabelas do lakehouse, então uma pergunta que cruza sistemas não precisa de um novo job de ingestão.

O Databricks combina bem com

Respostas que você pode defender

"Atrasado" tem dois sentidos justos, e a resposta diz qual contou

"Quantos pedidos atrasaram em setembro?" pode contar os pedidos que saíram do armazém depois da data prometida ou os que chegaram ao cliente depois dela. As duas leituras são justas, e operações e atendimento ao cliente preferem cada um uma delas. O Querri responde com uma leitura, diz qual é e mostra a outra contagem, para que a discussão seja sobre resolver os atrasos, não sobre a consulta. Veja como uma resposta é conferida antes de chegar a você.

Acorde sabendo o que mudou

Durante a noite, o Querri lê os números do lakehouse por você

Toda noite o Querri compara os seus KPIs com o próprio histórico deles, com aritmética simples, e procura a mudança sobre a qual ninguém perguntou. O que ele encontra espera na sua Caixa de entrada de manhã, e nada muda até você aprovar.

Dashboards personalizados do Databricks

Dashboards do Databricks sem ninguém escrever uma consulta

Peça o layout numa frase, ou entregue um print do relatório que finanças abre toda segunda. As edições funcionam do mesmo jeito: um pedido em palavras simples. Os gráficos leem da mesma Biblioteca que o chat, e cada pessoa que vê pode ficar limitada às próprias linhas.

  • Pedido em palavras, ajustado em palavras
  • Tabelas do lakehouse ao lado de dados do ERP, do CRM e de planilhas
  • Filtros de linhas por pessoa, definidos uma vez no Querri
Um pedido digitado mudou o estilo do dashboard inteiro, e um clique o traria de volta.

Pedidos que você pode parar de fazer à mão

Seis relatórios do Databricks que se refazem sozinhos

O que é sincronizado

O schema que você indicar, copiado no seu agendamento

As tabelas e views que você selecionar são copiadas para o armazenamento do Querri, e toda resposta vem dessa cópia, não de uma consulta em tempo real no Databricks. Ele só consegue ler o que o usuário ou o service principal do token tem permissão para ler.

O que você pode sincronizar

  • Tabelas
  • Views
  • Todas as tabelas do schema
  • Uma lista escolhida de tabelas
  • Unity Catalog ou Hive metastore
  • SQL warehouses ou clusters all-purpose
  • Uma conexão cobre um único catálogo e schema; o INFORMATION_SCHEMA fica de fora.

Completa ou incremental

Atualização completa por padrão. Escolha uma coluna de cursor (o Querri sugere updated_at) e as execuções incrementais trazem só as linhas além do último valor visto, até de hora em hora. Tabelas com chave primária recebem upsert, então a sobreposição não conta em dobro.

Transmitido em lotes

As linhas chegam de 50.000 em 50.000, como arquivos Parquet tipados, e viram um dataset do Querri num armazenamento baseado em Iceberg. Há um limite de linhas por tabela, se você quiser um.

Somente leitura

O Querri executa consultas de schema e SELECTs, nada mais. Ele nunca escreve numa tabela nem altera um registro. As sincronizações rodam no seu warehouse ou cluster, então usam a computação dele.

Token guardado criptografado

Um token de acesso pessoal ou o token de um service principal, criptografado em repouso e removido das mensagens de erro. O Connector Agent sabe que um token existe, mas nunca vê o token em si.

Como conectar o Databricks

Três valores do seu workspace, e o agente cuida do resto

  1. 1

    Peça ao Connector Agent

    Em Connect, digite "adicione o nosso workspace do Databricks", ou clique no cartão do Databricks no catálogo.

  2. 2

    Copie os dados de conexão

    Nos Connection details do seu SQL warehouse, copie o server hostname e o HTTP path. Um cluster all-purpose também funciona.

  3. 3

    Adicione um token no formulário seguro

    Cole um token de acesso pessoal ou o token de um service principal, e informe um catálogo e um schema se quiser outros que não os padrão.

  4. 4

    Escolha as tabelas e aprove

    Mantenha todas as tabelas ou escolha algumas, defina uma coluna de cursor para as sincronizações incrementais e escolha um agendamento. Nada é carregado até você aprovar.

  5. 5

    Faça a sua primeira pergunta

    Quando a primeira carga chegar, pergunte sobre as tabelas do lakehouse no chat, ou crie dashboards e relatórios agendados a partir delas.

Cartões de conectores para Google Drive, NetSuite, Salesforce, Square, ShipStation e Snowflake na página Connect do Querri, com o Connector Agent segurando uma nova conexão para aprovação
O agente segura cada nova conexão e cada primeira carga até o seu Approve.

Perguntas frequentes sobre o Databricks

Perguntas sobre o Databricks e o Querri

Como conectar o Databricks ao Querri?

Diga ao Connector Agent que você quer o Databricks, ou escolha o cartão dele no catálogo. Informe o server hostname e o HTTP path dos Connection details do seu SQL warehouse e depois cole um token de acesso no formulário seguro. Se quiser, informe um catálogo e um schema. Depois escolha as tabelas, defina com que frequência elas são atualizadas e aprove a primeira carga.

Quais dados do Databricks o Querri sincroniza?

As tabelas e views do schema que você escolher, todas ou uma lista que você selecionar, com as colunas e os tipos delas. Funciona com Unity Catalog ou com o Hive metastore, por um SQL warehouse ou por um cluster all-purpose. O Querri só consegue ler o que o usuário ou o service principal do token consegue ler.

Com que frequência os dados do Databricks são sincronizados?

Uma releitura completa do schema pode ser agendada diária, semanal ou mensalmente. As sincronizações incrementais, guiadas por uma coluna de cursor como updated_at, rodam de hora em hora, diária ou semanalmente e trazem só as linhas além do último valor. Antes de uma reunião importante, dispare uma à mão. Linhas excluídas no Databricks continuam no Querri até a próxima atualização completa.

O Querri escreve ou altera os meus dados no Databricks?

Não. O Querri só lê as suas tabelas do Databricks e nunca altera um registro nelas. Ele executa consultas de schema e SELECTs e nunca cria, atualiza ou exclui uma tabela ou linha. Essas consultas rodam no seu warehouse ou cluster, então uma sincronização usa a computação dele.

Como as permissões do Unity Catalog valem no Querri?

O Querri só consegue sincronizar o que foi concedido ao usuário ou ao service principal do token, então um service principal com acesso de leitura apenas ao schema que você quer é a configuração mais limpa. Depois da sincronização, as permissões do Unity Catalog deixam de valer pessoa a pessoa: o compartilhamento do Querri e um filtro de linhas para cada pessoa decidem o que ela vê.

O Querri consulta o Databricks em tempo real toda vez que alguém faz uma pergunta?

Não. As perguntas são respondidas a partir de uma cópia que o Querri mantém das tabelas que você escolheu, atualizada no seu agendamento, então fazer uma pergunta nunca acorda um SQL warehouse nem impede que ele pare. Só as sincronizações consultam o Databricks. Uma resposta reflete os dados da sincronização mais recente.

Como combinar dados do Databricks e do NetSuite?

Conecte também o NetSuite, e os dois chegam à mesma Biblioteca. O Querri pode cruzar o uso, os pedidos ou os envios do lakehouse com as faturas, os pedidos de venda e os pagamentos do NetSuite por um número de pedido ou um cliente em comum, e diz como fez o cruzamento. Defina uma vez qual uso é cobrável ou quando um pedido conta como enviado, e toda resposta segue essa definição.

Como combinar dados do Databricks e do Salesforce?

Conecte o Salesforce ao lado do Databricks. O Querri cruza as contas entre os dois, de preferência por um ID guardado nos dois, para você colocar a atividade de produto ou de pedidos ao lado do pipeline, das renovações e dos casos em aberto. Se um cruzamento depender de um nome em vez de um ID, a resposta avisa.

Como ter um relatório semanal em Excel do Databricks sem exportar à mão?

Transforme a análise num projeto e associe um agendamento semanal. Na segunda de manhã ele é executado de novo sobre a cópia mais recente das suas tabelas do lakehouse e envia a cada gerente uma pasta de trabalho formatada só com a região dele, ou uma por cliente. O passo de baixar e colar deixa de existir.

Como ter um relatório de previsão frente ao real a partir do Databricks?

Sincronize a tabela Delta em que o seu modelo grava a previsão, mais a tabela de pedidos ou de vendas. Defina uma vez o erro da previsão como um KPI, por região ou por produto. O Querri guarda o histórico dele desde o dia em que você começa, e os Insights noturnos sinalizam a região cujo erro se desvia.

Dá para criar dashboards personalizados do Databricks sem uma ferramenta de BI?

Sim. Peça o dashboard em palavras simples, ou comece de um print de um que o seu time já usa, e altere-o pedindo. Um só dashboard pode misturar tabelas do lakehouse com dados do ERP, do CRM ou de planilhas, limitar cada pessoa às próprias linhas e ser incorporado no seu próprio app.

Posso perguntar ao ChatGPT ou ao Claude sobre os meus dados do Databricks?

Sim. Depois de uma configuração única no Claude ou no ChatGPT, as perguntas sobre tabelas do lakehouse usam a sua Biblioteca do Querri, seguem as suas definições e regras e ficam dentro do que cada pessoa pode ver no Querri, então o assistente e os seus dashboards concordam.

Posso entrar no Databricks com OAuth em vez de um token?

Não. O conector precisa de um token de acesso, seja um token de acesso pessoal ou um de um service principal. O OAuth dependeria de um login no navegador, que não tem como ser concluído num servidor durante as sincronizações agendadas. O token de um service principal deixa a conexão independente de qualquer funcionário.

Quais são os limites do conector do Databricks?

Uma conexão cobre um único catálogo e schema. Consultas SQL personalizadas não são suportadas, então selecione tabelas ou views. Não há OAuth nem escrita de volta, e as sincronizações incrementais não captam exclusões até a próxima atualização completa. Vários catálogos ou schemas significam simplesmente várias conexões.

O Querri consegue acessar um workspace do Databricks numa rede privada?

Sim, pelo túnel VPN opcional nas configurações avançadas da conexão. Sem ele, o Querri recusa endereços privados e só se conecta por HTTPS na porta 443. Se um warehouse estiver parado ou o host estiver errado, a conexão desiste em poucos minutos em vez de ficar travada.

O Querri dá conta de tabelas grandes do Databricks?

Sim. As linhas chegam em lotes de 50.000 em arquivos Parquet tipados, em vez de uma única extração gigante, e o progresso aparece à medida que as linhas chegam. Em tabelas que crescem todo dia, uma coluna de cursor faz cada execução ler só as linhas além da última. Você também pode limitar as linhas por tabela.

Preciso saber SQL ou Python para usar dados do Databricks no Querri?

Não. Depois que as tabelas são sincronizadas, qualquer pessoa com acesso pergunta em linguagem natural. O Querri mostra os passos por trás de cada resposta, então alguém do time de dados pode conferir a lógica, e uma boa resposta pode ser salva como um projeto que é executado de novo com dados atualizados.

Os meus dados do Databricks ficam seguros no Querri?

O Querri tem certificação SOC 2 Type II, HIPAA e ISO 27001:2022, e os seus dados nunca são usados para treinar um modelo. O seu token de acesso é criptografado em repouso, removido das mensagens de erro e nunca mostrado ao Connector Agent, e a conexão usa apenas HTTPS.

Abra o lakehouse para as pessoas que fazem as perguntas.

Conecte com um hostname, um HTTP path e um token. O Querri só lê o lakehouse e nunca escreve nele.