ऑपरेशंस और फ़ाइनेंस बिना नोटबुक के Databricks से जवाब कैसे पाएँ?
मुश्किल क्यों है
टेबल साफ़ और डॉक्यूमेंटेड हैं, पर उन्हें पढ़ने के तरीके सिर्फ़ नोटबुक, SQL एडिटर या किसी और का बनाया डैशबोर्ड हैं।
Databricks + Querri
ऑपरेशंस, फ़ाइनेंस और सेल्स जो जानना चाहते हैं, वह lakehouse में है। Querri आपकी चुनी हुई टेबल को आपके बाकी बिज़नेस के साथ एक Library में कॉपी करता है, ताकि कोई भी उनके बारे में आम भाषा में पूछ सके और आपकी टीम की परिभाषाओं के साथ जवाब पाए।
Querri, Databricks से सिर्फ़ पढ़ता है, और टोकन एन्क्रिप्टेड रहता है, एजेंट की नज़र से दूर। SOC 2 Type II, HIPAA और ISO 27001:2022 प्रमाणित।
Databricks रिपोर्टिंग क्यों अटक जाती है
डेटा इंजीनियर Databricks पर इसलिए आते हैं क्योंकि यह पाइपलाइन का मुश्किल काम संभालता है। दिक्कत बाद में आती है, जब डेटा टीम के बाहर किसी को उसमें रखे डेटा के बारे में सवाल पूछना होता है।
कोई रीजनल मैनेजर नोटबुक या SQL एडिटर नहीं खोलेगा। हर सवाल डेटा टीम के लिए एक अनुरोध बन जाता है, और कतार टीम से तेज़ बढ़ती है।
Net revenue एक नोटबुक में CASE statement है, दूसरी में dbt मॉडल, और किसी डैशबोर्ड क्वेरी में थोड़ा अलग फ़िल्टर। इंजीनियरिंग के बाहर कोई नहीं देख सकता कि सही कौन-सा है।
Classic और pro SQL warehouse डिफ़ॉल्ट रूप से रुकने से पहले 45 मिनट खाली रहने का इंतज़ार करते हैं, serverless वाले 10 मिनट। दिन भर आते रहने वाले इक्का-दुक्का सवाल warehouse का बिल चालू रखते हैं।
नोटबुक की टेबल ज़्यादा से ज़्यादा 10,000 पंक्तियाँ या 2 MB दिखाती है, जो भी कम हो। उससे बड़ा कुछ भी डाउनलोड होता है, Excel में चिपकाया जाता है और ईमेल किया जाता है, और कॉपियाँ बिखरने लगती हैं।
Databricks के अंदर कौन कौन-सी टेबल पढ़ेगा, यह Unity Catalog तय करता है। जैसे ही कोई CSV वर्कस्पेस से बाहर जाती है, वे अनुमतियाँ उसके साथ नहीं जातीं, और हर पाने वाला हर पंक्ति देखता है।
जिनका जवाब आखिरकार मिल सकता है
हर एक ऐसा अनुरोध है जो हर महीने lakehouse टीम के पास आता है, साथ में यह कि आज इसमें इतना समय क्यों लगता है, और Querri इसे कैसे संभालता है।
मुश्किल क्यों है
टेबल साफ़ और डॉक्यूमेंटेड हैं, पर उन्हें पढ़ने के तरीके सिर्फ़ नोटबुक, SQL एडिटर या किसी और का बनाया डैशबोर्ड हैं।
मुश्किल क्यों है
मापा गया इस्तेमाल lakehouse में आता है, जबकि इनवॉइस ERP में बनते हैं। दोनों की तुलना का मतलब है एक ऐसी पाइपलाइन जो अभी किसी ने नहीं बनाई, या महीने के आखिर की एक स्प्रेडशीट।
Querri के साथ
Databricks के साथ NetSuite कनेक्ट करें, और Querri हर ग्राहक के मापे गए इस्तेमाल को उसके usage इनवॉइस से मिलाता है। फ़ैक्ट्स और नियम में एक बार बताएँ कि कौन-से इवेंट बिल होने लायक हैं, और जिन ग्राहकों का बिल नहीं बना उनकी सूची उसी का पालन करती है।
मुश्किल क्यों है
तय की गई परिभाषा ट्रांसफ़ॉर्मेशन कोड में है। स्प्रेडशीट में वही आँकड़ा दोबारा बनाने वाला सेल्स लीड करीब पहुँचता है, और इसी "करीब" से एक मीटिंग में दो आँकड़े आ जाते हैं।
मुश्किल क्यों है
मॉडल अपना फ़ोरकास्ट एक Delta टेबल में लिखकर आगे बढ़ जाता है। हफ़्ते-दर-हफ़्ते और क्षेत्र-दर-क्षेत्र असली ऑर्डर से उसकी जाँच किसी की ज़िम्मेदारी नहीं है।
Querri के साथ
फ़ोरकास्ट टेबल और ऑर्डर टेबल सिंक करें, और फ़ोरकास्ट की गलती को एक KPI के रूप में ट्रैक करें। Nightly insights हर रात हर क्षेत्र को उसके अपने इतिहास से परखता है और भटकते क्षेत्र को आपके Inbox में रखता है।
मुश्किल क्यों है
कोई क्वेरी चलाता है, नतीजा डाउनलोड करता है, शीट फ़ॉर्मैट करता है और हाथ से क्षेत्र के हिसाब से बाँटता है। जिस हफ़्ते वह छुट्टी पर हो, किसी को कुछ नहीं मिलता।
Querri के साथ
क्षेत्रवार ब्रेकडाउन को सोमवार सुबह 7 बजे चलने वाले प्रोजेक्ट के रूप में सेव करें। रिपोर्ट्स और ऑटोमेशन उसे ताज़ा सिंक पर दोबारा चलाता है और हर मैनेजर को उसके अपने क्षेत्र की फ़ॉर्मैट की हुई वर्कबुक ईमेल करता है, जो Excel टूल्स से बनती है।
मुश्किल क्यों है
ऑर्डर lakehouse में हैं और बातचीत सपोर्ट टूल में। कोई दोनों को नहीं जोड़ता, इसलिए खराब सपोर्ट वाले महीने की कीमत राजस्व में कभी नहीं दिखती।
Querri के साथ
Databricks के साथ Intercom कनेक्ट करें और पूछें। Querri दोनों में ग्राहकों का मिलान करता है और बताता है कि मिलान कैसे किया। टिकट वॉल्यूम प्लेबुक दिखाती है कि बार-बार लौटने वाले संपर्क कैसे ढूँढें।
मुश्किल क्यों है
बाहरी लोगों को वर्कस्पेस एक्सेस देना एक सिक्योरिटी रिव्यू है, और क्लाइंट रिपोर्टिंग के लिए अलग BI टूल का मतलब एक और कॉन्ट्रैक्ट और डेटा मॉडल की एक और कॉपी।
Querri के साथ
पूछकर डैशबोर्ड बनाएँ, फिर हर क्लाइंट के लिए रो फ़िल्टर के साथ उसे अपने पोर्टल में एम्बेड करें। व्हाइट लेबल के साथ, उस पर हमारा नहीं, आपका ब्रांड दिखता है।
मुश्किल क्यों है
जिस असिस्टेंट को सिर्फ़ टेबल के नाम मिलते हैं, वह अंदाज़ा लगाता है कि कौन-सा कॉलम राजस्व है और किस तारीख पर फ़िल्टर करना है। जवाब पढ़ने में अच्छा लगता है, चाहे सही हो या नहीं।
Querri के साथ
Querri को Claude या ChatGPT से कनेक्ट करें, और lakehouse डेटा के सवालों के जवाब आपकी Library से, Querri में हर व्यक्ति के अपने एक्सेस के तहत आते हैं। जब किसी सवाल के दो अर्थ हो सकते हैं, तो यह बताता है कि कौन-सा अर्थ इस्तेमाल किया।
Databricks और बाकी सब
इंजीनियरिंग सबसे पहले बड़े वॉल्यूम वाला डेटा Databricks में लाती है। ERP, CRM, सपोर्ट डेस्क और बजट शीट अक्सर अपनी बारी का इंतज़ार करते हैं। Querri उन्हें आपकी lakehouse टेबल के साथ एक Library में रखता है, ताकि कई सिस्टमों वाले सवाल के लिए नया ingestion जॉब न बनाना पड़े।
Databricks इनके साथ अच्छा काम करता है
ऐसे जवाब जिनके पीछे आप खड़े रह सकें
"सितंबर में कितने ऑर्डर देर से थे?" में वे ऑर्डर गिने जा सकते हैं जो वादे की तारीख के बाद वेयरहाउस से निकले, या वे जो वादे की तारीख के बाद ग्राहक तक पहुँचे। दोनों ठीक हैं, और ऑपरेशंस और कस्टमर सर्विस दोनों अपना-अपना अर्थ पसंद करते हैं। Querri एक अर्थ के साथ जवाब देता है, उसका नाम बताता है और दूसरी गिनती भी दिखाता है, ताकि बहस देरी ठीक करने पर हो, क्वेरी पर नहीं। देखें आपके देखने से पहले जवाब की जाँच कैसे होती है।
जागें तो जानें क्या बदला
हर रात Querri सीधे गणित से आपके KPIs को उनके अपने इतिहास से परखता है और वह बदलाव ढूँढता है जिसके बारे में किसी ने नहीं पूछा। जो मिलता है वह सुबह आपके Inbox में इंतज़ार करता है, और आपकी मंज़ूरी के बिना कुछ नहीं बदलता।
कस्टम Databricks डैशबोर्ड
एक वाक्य में लेआउट माँगें, या उस रिपोर्ट का स्क्रीनशॉट दें जो फ़ाइनेंस हर सोमवार खोलता है। बदलाव भी ऐसे ही होते हैं: आम शब्दों में एक अनुरोध। चार्ट उसी Library से पढ़ते हैं जिससे चैट, और हर देखने वाले को उसकी अपनी पंक्तियों तक सीमित रखा जा सकता है।
ऐसे अनुरोध जिन्हें हाथ से चलाना बंद कर सकें
gold टेबल से हर क्षेत्र के आँकड़े, हर मैनेजर के inbox में फ़ॉर्मैट की हुई Excel फ़ाइल के रूप में।
Excel टूल्स देखेंवे ग्राहक जिनका मापा गया इस्तेमाल lakehouse में है पर ERP में कोई मेल खाता usage इनवॉइस नहीं, आपके शेड्यूल पर दोबारा चलाया गया।
रिपोर्ट्स देखेंDelta टेबल से मॉडल के फ़ोरकास्ट असली ऑर्डर के साथ, क्षेत्र के हिसाब से गलती ट्रैक करते हुए।
KPIs देखेंLakehouse से प्रोडक्ट इस्तेमाल, सपोर्ट और बिलिंग संकेतों के साथ, हर अकाउंट का एक स्कोर।
प्लेबुक पढ़ेंकौन-सी समस्याएँ ग्राहकों को बार-बार सपोर्ट तक लाती हैं, उनके ऑर्डर के मुकाबले।
प्लेबुक पढ़ेंअकाउंट बनने से उस पहले इवेंट तक का समय, जो बताता है कि ग्राहक टिकेगा।
प्लेबुक पढ़ेंक्या-क्या आता है
आपकी चुनी हुई टेबल और व्यू Querri के स्टोरेज में कॉपी होते हैं, और हर जवाब उसी कॉपी से आता है, Databricks पर लाइव क्वेरी से नहीं। यह सिर्फ़ वही पढ़ सकता है जो टोकन के यूज़र या service principal को पढ़ने की अनुमति है।
आप क्या सिंक कर सकते हैं
डिफ़ॉल्ट रूप से पूरा रिफ़्रेश। एक cursor कॉलम चुनें (Querri updated_at सुझाता है), और incremental रन सिर्फ़ आखिरी देखे गए मान के बाद की पंक्तियाँ लाते हैं, हर घंटे तक। जिन टेबल में primary key है उन पर upsert होता है, इसलिए ओवरलैप से दोहरी गिनती नहीं होती।
पंक्तियाँ एक बार में 50,000 के हिसाब से typed Parquet फ़ाइलों के रूप में आती हैं और Iceberg-आधारित स्टोरेज में एक Querri डेटासेट बन जाती हैं। चाहें तो हर टेबल के लिए पंक्तियों की सीमा भी रख सकते हैं।
Querri सिर्फ़ स्कीमा लुकअप और SELECT क्वेरी चलाता है, और कुछ नहीं। यह कभी किसी टेबल में नहीं लिखता या कोई रिकॉर्ड नहीं बदलता। सिंक आपके warehouse या cluster पर चलते हैं, इसलिए वे उसका कंप्यूट इस्तेमाल करते हैं।
एक personal access token या service principal का टोकन, स्टोरेज में एन्क्रिप्टेड और एरर मैसेज से हटाया हुआ। Connector Agent को बस इतना दिखता है कि टोकन मौजूद है, टोकन खुद कभी नहीं।
Databricks कैसे कनेक्ट करें
Connect में टाइप करें "हमारा Databricks वर्कस्पेस जोड़ो," या कैटलॉग में Databricks कार्ड पर क्लिक करें।
अपने SQL warehouse की Connection details से server hostname और HTTP path कॉपी करें। All-purpose cluster भी चलता है।
एक personal access token या service principal का टोकन चिपकाएँ, और अगर डिफ़ॉल्ट के अलावा कोई catalog और स्कीमा चाहिए तो उसका नाम दें।
सारी टेबल रखें या कुछ चुनें, incremental सिंक के लिए cursor कॉलम सेट करें, और शेड्यूल चुनें। आपकी मंज़ूरी के बिना कुछ भी लोड नहीं होता।
पहला लोड आते ही चैट में lakehouse टेबल के बारे में पूछें, या उनसे डैशबोर्ड और शेड्यूल की गई रिपोर्ट्स बनाएँ।
Databricks FAQ
Connector Agent को बताएँ कि आपको Databricks चाहिए, या कैटलॉग में उसका कार्ड चुनें। अपने SQL warehouse की Connection details से server hostname और HTTP path डालें, फिर सुरक्षित फ़ॉर्म में access token चिपकाएँ। चाहें तो catalog और स्कीमा का नाम दें। फिर टेबल चुनें, तय करें कि वे कितनी बार रिफ़्रेश हों, और पहला लोड मंज़ूर करें।
आपके चुने हुए स्कीमा की टेबल और व्यू, या तो सारी या आपकी चुनी हुई सूची, उनके कॉलम और टाइप के साथ। यह Unity Catalog या Hive metastore के साथ, SQL warehouse या all-purpose cluster के ज़रिए काम करता है। Querri सिर्फ़ वही पढ़ सकता है जो टोकन का यूज़र या service principal पढ़ सकता है।
स्कीमा को पूरा दोबारा पढ़ना रोज़, हर हफ़्ते या हर महीने सेट किया जा सकता है। Incremental सिंक, updated_at जैसे cursor कॉलम के आधार पर, हर घंटे, रोज़ या हर हफ़्ते चलते हैं और सिर्फ़ आखिरी मान के बाद की पंक्तियाँ लाते हैं। किसी बड़ी मीटिंग से पहले एक सिंक हाथ से चला लें। Databricks में डिलीट की गई पंक्तियाँ अगले पूरे रिफ़्रेश तक Querri में बनी रहती हैं।
नहीं। Querri आपकी Databricks टेबल सिर्फ़ पढ़ता है और उनमें कभी कोई रिकॉर्ड नहीं बदलता। यह स्कीमा लुकअप और SELECT क्वेरी चलाता है, और कभी कोई टेबल या पंक्ति नहीं बनाता, अपडेट या डिलीट करता। ये क्वेरी आपके warehouse या cluster पर चलती हैं, इसलिए सिंक उसका कंप्यूट इस्तेमाल करता है।
Querri सिर्फ़ वही सिंक कर सकता है जिसकी अनुमति टोकन के यूज़र या service principal को है, इसलिए सबसे साफ़ सेटअप है एक service principal जिसके पास सिर्फ़ आपके चाहे गए स्कीमा का पढ़ने का एक्सेस हो। सिंक के बाद Unity Catalog की अनुमतियाँ हर व्यक्ति पर अलग से लागू नहीं होतीं: कौन क्या देखता है, यह Querri की शेयरिंग सेटिंग और हर व्यक्ति का रो फ़िल्टर तय करते हैं।
नहीं। सवालों के जवाब उस कॉपी से आते हैं जो Querri आपकी चुनी हुई टेबल की रखता है और आपके शेड्यूल पर रिफ़्रेश करता है, इसलिए सवाल पूछने से कभी SQL warehouse नहीं जागता और न उसका रुकना टलता है। सिर्फ़ सिंक Databricks को क्वेरी करते हैं। जवाब आखिरी सिंक के समय का डेटा दिखाता है।
NetSuite भी कनेक्ट करें, और दोनों एक ही Library में आते हैं। Querri, lakehouse के इस्तेमाल, ऑर्डर या शिपमेंट को साझा ऑर्डर नंबर या ग्राहक के आधार पर NetSuite के इनवॉइस, sales orders और भुगतानों से मिला सकता है, और बताता है कि मिलान कैसे किया। एक बार तय करें कि कौन-सा इस्तेमाल बिल होने लायक है या ऑर्डर कब शिप माना जाए, और हर जवाब उसी का पालन करता है।
Databricks के साथ Salesforce कनेक्ट करें। Querri दोनों में अकाउंट का मिलान करता है, सबसे अच्छा दोनों में रखी किसी ID के आधार पर, ताकि आप प्रोडक्ट या ऑर्डर गतिविधि को पाइपलाइन, रिन्यूअल और खुले केस के साथ रख सकें। अगर मिलान ID के बजाय नाम पर टिका है, तो जवाब यह बताता है।
विश्लेषण को एक प्रोजेक्ट बनाएँ और उसमें साप्ताहिक शेड्यूल जोड़ें। सोमवार सुबह यह आपकी lakehouse टेबल की सबसे नई कॉपी पर दोबारा चलता है और हर मैनेजर को सिर्फ़ उसके क्षेत्र वाली फ़ॉर्मैट की हुई वर्कबुक भेजता है, या हर क्लाइंट को एक। डाउनलोड करके चिपकाने का काम खत्म हो जाता है।
वह Delta टेबल सिंक करें जिसमें आपका मॉडल फ़ोरकास्ट लिखता है, साथ में ऑर्डर या सेल्स टेबल। फ़ोरकास्ट की गलती को एक बार KPI के रूप में तय करें, क्षेत्र या प्रोडक्ट के हिसाब से बाँटकर। Querri उस दिन से उसका इतिहास रखता है जब से आप शुरू करते हैं, और Nightly insights उस क्षेत्र को चिह्नित करता है जिसकी गलती भटकती है।
हाँ। आम शब्दों में डैशबोर्ड माँगें, या आपकी टीम जो पहले से इस्तेमाल करती है उसके स्क्रीनशॉट से शुरू करें, और पूछकर उसे बदलें। एक ही डैशबोर्ड में lakehouse टेबल के साथ ERP, CRM या स्प्रेडशीट डेटा मिल सकता है, हर देखने वाले को उसकी पंक्तियों तक सीमित रखा जा सकता है, और उसे आपके अपने ऐप में एम्बेड किया जा सकता है।
हाँ। Claude या ChatGPT में एक बार सेटअप के बाद, lakehouse टेबल के सवाल आपकी Querri Library से जवाब लेते हैं, आपकी परिभाषाओं और नियमों का पालन करते हैं, और Querri में उस व्यक्ति को जो दिखने की अनुमति है उसी के अंदर रहते हैं, इसलिए असिस्टेंट और आपके डैशबोर्ड एक ही बात कहते हैं।
नहीं। कनेक्टर को access token चाहिए, या तो personal access token या किसी service principal का। OAuth ब्राउज़र साइन-इन पर निर्भर होता, जो शेड्यूल किए गए सिंक के दौरान सर्वर पर पूरा नहीं हो सकता। Service principal का टोकन कनेक्शन को किसी एक कर्मचारी से अलग रखता है।
एक कनेक्शन एक catalog और एक स्कीमा को कवर करता है। कस्टम SQL क्वेरी सपोर्टेड नहीं हैं, इसलिए उनकी जगह टेबल या व्यू चुनें। न OAuth है, न वापस लिखना, और incremental सिंक अगले पूरे रिफ़्रेश तक डिलीट हुई पंक्तियाँ नहीं पकड़ते। कई catalog या स्कीमा का मतलब बस कई कनेक्शन है।
हाँ, कनेक्शन की एडवांस्ड सेटिंग में मौजूद वैकल्पिक VPN टनल के ज़रिए। इसके बिना Querri प्राइवेट पते अस्वीकार करता है और सिर्फ़ पोर्ट 443 पर HTTPS से कनेक्ट होता है। अगर warehouse बंद है या host गलत है, तो कनेक्शन अटकने के बजाय कुछ मिनटों में हार मान लेता है।
हाँ। पंक्तियाँ एक बड़े पुल के बजाय 50,000 के टुकड़ों में typed Parquet फ़ाइलों में स्ट्रीम होती हैं, और पंक्तियाँ आते ही प्रगति दिखती है। रोज़ बढ़ने वाली टेबल पर, cursor कॉलम की मदद से हर रन सिर्फ़ पिछली बार के बाद की पंक्तियाँ पढ़ता है। आप हर टेबल के लिए पंक्तियों की सीमा भी रख सकते हैं।
नहीं। टेबल सिंक होने के बाद, एक्सेस वाला कोई भी व्यक्ति आम भाषा में पूछता है। Querri हर जवाब के पीछे के चरण दिखाता है, ताकि डेटा टीम का कोई व्यक्ति लॉजिक जाँच सके, और अच्छा जवाब एक प्रोजेक्ट के रूप में सेव किया जा सकता है जो ताज़ा डेटा पर दोबारा चलता है।
Querri, SOC 2 Type II, HIPAA और ISO 27001:2022 प्रमाणित है, और आपका डेटा कभी किसी मॉडल को ट्रेन करने में इस्तेमाल नहीं होता। आपका access token स्टोरेज में एन्क्रिप्टेड रहता है, एरर मैसेज से हटा दिया जाता है और Connector Agent को कभी नहीं दिखाया जाता, और कनेक्शन सिर्फ़ HTTPS इस्तेमाल करता है।
और जानें
एक hostname, एक HTTP path और एक टोकन से कनेक्ट करें। Querri, lakehouse को सिर्फ़ पढ़ता है और उसमें कभी नहीं लिखता।