Nettoyage automatique des données

Le nettoyage automatique des données signifie que les problèmes de vos données sont trouvés et corrigés sans que personne n'ait d'abord à écrire des règles ou des scripts. Dans Querri, l'audit des données applique plus de 180 contrôles de qualité des données à chaque table dès son arrivée, et le Janitor, un agent IA, nettoie avec vous ce qu'il a trouvé. Le résultat est une vue nettoyée que les réponses, les dashboards et les agents utilisent à partir de ce moment.

Un audit des données est une vérification systématique d'un jeu de données à la recherche des problèmes qui faussent ses chiffres : valeurs manquantes déguisées, nombres enregistrés comme texte, doublons, formats mélangés, trous. Dans Querri, l'audit des données est une page qui applique plus de 180 contrôles à chaque table dès son arrivée et liste ce qu'il a trouvé, le plus urgent en premier, avec la raison pour laquelle chaque problème compte.

Des contrôles de qualité des données qui s'exécutent sans que personne n'écrive de règle ni ne les demande. Querri contrôle chaque table à son import ou à sa connexion, et chaque vue à sa création, puis enregistre chaque problème trouvé sous forme de note de qualité des données que vous pouvez prendre en compte, ignorer ou nettoyer.

Un agent IA fait le travail de nettoyage avec vous au lieu de vous remettre une liste. Le Janitor lit les éléments de l'audit des données, teste des corrections sur vos lignes, vous pose les questions que vous seul pouvez trancher, vous montre son plan et crée une vue nettoyée quand vous donnez votre accord. Querri mesure ensuite cette vue à nouveau pour prouver quels problèmes ont disparu.

Toute table qui arrive dans Querri, depuis un fichier ou un connecteur. Cela inclut Shopify, Stripe, Salesforce, HubSpot, Pipedrive, QuickBooks, NetSuite, Klaviyo, Mailchimp, Intercom, Zendesk, Google Ads, Meta Ads, Amazon Seller, Google Analytics, Mixpanel, Amplitude, des entrepôts et bases de données comme Snowflake, BigQuery, Redshift, Postgres, MySQL, SQL Server et Oracle, des fichiers dans Google Drive, ainsi que les tableurs et CSV importés. Le nettoyage des données des commandes Shopify ou des opportunités Salesforce fonctionne de la même façon que pour un CSV exporté.

Oui. Chaque table a son propre audit et sa propre vue nettoyée : vous nettoyez d'abord chaque source, puis vous joignez les vues nettoyées. Les dates finissent dans un seul format, les devises sont traitées comme vous l'avez choisi, les orthographes sont unifiées et les identifiants réparés dans chaque source, ce qui permet à la jointure de tomber juste. L'audit contrôle aussi les clés de jointure détectées entre tables, par exemple des lignes enfants dont la clé n'a pas de correspondance dans la table parente.

Oui. Les exports de tableur ont leurs propres contrôles : lignes de total et de sous-total au milieu des données, en-têtes répétés en cours de fichier, mois disposés en colonnes, numéros de série Excel qui se font passer pour des dates, identifiants devenus 1.23E+11, codes postaux qui ont perdu leur zéro initial, et un fichier qui s'arrête à la dernière ligne d'Excel. Importez l'export tel quel et l'audit des données liste ce qu'il a trouvé.

Dans chaque table, oui, et c'est ce qui met d'accord des tables venues de systèmes différents. L'audit repère plusieurs formats de date dans une colonne, prouve à partir des valeurs, quand c'est possible, si le jour ou le mois vient en premier, et signale les devises mélangées ou un montant dont la devise contredit la colonne de devise. Le Janitor vous pose les questions que vous seul pouvez trancher, par exemple convertir les devises ou les garder séparées, et la vue nettoyée écrit chaque date et chaque montant d'une seule façon.

Il distingue trois cas : les lignes répétées à l'identique, les clés qui se répètent avec les mêmes valeurs, et les clés qui se répètent en se contredisant, comme un numéro de commande avec deux totaux. Les deux premiers peuvent simplement être regroupés. Quand les répétitions se contredisent, rien dans les données ne dit laquelle est juste, alors le Janitor vous demande quelle ligne garder, avec sa recommandation en premier.

Vos données brutes restent exactement telles qu'elles sont arrivées. La correction est une vue nettoyée, définie en SQL que vous pouvez ouvrir et construite à partir de la source au lieu d'écrire par-dessus. La source reste à côté pour que vous puissiez comparer l'une à l'autre.

Une vue nettoyée est une vue enregistrée qui applique les corrections du Janitor à la table source, et la source indique alors Nettoyée sous le nom suivi du nom de la vue. Comme c'est une définition enregistrée et non une modification ponctuelle, elle fonctionne de la même façon sur les données du mois suivant. Quand la vue est reconstruite, Querri la mesure à nouveau, et un problème qui revient rouvre sa note.

Beaucoup d'outils de qualité des données surveillent des pipelines pour les ingénieurs, ou affichent des statistiques de colonnes et attendent que quelqu'un construise la correction, et un script de nettoyage ne contrôle que ce pour quoi il a été écrit. Querri applique ses contrôles à chaque table avant que quiconque pose une question, classe ce qu'il a trouvé selon les questions et les KPIs qui lisent chaque colonne, vous pose les questions qui changent un chiffre, et construit la correction sous forme de vue qu'il mesure ensuite à nouveau.

Les notes suivent les mêmes règles d'accès que les tables qu'elles décrivent, et quand quelqu'un ne voit qu'une partie des lignes, les valeurs d'exemple sont retirées. Aucune correction ne s'applique toute seule : le Janitor montre son plan sur une carte de validation et ne crée la vue nettoyée que lorsque la personne qui travaille avec lui donne son accord.

Oui. Ignorez une note en donnant une raison et elle reste réglée : le prochain agent lit votre décision au lieu de soulever à nouveau le problème. Utilisez Créer un fait pour enregistrer ce que vous savez des données, et les agents liront ce fait chaque fois qu'ils les utilisent.