Source Connector για το Databricks¶

Αυτός ο οδηγός περιγράφει πώς να διαμορφώσετε το digna ώστε να συνδέεται στο Databricks μέσω ODBC, χρησιμοποιώντας ένα connection string χωρίς DSN (DSN-less).

Η πλευρά του digna στη ρύθμιση είναι ίδια για κάθε τεχνολογία — πού δημιουργούνται οι συνδέσεις, πώς κρυπτογραφούνται οι τιμές των ιδιοτήτων, πώς δοκιμάζεται μια σύνδεση και τι σημαίνουν τα profiling modes. Περιγράφεται στην Επισκόπηση Συνδέσεων Βάσεων Δεδομένων. Αυτή η σελίδα καλύπτει ό,τι είναι ειδικό για το Databricks.

1. Εγκατάσταση του ODBC Driver¶

Εγκαταστήστε τον Databricks ODBC Driver στο μηχάνημα που εκτελεί το backend του digna, ακολουθώντας τον οδηγό εγκατάστασης της Databricks.

Ανάλογα με την έκδοση, ο driver καταχωρίζεται ως Simba Spark ODBC Driver ή ως Databricks ODBC Driver. Διαβάστε το ακριβές καταχωρισμένο όνομα στον host σας, όπως περιγράφεται στην ενότητα Εγκατάσταση του ODBC Driver στον Host του digna.

2. Συλλογή των Στοιχείων Σύνδεσης¶

Όλες οι τιμές προέρχονται από το SQL warehouse (ή το cluster) που θέλετε να χρησιμοποιεί το digna. Ανοίξτε το στο Databricks workspace και μεταβείτε στο Connection details:

Για την αυθεντικοποίηση, δημιουργήστε ένα personal access token — δείτε Databricks personal access token authentication. Τα tokens ανήκουν σε έναν χρήστη ή service principal, και αυτό το principal χρειάζεται USE CATALOG, USE SCHEMA και SELECT στα δεδομένα πηγής.

3. Ιδιότητες ODBC¶

Προσθέστε τις παρακάτω ιδιότητες στην οθόνη Add DB Connection:

Το connection string που προκύπτει μοιάζει ως εξής:

Driver=Simba Spark ODBC Driver;Host=<workspace>.cloud.databricks.com;Port=443;HTTPPath=/sql/1.0/warehouses/<warehouse-id>;SSL=1;ThriftTransport=2;AuthMech=3;UID=token;PWD=dapi…;UseNativeQuery=1

OAuth αντί για token¶

Για ένα service principal με αυθεντικοποίηση OAuth machine-to-machine, αντικαταστήστε τα AuthMech, UID και PWD με:

4. Διαμόρφωση του digna¶

Στην οθόνη Add DB Connection, δώστε τα εξής:

Name:               Name of the connection. This is used for referencing the connection in other screens.
Technology:         Databricks
Profiling Mode:     Standard, Permanent or Session
Work Schema:        Schema for the work tables of "Permanent" profiling, e.g. "digna_work"

5. Σημειώσεις για το Databricks¶

• Το warehouse πρέπει να εκτελείται, ή να μπορεί να ξεκινήσει, όταν συνδέεται το digna. Ένα warehouse που επανέρχεται από κατάσταση διακοπής μπορεί να χρειαστεί περισσότερο χρόνο από το χρονικό όριο σύνδεσης — αν η δοκιμή αποτύχει στην πρώτη απόπειρα μετά από περίοδο αδράνειας, δοκιμάστε ξανά.
• Οι catalogs προέρχονται από το workspace. Σε αντίθεση με τις περισσότερες τεχνολογίες, μία σύνδεση Databricks προσεγγίζει κάθε catalog που επιτρέπεται να δει το principal, οπότε μία μόνο σύνδεση μπορεί να εξυπηρετεί πηγές σε διαφορετικούς catalogs.
• Profiling modes. Το Permanent δημιουργεί τους πίνακες εργασίας στο Work Schema μέσα στον catalog της πηγής, οπότε το principal χρειάζεται CREATE TABLE εκεί. Το Session χρησιμοποιεί CREATE TEMPORARY TABLE και δεν αγγίζει το Work Schema. Το Standard χρειάζεται μόνο πρόσβαση ανάγνωσης.
• Τα serverless warehouses λειτουργούν με τον ίδιο τρόπο· διαφέρει μόνο το HTTPPath.

6. Επαλήθευση του Driver (προαιρετικό)¶

Η διαμόρφωση μιας πηγής δεδομένων ODBC δεν απαιτείται για σύνδεση χωρίς DSN, αλλά το παράθυρο διαλόγου του ίδιου του driver είναι ένας βολικός τρόπος να επιβεβαιώσετε ότι ο driver, το warehouse και το token λειτουργούν, πριν τα εισαγάγετε στο digna.

Βήμα 1¶

Βήμα 2¶

Βήμα 3¶

Βήμα 4¶

Βήμα 5 – Δοκιμή της σύνδεσης¶

Κάντε κλικ στο κουμπί TEST. Μια επιτυχημένη σύνδεση θα πρέπει να μοιάζει ως εξής:

Ο host, το HTTP path και το token που εισάγονται εδώ είναι ακριβώς οι τιμές που παίρνουν οι ιδιότητες της ενότητας 3.