DuckDB Quack: Client-Server-Protokoll über HTTP für Multi-User-Analysen

DuckDB Quack: Client-Server-Protokoll über HTTP für Multi-User-Analysen

DuckDB hat kürzlich Quack, ein neues Client-Server-Protokoll über HTTP, vorgestellt, das es mehreren Instanzen ermöglicht, auf das gleiche Datenbank-System zuzugreifen und mit ihm zu arbeiten. Das Protokoll führt Client-Server-Fähigkeiten in ein Datenbank-System ein, das vorher fast ausschließlich lokal und embeddert war.

DuckDBs leichte Workflow und SQL-Kompatibilität beibehalten, macht Quack es einfacher, Daten zu teilen, konkurrierende Benutzer zu unterstützen, Analysen remote auszuführen und Produktionsstil-Daten-Dienste zu erstellen, ohne zu einem schwereren, traditionelleren Datenbank-System zu wechseln. Im Vergleich zu bestehenden Ansätzen ist Quack entworfen, um einfacher zu verwenden und signifikant schneller zu sein.

Quelle: DuckDB Blog

Quack ermöglicht es mehreren Anwendungen, auf das gleiche DuckDB-Datenbank-System gleichzeitig über standardmäßige HTTP-Verbindungen zuzugreifen, indem sie DuckDBs nativen Datenformat verwenden. DuckDB sagt, dass dieser Ansatz große Datensätze etwa 3,5-mal schneller als Arrow Flight und signifikant schneller als PostgreSQL verschieben kann.

Unter der permissiven MIT-Lizenz veröffentlicht, ist DuckDB eine beliebte Open-Source-Analyse-Datenbank, die für schnelle SQL-Abfragen auf großen Datensätzen, direkt aus lokalen Dateien, Anwendungen oder Notebooks, konzipiert ist. Wie SQLite ist es ein in-Prozess-Datenbank-System, das in einer Anwendung eingebettet werden kann, ohne einen separaten Datenbank-Server zu benötigen. Beim Einführen von Quack schreibt das Team:

Mit Quack kann DuckDB jetzt in einer breiten Palette neuer Anwendungsfälle nützlich sein, in denen die Zentralisierung des Zustands wichtiger ist als die lokale Abfrage. Wir haben bereits gelernt, dass Daten nicht immer lokal sind, mit dem Aufkommen von Datenlagern. Wenn man von Lagern spricht, wird Quack auch in DuckLake integriert, so dass DuckDB selbst ein remote-zugänglicher Katalog-Server sein kann.

DuckDB hat sich entschieden, Arrow Flight SQL nicht zu verwenden, ein Protokoll für die Interaktion mit SQL-Datenbanken, das den Arrow-In-Memory-Format und das Flight-RPC-Framework verwendet, weil sie den vollständigen Kontrol über die Übertragung der Daten und die Entwicklung des Protokolls haben wollten. Sie behaupten auch, dass Quack für kleine Abfragen effizienter ist, da es eine Abfrage senden und die Ergebnisse in einem einzigen Netzwerk-Round-Trip zurückgeben kann. Das Team fügt hinzu:

Wir fühlen, dass wir, um in Daten-Systemen weiterhin innovieren zu können, nicht behindert werden dürfen durch Formate, die extern kontrolliert werden.

Die Hacker-News-Antwort war überwiegend positiv, mit Entwicklern, die es als wichtigen Schritt zur gemeinsamen, multi-User-Analysen-Workflows betrachten, während DuckDB leicht und einfach zu verteilen bleibt. Ryan Glover, Leiter von Lattice Engineering, kommentiert:

Das ist rad. Ich habe mich schon immer gefragt, ob ich DuckDB in meinem Firmen-App-Framework verwenden kann, und das hat das Problem "Aber wie kann ich dieses horizontal skaliert werden?" gelöst. Gratulationen an die DuckDB-Mitglieder. Ich liebe "Quack" für den Protokollnamen.

Der Benutzer kvlonge fügt auf Reddit hinzu:

Es wäre großartig, wenn man DuckDB auf einem Server starten und mit ihm remote wie ein 'normales' DB sprechen könnte.

DuckDB plant, Quack mit DuckLake zu integrieren, die Leistung zu verbessern und eine Produktionsversion mit DuckDB 2.0 später im Jahr 2026 zu veröffentlichen. Das Team arbeitet auch an einem besseren Support für remote-Datenbanken, höherer Transaktionsdurchsatz, personalisierbaren Protokoll-Erweiterungen und Replication-Funktionen.

Im Artikel "From DeepSeek to Quack: When the Dream of Distributed DuckDB Started to Feel Real", Amir Sefati hebt die Vorteile von DuckDB-Instanzen hervor, die sich untereinander unterhalten:

Wenn man das mit Objekt-Speicherung, DuckLake, Parquet und vektorischen Datenbanken kombiniert,