Catalog¶
Ein Catalog ist ein Satz Referenzdaten — ein Wörterbuch oder eine Lookup-Tabelle, die während Transformation und Validierung genutzt wird. Eine Kontenrahmen-Zuordnung Code → Name ist ein typisches Beispiel.
Wie Kataloge genutzt werden¶
Während eines Transforms wird ein Katalog DuckDB als temporäre Tabelle bereitgestellt, sodass ein Transformer-Mapping oder eine Geschäftsregel Werte nachschlagen kann:
(SELECT "name" FROM dict_kontenplan WHERE "code" = "Konto")
Speicherung¶
Katalogdaten werden als Parquet gespeichert (geschrieben über polars), nicht in PostgreSQL-Zeilen. Ein Katalog kann auch schema-first sein — mit Spalten, aber noch ohne Daten definiert — sodass Sie die Struktur verdrahten können, bevor die Referenzdaten eintreffen.
Scoping¶
Kataloge haben das reichste Scoping aller Objekte — vier Stufen:
- Organisations-Ebene — überall wiederverwendbar.
- Projekt-gebunden — an ein Projekt gebunden, darin automatisch verfügbar.
- Lieferanten-gebunden — an einen bestimmten Data Provider gebunden.
- Organisations-Katalog, an ein Projekt angehängt über eine Join-Tabelle.
Ein projekt-gebundener Katalog überschreibt einen angehängten Organisations-Katalog gleichen Namens — genauso wie Entities auflösen.
Importieren von Daten kann das Schema umformen
Der Import von Zeilen in einen Katalog reduziert dessen Schema auf die Spalten, die in der importierten Datei vorhanden sind. Wenn Sie zusätzliche Spalten behalten möchten, nehmen Sie sie (auch leer) in den Import auf.