Unternehmen lagern zunehmend historische und grosse Datenmengen in Data-Lakes aus, häufig in Cloud-Speicherdiensten wie AWS S3. Bisher war es eine Herausforderung, diese Daten mit aktuellen Datenbeständen in einer Datenbank zusammenzuführen: Man musste die Data-Lake-Daten erst in die Datenbank kopieren, was zeitaufwändig und ressourcenintensiv ist.
Amazon Aurora PostgreSQL behebt dieses Problem nun mit einer neuen Funktion, die es Datenbanken ermöglicht, Daten direkt aus S3-Buckets abzufragen. Dies bedeutet, dass Abfragen Informationen aus beiden Quellen kombinieren können, ohne dass ein kostspieliger und langwieriger Kopiervorgang erforderlich ist.
Der Vorteil liegt auf der Hand: Unternehmen sparen Zeit, Speicherplatz und Rechenressourcen. Statt historische Datenmengen regelmässig zu synchronisieren, kann die Datenbank on-demand auf die S3-Daten zugreifen. Dies ist besonders wertvoll für Szenarien, bei denen grosse historische Datenmengen selten, aber gelegentlich abgerufen werden müssen. Gleichzeitig bleibt der flexible und kostengünstige S3-Speicher für Langzeitarchive die erste Wahl.
Technisch funktioniert dies durch eine verbesserte Datenzugriffs-API, die Aurora ermöglicht, S3-Dateien direkt zu lesen und in SQL-Abfragen zu integrieren. Dies erfordert zwar entsprechende AWS-Konfigurationen und Berechtigungen, ist aber für moderne SQL-Workloads relativ transparent.
Für KMU-Dienstleister, die mit Kunden auf AWS arbeiten, eröffnet diese Neuerung interessante Perspektiven. Viele Unternehmen haben bereits grosse Data-Lake-Strukturen aufgebaut, nutzen diese aber nicht optimal, weil die Integration mit operativen Datenbanken zu aufwändig ist. Mit dieser Funktion können Dienstleister ihren Kunden helfen, ihre bestehenden Datenstrukturen effizienter zu nutzen, ohne Architektur-Überholungen durchzuführen. Dies kann Consulting- und Migrations-Projekte attraktiver und schneller machbar machen. Auch für Analytics und Reporting wird das Szenario interessant: Man kann unternehmensweite Berichte erstellen, die Live-Daten mit historischen Trends kombinieren, alles aus SQL-Abfragen.