MEGAPROBLEM

Hallo!

Ich verwende nun seit 3 Wochen den DBaaS-Provider Aiven, um meine Datenbanken zu managen und zu verwalten. Zurzeit habe ich Daten in meiner objektrelationalen Datenbank PostgreSQL gespeichert. Um Datenströme zu verarbeiten und diese an Drittsysteme weiterleiten zu können, bin ich gerade dabei, mir Apache Kafka einzurichten.

Damit ich die Daten von PostgreSQL in Kafka laden kann, brauche ich einen JDBC-Connector, oder? Wie kann ich das mit Aiven einrichten?

Ja, genau. Mithilfe des JDBC-Connectors kannst du Daten aus einer relationalen Datenbank, in deinem Fall PostgreSQL, nach Kafka pushen. Bevor du den Connector einrichten kannst, benötigst du folgende Angaben von der Aiven-Konsole:
- für den Kafka-Dienst: KAFKA_HOST, KAFKA_PORT, KAFKA_CONNECT_SERVICE_URI
- für den PostgreSQL-Dienst: PG_SERVICE_URI, PG_HOST, PG_PORT, PG_USER, PG_PW, PG_DEFAULT_DB
Eine typische JDBC-URL, die benötigt wird, würde in etwa so aussehen: "JDBC_URL=jdbc:postgresql://PG_HOST:PG_PORT/PG_DEFAULT_DB?ssl=true&sslfactory=org.postgresql.ssl.NonValidatingFactory"

Zuerst musst du dich in PostgreSQL einloggen und ein Schema kreieren und dann ein Json-File erstellen. Danach kannst du den JDBC-Connector erstellen. In einem separaten Terminal musst du dann die Konsole Consumer ausführen. Die genauen Befehle und Angaben zu den Schemata findest du auf der offiziellen Seite (im Support-Bereich) zum Kopieren: https://aiven.io/postgresql