Einführung in Data Ingestion mit Streamsets

Wer in die Big/Fast Data Welt eintaucht und sich dort mit Daten beschäftigt wird sich schon häufiger darüber geärgert haben, dass es teilweise wirklich kompliziert ist einfache Data Flows zu entwickeln, um Daten zu transformieren, umzuwandeln oder auch nur zu speichern. Das gilt ganz besonders für die zeitnahe „Fast Data“ Verarbeitung in Datenströmen (Streams).

Eine sehr nützliche Lösung hierfür ist der Streamsets Data Collector. Dieser stellt eine Open Source Plattform für Data Ingestion bereit, die viele Features bietet, um komplexe Daten in der Big Data Welt einfach und visuell zu verarbeiten.

Dabei spielt es keine Rolle, ob du ETL-Vorkenntnisse habst, denn mit Streamsets kann man die Data Flows visuell erstellen ohne die Notwendigkeit zu programmieren. Es bietet den flexiblen Ansatz über sogenannte Pipelines Daten aus den unterschiedlichsten Quellen zu extrahieren, weiterzuverarbeiten und in beliebigen Formaten zu speichern. Dabei ist es unerheblich, welche Technologien angezapft werden, die Bandbreite reicht von Datenbanken über Kafka bis zu Rest-API Aufrufen, Web Services, XML-, JSON- und Text-Dateien.

Abgerundet wird Streamsets durch die Möglichkeit jederzeit Teile der Lösungen per Programmiersprache zu perfektionieren, auch Automatisierungsaufgaben lassen sich so unaufgeregt bewerkstelligen. Hierfür können unter anderem Groovy, Jython, aber auch JavaScript und „normales“ Java verwendet werden.

Streamsets ist die Umgebung, um zeitnah und flexibel frische Daten in bestehende Datentöpfe zu integrieren. Im Grunde ist es ein Data Ingestion-Tool mit erweiterten Funktionalitäten für die „neue“ Big & Fast Data-Welt. Hast du Interesse an frischen Daten? Dann komm doch in unser Training und lass dich überraschen und inspirieren.