Big Data: Twitter gibt Heron-Quellen knapp ein Jahr nach Ankündigung frei
Der Code der Stream Processing Engine, die Storms Nachfolge antritt, ist nun unter der Apache-2-Lizenz zugänglich. Außerdem diskutieren die Entwickler die Übergabe des Projekts an eine Open Source Foundation.
- Julia Schmidt
Im Juni 2015 hatte Twitter seine Analyseplattform Heron der Öffentlichkeit vorgestellt. Das Tool ist bereits seit zwei Jahren dort zur Echtzeitdatenverarbeitung im Betrieb und steht nun auf GitHub zur Verfügung. Es war aufgrund der steigenden Anforderungen, was Masse und Vielfalt der anfallenden Daten angeht, als Nachfolger von Twitter Storm (später Apache Storm) entwickelt worden.
Um allerdings die Kompatibilität zum restlichen Stack und anderen Projekten nicht zu gefährden, war eine der Anforderungen, die API unverändert zu lassen. Unter anderem deshalb entschieden sich die Entwickler zwar für einen Rewrite in Java, C++ und Python, verwendeten allerdings einige der Storm-Komponenten weiter. Viele der Vorteile, die Heron bringt, lassen sich mit der Abkehr von einem Threads nutzenden System hin zu einem, das Prozessen zugrunde legt, erklären. Um das Deployment einfach zu halten, ist Heron als Bibliothek umgesetzt und kann mit Schedulern wie Apache Mesos, Aurora und REEF zusammenarbeiten.
Twitter Heron ist unter der Apache-2-Lizenz geschützt. Nachdem bereits Storm in den Händen der Apache Foundation liegt, diskutieren Herons Entwickler derzeit die Option, die Plattform ebenfalls bei einer Stiftung unterzubringen. Derzeit stehen neben der Apache Foundation auch die Cloud Native Computing Foundation, deren Mitglied Twitter ist, als Kandidaten im Raum. Die CNCF betreut derzeit die Entwicklung des bei Google entstandenen Containerautomatisierungsprojekts Kubernetes und des von SoundCloud gestarteten Systemmonitoringtoolkits Prometheus. Interessierte können sich auf GitHub an dem Gespräch beteiligen. (jul)
