MapReduce library für Ruby: Skynet
Linux/OpenSource Januar 6th, 2008Wer by Skynet „Terminator“ denkt liegt nicht ganz falsch.
Die Skynet Bibliothek stellt ein „selbsterweiterndes, fehlertollerantse und vollständig verteiltes“ System bereit, um rechenintensive Aufgaben zu verteilen.
Es handelt sich hierbei nicht um einen Hadoop Wrapper oder ähnliches, sondern um eine 100% Ruby Implementierung der von Google vor einiger Zeit vorgestellten Map/Reduce Herangehensweise.
Das Skynet Konzept basiert dabei auf einer Messagequeue, in die „Tasks“ eingestellt werden können. Als Messaging Systeme werden derzeit TupleSpace und Mysql (sic!) unterstützt.
Skynet geht dabei konzeptionell so vor, dass es keine dedizierten Master oder Slave Knoten gibt, sondern lediglich worker. Diese können aufeinander „aufpassen“ und einspringen, wenn einzelne Worker versagen. Geht man von einer redundanten Auslegung der Messagequeue aus, so hat Skynet keinen „single point of failure“ und soll sich sehr einfach in eigene (Rails) Anwendungen integrieren lassen.
Neue Kommentare