Eine der Kernideen von Google war, auf billiger (commodity) Hardware zu laufen – und auch zu skalieren. Aus der Not heraus geboren (die Studenten Page und Brin hatten einfach wenig und zum Teil nur schrottige Hardware zur Hand um die Google Plattform aufzubauen) wurde das MapReduce Framework geschaffen – auch heute noch der Schlüssel für Google, um zu skalieren.
MapReduce ist auch ein Teil von Nutch, auch hier soll Skalierbarkeit erreicht werden – in Java!
Die freie Java implementierung ist inzwischen ein Apache Projekt, hört auf den Namen Hadoop, und besteht im wesentlichen aus einer MapReduce Implementierung zzgl. einem eigenen Dateisystem zur Verteilung der Daten.
Das powered-by-hadoop sieht schonmal ganz eindrucksvoll aus – last.fm und Yahoo sind Namen, die man kennt.

Für rechenintensive oder aus anderen Gründen in einem lokalen Cluster zu verteilende Anwendungen ist man nunmehr nicht mehr auf C angewiesen, sondern kann sich auch der Hochsprache Java bedienen.