Evaluierung von Hadoop und MapReduce-Algorithmen für ökonometrische Clusteranalysen (Masterarbeit)

Big data wird zunehmend in der ökonomischen Forschung wichtig. In dieser Arbeit sollen in Kooperation mit dem Fraunhofer MOEZ die Möglichkeit skalierbarer Verfahren für ökonometrische Clusteranalysen an einem konkreten Beispiel evaluiert werden.

Die Problemstellung. Unternehmen sind regional unterschiedlich verteilt. Es soll untersucht werden, wie bestimmte Verteilungsparameter sich international bzw. branchenspezifisch unterscheiden.

Ihre Aufgabe. Mit opencorporates stehen die Handelsregistereinträge von weltweit über 30 Millionen Unternehmen zur freien Verfügung, die leicht mit den Geokoordinaten der Unternehmenssitze und weitere kategorische Eigenschaften kombiniert werden. Mit diesen Kategorien soll die Menge aller Unternehmen gefiltert werden können. Für diese Teil-mengen sollen Grapheigenschaften effizient unter Anwendung von be-stehenden MapReduce-Algorithmen oder anderen parallelisierbaren Verfahren berechnet werden. Der Ressourcenverbrauch (Zeit, CPU, Speicher, Bandbreite) verschiedener Lösungsansätze soll empirisch evaluiert werden. Weiterhin sollen iterative Veränderungen der Daten-basis und die Möglichkeit partieller Neuberechnung betrachtet werden.

Die Aufgabe ist auf einer Hadoop-Infrastruktur umzusetzen. Es ist Ihre Aufgabe diese Infrastruktur auf Ihnen zur Verfügung stehenden Knoten aufzubauen, zu nutzen und zu optimieren.

Ausschreibung auf der Seite des Fraunhofer MOEZ