Untersuchung der Migration einer MySQL basierten Monitoring & Data-Warehouse Lösung nach Hadoop

Nonfiction, Computers, Programming
Cover of the book Untersuchung der Migration einer MySQL basierten Monitoring & Data-Warehouse Lösung nach Hadoop by Jonas Kress, GRIN Verlag
View on Amazon View on AbeBooks View on Kobo View on B.Depository View on eBay View on Walmart
Author: Jonas Kress ISBN: 9783656431046
Publisher: GRIN Verlag Publication: May 27, 2013
Imprint: GRIN Verlag Language: German
Author: Jonas Kress
ISBN: 9783656431046
Publisher: GRIN Verlag
Publication: May 27, 2013
Imprint: GRIN Verlag
Language: German

Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule für Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus verschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des erfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten die Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und die Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das Unbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil der Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende Veränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund wurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden Dataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem Open Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster erlaubt. Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von Hadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung von Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich die Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält und analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten. Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut zum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und die Dataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntax das Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBase automatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführte Benchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast genau linear zur Datenmenge steigt, der Ressourcenverbrauch nur gering wächst und die Last im Cluster gleichmäßig verteilt wird. Dies lässt die Schlussfolgerung zu, dass sich Hadoop gut zum Betrieb einer Dataware-House Lösung eignet.

View on Amazon View on AbeBooks View on Kobo View on B.Depository View on eBay View on Walmart

Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule für Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus verschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des erfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten die Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und die Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das Unbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil der Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende Veränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund wurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden Dataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem Open Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster erlaubt. Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von Hadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung von Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich die Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält und analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten. Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut zum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und die Dataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntax das Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBase automatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführte Benchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast genau linear zur Datenmenge steigt, der Ressourcenverbrauch nur gering wächst und die Last im Cluster gleichmäßig verteilt wird. Dies lässt die Schlussfolgerung zu, dass sich Hadoop gut zum Betrieb einer Dataware-House Lösung eignet.

More books from GRIN Verlag

Cover of the book Islam auf den südlichen Philippinen by Jonas Kress
Cover of the book Salutogenese und Humor. Das Gesundheitskonzept von Aron Antonovsky. Ein salutogenetischer Ansatz in der Pflege? by Jonas Kress
Cover of the book Auswirkungen der EU-Osterweiterung auf die legale und Zwangsprostitution in Deutschland by Jonas Kress
Cover of the book Hedging-Strategien. Risikomanagement mit derivativen Finanzinstrumenten by Jonas Kress
Cover of the book Engelvorstellungen: Thomas von Aquin by Jonas Kress
Cover of the book Freier Wille? - Zur Diskussion um den freien Willen by Jonas Kress
Cover of the book Die individuelle und gesellschaftliche Bedeutung von demokratischer Jugendkulturarbeit by Jonas Kress
Cover of the book Verständnis und Umsetzung von Diversity Management in multinationalen Unternehmungen by Jonas Kress
Cover of the book Sucht und Abhängigkeit by Jonas Kress
Cover of the book Gesellschaftliche Ausgrenzung durch Namen - Wie jüdische Namen zur Markierung wurden by Jonas Kress
Cover of the book Politische PR im Internet - Online-Parteienkommunikation im Web 2.0 by Jonas Kress
Cover of the book Die Bedeutung des Temperaments in der Resilienzforschung by Jonas Kress
Cover of the book Verbände in politischen Willensbildungs- und Entscheidungsprozessen by Jonas Kress
Cover of the book Physis und Techne im Verhältnis: Hat Aristoteles' Ansicht von Natur und Technik heute noch Gültigkeit? by Jonas Kress
Cover of the book The position of the UK in respect of waste recycling by Jonas Kress
We use our own "cookies" and third party cookies to improve services and to see statistical information. By using this website, you agree to our Privacy Policy