Mit ‘MySQL’ getaggte Beiträge

Bereits im vergangen Jahr habe ich eine Hausarbeit über YouTube-Statistiken erstellt. Dazu habe ich bereits die Einträge „Python Classifier“ und „MySQL Datenbank“ erstellt. Nun kommt etwas verspätet auch ein Eintrag dazu 🙂

Inhaltlich habe ich in der Arbeit einen Testserver aufgesetzt, Daten über die YouTube Data API angefragt und die Daten in eine MySQL Datenbank geschrieben. Die Daten wurden dann zu einem späteren Zeitpunkt mit Hilfe eines Python-Skripts ausgewertet. (mehr …)

Advertisements

MySQL Datenbank

Veröffentlicht: 15. Mai 2011 in Web
Schlagwörter:,

Nach mehr als 10 Stunden habe ich nun erfolgreich meine Datenbank gerettet. Es ist eine Höllen Arbeit Daten aus verschiedenen Datenbanken mit unterschiedlichen Einträgen zum importieren, vor allem wenn Foreign Keys eingesetzt werden und Referenzen erhalten bleiben müssen. Nach einem längeren manuellen Import war das jedoch auch geschafft. Mein Glück im Unglück war hier, dass ich die originalen Daten zur Sicherheit unverändert mit abgespeichert habe. Zum guten Schluss habe ich mir noch ein einfaches Script geschrieben, das die bereits importierten Daten stückweise aus der Datenbank löscht und über den original Daten neu importiert. Dieser Vorgang lief jetzt automatisiert im Hintergrund durch. Das hat jetzt „nur“ 45 Minuten gedauert und es wurden dabei über 210.000 Einträge in die Datenbank geschrieben.

Ja wahrscheinlich kann der ganze Vorgang noch optimiert und verbessert werden, für meine Zwecke reicht das jedoch. Ich erfasse hier nur Statistische Daten, die ich zu einem späteren Zeitpunkt auswähle. Der ganze Vorgang läuft automatisiert in der Nacht ab, deshalb spielt die Importzeit eine zweitrangige Rolle. Auf jeden Fall bin ich jetzt froh, dass meine Datenbank wieder normal läuft 🙂

In diesem Semester belege ich die Vorlesung „Aktuelle Themen der Software-Architekturen für Digitale Medien“ und habe dort vor zwei Wochen ein Mini-Projekt gestartet (der Titel der Vorlesung ist lang und hat nicht viel mit dem Inhalt zu tun, es handelt sich hierbei nur um einen Container 😉 ).

Für mein Mini-Projekt beziehe ich jeden Tag tausende von Daten von der Youtube API, die ich zuerst in meiner Datenbank (MySQL Server Version 5.1.41) abspeichere und zu einem späteren Zeitpunkt auswerte.

Mein Server wird in unserem Hochschulrechenzentrum gehostet als VM. Das eigentliche Problem hat sich am Donnerstag ereignet als die Admins ein Update des VM-Servers gemacht haben. Meine VM hat darauf einen Neustart gemacht (das ist ja auch irgendwo noch sinnvoll). Weniger lustig fand ich, dass SSH nicht im Autostart eingetragen war, wodurch ich keinen Zugriff mehr hatte. Einer der Admins konnte jedoch SSH wieder manuell für mich starten. (mehr …)