Weiterentwicklung Bonner Blogs


#1

Gestern habe ich beim Webmontag mit Martin Schneider über die Idee des Crowdfunding-Portals gesprochen. Thema war auch Kanban. Man soll sich begrenzen auf wenige Ideen, die man voran bringt. Auch Karin Krubeck schrieb mir das vor langer Zeit. Endlich bin ich einsichtig und so arbeite ich zuerst an der Weiterentwicklung von BonnerBlogs.de.
Seit ein paar Tagen importiere ich nachts die 40.000 Artikel, die zwischen April 2014 und Dezember 2015 aufgelaufen sind. Danach sind wir ja mit BonnerBlogs.de und Bundesstadt.com in eine gemeinsame Multisite gezogen, damit alles ein integriertes System werden kann.
40.000 Artikel umziehen, hat das mal jemand von Euch versucht. Es geht tatsächlich nur in der eigenen virtuellen Maschine, wo ich ein Kommandozeilentool für Wordpress nutzen kann: WP CLI… Damit konnte ich die Exportdatei (über 400 MB) auch langsam importieren. Es dauert trotzdem ein paar Nächte, bis es fertig ist.
Wenn das fertig ist, möchte ich gerne mit Sven Zemanek, @damian_paderta und David Kriesel schauen, ob sich Datenanalysen auf diesen Datensatz lohnen. Ich bin sehr gespannt, was die jeweils anderen herausbekommen wollen, welche Analyseansätze gewählt werden.
Bis dahin habe ich für die Feeds noch mal überprüft, ob überall der Volltext angezeigt wird. Die Überprüfung habe ich heute abgeschlossen. Es ist nicht bei 100% der Feeds möglich, aber ich denke, fast alle werden jetzt im Volltext in der Datenbank gespeichert, so dass man eine Volltextsuche über die Bonner Blogs machen kann.

Habt ihr noch Ideen, Fragen, Wünsche? Ansonsten pflege ich demnächst noch mal einen ganzen Schwung neuer Blogs ein: die Tausendergrenze ist nicht mehr weit.


#2

Gute Idee, @Sascha_Foerster! Eine interaktive Visualisierung der Daten wird mit Sicherheit die eine oder andere spannende oder witzige Erkenntnis über die Blogs erlauben! :slight_smile:


#3

David Kriesel übt ja schon mal bei SpiegelOnline um DataMining zu betreiben:
http://www.dkriesel.com/blog/2016/0929_spiegelmining_rubriken_themen_keywords


#4

Lieber Sascha,

eine Wahnsinnsaufgabe. Spannend. Und ich hoffe du hast genügend Kaffee
vorrätig.

Hier mal ein Link von Tobi, der sich mal an eine Analyse der Buchblogger
im deutschsprachigen Bereich begeben hat. Eine erstaunliche Arbeit. Ist
vielleicht als Inspiration mal interessant.

Viele Grüße

Stephie


#5

Danke für den Hinweis. Ich glaube auch, mit dem Datensatz lassen sich viele spannende Sachen anstellen. Kaffee brauche ich weniger, mehr der Server… noch 5000 Artikel!


#6

So, der Import ist durch: Welches Format wäre Dir am liebsten, @damian_paderta?


#7

Ich sag jetzt einfach mal blind JSON oder CSV. :slight_smile:


#8

So, der Export von ca. 50.000 Bonner Blogartikeln ist fertig. Selbst komprimiert sind es noch 150MB an schönsten Lokaldaten. Wer also Interesse am Datensatz hat, soll sich einfach kurz bei mir melden, dann schicke ich persönlich den Download-Link zu (Ich darf ja nicht einfach Texte anderer wieder veröffentlichen). Ich bin schon sehr gespannt auf die Ideen, Visualisierungen und Ergebnisse, die da raus kommen können! :slight_smile:


#9

Dank @Johannes hat BonnerBlogs.de eine schicke neue Startseite bekommen. Wie gefällt sie Euch? https://www.bonnerblogs.de