So habe ich einen Webservice programmiert, der die Foren in seiner Liste regelmäßig scannt und mir alle neuen Threads als RSS-Feed zur Verfügung stellt. Wie gesagt, es geht hier nur um einzelne Foren eines Boards. Um ein ganzes Board zu abonnieren muss man jedes einzelne Forum abonnieren.

Jeder kann dort neue Foren hinzufügen und jeder kann sich die Feeds dort abonnieren. Der Feed beinhaltet die einzelnen Threadüberschriften und jeweils die ersten 1000 Zeichen als Beschreibung. Wenn neue Foren hinzugefügt werden, müssen sie erst vom Administrator (mir) freigeschaltet werden.

Leider bin ich auf einige größere Probleme gestoßen, die den Webservice nur bedingt nutzbar machen und wegen derer ich einige Einschränkungen einbauen musste:

Zum einen ist die Serverlast beträchtlich, da regelmäßig die Threadübersicht der einzelnen Foren geladen und analysiert werden muss. Wenn es neue Threads gibt muss jeder einzelne neue Thread auch geladen werden um eine Zusammenfassung zu erstellen. Bei wachsender Anzahl von Foren braucht man so schnell eine ganze Menge Traffic und Rechenzeit. Daher werden die Foren nur dann nach Updates überprüft, wenn der RSS-Feed auch angefordert wird. Höchstens jedoch alle 15 Minuten. Es wird auch nur die erste Seite der Threadübersicht beachtet. Bei stark frequentierten Foren oder selten abgerufenen Feeds kann es also passieren, dass Threads nicht erfasst werden.

Ein weiteres Problem ist, dass es bisher noch keine Möglichkeit gibt, automatisch Werbung in den Feeds zu schalten. Es gibt zwar Adsense for Feeds, jedoch müsste ich dann für jedes neu hinzugefügte Forum von Hand einen Channel und einen entsprechenden Werbefeed erstellen. Das ist noch nicht automatisierbar. Dadurch kann ich den Service auch nicht auf einem eigenen Server laufen lassen. Somit kann ich den Dienst nur so lange anbieten, wie er meinen Server nicht zu stark belastet. Das tut mir zwar leid, aber ich sehe im Moment keine andere Möglichkeit.

Problematisch ist auch, dass es so viele verschiedene Foren gibt: phpbb, WBB, vBulletin, SMF,… Für jedes dieser Foren gibt es noch verschiedene SEO Hacks, wodurch man eine vielzahl an regulären Ausdrücken benötigt um die Threads aus der Threadübersicht zu extrahieren. Ähnliches gilt für die Beiträge. Bei der Freischaltung wird die erste Seite der Threadübersicht geladen und mit vielen verschiedenen regulären Ausdrücken behandelt. Der passende wird dann vom Administrator ausgesucht. Genau das gleiche passiert auch mit den Beiträgen. Das ist einer der Hauptgründe, warum Foren erst freigeschaltet werden müssen. Dieser Punkt ließe sich möglicherweise noch automatisieren, doch solange die anderen Probleme bestehen habe ich keine Lust noch extrem viel Zeit in das Projekt zu investieren.

Da ich jetzt schon so viel Arbeit und Zeit in das Projekt investiert habe, wäre es einfach zu schade, wenn es nur auf meiner Festplatte ungenutzt herum liegen würde. Es funktioniert ja alles und kann genutzt werden. Daher stelle ich den Dienst einfach mal online und wer es praktisch findet, kann ihn gerne nutzen.

An dieser Stelle möchte ich mich auch bei ploppor bedanken, der mir die ganze Zeit über mit wertvollen Tipps und Ideen zur Seite stand. Seine Perl-Kenntnisse haben mir oft weiter geholfen. Er hat auch einige praktische Funktionen geschrieben wie z.B. um Threadbeschreibungen und -URLs aus der Threadübersicht zu extrahieren oder um die Sprache des Forums anhand der einzelnen Buchstabenhäufigkeiten zu bestimmen.

Wer Fehler findet oder Ideen für weitere Features hat kann sie mir gerne mailen: zimon@gmx.net. Jedoch werde ich vorerst nur schwere Fehler beheben. Wenn es sich nochmal lohnen sollte an dem Projekt weiter zu arbeiten werde ich dies wohl auch tun, aber im Moment bringt es einfach nichts.

Hier der Link zum Projekt: http://forum2rss.net