Web-Crawler der in MySQL-DB schreibt...?

[Tueftler]

Für ein Text-Mining-Projekt suche ich einen Web-Crawler mit dessen Hilfe ich z.B. bei monster.de oder anderen Stellenangebot-Seiten die Stellenanzeigen runterziehen kann. WebSpider und Webreaper hab ich schon erfolglos getestet.
Am Liebsten wäre mir auch wenn sämtliche Daten in einer MySQL-Datenbank gespeichert werden würden. Das würde mir die Weiterverarbeitung deutlich erleichtern.
Habt ihr Tipps/Empfehlungen für solch ein Tool?
Danke für eure Hilfe!

[tracer]

Such mal nach einem XML Parser für die Sprache Deiner Wahl.

[Tueftler]

Das bringt mich nicht so wirklich weiter
Hab schon einiges probiert, aber funzt nich so wie ich will.

[[Daniel]]

Such mal nach einem XML Parser für die Sprache Deiner Wahl.

Was soll denn da ein XML Parser bringen? Mit 100%ig sauber geschriebenem XHTML mag das ja klappen, aber alles andere wird da höchst wahrscheinlich mehr Exceptions werfen als sinnvolle Ergebnisse...

Ich würd dir empfehlen nach Prüfen der Rechtslage den einfach selbst zu bauen. Mit ner DOMQuery-Implementierung wird das zum Kinderspiel.

[tracer]

Mit ner DOMQuery-Implementierung wird das zum Kinderspiel.

Sag ich doch

Nur, warum selber basteln?

[[Daniel]]

Mit ner DOMQuery-Implementierung wird das zum Kinderspiel.

Sag ich doch

Nur, warum selber basteln?

Weils im Zweifel schneller geht, als sich da totzusuchen. Also, den Crawler, nicht das DOMQuery.

[Tueftler]

Danke für eure Hilfe.
Das Projekt ist heute mangels Daten-Qualität gestorben...
Somit hab ich den Teil schon mal hinter mir
Jetzt wird ein neues Projekt gesucht Aber da findet sich schon was