< 24.12 | Kommentarspam mit Deutschland als Ursprung >

XML-File, MB, GB und RegEx

Für ein aktuelles Projekt war es notwendig, alle URLs aus dem File structure.rdf.u8.gz(Stand 20.12.2005) des open directory project zu extrahieren. Für alle, die das Selbe vorhaben und dafür PHP einsetzen, mal ein paar Hinweise.

auspacken der ~300MB großen Datei structure.rdf.u8.gz, man hat danach ein etwa 2GB großes XML-File

auf einem 1.5 GHz-Rechner mit 256 MB RAM den Wert max_execution_time in der php.ini auf einen Wert von etwa 22.000 setzen(entspricht etwas mehr als 6 h)

ein entsprechendes Script schreiben, welches mittels RegEx die URLs holt und in eine DB schreibt(in meinem Fall MySql)

das Script über das PHP-CLI starten und warten

der enstandene MySql-Dump hatte eine Größe von ~400MB(Inno-DB), enthält nur ein Auto_Increment und die URLs(in etwa 4.500.000 Stück)

Der Rechner sollte in der Zeit keine anderen Aufgaben haben.

Tags für diesen Artikel:

About this entry

You’re currently reading “XML-File, MB, GB und RegEx,” an entry on blog.der-link.de

Geschrieben von:: admin um 27.12.2005 / 17:49
Last updated 07.09.2010

Kategorie:: Programmierung

banane 28.12.2005 / 02:30

also ich wage ja zu behaupten, dass perl da wesentlich schneller gewesen wäre.
damals hatte ich aus der alten strohhalm datenbank heraus alle postings als textfiles generiert.
erster versuch war mit php, den hab ich nach ner stunde abgebrochen, php kroch nur so vor sich hin und hatte gerade mal 10% der db durch.
perl hatte den job nach knapp ner stunde komplett erledigt.
naja, vielleicht bin ich mit perl auch nur besser, als mit php

SteBu 28.12.2005 / 05:53

>..vielleicht bin ich mit perl auch nur besser, als mit php
Das kann sein. Obwohl ich auch denke, dass Perl dafür besser geeignet ist. Aber mit PHP ist es ein 3-Zeiler den ich schnell geschrieben habe. Da meine Perlfähigkeiten, gelinde gesagt sche*** sind, war PHP meine Wahl. Effektiv hat das parsen der 2GB xml-Datei und das Schreiben von 4.5 Millionen Datensätzen 3h 19min gedauert. Ich finde das geht noch.