Internetlinks auslesen

[Thomas220]

Hallo zusammen,

ich möchte gern den Inhalt den eine Interseite ausgibt, lokal auf dem Linux-Rechner speichern.
Die Internetseite gibt Werte zurück, die in Zeilen angeordnet sind und in der Zeile durch Kommata getrennt sind.
Diese Werte sollen dann in einer Textdatei gespeichert werden, die ich dann in eine MYSQL Tabelle einlesen kann.

Klingt kompliziert - ist es glaube ich auch.

Kann mir bitte jemand helfen?

Danke
Thomas

 

[Rain_Maker]

Eine "fertige" Lösung habe ich nicht (und werde ich auch nicht schreiben), aber damit Du eine Idee/einen Ansatz bekommst, wie man es machen könnte, hier ein paar Stichworte:

Seite holen -> curl oder wget -> Umleiten auf stdout (bei wget "-O -") -> Filtern mit grep falls "ungewünschte" Zeilen vorkommen -> sed ggf. noch tr oder awk um die gewünschten Spalten zu extrahieren und unerwünschte Zeichen zu entfernen.

Greetz,

RM

 

[Thomas220]

Hallo Rain_Maker,
vielen Dank für den Input.
Habe nun mit wget und curl probiert.
curl geht hier offensichtlich gar nicht. In die Ausgabedate wird nur der HTML-Code geschrieben.
Mach ich es mit wget, dann habe ich in der Ausgabedatei stehen 'The name is too long, 857 chars total.'
Aber ich brauche diese Anzahl an Zeichen.
Das Ergebnis des Seitenaufrufs ist eine CSV-Datei.
Gebe ich den String in die Adresszeile des Browsers ein, dann lädt er die Datei herunter.
Was kann ich noch tun?

Danke
Thomas

 

[Thomas220]

Hallo zusammen,
leider geht das gar nicht so, wie gewollt.
Vielleicht habe ich das hier auch falsch beschrieben.
Auf dem Webserver wird ein cgi-Script aufgerufen. Dem muss ich beim Aufruf Parameter übergeben.
Unter anderem, wie die Ausgabe erfolgen soll (csv=1 --> Ausgabe als csv-Datei).
Geht das überhaupt mit wget?

Danke
Thomas