Ergebnis 1 bis 7 von 7

Thema: CSV to MySQL DB Datenmenge Problem

  1. #1
    Meister(in)
    Registriert seit
    07.08.2006
    Beiträge
    270
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard CSV to MySQL DB Datenmenge Problem

    Hi,

    ich möchte eine CSV Datei mit ca. 350.000! Einträgen in eine MySQL Datenbank einfügen. Per PHP Script geht das auch, allerdings dauert das dann Stunden und meine Festplatte klingt dabei auch nicht gesund, so daß ich es lieber abgebrochen habe.

    Wie kann ich das besser lösen?

    Das MySql Admin Tool bricht auch immer ab mit der Meldung "Server gone away"

    Ich hoffe sehr auf eure Hilfe.
    Achtung: Dies ist ein alter Thread im HTML und Webmaster Forum
    Diese Diskussion ist älter als 90 Tage. Die darin enthaltenen Informationen sind möglicherweise nicht mehr aktuell. Erstelle bitte zu deiner Frage ein neues Thema im Forum !!!!!

  2. #2
    Bandit
    Gast

    Standard

    Ich habe ja keine Ahnung, wie die CSV-Datei und dein Script aussieht, aber bei 350.000 Datensätzen dauert das halt ein wenig, sollte aber eigentlich kein Problem sein.

  3. #3
    Meister(in)
    Themenstarter

    Registriert seit
    07.08.2006
    Beiträge
    270
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard

    php script:

    include "connect.php";
    ini_set('max_execution_time', 3600);
    $row = 1;
    $handle = fopen ("datei.csv","r");
    while ( ($data = fgetcsv ($handle, 1000, ",")) !== FALSE ) {
    $num = count ($data);

    $row++;
    $query = "INSERT INTO siglum (wert) VALUES ('".$data[0]."')";
    $result = mysql_query($query);
    }

    fclose ($handle);


    die csv enthält 350.000 Zeilen
    er geht durch jede zeile und fügt das ein
    das geht auch, dauert aber unglaublich lang

    ist was an dem script falsch?

  4. #4
    Bandit
    Gast

    Standard

    CSV-Datei, 350.000 Zeilen mit
    a,b,c,d,e,f,g,h,i
    Script:
    PHP-Code:
    <?php
     $t1 
    time();

     
    mysql_connect("localhost""root""");

     
    mysql_select_db("test");

     
    $fp fopen("./xx.csv""r");

     while (
    $data fgetcsv($fp1000","))
     {
         
    $query "insert into csv set val='" $data[0] . "'";
         
    mysql_query($query);
     }

     
    $t2 time();

     echo 
    "Scriptlaufzeit = " . ($t2 $t1) . "Sekunden";
    ?>
    Ausgabe:
    Scriptlaufzeit = 40Sekunden

  5. #5
    Meister(in)
    Themenstarter

    Registriert seit
    07.08.2006
    Beiträge
    270
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard

    Ich habe pro Zeile 5 Werte, hatte das Script nur etwas gekürzt.
    D.h. pro Insert werden 5 werte in die DB geschrieben, dann wird wieder die nächste Zeile aus der csv datei gelesen und dann wieder in die db geschrieben.

    Und bei mir dauert das ewig. Woran kann das liegen???????
    Die Festplatte rödelt ohne Ende.

  6. #6
    Bandit
    Gast

    Standard

    Zitat Zitat von 00eraser00 Beitrag anzeigen
    hatte das Script nur etwas gekürzt.
    Sehr witzig. Du postest hier ein verstümmeltes Script und wir sollen erkennen, woran das liegen kann. Muss man nicht verstehen, oder?

  7. #7
    Meister(in)
    Themenstarter

    Registriert seit
    07.08.2006
    Beiträge
    270
    Danke
    0
    Bekam 0 mal "Danke" in 0 Postings

    Standard

    wieso verstümmelt???? da fehlt lediglich ein data[1]...bis date[4] in der zeile, das ändert aber nichts an der schleife

    habe es übrigends selber gelöst, habe die "values" in eine schleife getan, so daß der insert befehl nur aller 1000 zeilen 1 mal ausgeführt wird

Ähnliche Themen

  1. UTF-8 Problem mit PHP und MySQL
    Von LinuxMan im Forum PHP Forum - Apache - CGI - Perl - JavaScript und Co.
    Antworten: 2
    Letzter Beitrag: 10.08.2008, 20:26
  2. mysql problem
    Von im Forum HTML & CSS Forum
    Antworten: 1
    Letzter Beitrag: 15.10.2006, 14:52
  3. Mysql-Problem
    Von BendOr im Forum PHP Forum - Apache - CGI - Perl - JavaScript und Co.
    Antworten: 5
    Letzter Beitrag: 22.08.2006, 16:03
  4. MySQL Problem
    Von Gast im Forum PHP Forum - Apache - CGI - Perl - JavaScript und Co.
    Antworten: 3
    Letzter Beitrag: 17.02.2006, 18:44
  5. MySQL Problem
    Von onlineuser im Forum PHP Forum - Apache - CGI - Perl - JavaScript und Co.
    Antworten: 7
    Letzter Beitrag: 13.06.2005, 22:30

Stichworte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •