Schritte zum Importieren von Millionen von Daten in MySQL mit .Net Core

CREATE TABLE `Handel` (
  `id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
  `trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
  EINZIGARTIGER INDEX `id` (`id`),
  INDEX `Handelsnr.` (`Handelsnr.`)
)
COMMENT = 'Bestellung'
COLLATE='utf8_unicode_ci'
ENGINE=InnoDB;

//Startzeit var startTime = DateTime.Now;
mit (var conn = neue MySqlConnection(connsql))
{
    conn.Öffnen();
​
    //100.000 Daten einfügen für (var i = 0; i < 100000; i++)
    {
        //Einfügen var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",
            Guid.NewGuid().ToString(), "handel_" + (i + 1)
            );
        var sqlComm = neuer MySqlCommand();
        sqlComm.Connection = Verbindung;
        sqlComm.CommandText = sql;
        sqlComm.ExecuteNonQuery();
        sqlComm.Dispose();
    }
​
    conn.Schließen();
}
​
//Fertigstellungszeit var endTime = DateTime.Now;
​
//Zeitaufwendig var spanTime = endTime - startTime;
Console.WriteLine("Methode zum Einfügen einer Schleife dauert: " + spanTime.Minutes + "Minuten" + spanTime.Seconds + "Sekunden" + spanTime.Milliseconds + "Millisekunden");

//Startzeit var startTime = DateTime.Now;
mit (var conn = neue MySqlConnection(connsql))
{
    conn.Öffnen();
​
    //100.000 Daten einfügen var sql = new StringBuilder();
    für (var i = 0; i < 100000; i++)
    {
        //Fügen Sie sql.AppendFormat ein("insert into trade(id,trade_no) values('{0}','{1}');",
            Guid.NewGuid().ToString(), "handel_" + (i + 1)
            );
​
        //Zusammenführen und einfügen, wenn (i % 1000 == 999)
        {
            var sqlComm = neuer MySqlCommand();
            sqlComm.Connection = Verbindung;
            sqlComm.CommandText = sql.ToString();
            sqlComm.ExecuteNonQuery();
            sqlComm.Dispose();
            sql.Löschen();
        }
    }
​
    conn.Schließen();
}
​
//Fertigstellungszeit var endTime = DateTime.Now;
​
//Zeitaufwendig var spanTime = endTime - startTime;
Console.WriteLine("Methode zum Einfügen einer Schleife dauert: " + spanTime.Minutes + "Minuten" + spanTime.Seconds + "Sekunden" + spanTime.Milliseconds + "Millisekunden");

//Startzeit var startTime = DateTime.Now;
mit (var conn = neue MySqlConnection(connsql))
{
    conn.Öffnen();
​
    //100.000 Daten einfügen var sql = new StringBuilder();
    für (var i = 0; i < 100000; i++)
    {
        wenn (i % 1000 == 0)
        {
            sql.Append("in trade(id,trade_no)-Werte einfügen");
        }
​
        // Verkettung sql.AppendFormat("('{0}','{1}'),", Guid.NewGuid().ToString(), "trade_" + (i + 1));
​
        //Füge 1000 Datensätze auf einmal ein, wenn (i % 1000 == 999)
        {
            var sqlComm = neuer MySqlCommand();
            sqlComm.Connection = Verbindung;
            sqlComm.CommandText = sql.ToString().TrimEnd(',');
            sqlComm.ExecuteNonQuery();
            sqlComm.Dispose();
            sql.Löschen();
        }
    }

        ​
    conn.Schließen();
}
​
//Fertigstellungszeit var endTime = DateTime.Now;
​
//Zeitaufwendig var spanTime = endTime - startTime;
Console.WriteLine("Die Methode zum Einfügen von Zusammenführungsdaten benötigt Zeit: " + spanTime.Minutes + "Minuten" + spanTime.Seconds + "Sekunden" + spanTime.Milliseconds + "Millisekunden");

//Startzeit var startTime = DateTime.Now;
mit (var conn = neue MySqlConnection(connsql))
{
    conn.Öffnen();
    var Tabelle = neue Datentabelle();
    Tabelle.Spalten.Hinzufügen("id", Typ von(Zeichenfolge));
    Tabelle.Spalten.Hinzufügen("trade_no", typeof(string));
​
    //100.000 Daten generieren für (var i = 0; i < 100000; i++)
    {
        wenn (i % 500000 == 0)
        {
            Tabelle.Zeilen.Löschen();
        }
​
        //Datensatz var row = table.NewRow();
        Zeile[0] = Guid.NewGuid().ToString();
        Zeile[1] = "Handel_" + (i + 1);
        Tabelle.Zeilen.Add(Zeile);
​
        //500.000 Datensätze in einem Stapel einfügen, wenn (i % 500000 != 499999 && i < (100000 - 1))
        {
            weitermachen;
        }
        Console.WriteLine("Einfügen beginnen: " + i);
​
        //Daten ins CSV-Format konvertieren var tradeCsv = DataTableToCsv(table);
        var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv";
        File.WriteAllText(Handelsdateipfad, Handels-Csv);
​
        #region In Datenbank speichern var bulkCopy = new MySqlBulkLoader(conn)
        {
            FeldTerminator = ",",
            Feldzitatzeichen = '"',
            EscapeCharacter = '"',
            Zeilenabschluss = "\r\n",
            Dateiname = Handelsdateipfad,
            AnzahlZuÜberspringenderZeilen = 0,
            Tabellenname = "Handel"
        };
​
        bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
        bulkCopy.Laden();
        #endregion
    }
​
    conn.Schließen();
}
​
//Fertigstellungszeit var endTime = DateTime.Now;
​
//Zeitaufwendig var spanTime = endTime - startTime;
Console.WriteLine("MySqlBulk-Methode benötigt: " + spanTime.Minutes + "Minuten" + spanTime.Seconds + "Sekunden" + spanTime.Milliseconds + "Millisekunden");