Product import optimalisatie — 10x sneller dan de standaard

# Meten hoeveel observers actief zijn
bin/magento dev:query-log:enable
# Importeer één product en bekijk het log
tail -f var/log/db.log | grep observer
bin/magento dev:query-log:disable

bin/magento indexer:set-mode schedule

'system' => [
    'default' => [
        'dev' => [
            'debug' => [
                'debug_logging' => 0,
            ],
        ],
    ],
],

php -d memory_limit=2G -d max_execution_time=3600 bin/magento import:data

sku,name,price,status,visibility,attribute_set_code,product_type,categories
SKU-001,Productnaam,29.95,1,4,Default,simple,Categorie 1

<?php
// Voorbeeld van een directe product-insert
// LET OP: dit vereist grondige kennis van Magento's datamodel

class DirectProductImporter
{
    private \PDO $pdo;
    private int $batchSize = 1000;

    public function importProducts(array $products): void
    {
        // Stap 1: Schakel indexers tijdelijk uit
        $this->disableIndexers();

        // Stap 2: Verwerk in batches
        foreach (array_chunk($products, $this->batchSize) as $batch) {
            $this->processBatch($batch);

            // Geheugen vrijgeven
            gc_collect_cycles();
        }

        // Stap 3: Herindexeer alles in één keer
        $this->reindexAll();
    }

    private function processBatch(array $batch): void
    {
        $this->pdo->beginTransaction();

        try {
            foreach ($batch as $product) {
                // Schrijf naar catalog_product_entity
                $entityId = $this->insertEntity($product);

                // Schrijf attributen naar EAV-tabellen
                $this->insertVarcharAttributes($entityId, $product);
                $this->insertDecimalAttributes($entityId, $product);
                $this->insertIntAttributes($entityId, $product);

                // Schrijf voorraad
                $this->insertStock($entityId, $product);

                // Schrijf categorie-koppelingen
                $this->insertCategoryLinks($entityId, $product);
            }

            $this->pdo->commit();
        } catch (\Exception $e) {
            $this->pdo->rollBack();
            throw $e;
        }
    }

    private function insertEntity(array $product): int
    {
        $stmt = $this->pdo->prepare(
            'INSERT INTO catalog_product_entity
             (attribute_set_id, type_id, sku, created_at, updated_at)
             VALUES (:attribute_set_id, :type_id, :sku, NOW(), NOW())
             ON DUPLICATE KEY UPDATE updated_at = NOW()'
        );

        $stmt->execute([
            ':attribute_set_id' => $product['attribute_set_id'],
            ':type_id' => $product['type_id'] ?? 'simple',
            ':sku' => $product['sku'],
        ]);

        return (int) $this->pdo->lastInsertId();
    }
}

# Na een directe DB-import altijd uitvoeren
bin/magento indexer:reindex
bin/magento cache:flush
bin/magento setup:upgrade  # Als er nieuwe URL-rewrites nodig zijn

<?php
// CLI-commando dat parallel wordt uitgevoerd
class ParallelImportCommand extends Command
{
    protected function execute(InputInterface $input, OutputInterface $output): int
    {
        $totalProducts = $this->getTotalProductCount();
        $segmentSize = 10000;
        $segments = ceil($totalProducts / $segmentSize);

        $processes = [];

        for ($i = 0; $i < $segments; $i++) {
            $offset = $i * $segmentSize;

            // Start elk segment als een apart PHP-proces
            $process = new Process([
                'php', 'bin/magento',
                'import:segment',
                '--offset=' . $offset,
                '--limit=' . $segmentSize,
            ]);

            $process->start();
            $processes[] = $process;

            // Maximaal 4 processen tegelijk (aanpassen aan server-capaciteit)
            if (count($processes) >= 4) {
                $this->waitForProcesses($processes);
                $processes = [];
            }
        }

        // Wacht op resterende processen
        $this->waitForProcesses($processes);

        // Eenmalige herindexering na alles
        $this->runReindex();

        return Command::SUCCESS;
    }
}

-- Tijdelijke tabel voor staging
CREATE TEMPORARY TABLE import_staging LIKE catalog_product_entity;

-- Na validatie: kopieer naar productietabel
INSERT INTO catalog_product_entity
SELECT * FROM import_staging
ON DUPLICATE KEY UPDATE updated_at = NOW();

-- Tel URL-rewrites
SELECT COUNT(*) FROM url_rewrite;

-- Verwijder dubbele rewrites (voorzichtig: test eerst op staging)
DELETE ur1 FROM url_rewrite ur1
INNER JOIN url_rewrite ur2
WHERE ur1.url_rewrite_id < ur2.url_rewrite_id
AND ur1.request_path = ur2.request_path;

-- Bekijk lock waits tijdens import
SHOW ENGINE INNODB STATUS\G