anyCSV/XLS/YML PRO Edition для импорта CSV, DSV, XLS, XLSX, YML файлов в OpenCart 2, 3

Модуль позволяет делать импорт из практически любых файлов CSV, DSV, XLSX, XLS, YML на все сборки OpenCart 2 (все версии) и OpenCart 3 (все версии)

Ключевые отличия от других вариантов

• Экспорт в формат XLS/XLSX и совместимый с эксель CSV
  
• При экспорте стандартный отбор, что нужно экспортировать, отбор данных по любому значению в таблице товара.Например, можно указать только с непустым SKU, и/или с моделью, которая содержит определенный префикс слева/справа, и/или с количеством больше или равно 10 и т.д.
• Парсинг с удаленных сайтов использованием php, и/или xPath (вставка обработчика при импорте строк) и импорт результата в любое поле товара при обработке строки (если нужен парсинг по ссылкам описаний, парсинг картинок и пр. )
• Добавление своих колонок прямо в модуле, с логическими условиями появления того или иного текста в зависимости от того или иного содержания соседних колонок. Например, можно создать теги, метатеги, метатайтлы по схеме ПРОИЗВОДИТЕЛЬ КУПИТЬ НАЗВАНИЕ ТОВАРА и т.п.
• Создание текста из значений в соседних колонках строки импорта (например, для создания категорий вложенностью или для получения цены и мн.др.)
• Вставка своего php кода при начале импорта
• Вставка своего php при обработке строки, с возможностью любого преобразования данных в строке в каждой колонке
• Импорт из форматов YML, в т.ч. расширенных своими тегами, а также любых размеров за счет специального приложения (на 10 тыс. товаров нужно примерно +25 сек. предоброботки файла и 10Мб ОЗУ)
• При импорте YML также доступны: сопоставление категорий, создание любых типов опций из определенных значений в теге param, создание атрибутов из любых тегов param
• При импорте YML видны все теги, по этому их можно также импортировать в любое поле товара
• Глубокое логирование, в т.ч. с уведомлениями на почту
• Автоматизация на базе приложения smartExchange - приложение позволяет делать обработку на любых хостингах, с удобным интерфейсом настройки прямо в модуле. Достаточно поставить ссылку приложения на CRON, которая будет запускать приложение, например, каждую минуту. Всё остальное - порядок, график загрузки, и приоритеты действий, последовательную работу, и настройку под доступные ресурсы хостинге будет делать smartExchange. smartExchange - не создает нагрузку на хостинг (не использует подключение и базу данных, когда это не нужно (нет задач обмена)). Протестирован уже на обновление YML 800 тыс. товаров, с ОЗУ 2Гб

Как может подаваться файл?

• Ссылкой на удаленном сервере,
  
• Файлом
  
• Зазипованным файлом
  

Допустимый размер файла и вопросы производительности

Модуль использует специальные методы работы с файлами, которые не требуют лишних затрат физической и оперативной памяти. Однако при файлах значительно большого размера (файлы сотни мегабайт, и сотни тысячи строк) Вам может понадобиться дополнительные ресурсы от хостинга. Наиболее высокие затраты возникают при работе с файлами эксель. Являясь PC-форматом, данный формат, даже, в XLSX варианте требует дополнительных ресурсов, если сравнивать этот формат с текстовыми форматами CSV, DSV

Требования к файлу и форматы

• Любая кодировка файла, любая подача файла (по ссылке, вызывающей файл или подача загрузкой в модуль)
  
• Любые форматы файлов CSV, DSV с колонками, у которых есть хоть какие-то названия
  
• Любые Эксель файлы, с размещением данных от первой строки, с колонками, у которых есть хоть какие-то названия
• Любые YML, включая некоторых их расширения. А также, при наличии расширений в виде тегов в оффер, прямой импорт таких данных в любые товарные данные

Затраты ресурсов при работе с YML

• В модуле не используются стандартные средства парсинга, по этому производительность достаточно высокая, а отношение к ресурсам максимально бережное. В частности для подготовки файла перед импортом, с 10200 позициями модулю нужно порядка 22-26 сек., и порядка 10Мб ОЗУ. Как импортировать файлы с бОльшим числом товаров, и не выходить за пределы лимитов, рассказано в инструкции к модулю

Сколько может быть файлов одновременно

• Любое количество файлов одновременно, за счет сохранения профилей настроек под каждый файл
  

Автоматизация на базе smartExchange

Мониторинг и логирование в режиме он-лайн Адаптация процессов импорта и экспорта под время работы скрипта и доступную ОЗУ (сервер не "видит" больших процессов, для хостинга процессы "выглядят", как небольшие и не затратные) Уведомления на почту о старте импорта, экспорта и завершении

Импорт YML

Создание опций из любых параметров Создание атрибутов из любых параметров Упаковка изображений, в т.ч. в опции Создание категорий, и возможность сопоставления с категориями сайта (без импорта категорий из файла) Находит все теги и позволяет делать импорт из них Возможность отфильтровать данные Возможность уменьшения больших файлов ОЧЕНЬ бережное отношение к ресурсам (на 10 тыс. строк нужно порядка 10 Мб ОЗУ и ~25 сек. подготовки файла)

Сколько может быть разных сохраненных настроек у одного и того же файла

Любое количество профилей настроек на один и тот же файл

Отбор данных при экспорте

Возможность отбирать данные по категории, производителю Возможность отбирать по тому или иному значению в таблице товаров базы данных

Создание и импорт из своих колонок по правилу или прямой импорт в любое поле базы данных товарных таблиц, таблиц категорий, атрибутов, опций, фильтров

Импорт произвольного текста в любое поле таблиц товаров, категорий, атрибутов, опций Создание текста из значений в соседних колонках файла по правилу и без

Парсинг xPath

Если в какой-либо колонке находится ссылка на описание, то такое описание может быть получено, как целиком так и тегами по отдельности Можно делать парсинг по ссылкам любых частей html страниц сторонних ресурсов

Вставка php

При обработке каждой строки может быть вставлен любой php, который позволяет: перезадать значения в других колонках, создать условия для таких действий, создать свои значения у добавленных колонок

Импорт в кастомные поля товарных, категорий, опций, атрибутов

Возможен. При импорте можно сопоставлять входящие данные с полями в базе данных, которых не было в ОпенКарте, и которые были в него добавлены

Обнуление остатков, выключение товаров перед импортом

• Доступен функционал сбрасывания остатков на любое количество перед импортом для определенных товаров, которые можно отобрать, указав их признаки (например, префиксы в каком-нибудь поле, например, в модели, артикуле) 
  
• Также у данных товаров можно отключать статус, обнулять цены и выполнять некоторые другие действия
  

Сопоставление категорий

Доступен функционал сопоставления справочников категорий во входящих данных и в данных файла. Данный функционал позволяет переносить товары в нужные категории сайта и не создавать лишних категорий поставщиков

Работа с изображением

• Многофункциональный кроппинг и сжатие изображений
  
• Закачивание по ссылкам, в т.ч. с кириллическими и прочими нестандартными данными в ссылках 
  
• Возможность приведения названий к стандарту
  
• Модуль понимает практически все возможные варианты упаковки картинок в файлах: когда картинки идут путями, переложенными каким-нибудь разделителем, или когда нужно сделать главную картинку из первой картинки в таком наборе картинок, в одной ячейке
  

Работа с ценой

Ценообразование по интервалам с возможностью умножения и одновременного прибавления (отнимания) определенного числа Ценообразование коэффициентами Прямой импорт цен

Работа с остатками

Прямой импорт остатков Настройка интерпретации остатков по словам-статусам: много, мало, >10 и т.п.

Работа с категориями

• Импорт категорий вложенностями, через любой разделитель
  
• Импорт, когда категории идут по колонкам
  
• Прямой импорт категорий
  
• Импорт с возможностями очищения предыдущих категорий, или образованием главной категории
  

Работа с атрибутами

• 4 микроразметки импорта от импорта только значений, до импорта сразу упакованных через любой разделитель значений группы, атрибута, и значения атрибута
  
• Названия групп, или атрибутов могут быть образованы из названий колонок или привязаны к уже имеющимся группам, атрибутам
  
• Прямой импорт атрибутов
  

Работа с опциями

• 3 полных микроразметки импорта от импорта только значений, до импорта сразу упакованных через любой разделитель значений товарных опций
  
• Доступно ценообразование и возможность вычитать из значения цены базовую цену товара или импортировать цену в опции, как есть
  
• Названия опций могут быть образованы из названий колонок или привязаны к уже имеющимся опциям
  
• Прямой импорт опций
  

Логирование

• Простое логирование в txt/html
  
• Детальное логирование в txt/html
• Уведомления на электронную почту о старте, завершении или сбоях

Автоматизация 

• Автоматизация импорта через специальную защищенную ссылку, которую можно разместить на планировщик хостинга (например, CRON)
  
• Автоматизация экспорта через специальную защищенную ссылку, которую можно разместить на планировщик хостинга (например, CRON)
• Автоматизация на базе smartExchange

Варианты модуля - сравнение функционала, доступного в варианте

				ЭТОТ ВАРИАНТ
	Стоимость модуля:	1190 р.	1490 р.	3690 3190 р.
	Название вариантов модуля:	anyCSV Basic: CSV	anyCSV/XLS Basic: CSV + Эксель	anyCSV/XLS Pro
Автоматизация	Автоматический экспорт через ссылку	✔	✔	✔
	Автоматический импорт через ссылку	✔	✔	✔
	Автоматический импорт и экспорт через встроенную систему OCext smartExchange			✔
Адаптация под производительность хостинга	Нормирование обмена по количеству строк обработки для адаптации под возможности хостинга	✔	✔	✔
	Кеширование, результатов функциональных запросов в базу	✔	✔	✔
	Удаление временных данных, в ходе работы - увеличение скорости по мере импорта	✔	✔	✔
Действия с группой товаров перед импортом	Гибкий поиск нужных товаров, даже, тех, которых нет в файле (поиск товаров, которые нужно предварительно обработать по ключевым словам, префиксам слева, справа в тех или иных полях товара)	✔	✔	✔
	Групповые действия с товаром (сбрасывание остатка по условию, выключение товаров по условию и пр.)	✔	✔	✔
Дополнительные настройки	Генератор SEO алиасов (категориям, товарам, производителям)	✔	✔	✔
	Произвольное (любое) название колонок файла	✔	✔	✔
	Очищение аналогичных значений перед импортом (например, очищение дополнительных картинок или значений опций, или продуктовых категорий перед импортом этих значений)	✔	✔	✔
Идентификация товаров при импорте	Идентификация по любому кастомному полю в товаре, а также по артикулу, модели или product_id	✔	✔	✔
	Идентификация по названию товара, названию изображения	✔	✔	✔
	Автоматическое образование префикса в идентификатор при импорте, и проверка при импорте по данному префиксу	✔	✔	✔
Импорт атрибутов	Отдельный импорт атрибутов	✔	✔	✔
Импорт атрибутов в товары	Импорт атрибутов значениями, через произвольный разделитель, с созданием атрибута и группы из колонок, или с привязкой к имеющимся на сайте атрибутам	✔	✔	✔
	Импорт атрибутов значениями и названиями атрибутов, через произвольный разделитель, группы из названия колонок, или с привязкой к имеющимся на сайте группам	✔	✔	✔
	Импорт атрибутов значениями, названиями атрибутов, названиями группы через произвольный разделитель	✔	✔	✔
Импорт категорий	Отдельный импорт категорий	✔	✔	✔
Импорт производителей	Отдельный импорт производителей	✔	✔	✔
Импорт производителей в товары	Импорт производителей по называнию производителя при импорте товара	✔	✔	✔
Импорт опций	Отдельный импорт опций	✔	✔	✔
Импорт опций в товары	Импорт опций Микроразметка 1: checkbox|Размер| XXL|0|57| 1|+|10| -|20|+|0| http://site.ru/ img/sizexxl.jpg|sizecolor001299 |SKU-112998	✔	✔	✔
	Импорт опций Микроразметка 2:Размер|XXL |+|10|251 |http://site.ru/img/ sizexxl.jpg|checkbox| sizecolor001299| SKU-112998	✔	✔	✔
	Импорт опций Микроразметка 3: XXL-5; XL-1-255-1; M-5--1-0;L-4;	✔	✔	✔
	Импорт опций Цена-Количество, через произвольный разделитель: 300,5|150,12|250,27	✔	✔	✔
	Идентификация опций по произвольному коду опции, и артикулу в значении опции товара	✔	✔	✔
	Импорт опций Названий опций, с указанием остальных параметров из существующих на сайте опций или из других колонок файла	✔	✔	✔
Импорт отзывов	Отдельный импорт отзывов	✔	✔	✔
Импорт товарных категорий	Импорт категорий с вложенностью через произвольный разделитель	✔	✔	✔
	Импорт категорий с размещением уровней вложенности по колонкам	✔	✔	✔
Источник данных	Авторизация при получении файла (Basic Access Authentication, RFC 7617)			✔
	Разархивация из архива ZIP	✔	✔	✔
	Импорт по удаленной ссылке	✔	✔	✔
	Импорт из файла	✔	✔	✔
Логирование и отчеты	Лог-почта			✔
	Лог детальный	✔	✔	✔
	Лог простой	✔	✔	✔
	Уведомление на почту о завершении			✔
Логический импорт прочих товарных данных	Импорт связанных товаров по артикулам	✔	✔	✔
	Импорт в кастомные поля таблиц товаров, продуктовых опций, продуктовых атрибутов	✔	✔	✔
Работа с изображениями	Импорт изображений по ссылкам/путям черер произвольный разделитель, с образованием главной картинки из первой ссылки	✔	✔	✔
	Обработка изображений с кириллическими названиями, пробелами, и другими не стандартными элементами в названиях	✔	✔	✔
	Импорт изображений по ссылке с использованием CURL (увеличивает скорость работы с изображениями при импорте)	✔	✔	✔
	Кроппинг изображений при импорте	✔	✔	✔
	Импорт изображений по ссылке с использованием file_get_contents	✔	✔	✔
Работа с остатками	Остаткообразование по статусам	✔	✔	✔
Работа с ценой	Ценообразование по коэффициентам	✔	✔	✔
	Ценообразование по диапазонам значения цены во входящих данных, по интервалам	✔	✔	✔
	Конвертор валют	✔	✔	✔
Работа с языком и кодировками	Выбор языка контента	✔	✔	✔
	Кодировка и конвертация и/в UTF-8, Windows 1251, Windows 1252	✔	✔	✔
Режимы импорта	Режим импорта - обновление и вставка новых, только обновление, только новые	✔	✔	✔
	Дополнительный режим импорта - вставка новинок	✔	✔	✔
Сопоставления данных	Маппинг категорий (сопоставление категорий сайта и файла)	✔	✔	✔
Сохранение настроек	Создание профилей импорта	✔	✔	✔
Типы, экспортируемых данных	Экспорт заказов			✔
Услуги	Поддержка (бесплатный час помощи в освоении)	✔	✔	✔
	Поддержка (по ошибкам)	✔	✔	✔
	Настройка одного 1 файла			✔
Форматы импорта	Импорт CSV	✔	✔	✔
	Импорт Эксель		✔	✔
	Импорт из формата YML, с дополнительными настройками и адаптацией файла YML			✔
Форматы экспорта	Экспорт CSV (в т.ч. совместимый с Эксель)	✔	✔	✔
	Экспорт Эксель		✔	✔
	Отбор данных для экспорта по значения в таблице товаров			✔
	Создание своих колонок с импортом произвольного текста			✔
	Создание текста для импорта из соседних колонок			✔
	Парсинг xPath			✔
	Вставка php, выполняемого перед импортом			✔
	Вставка php, выполняемого при импорте каждой строки, с возможности переопределения значений в колонках, создания условий и пр.			✔

Документация

Демонстрация

Требования и условия

• Opencart 2.* до 3.* включительно
  
• Перезаписи файлов не требуется
  
• Для ZIP файлов, включить на хостинге zip_php (есть везде)
  
• Для файлов, заданными ссылками может понадобится CURL - включить на хостинге (есть везде)
  
• На хостинге должна быть разрешена работа с файлами в принципе (методы fwrite, fopen и пр.)