CSV Files

CSV (Comma-Separated Values) — это простой формат файла, широко используемый для хранения табличных данных, таких как таблицы или базы данных. Этот модуль предоставляет возможность загружать и обрабатывать CSV-файлы в рамках вашего рабочего процесса.

Этот модуль обеспечивает универсальный загрузчик CSV документов, который способен:

• Загружать один или несколько CSV-файлов
• Поддерживать загрузку файлов как в кодированном формате base64, так и из хранилища
• Извлекать конкретные столбцы или полное содержимое файла
• Обрабатывать большие наборы данных эффективно
• Управлять пользовательскими метаданными

Входные параметры

• CSV File: CSV-файл(ы) для обработки (.csv обязательное расширение)
• Text Splitter (опционально): разделитель текста для обработки извлеченного содержимого
• Single Column Extraction (опционально): название конкретного столбца для извлечения
• Additional Metadata (опционально): JSON-объект с дополнительными метаданными для добавления к документам
• Omit Metadata Keys (опционально): список ключей метаданных, которые нужно исключить из стандартных метаданных (через запятую)

Выходные данные

• Document: массив объектов документов, содержащих метаданные и содержимое страницы (pageContent)
• Text: объединенная строка из содержимого pageContent всех документов

Особенности

• Поддержка обработки нескольких файлов одновременно
• Возможность извлечения одного конкретного столбца
• Эффективная обработка больших объемов данных
• Настраиваемое управление метаданными
• Встроенная интеграция с хранилищами данных
• Поддержка обработки файлов в форматах base64 и blob