Загрузчик документов API

Модуль загрузчика документов API обеспечивает возможность загрузки и обработки данных с внешних API с помощью HTTP-запросов. Этот модуль позволяет бесшовно интегрировать RESTful API и веб-сервисы. Модуль предоставляет универсальный загрузчик документов API, который может:

• Выполнять HTTP-запросы GET и POST
• Обрабатывать пользовательские заголовки и тела запросов
• Преобразовывать ответы API в документы
• Поддерживать структуры данных JSON
• Настраивать извлечение метаданных
• Обрабатывать ответы с помощью разделителей текста

Входные параметры

Обязательные параметры:

• URL: URL-адрес конечной точки API, которую необходимо вызвать
• Method: HTTP-метод для использования (GET или POST)

Дополнительные параметры:

• Headers: JSON-объект с HTTP-заголовками
• Body: JSON-объект для тела POST-запроса
• Text Splitter: разделитель текста для обработки извлеченного контента
• Additional Metadata: JSON-объект с дополнительными метаданными
• Omit Metadata Keys: список ключей метаданных для исключения (через запятую)

Выходные данные:

• Document: массив объектов документов, содержащих метаданные и содержимое страницы (pageContent)
• Text: объединенная строка из содержимого страницы всех документов

Функциональные возможности:

• Поддержка методов HTTP (GET/POST)
• Настройка пользовательских заголовков
• Настройка тела запроса
• Обработка ответов сервера
• Обработка ошибок
• Настройка метаданных
• Возможности разделения текста

Примеры использования

GET запрос

{
    "method": "GET",
    "url": "https://api.example.com/data",
    "headers": {
        "Authorization": "Bearer token123",
        "Accept": "application/json"
    }
}

POST запрос

{
    "method": "POST",
    "url": "https://api.example.com/data",
    "headers": {
        "Content-Type": "application/json",
        "Authorization": "Bearer token123"
    },
    "body": {
        "query": "example",
        "limit": 10
    }
}

Примечания

• Поддерживаются форматы JSON при запросах и ответах
• Обработка HTTP-ошибок и ответов
• Автоматическая обработка данных ответа в документы
• Можно комбинировать с разделителями текста для обработки контента
• Поддержка добавления и исключения пользовательских метаданных
• Обработка и отчетность по ошибкам