Загрузчик документов API BraveSearch

BraveSearch — это поисковая система, ориентированная на конфиденциальность, предоставляющая мощный API для веб-поиска. Этот модуль позволяет загружать и обрабатывать результаты поиска BraveSearch в виде документов. Этот модуль обеспечивает продвинутый загрузчик документов поиска, который может:

• Выполнять веб-поиск с использованием API BraveSearch
• Преобразовывать результаты поиска в структурированные документы
• Извлекать фрагменты текста и метаданные из результатов
• Обрабатывать результаты с помощью разделителей текста
• Настраивать извлечение метаданных

Входные параметры

Обязательные:

• Query: поисковый запрос, который необходимо выполнить
• Connect Credential: учетные данные API BraveSearch

Необязательные:

• Text Splitter: инструмент для обработки извлечённого контента
• Additional Metadata: JSON-объект с дополнительными метаданными
• Omit Metadata Keys: список ключей метаданных, которые нужно исключить, через запятую

Выходные данные:

• Document: массив объектов с метаданными и содержимым страницы (pageContent)
• Text: объединённая строка, склеенная из содержимого всех документов

Функции:

• Конфиденциальный поиск в Интернете
• Обработка структурированных результатов
• Автоматический extraction метаданных
• Разделение контента результатов
• Настраиваемое управление метаданными
• Обработка ошибок API

Структура документа:

• Каждый результат поиска преобразуется в документ, содержащий:
• pageContent: фрагмент или содержимое из результата поиска
• metadata:
  • title: заголовок веб-страницы
  • link: URL веб-страницы
  • Дополнительные пользовательские метаданные, указанные вами

Примечания

• Требует действительного ключа API BraveSearch
• В результатах содержатся сниппеты веб-страниц и метаданные
• Можно комбинировать с разделителями текста для обработки контента
• Поддерживается добавление и исключение пользовательских метаданных
• Обработка лимитов и ошибок API
• Сохраняет функции поиска с высокой конфиденциальностью