Как это работает
Каждое обновление заново обходит весь сайт; инкрементального режима нет.
Yahont намеренно игнорирует заголовок
Last-Modified,
потому что CDN и серверные источники продвигают его при каждой загрузке, даже если страница не менялась.
Вместо этого он сравнивает текст каждой загруженной страницы, поэтому неизменённая страница стоит загрузки,
но не переиндексируется. Так как полный обход затратен, этот коннектор обновляется раз в 24 часа, а не каждые 10 минут.
Перед началом
Вам понадобятся:- URL, до которого может дотянуться сам сервер Yahont
- Страницы, не требующие входа
- Аккаунт администратора Yahont
Коннектор не может входить в систему, отправлять cookie или отвечать на форму входа.
Если нужное содержимое находится за аутентификацией, индексируйте систему, где оно хранится,
её собственным коннектором, а не обходите её веб-интерфейс.
Настройка Yahont
1
Откройте коннектор Web
В Yahont откройте Панель администратора → Добавить коннектор и выберите Web.
2
Назовите коннектор и введите базовый URL
Задайте коннектору понятное Connector Name. В Base URL введите адрес, с которого начать,
например
https://docs.yahont.ai/. Если не указать схему, Yahont добавит https://.3
Выберите метод сканирования
Выберите, как Yahont находит страницы:
- recursive: начать с базового URL и переходить по каждой ссылке в области обхода. Используйте для всего сайта или раздела.
- single: индексировать только базовый URL и ни по чему не переходить.
- sitemap: прочитать
sitemap.xmlи проиндексировать каждый указанный в нём URL. Если указанный адрес не является картой сайта, Yahont ищет её на этом сайте.
4
Выберите тип доступа
Public делает проиндексированные страницы видимыми каждому пользователю Yahont.
Private ограничивает коннектор выбранными группами пользователей Yahont и является функцией Enterprise Edition:
группы пользователей в Yahont CE недоступны.О значении каждого типа доступа и о том, какие коннекторы поддерживают синхронизацию прав, см.
в разделе Управление доступом к документам.
5
Подключите и проверьте
Нажмите Create Connector. Затем откройте Панель администратора → Существующие коннекторы,
выберите коннектор и убедитесь, что первая попытка индексации завершилась с ожидаемым числом страниц.
При single Yahont загружает страницу во время сохранения коннектора,
поэтому неверный адрес или заблокированная страница сразу сообщаются.
При recursive и sitemap при сохранении проверяется только сам адрес.
Всё остальное проявляется при первой попытке индексации.
Расширенные настройки
Выберите Advanced Options в форме коннектора, чтобы получить доступ к обеим:
Область обхода
В режиме recursive Yahont переходит по ссылке, только если она остаётся на том же сайте и по тому же пути, что и базовый URL. Начальныйwww. при сравнении сайтов игнорируется.
Это самая частая причина, по которой рекурсивный обход индексирует меньше страниц, чем ожидалось. Сайту,
разделы которого находятся на отдельных поддоменах, нужен один коннектор на каждый поддомен. Сайту,
страницы которого доступны только через поле поиска и никогда не связаны ссылками, нужен метод sitemap.
Переписывание URL
Переписывание заменяет начало сохраняемого адреса документа. Yahont по-прежнему загружает исходный адрес — меняется только ссылка, сохранённая в документе, то есть ссылка, по которой пользователь переходит из цитаты. Используйте, когда Yahont обращается к сайту по адресу, которым не пользуются ваши пользователи, например через внутренний шлюз:
Побеждает первое подходящее правило. Если две просканированные страницы переписываются в один адрес,
Yahont сохраняет первую и пропускает вторую, иначе они перезаписали бы друг друга в индексе.
Обход внутреннего сайта
Только для самостоятельного размещения. По умолчанию Yahont отказывается обходить частные или внутренние адреса, а коннектор, направленный на такой адрес, завершается с ошибкойNon-global IP address detected.
Чтобы это разрешить,
администратор устанавливает Защиту от SSRF в Проверять запросы LLM или ниже на странице Безопасность и усиление
защиты. На этом уровне коннекторы, настроенные администратором,
могут обращаться к частным адресам, а загрузки, запущенные LLM, по-прежнему проверяются.
Yahont Cloud не может обращаться к адресам внутри вашей сети ни при какой настройке.
Ограничения
У коннектора нет ограничения размера файла, в отличие от коннекторов SharePoint и Google Drive. Связанный PDF скачивается целиком. Действуют ограничения по времени и количеству:
Медленная страница, превысившая тайм-аут загрузки во всех 3 попытках, исключается из обхода и записывается как ошибка,
а не индексируется с частичным содержимым.