Skip to main content
Коннектор Braintrust индексирует промпты, наборы данных и эксперименты вашей организации в Braintrust, поэтому результат оценки можно найти через поиск Yahont.

​
Как это работает

Yahont индексирует сначала промпты, затем наборы данных, затем эксперименты и запоминает место между запусками, поэтому большая организация индексируется за несколько попыток. Таблица набора данных или эксперимента обрезается до 10 000 последних строк. В этом случае Yahont добавляет в документ строку о том, что таблица обрезана, поэтому ограничение видно в поиске и не остаётся скрытым.

​
Перед началом

Вам понадобятся:
  • Аккаунт Braintrust с доступом к организации, которую нужно индексировать
  • API-ключ Braintrust
  • Аккаунт администратора Yahont
Коннектор читает API Braintrust по адресу https://api.braintrust.dev и индексирует только то, что может прочитать API-ключ.

​
Настройка Yahont

1

Откройте коннектор Braintrust

В Yahont перейдите в Панель администратора → Добавить коннектор и выберите Braintrust.
2

Создайте учётные данные

Вставьте ключ в поле Braintrust API Key.Создание учётных данных Braintrust с названием и API-ключом Braintrust
3

Выберите область

Задайте название коннектора. В поле Project Name укажите один проект Braintrust, чтобы индексировать только его промпты, наборы данных и эксперименты. Оставьте поле пустым, чтобы индексировать всю организацию.Yahont проверяет название при сохранении коннектора и отклоняет проект, который не удаётся найти.
4

Выберите тип доступа

Публичный делает всё проиндексированное содержимое Braintrust видимым для каждого пользователя Yahont. Приватный ограничивает коннектор выбранными группами пользователей Yahont. Это функция Enterprise Edition: группы пользователей в Yahont CE недоступны.
5

Подключитесь и проверьте

Нажмите Создать коннектор. Затем откройте Панель администратора → Существующие коннекторы, выберите коннектор и убедитесь, что первая попытка индексации завершилась.

​
Расширенные настройки

Увеличьте глубину просмотра или задайте 0, если нужно искать по строкам старых экспериментов. В обоих случаях каждый запуск индексации читает из Braintrust больше данных.

​
Ограничения

Коннектор не скачивает файлы, поэтому ограничения на размер файла нет.

​
Устранение неполадок

Braintrust API rejected the API key с HTTP 401 или 403 означает, что ключ неверный, отозван или принадлежит не той организации. Создайте новый ключ в Braintrust и обновите учётные данные в Yahont.
Braintrust project '<name>' was not found означает, что Project Name не совпадает ни с одним проектом, доступным ключу. Название должно совпадать точно. Оставьте поле пустым, чтобы индексировать всю организацию.
Failed to reach the Braintrust API означает, что запрос не завершился. Проверьте, что сервер Yahont может обратиться к https://api.braintrust.dev, и повторите попытку.
Строки индексируются только у экспериментов, созданных в пределах Experiment Row Lookback (days); у более старых экспериментов остаётся только сводка. Увеличьте глубину просмотра или задайте 0, затем переиндексируйте.
Таблица ограничена 10 000 последних строк, и документ сообщает об этом. Это ограничение не настраивается.