Руководство
Настройте Yahont на использование моделей, предоставляемых вашим сервером LiteLLM Proxy.Yahont читает доступные модели с конечной точки LiteLLM Proxy
/v1/models. Это хороший вариант,
когда нужен один шлюз перед несколькими поставщиками или бэкендами с самостоятельным размещением.1
Настройте LiteLLM Proxy
Разверните LiteLLM Proxy и убедитесь, что он доступен с сервера Yahont.Вам понадобятся базовый URL API и API-ключ LiteLLM Proxy.Локальное значение по умолчанию обычно —
http://localhost:4000.2
Откройте «Языковые модели»
Откройте панель администратора по значку профиля пользователя, затем перейдите в Языковые модели.
3
Настройте LiteLLM Proxy
Выберите LiteLLM Proxy среди доступных поставщиков.Задайте поставщику отображаемое имя.Введите базовый URL API и API-ключ прокси.Нажмите Fetch Available Models, чтобы загрузить модели, которые сейчас предоставляет ваш инстанс LiteLLM Proxy.
4
Проверьте импортированные модели
Yahont сохраняет идентификаторы моделей, возвращённые LiteLLM Proxy,
и делает эти модели доступными вашим пользователям.Это полезно, когда LiteLLM направляет запросы нескольким поставщикам через единый шлюз.
5
Выберите видимые модели
В разделе Расширенные параметры вы увидите список всех моделей, доступных у этого поставщика. Вы можете выбрать,
какие модели будут видны вашим пользователям в Yahont.Выбор видимых моделей полезен, когда поставщик публикует несколько моделей и версий одной и той же модели.
6
Настройте доступ к поставщику
Наконец, решите, должен ли поставщик быть публичным для всех пользователей Yahont.Если выбран приватный режим, модели поставщика будут доступны администраторам и группам пользователей,
которым вы явно назначите поставщика.