Постоянно жаловалось на то сама ограничивала токены для нейронки. Тоесть дает запрос на перевод небольшого текста и сама просчитывает сколько этот текст должен потребить токенов. Моя языковая модел потребляет больше токенов и из-за этого постоянно выскакивает ошибка. Не нашел где можно настроить это
Если речь о такой ошибке:
Да, такое может случаться, нужно подстроить или отключить ограничение Max output tokens coefficient (это доступно в следующей версии утилиты).
Пока тестируем...
Также, если юзаете мульти-температуру, то в настройках можно ограничить кол-во температур (например, оставить 0, 0.3, 0.5, 0.7).
Но быстрее всего через оплаченный аккаунт ChatGPT, там оплата не за месяц а за токены, модель gpt-4o-mini оптимальна по соотношению качества/скорости/затрат.
Если речь об ограничении в самой LM Studio, то это настраивается в двух местах:
1) Глобальные настройки:
Здесь предоставляется выбор: использовать глобальное ограничение для всех моделей (я выставил 8192 токенов) или использовать максимум, поддерживаемый самой моделью. По идее это ограничение должно помочь, если модель "зациклится", но лично мне не помогало, однако это спасет против излишних затрат денежных средств, если юзаем не LLM.
2) Ограничение макс. токенов для конкретной модели:
Если в прошлом меню выбрали второй пункт, то применяется это ограничение:
жмём 3-ю кнопку слева, выбираем модель, и справа во вкладке "Load" указываем токены. Также во вкладке "Inference" все специфические настройки, вроде top_k, top_p, температуры по умолчанию.
