Запуск локальных моделей при помощи Text generation web UI

[akok]

Gradio - это веб-интерфейс для запуска крупномасштабных языковых моделей, таких как GPT-J 6B, OPT, GALACTICA, LLaMA и Pygmalion.

Основные возможности​

• Переключение между различными моделями с использованием выпадающего меню.
• Режим блокнота, который напоминает игровую площадку OpenAI.
• Режим чата для общения и игр в роли.
• Генерация красивого HTML-вывода для GPT-4chan.
• Генерация Markdown-вывода для GALACTICA, включая поддержку LaTeX.
• Поддержка Pygmalion и настраиваемых персонажей в форматах JSON или карточек персонажей TavernAI (FAQ).
• Расширенные функции чата (отправка изображений, получение звуковых ответов с TTS).
• Потоковая передача текстового вывода в реальном времени с высокой эффективностью.
• Загрузка параметров из предварительно заданных текстовых файлов.
• Загрузка больших моделей в 8-битном режиме.
• Разделение больших моделей на GPU, CPU и диск.
• Режим работы на CPU.
• Отключение FlexGen.
• Отключение DeepSpeed ZeRO-3.
• Получение ответов через API с потоковой передачей или без нее.
• Модель LLaMA, включая поддержку 4-битной квантизации GPTQ.
• Модель RWKV.
• Поддержка LoRA.
• Поддержка softprompts.
• Поддержка расширений.
• Работает на Google Colab.

Установка​

Скачать установщик

Дополнительные шаги:

1. Распакуйте содержимое архива в папку в пути которой не содержит кирилицы.
2. Если скрипты выдают ошибки, то запустите их от имени администратора.
3. Если у вас видеокарты Nvidia, то собирайте CPU версию.

Для запуска веб-интерфейса выполните следующие шаги:

1. Запустите скрипт "install", чтобы установить веб-интерфейс и все необходимые компоненты в данную папку.
2. Запустите скрипт "download", чтобы загрузить выбранную вами модель. Если вы хотите загрузить только файлы конфигурации, измените переменную "TextOnly" в начале скрипта.
3. Запустите скрипт "start-webui", чтобы запустить веб-интерфейс.

Загрузка моделей.​

Для использования моделей (вне списка в download-model) их необходимо поместить в папку "models".

Главным местом для загрузки моделей является Hugging Face. Некоторые из наиболее заметных примеров:

• Pythia
• OPT
• GALACTICA
• GPT-J 6B
• GPT-Neo
• *-Erebus (для взрослых)
• Pygmalion (для взрослых)

Автоматически вы можете скачать модели при помощи download-model (флаг K, если нужно модели нет в списке).

Если вы хотите загрузить модель вручную, то обратите внимание, что все, что вам нужно - это файлы json, txt и pytorch*.bin (или model*.safetensors). Остальные файлы необязательны.

Запуск​

После того как скачали нужную модель/ли запустите файл start-webui, выберите нужную модель (если их установлено несколько)

После завершения работы скрипта откройте в браузере страницу по адресу http://127.0.0.1:7860

Подробнее и дополнительные ссылки.​

GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models.

A Gradio web UI for Large Language Models. Contribute to oobabooga/text-generation-webui development by creating an account on GitHub.

github.com

JSON character creator