Руководство по запуску локальной модели GPT4All, подобной ChatGPT

  • Автор темы Автор темы akok
  • Дата начала Дата начала
akok

akok

Команда форума
Администратор
Ассоциация VN
Сообщения
24,989
Реакции
13,675
Встречаем GPT4All. Обратите внимание, что данная модель основана на примерно 800 тысячах генераций.

1681504317305.gif

Как поиграться?​


1. Загрузите файл gpt4all-lora-quantized.bin из прямой ссылки или [Torrent-Magnet].
2. Клонируйте этот репозиторий, перейдите в папку chat и поместите туда загруженный файл.
2.1. На практике достаточно скачать репозиторий вручную и не мучится.
3. Запустите соответствующую команду для вашей ОС:
  • M1 Mac/ОС X:cd chat;./gpt4all-lora-quantized-OSX-m1
  • Линукс:cd chat;./gpt4all-lora-quantized-linux-x86
  • Windows (PowerShell):cd chat;./gpt4all-lora-quantized-win64.exe
  • Intel Mac/OSX:cd chat;./gpt4all-lora-quantized-OSX-intel
Эта модель была обучена без учета всех ответов, содержащих отказ от ответа. Попробуйте ее сами, используя
Secret Unfiltered Checkpoint - [Torrent]. Модель поддерживает следующие языки:
  1. Arabic
  2. English
  3. French
  4. German
  5. Italian
  6. Japanese
  7. Mandarin Chinese
  8. Spanish

Подробности​

github.com

GitHub - nomic-ai/gpt4all: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.

GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use. - nomic-ai/gpt4all
github.com github.com


Дополнения и уточнения данной инструкции приветствуются.
 
Последнее редактирование:
Последнее редактирование:
Появилась возможность использовать в приложении разные модели

  • https://gpt4all.io/models/ggml-mpt-7b-chat.bin (по умолчанию) (md5sum 756249d3d6abe23bde3b1ae272628640) - Лучшая текущая не коммерчески лицензируемая модель для чата, основанная на MPT и обученная Mosaic ML.
  • https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin (по умолчанию) (md5sum 81a09a0ddf89690372fc296ff7f625af) - Лучшая текущая коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на последних подобранных данных GPT4All.
  • https://gpt4all.io/models/ggml-gpt4all-l13b-snoozy.bin (md5sum 91f886b68fbce697e9a3cd501951e455) - Лучшая текущая не коммерчески лицензируемая модель, основанная на Llama 13b и обученная Nomic AI на последних подобранных данных GPT4All.
  • https://gpt4all.io/models/ggml-gpt4all-j-v1.2-jazzy.bin (md5sum 879344aaa9d62fdccbda0be7a09e7976) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 2.
  • https://gpt4all.io/models/ggml-gpt4all-j-v1.1-breezy.bin (md5sum 61d48a82cb188cceb14ebb8082bfec37) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 1.
  • https://gpt4all.io/models/ggml-gpt4all-j.bin (md5sum 5b5a3f9b858d33b29b52b89692415595) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 0.
  • https://gpt4all.io/models/ggml-vicuna-7b-1.1-q4_2.bin (md5sum 29119f8fa11712704c6b22ac5ab792ea) - Не коммерчески лицензируемая модель, основанная на Llama 7b и обученная командами из UC Berkeley, CMU, Stanford, MBZUAI и UC San Diego.
  • https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin (md5sum 95999b7b0699e2070af63bf5d34101a8) - Не коммерчески лицензируемая модель, основанная на Llama 13b и обученная командами из UC Berkeley, CMU, Stanford, MBZUAI и UC San Diego.
  • https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin (md5sum 99e6d129745a3f1fb1121abed747b05a) - Не коммерчески лицензируемая модель, основанная на Llama 7b и обученная Microsoft и Пекинским университетом.
  • https://gpt4all.io/models/ggml-stable-vicuna-13B.q4_2.bin (md5sum 6cb4ee297537c9133bddab9692879de0) - Не коммерчески лицензируемая модель, основанная на Llama 13b и обученная методом усиления с подкреплением (RLHF) командой Stable AI.
  • https://gpt4all.io/models/ggml-mpt-7b-base.bin (md5sum 120c32a51d020066288df045ef5d52b9) - Базовая модель, коммерчески лицензируемая, предварительно обученная Mosaic ML.
  • https://gpt4all.io/models/ggml-nous-gpt4-vicuna-13b.bin (md5sum d5eafd5b0bd0d615cfd5fd763f642dfe) - Не коммерчески лицензируемая модель, основанная на Vicuna 13b, дообученная на около 180 000 инструкций, обученная Nous Research
  • https://gpt4all.io/models/ggml-mpt-7b-instruct.bin (md5sum 1cfa4958f489f0a0d1ffdf6b37322809) - Коммерчески лицензируемая модель с инструкциями, основанная на MPT и обученная Mosaic ML.
 
А так же поддерживается chat gpt 3.5 и 4, нужен только доступ к api
 
Последнее редактирование:
инсталлятор не подошел?
 
Назад
Сверху Снизу