Руководство по запуску локальной модели GPT4All, подобной ChatGPT

[akok]

Встречаем GPT4All. Обратите внимание, что данная модель основана на примерно 800 тысячах генераций.

Как поиграться?​

1. Загрузите файл gpt4all-lora-quantized.bin из прямой ссылки или [Torrent-Magnet].
2. Клонируйте этот репозиторий, перейдите в папку chat и поместите туда загруженный файл.
2.1. На практике достаточно скачать репозиторий вручную и не мучится.
3. Запустите соответствующую команду для вашей ОС:

• M1 Mac/ОС X:cd chat;./gpt4all-lora-quantized-OSX-m1
• Линукс:cd chat;./gpt4all-lora-quantized-linux-x86
• Windows (PowerShell):cd chat;./gpt4all-lora-quantized-win64.exe
• Intel Mac/OSX:cd chat;./gpt4all-lora-quantized-OSX-intel

Эта модель была обучена без учета всех ответов, содержащих отказ от ответа. Попробуйте ее сами, используя
Secret Unfiltered Checkpoint - [Torrent]. Модель поддерживает следующие языки:

1. Arabic
2. English
3. French
4. German
5. Italian
6. Japanese
7. Mandarin Chinese
8. Spanish

Подробности​

GitHub - nomic-ai/gpt4all: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.

GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use. - nomic-ai/gpt4all

github.com

Дополнения и уточнения данной инструкции приветствуются.

 

[akok]

Появилась возможность автоматическеской установки локального чат-клиента без излишне сложных "танцев"

https://gpt4all.io/index.html

https://twitter.com/x/status/1646714552602460160

 

[akok]

Появилась возможность использовать в приложении разные модели

• https://gpt4all.io/models/ggml-mpt-7b-chat.bin (по умолчанию) (md5sum 756249d3d6abe23bde3b1ae272628640) - Лучшая текущая не коммерчески лицензируемая модель для чата, основанная на MPT и обученная Mosaic ML.
• https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin (по умолчанию) (md5sum 81a09a0ddf89690372fc296ff7f625af) - Лучшая текущая коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на последних подобранных данных GPT4All.
• https://gpt4all.io/models/ggml-gpt4all-l13b-snoozy.bin (md5sum 91f886b68fbce697e9a3cd501951e455) - Лучшая текущая не коммерчески лицензируемая модель, основанная на Llama 13b и обученная Nomic AI на последних подобранных данных GPT4All.
• https://gpt4all.io/models/ggml-gpt4all-j-v1.2-jazzy.bin (md5sum 879344aaa9d62fdccbda0be7a09e7976) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 2.
• https://gpt4all.io/models/ggml-gpt4all-j-v1.1-breezy.bin (md5sum 61d48a82cb188cceb14ebb8082bfec37) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 1.
• https://gpt4all.io/models/ggml-gpt4all-j.bin (md5sum 5b5a3f9b858d33b29b52b89692415595) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 0.
• https://gpt4all.io/models/ggml-vicuna-7b-1.1-q4_2.bin (md5sum 29119f8fa11712704c6b22ac5ab792ea) - Не коммерчески лицензируемая модель, основанная на Llama 7b и обученная командами из UC Berkeley, CMU, Stanford, MBZUAI и UC San Diego.
• https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin (md5sum 95999b7b0699e2070af63bf5d34101a8) - Не коммерчески лицензируемая модель, основанная на Llama 13b и обученная командами из UC Berkeley, CMU, Stanford, MBZUAI и UC San Diego.
• https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin (md5sum 99e6d129745a3f1fb1121abed747b05a) - Не коммерчески лицензируемая модель, основанная на Llama 7b и обученная Microsoft и Пекинским университетом.
• https://gpt4all.io/models/ggml-stable-vicuna-13B.q4_2.bin (md5sum 6cb4ee297537c9133bddab9692879de0) - Не коммерчески лицензируемая модель, основанная на Llama 13b и обученная методом усиления с подкреплением (RLHF) командой Stable AI.
• https://gpt4all.io/models/ggml-mpt-7b-base.bin (md5sum 120c32a51d020066288df045ef5d52b9) - Базовая модель, коммерчески лицензируемая, предварительно обученная Mosaic ML.
• https://gpt4all.io/models/ggml-nous-gpt4-vicuna-13b.bin (md5sum d5eafd5b0bd0d615cfd5fd763f642dfe) - Не коммерчески лицензируемая модель, основанная на Vicuna 13b, дообученная на около 180 000 инструкций, обученная Nous Research
• https://gpt4all.io/models/ggml-mpt-7b-instruct.bin (md5sum 1cfa4958f489f0a0d1ffdf6b37322809) - Коммерчески лицензируемая модель с инструкциями, основанная на MPT и обученная Mosaic ML.

 

[akok]

А так же поддерживается chat gpt 3.5 и 4, нужен только доступ к api

 

[digymonster]

~/gpt4all$ bin/chat
Failed to open log file, logging to stdout...
Недопустимая инструкция

 

[akok]

инсталлятор не подошел?