Руководство по запуску GPT4All

[akok]

Встречаем GPT4All. Обратите внимание, что данная модель основана на примерно 800 тысячах генераций.

Как поиграться?​

1. Загрузите файл gpt4all-lora-quantized.bin из прямой ссылки или [Torrent-Magnet].
2. Клонируйте этот репозиторий, перейдите в папку chat и поместите туда загруженный файл.
2.1. На практике достаточно скачать репозиторий вручную и не мучится.
3. Запустите соответствующую команду для вашей ОС:

• M1 Mac/ОС X:cd chat;./gpt4all-lora-quantized-OSX-m1
• Линукс:cd chat;./gpt4all-lora-quantized-linux-x86
• Windows (PowerShell):cd chat;./gpt4all-lora-quantized-win64.exe
• Intel Mac/OSX:cd chat;./gpt4all-lora-quantized-OSX-intel

Эта модель была обучена без учета всех ответов, содержащих отказ от ответа. Попробуйте ее сами, используя
Secret Unfiltered Checkpoint - [Torrent]. Модель поддерживает следующие языки:

1. Arabic
2. English
3. French
4. German
5. Italian
6. Japanese
7. Mandarin Chinese
8. Spanish

Подробности​

GitHub - nomic-ai/gpt4all: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.

GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use. - nomic-ai/gpt4all

github.com

Дополнения и уточнения данной инструкции приветствуются.

 

[akok]

Появилась возможность автоматическеской установки локального чат-клиента без излишне сложных "танцев"

https://gpt4all.io/index.html

https://twitter.com/x/status/1646714552602460160

 

[akok]

Появилась возможность использовать в приложении разные модели

• https://gpt4all.io/models/ggml-mpt-7b-chat.bin (по умолчанию) (md5sum 756249d3d6abe23bde3b1ae272628640) - Лучшая текущая не коммерчески лицензируемая модель для чата, основанная на MPT и обученная Mosaic ML.
• https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin (по умолчанию) (md5sum 81a09a0ddf89690372fc296ff7f625af) - Лучшая текущая коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на последних подобранных данных GPT4All.
• https://gpt4all.io/models/ggml-gpt4all-l13b-snoozy.bin (md5sum 91f886b68fbce697e9a3cd501951e455) - Лучшая текущая не коммерчески лицензируемая модель, основанная на Llama 13b и обученная Nomic AI на последних подобранных данных GPT4All.
• https://gpt4all.io/models/ggml-gpt4all-j-v1.2-jazzy.bin (md5sum 879344aaa9d62fdccbda0be7a09e7976) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 2.
• https://gpt4all.io/models/ggml-gpt4all-j-v1.1-breezy.bin (md5sum 61d48a82cb188cceb14ebb8082bfec37) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 1.
• https://gpt4all.io/models/ggml-gpt4all-j.bin (md5sum 5b5a3f9b858d33b29b52b89692415595) - Коммерчески лицензируемая модель, основанная на GPT-J и обученная Nomic AI на наборе данных GPT4All версии 0.
• https://gpt4all.io/models/ggml-vicuna-7b-1.1-q4_2.bin (md5sum 29119f8fa11712704c6b22ac5ab792ea) - Не коммерчески лицензируемая модель, основанная на Llama 7b и обученная командами из UC Berkeley, CMU, Stanford, MBZUAI и UC San Diego.
• https://gpt4all.io/models/ggml-vicuna-13b-1.1-q4_2.bin (md5sum 95999b7b0699e2070af63bf5d34101a8) - Не коммерчески лицензируемая модель, основанная на Llama 13b и обученная командами из UC Berkeley, CMU, Stanford, MBZUAI и UC San Diego.
• https://gpt4all.io/models/ggml-wizardLM-7B.q4_2.bin (md5sum 99e6d129745a3f1fb1121abed747b05a) - Не коммерчески лицензируемая модель, основанная на Llama 7b и обученная Microsoft и Пекинским университетом.
• https://gpt4all.io/models/ggml-stable-vicuna-13B.q4_2.bin (md5sum 6cb4ee297537c9133bddab9692879de0) - Не коммерчески лицензируемая модель, основанная на Llama 13b и обученная методом усиления с подкреплением (RLHF) командой Stable AI.
• https://gpt4all.io/models/ggml-mpt-7b-base.bin (md5sum 120c32a51d020066288df045ef5d52b9) - Базовая модель, коммерчески лицензируемая, предварительно обученная Mosaic ML.
• https://gpt4all.io/models/ggml-nous-gpt4-vicuna-13b.bin (md5sum d5eafd5b0bd0d615cfd5fd763f642dfe) - Не коммерчески лицензируемая модель, основанная на Vicuna 13b, дообученная на около 180 000 инструкций, обученная Nous Research
• https://gpt4all.io/models/ggml-mpt-7b-instruct.bin (md5sum 1cfa4958f489f0a0d1ffdf6b37322809) - Коммерчески лицензируемая модель с инструкциями, основанная на MPT и обученная Mosaic ML.

 

[akok]

А так же поддерживается chat gpt 3.5 и 4, нужен только доступ к api

 

[digymonster]

~/gpt4all$ bin/chat
Failed to open log file, logging to stdout...
Недопустимая инструкция

 

[akok]

инсталлятор не подошел?

 

[akok]

Nomic GPT4All v3.5: более быстрое создание LLM и улучшенная настройка чата​

Мы рады сообщить о выпуске Номик GPT4All v3.5.0, включает некоторые важные обновления как для пользовательского опыта, так и для базовой инфраструктуры GPT4All..

Редактирование чата без ущерба для задержки​

Ключевой особенностью версии 3.5 является Редактирование чата, давая вам точный контроль над вашими разговорами. Эта возможность позволяет вам редактировать любое сообщение в истории чата, чтобы прояснить неоднозначные вопросы или уточнить неясные ответы. Например, подсказка «Расскажите мне о семействе лам» в этом примере дает информацию о животных. Поэтому мы просто меняем подсказку на «Расскажите мне о семействе LLM'ов», чтобы вместо этого направить чат к языковым моделям Meta..

Редактирование чата позволяет вам исследовать различные пути разговора, редактируя более ранние сообщения, без необходимости начинать все сначала. Вы можете попробовать варианты своего сообщения в середине разговора, чтобы направить чат в новом направлении, сохраняя при этом существующий контекст чата. Чтобы реализовать редактирование чата без ущерба для задержки, GPT4All выполняет живую операцию с кэшем KV при каждом редактировании.!

Ускорение получения первого токена благодаря кэшированию префикса чата​

Кэширование префиксов — это метод, позволяющий повысить скорость чатов LLM для любой модели, которую вы используете в GPT4All. Это метод выборки, который позволяет моделям использовать предварительно вычисленные вычисления, хранящиеся в их кэше KV, вместо их повторного вычисления, что может значительно ускорить время создания первого токена при генерации LLM..

Пользователям не требуется ничего делать по-другому, чтобы получить преимущества кэширования префиксов: это улучшение, которое мы реализовали для скрытой выборки генерации LLM для всех моделей, работающих в GPT4All.!

Новая интеграция данных​

Начиная с этой версии, у вас теперь есть возможность прикреплять .txt, .md (уценка) и .rst (reStructuredText) в ваши чаты..

Раньше вы могли работать только с этими типами файлов с помощью GPT4All. Локальные документы коллекции. Теперь вы можете прикреплять их прямо к своим чатам.!

Базовая система и быстрые обновления шаблонов: шаблоны Jinja​

Мы добавили Шаблоны Джиндзя поддержка шаблонов чатов, которая стандартизирует форматирование чатов GPT4All и упрощает настройку для разработчиков. Подробнее о том, как работать с этими шаблонами и настраивать их, вы можете узнать в нашем документация.

Шаблоны Jinja обеспечивают более широкую совместимость с моделями, найденными на Huggingface, и закладывают основу для агентной поддержки вызова инструментов..

Входящие: вызов инструментов и агентские рабочие процессы​

Этот выпуск закладывает основу для захватывающей будущей функции.: комплексная поддержка вызова инструментов. Новая инфраструктура шаблонов обеспечит плавную интеграцию с внешними инструментами, возможность прямого получения данных и безопасное выполнение кода в ваших частных чатах LLM..

Скачать можно по следующим ссылкам​

• https://gpt4all.io/installers/gpt4all-installer-win64.exe
• https://gpt4all.io/installers/gpt4all-installer-darwin.dmg
• https://gpt4all.io/installers/gpt4all-installer-linux.run

 

[akok]

Вышла версия 3.7.0


Поддержка Windows на платформе ARM

• GPT4ALL теперь совместимо с устройствами, работающими на процессорах Qualcomm Snapdragon и Microsoft SQ.
• Примечание: Ускорение с использованием GPU и/или NPU пока недоступно. Для работы LLMS используется только процессор.
• Важно: Для запуска на ARM Windows необходимо скачать специальную версию GPT4ALL с официального сайта. Стандартная версия для Windows не работает из-за ограничений эмуляции.

Исправление для macOS

• Обновлен инструмент управления приложением: теперь он больше не вызывает сбоев при обновлении или удалении GPT4ALL на macOS (Sequoia).
• Примечание: Если вы устанавливали обходную версию из GitHub, её можно безопасно удалить и использовать официальную версию с сайта.

Исправление сохранения чата на macOS

• Теперь чаты корректно сохраняются при выходе из приложения с помощью комбинации Command-Q.

Улучшения интерпретатора кода

• Оптимизировано поведение при превышении времени выполнения кода (Timeout).
• Команда Console.log теперь поддерживает несколько аргументов для улучшенной совместимости с JavaScript.

Улучшения в шаблоне чата

• Исправлены два сбоя и одна проблема совместимости в шаблоне чата.
• Исправлен стандартный шаблон чата для немецкой модели "Mistral".
• Добавлены автоматические настройки для пяти новых моделей, чтобы повысить совместимость с популярными шаблонами чата.

 

[Dragokas]

Попробовал какую-то одну модель переводчика с японского языка запустить на GPT4All, установив на комп с более-менее современным процессором. Это же пипец какая тормозная лошадка. Может, модель подвела (?)

 

[akok]

или железо ))