Плагины поддерживаемые GPT4All

[akok]

Плагины чата GPT4All позволяют расширить возможности локальных LLM.​

Плагин LocalDocs Beta (Общение с вашими данными)LocalDocs - это плагин GPT4All, который позволяет вам взаимодействовать со своими локальными файлами и данными. Он позволяет использовать мощные локальные LLM для общения с частными данными, без их выхода за пределы вашего компьютера или сервера. При использовании LocalDocs ваш LLM будет указывать на источники, которые, скорее всего, внесли вклад в полученный результат. Следует отметить, что даже LLM, оборудованный LocalDocs, способен порождать галлюцинации. Если плагин LocalDocs решит использовать ваши документы для помощи в ответе на запрос, вы увидите ссылки, появляющиеся под ответом.

Посмотреть вложение Проект без названия.mp4

Активация LocalDocs​

1. Установите последнюю версию GPT4All Chat с веб-сайта GPT4All.
2. Перейдите в раздел "Настройки" > вкладка "LocalDocs".
3. Настройте коллекцию (папку) на вашем компьютере, содержащую файлы, к которым должен иметь доступ ваш LLM. Вы можете в любое время изменять содержимое этой папки/директории. По мере добавления новых файлов в вашу коллекцию, ваш LLM сможет динамически к ним обращаться.
4. Начните сеанс чата с любым LLM (включая внешние, например, ChatGPT, но имейте в виду, что данные могут быть переданы третьей стороне).
5. В правом верхнем углу нажмите на значок базы данных и выберите, о какой коллекции ваш LLM должен знать во время сеанса чата.

Возможности LocalDocsLocalDocs позволяет вашей LLM иметь контекстную информацию о содержании вашей коллекции документов. Не все запросы/вопросы будут использовать вашу коллекцию документов для контекста. Если LocalDocs был использован в ответе вашей LLM, вы увидите ссылки на отрывки документов, которые использовал LocalDocs.

LocalDocs может:​

Запрашивать ваши документы на основе вашего запроса / вопроса. Если ваши документы содержат ответы, которые могут помочь вам ответить на ваш вопрос / запрос, LocalDocs попробует использовать отрывки из ваших документов для предоставления контекста.LocalDocs не может:

Отвечать на общие запросы метаданных (например, Какие документы вы знаете?, Расскажите мне о моих документах)Сводить в одну сводку один документ (например, Сделайте сводку моего документа "Великая хартия вольностей".)См. раздел Решение проблем для распространенных проблем.

Принцип работы LocalDocs​

LocalDocs функционирует путем поддержания индекса всех данных в директории, к которой привязана ваша коллекция. Этот индекс состоит из небольших фрагментов каждого документа, которые LLM может получить в качестве дополнительного входа, когда вы задаете ему вопрос. Основная техника, используемая этим плагином, называется "поиск-генерация с улучшением".

Эти фрагменты документов помогают вашей LLM отвечать на запросы с знанием о содержании ваших данных. Количество фрагментов и размер каждого фрагмента можно настроить на вкладке настроек плагина LocalDocs. В целях скорости индексации LocalDocs использует предварительно обученный метод n-грамм и TF-IDF для выбора фрагментов документов, которые ваша LLM должна использовать в качестве контекста. Вы обнаружите, что это качество сравнимо с методами поиска на основе вложений, но намного быстрее при внесении данных.

LocalDocs поддерживает следующие типы файлов:

["txt", "doc", "docx", "pdf", "rtf", "odt", "html", "htm", "xls", "xlsx", "csv", "ods", "ppt", "pptx", "odp", "xml", "json", "log", "md", "org", "tex", "asc", "wks","wpd", "wps", "wri", "xhtml", "xht", "xslt", "yaml", "yml", "dtd", "sgml", "tsv", "strings", "resx","plist", "properties", "ini", "config", "bat", "sh", "ps1", "cmd", "awk", "sed", "vbs", "ics", "mht","mhtml", "epub", "djvu", "azw", "azw3", "mobi", "fb2", "prc", "lit", "lrf", "tcr", "pdb", "oxps","xps", "pages", "numbers", "key", "keynote", "abw", "zabw", "123", "wk1", "wk3", "wk4", "wk5", "wq1","wq2", "xlw", "xlr", "dif", "slk", "sylk", "wb1", "wb2", "wb3", "qpw", "wdb", "wks", "wku", "wr1","wrk", "xlk", "xlt", "xltm", "xltx", "xlsm", "xla", "xlam", "xll", "xld", "xlv", "xlw", "xlc", "xlm","xlt", "xln"]

Устранение неполадок и Часто задаваемые вопросы​

Мой плагин LocalDocs не использует мои документы

• Убедитесь, что LocalDocs включен для вашего сеанса чата (значок БД в правом верхнем углу должен иметь границу).
• Попробуйте изменить ваш запрос так, чтобы он был более конкретным и использовал терминологию, которая есть в ваших документах. Это увеличит вероятность того, что LocalDocs найдет отрывки документов для вашего вопроса.
• Если ваша коллекция документов большая, подождите 1-2 минуты, чтобы завершить индексацию.

План развития LocalDocs​

• Поиск на основе вложений для семантического поиска.
• Настройка модели, обученной с поиском в петле.
• Совместимость плагина с режимом клиент-сервер чата.