- Сообщения
- 24,989
- Реакции
- 13,675
Плагины чата GPT4All позволяют расширить возможности локальных LLM.
Плагин LocalDocs Beta (Общение с вашими данными)LocalDocs - это плагин GPT4All, который позволяет вам взаимодействовать со своими локальными файлами и данными. Он позволяет использовать мощные локальные LLM для общения с частными данными, без их выхода за пределы вашего компьютера или сервера. При использовании LocalDocs ваш LLM будет указывать на источники, которые, скорее всего, внесли вклад в полученный результат. Следует отметить, что даже LLM, оборудованный LocalDocs, способен порождать галлюцинации. Если плагин LocalDocs решит использовать ваши документы для помощи в ответе на запрос, вы увидите ссылки, появляющиеся под ответом.
Посмотреть вложение Проект без названия.mp4
Активация LocalDocs
1. Установите последнюю версию GPT4All Chat с веб-сайта GPT4All.2. Перейдите в раздел "Настройки" > вкладка "LocalDocs".
3. Настройте коллекцию (папку) на вашем компьютере, содержащую файлы, к которым должен иметь доступ ваш LLM. Вы можете в любое время изменять содержимое этой папки/директории. По мере добавления новых файлов в вашу коллекцию, ваш LLM сможет динамически к ним обращаться.
4. Начните сеанс чата с любым LLM (включая внешние, например, ChatGPT, но имейте в виду, что данные могут быть переданы третьей стороне).
5. В правом верхнем углу нажмите на значок базы данных и выберите, о какой коллекции ваш LLM должен знать во время сеанса чата.
Возможности LocalDocsLocalDocs позволяет вашей LLM иметь контекстную информацию о содержании вашей коллекции документов. Не все запросы/вопросы будут использовать вашу коллекцию документов для контекста. Если LocalDocs был использован в ответе вашей LLM, вы увидите ссылки на отрывки документов, которые использовал LocalDocs.
LocalDocs может:
Запрашивать ваши документы на основе вашего запроса / вопроса. Если ваши документы содержат ответы, которые могут помочь вам ответить на ваш вопрос / запрос, LocalDocs попробует использовать отрывки из ваших документов для предоставления контекста.LocalDocs не может:
Отвечать на общие запросы метаданных (например, Какие документы вы знаете?, Расскажите мне о моих документах)Сводить в одну сводку один документ (например, Сделайте сводку моего документа "Великая хартия вольностей".)См. раздел Решение проблем для распространенных проблем.
Принцип работы LocalDocs
LocalDocs функционирует путем поддержания индекса всех данных в директории, к которой привязана ваша коллекция. Этот индекс состоит из небольших фрагментов каждого документа, которые LLM может получить в качестве дополнительного входа, когда вы задаете ему вопрос. Основная техника, используемая этим плагином, называется "поиск-генерация с улучшением".Эти фрагменты документов помогают вашей LLM отвечать на запросы с знанием о содержании ваших данных. Количество фрагментов и размер каждого фрагмента можно настроить на вкладке настроек плагина LocalDocs. В целях скорости индексации LocalDocs использует предварительно обученный метод n-грамм и TF-IDF для выбора фрагментов документов, которые ваша LLM должна использовать в качестве контекста. Вы обнаружите, что это качество сравнимо с методами поиска на основе вложений, но намного быстрее при внесении данных.
LocalDocs поддерживает следующие типы файлов:
Устранение неполадок и Часто задаваемые вопросы
Мой плагин LocalDocs не использует мои документы- Убедитесь, что LocalDocs включен для вашего сеанса чата (значок БД в правом верхнем углу должен иметь границу).
- Попробуйте изменить ваш запрос так, чтобы он был более конкретным и использовал терминологию, которая есть в ваших документах. Это увеличит вероятность того, что LocalDocs найдет отрывки документов для вашего вопроса.
- Если ваша коллекция документов большая, подождите 1-2 минуты, чтобы завершить индексацию.
План развития LocalDocs
- Поиск на основе вложений для семантического поиска.
- Настройка модели, обученной с поиском в петле.
- Совместимость плагина с режимом клиент-сервер чата.
Последнее редактирование: