Журналист
Журналист
- Статус
- offline
- Регистрация
- 28.09.2022
- Сообщения
- 892
- Репутация
- 889
Минимальные системные требования
- Процессор поддерживающий AVX или AVX2
- От 8 ГБ оперативной памяти (рекомендуется 16 ГБ)
- Пару десятков ГБ памяти на жестком диске
- Не обязательно, но так же рекомендуется иметь хоть какую-то видеокарту
Инструкция
Для начала необходимо понять, поддерживает ли наш процессор AVX2. Для этого открываем панель управления, наконец-то узнаем, какой у нас стоит проц и гуглим, поддерживает ли он AVX2.
Для процессоров которые поддерживают AVX2
Переходим на сайт lmstudio.ai
Ищем свою ОС и скачиваем установщик для нее. Далее запускаем инсталлер, после чего программа сама установится на Диск C.
Для процессоров которые поддерживают только AVX
Переходим на сайт lmstudio.ai и нажимаем на текст LM studio Beta Releases.
Видим такую картину, как на скриншоте ниже и листаем в самый низ.
Нажимаем на LM-Studio-0.2.10-Setup-avx-beta-4.exe и скачиваем установщик.
Запускаем инсталлер, после чего программа сама установится на Диск C.
Для процессоров которые поддерживают AVX2
Переходим на сайт lmstudio.ai
![f72d3a96ac10dfec661c6.png](https://telegra.ph/file/f72d3a96ac10dfec661c6.png)
Ищем свою ОС и скачиваем установщик для нее. Далее запускаем инсталлер, после чего программа сама установится на Диск C.
Для процессоров которые поддерживают только AVX
Переходим на сайт lmstudio.ai и нажимаем на текст LM studio Beta Releases.
![adf92d823b3a45e746bc3.png](https://telegra.ph/file/adf92d823b3a45e746bc3.png)
Видим такую картину, как на скриншоте ниже и листаем в самый низ.
![444db5545767b4198b9ec.png](https://telegra.ph/file/444db5545767b4198b9ec.png)
Нажимаем на LM-Studio-0.2.10-Setup-avx-beta-4.exe и скачиваем установщик.
![f38478e5a0af05113c391.png](https://telegra.ph/file/f38478e5a0af05113c391.png)
Запускаем инсталлер, после чего программа сама установится на Диск C.
Скачиваем модель чат-бота
Запускаем программу. Смотрим налево и ищем кнопочку с лупой и нажимаем на нее.
Ищем любую модель себе по душе. Лучше всего lmstudio поддерживает gguf формат, так что в приоритете ищем модели именно с этим форматом.
Нажимаем на модельку, после чего справа появятся все версии модели. Лично я использую llama2_7b_chat_uncensored.Q4-K-M.gguf.
![836bf596189f3a8b42a8a.png](https://telegra.ph/file/836bf596189f3a8b42a8a.png)
Ищем любую модель себе по душе. Лучше всего lmstudio поддерживает gguf формат, так что в приоритете ищем модели именно с этим форматом.
Нажимаем на модельку, после чего справа появятся все версии модели. Лично я использую llama2_7b_chat_uncensored.Q4-K-M.gguf.
![752620b258c7b5673d491.png](https://telegra.ph/file/752620b258c7b5673d491.png)
Используем нашего чат-бота
Опять смотрим на сайдбар и кликаем на кнопку с эмодзи сообщения.
Сверху жмем на широкую кнопочку и выбираем модель, которую мы скачали ранее.
Ждем пока наша модель загрузится и... начинаем общаться.
![94aeb73866749e5242f33.png](https://telegra.ph/file/94aeb73866749e5242f33.png)
Сверху жмем на широкую кнопочку и выбираем модель, которую мы скачали ранее.
![63bbb229e82d89b511b75.png](https://telegra.ph/file/63bbb229e82d89b511b75.png)
Ждем пока наша модель загрузится и... начинаем общаться.
![244ab51e5d7c426bf017e.png](https://telegra.ph/file/244ab51e5d7c426bf017e.png)
Как задать prompt и использовать видеокарту
На правом сайдбаре мы видим такую картину:
В System prompt / Pre-prompt пишем наш промпт.
Включаем GPU Acceleration и по-немногу добавляем слои, это ускорит работу чат-бота.
После всего проделанного перезагружаем бота (желтая кнопка снизу у набора сообщения) и кайфуем.
![740edf3602220d90341bc.png](https://telegra.ph/file/740edf3602220d90341bc.png)
В System prompt / Pre-prompt пишем наш промпт.
![affa6cd1a6e5b6abf3efb.png](https://telegra.ph/file/affa6cd1a6e5b6abf3efb.png)
Включаем GPU Acceleration и по-немногу добавляем слои, это ускорит работу чат-бота.
![2fcb483382b0d0a08d658.png](https://telegra.ph/file/2fcb483382b0d0a08d658.png)
После всего проделанного перезагружаем бота (желтая кнопка снизу у набора сообщения) и кайфуем.
![69d27a7be06ff874a6ef4.png](https://telegra.ph/file/69d27a7be06ff874a6ef4.png)