Ollama и OpenWebUI — мощная связка для развёртывания локального ChatGPT-like ассистента у себя дома.

Что это такое и зачем оно нужно?

Ollama — фреймворк для локального запуска и управления большими языковыми моделями (LLM)

OpenWebUI — веб-интерфейс с открытым исходным кодом, который предоставляет интерфейс и функционал схожий с проприетарным ChatGPT.

Современные локальные языковые модели могут сравниваться с проприетарными, а ваши данные не улетают в США. Это особенно важно для компаний, которым важна конфиденциальность.

Какие модели можно использовать?

• gpt-oss-20B — разработанная OpenAI открытая модель
• Gemini — разработанная Google модель на основе технологий Gemma

Квантование — наш лучший друг. Это снижение точности вычислений, благодаря которому модели весят меньше и мы можем запускать модели у себя дома. Так, например, модель на 8B параметров весит 4GB.

Предварительные требования

Всё-таки стоит понимать, что запускать языковые модели это вам не пасьянс раскладывать. Я рекомендую:

• видеокарту от Nvidia c 8GB+ видеопамяти

• не менее 16 GB RAM
• установленный Python 3.11.X

Но если вам не важна скорость, а важен результат(или хочется просто поиграться), то запускать можно и вовсе без видеокарты, просто нужен большой объём RAM. Я так запускал gpt-oss-20B на Intel Pentium(да, это MoE, но всё же) c 16GB. Работала медленно, но работала.

Надеюсь я достаточно объяснил, и мы можем перейти непосредственно к установке.

Почему может понадобиться устанавливать не в Docker?

Docker ест дополнительные ресурсы и если важен максимум производительности и вам не требуется больше ничего устанавливать на сервер, то им можно пренебречь.

Установка

Для начала установим Ollama.

Она устанавливается очень просто, буквально одной строкой.

curl -fsSL https://ollama.com/install.sh | sh

Далее OpenWebUI

pip install open-webui

После успешной установки выполним:

open-webui serve

Переходим на http://IP_сервера:8080, если устанавливали на внешний сервер и http://localhost:8080, если устанавливали на этот же компьютер.

Создаём аккаунт. Вот и всё.

Заключение

Ollama и OpenWebUI устанавливаются очень просто. Устанавливать их не в Docker стоит, если вам важен максимум производительности и вы не планируете больше ничего ставить на данный компьютер.