Ollama - платформа для локального запуска больших языковых моделей. Она берёт на себя загрузку, хранение и запуск моделей через единый интерфейс командной строки, а также открывает REST API, к которому подключаются внешние приложения. В маркетплейсном образе Ollama идёт в связке с Open WebUI - веб-интерфейсом для работы с моделями через браузер.
Зачем держать LLM на собственном сервере? Данные не уходят за пределы инфраструктуры. Нет ограничений по токенам и запросам. Можно запускать специализированные и дообученные модели, которые недоступны в облачных сервисах.
Маркетплейсный образ разворачивает всё окружение за 1–2 минуты: Ollama, Open WebUI, базовую защиту паролем. Дальше нужно только загрузить нужную модель и начать работать.
Что потребуется
Аккаунт у VPS-провайдера с маркетплейсом образов
VPS минимум 2 vCPU и 4 ГБ RAM
Для работы с моделями на 7B параметров: 8 ГБ RAM (минимум)
Для моделей на 13B параметров: 16 ГБ RAM
Разворачиваем сервер из маркетплейса
В маркетплейсе провайдера находим образ Ollama и нажимаем Deploy. Выбираем конфигурацию сервера:
CPU: 2–4 vCPU
RAM: 8 ГБ (под модели 7B) или 16 ГБ (под модели 13B)
Диск: 40–80 ГБ SSD - каждая модель занимает 4–10 ГБ
Задаём пароль или прикрепляем SSH-ключ, нажимаем создать. Сервер готов через 1–2 минуты.
Подключаемся по SSH
Linux / macOS:
ssh root@IP_СЕРВЕРА
Windows - PowerShell или PuTTY:
ssh root@IP_СЕРВЕРА
Вводим пароль, заданный при создании VPS, или используем SSH-ключ.
Получаем учётные данные
Образ поставляется с HTTP Basic Auth на входе в Open WebUI. Логин и пароль для этого уровня защиты хранятся в файле /root/.password_credentials. Просматриваем командой:
cat /root/.password_credentials
Файл содержит два значения:
имя пользователя HTTP Basic Auth
пароль HTTP Basic Auth
Запишите их - они нужны для первого входа в браузере.
Открываем веб-интерфейс
В браузере переходим по IP-адресу сервера:
http://IP_СЕРВЕРА
Браузер покажет диалог HTTP Basic Authentication. Вводим логин и пароль из файла /root/.password_credentials.
Если браузер показывает предупреждение об SSL-сертификате, его можно проигнорировать и продолжить - это нормально для HTTP-доступа по IP.
После успешной авторизации открывается страница создания аккаунта администратора Open WebUI. Заполняем имя, email и пароль. Первый созданный аккаунт автоматически получает права администратора.
Отключаем HTTP Basic Auth
HTTP Basic Auth нужен только при первом развёртывании, пока Open WebUI не защищён собственной авторизацией. После создания аккаунта администратора его можно отключить.
Возвращаемся в SSH и выполняем:
/root/disable_basic_auth.shПосле этого для входа в Open WebUI используем email и пароль, заданные при создании аккаунта администратора. HTTP Basic Auth больше не запрашивается.
Загружаем первую модель
Образ поставляется без предустановленных моделей - их нужно скачать отдельно. Загрузка выполняется через командную строку Ollama.
Подключаемся по SSH и запускаем модель:
ollama run llama3
При первом запуске Ollama автоматически скачает модель с официального реестра. Для llama3 это около 4.7 ГБ. Прогресс скачивания виден прямо в терминале.
После завершения загрузки модель автоматически появится в списке моделей Open WebUI - выбирайте её в выпадающем меню и начинайте диалог.
Какие модели загружать
Выбор модели зависит от ресурсов сервера и задачи. Несколько популярных вариантов:
Модель | Размер | RAM | Что умеет |
|---|---|---|---|
llama3.2:3b | ~2 ГБ | 4 ГБ | Быстрые ответы, базовые задачи |
llama3.1:8b | ~4.7 ГБ | 8 ГБ | Хорошее качество текста |
mistral:7b | ~4.1 ГБ | 8 ГБ | Генерация кода, анализ |
qwen2.5:14b | ~8.9 ГБ | 16 ГБ | Сложные рассуждения |
deepseek-r1:7b | ~4.7 ГБ | 8 ГБ | Логика и математика |
Полный каталог моделей: ollama.com/library
Загрузить дополнительную модель без выхода из интерфейса можно через Settings → Models в Open WebUI: введите название модели и нажмите Pull.
Управление моделями через CLI
Ollama работает и без Open WebUI - через терминал напрямую:
# Список загруженных моделей
ollama list
# Запустить модель в режиме диалога
ollama run mistral:7b
# Скачать модель без запуска
ollama pull qwen2.5:14b
# Удалить модель
ollama rm llama3
# Посмотреть детали модели
ollama show mistral:7b
REST API Ollama доступен по адресу http://localhost:11434. Через него модели подключаются к сторонним инструментам: Continue.dev, LangChain, литии, собственным скриптам.
Пример запроса к API:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Что такое Docker?",
"stream": false
}'Что настроить следующим
После базовой установки стоит сделать:
- Поставить Nginx с Let's Encrypt - чтобы работать по HTTPS через домен, а не по HTTP на IP. Пример конфигурации описан в отдельной статье про Nginx Proxy Manager.
- Настроить управление пользователями - в Admin Panel → Users можно создать аккаунты для команды, ограничить доступ к конкретным моделям, установить роли.
- Настроить автоматическое обновление Ollama - новые версии выходят регулярно и добавляют поддержку новых моделей.
Проверить текущую версию:
ollama --version
Обновление:
curl -fsSL https://ollama.com/install.sh | sh
Маркетплейсный образ даёт готовое AI-окружение без ручной настройки: Ollama + Open WebUI + базовая защита паролем. Первую модель запускаете одной командой. Дальше выбор моделей, тонкая настройка интерфейса и подключение к собственным приложениям через API.