Ollama — платформа для локального запуску великих мовних моделей. Вона забезпечує завантаження, зберігання та запуск моделей через єдиний інтерфейс командного рядка, а також надає REST API для підключення зовнішніх застосунків. У маркетплейсному образі Ollama постачається разом із Open WebUI — вебінтерфейсом для роботи з моделями через браузер.
Навіщо розміщувати LLM на власному сервері? Дані залишаються всередині вашої інфраструктури. Немає обмежень за кількістю токенів і запитів. Ви можете запускати спеціалізовані та донавчені моделі, які недоступні у хмарних сервісах.
Маркетплейсний образ розгортає все необхідне середовище за 1–2 хвилини: Ollama, Open WebUI та базовий захист паролем. Після цього достатньо завантажити потрібну модель і почати роботу.
Що потрібно
- Обліковий запис у VPS-провайдера з маркетплейсом образів
- VPS із мінімальною конфігурацією: 2 vCPU та 4 ГБ оперативної пам’яті
- Для роботи з моделями на 7B параметрів: мінімум 8 ГБ RAM
- Для моделей на 13B параметрів: 16 ГБ RAM
Розгортання сервера з маркетплейсу
У маркетплейсі провайдера знайдіть образ Ollama та натисніть Deploy. Виберіть конфігурацію сервера:
- CPU: 2–4 vCPU
- RAM: 8 ГБ (для моделей 7B) або 16 ГБ (для моделей 13B)
- Диск: 40–80 ГБ SSD — кожна модель займає 4–10 ГБ
Встановіть пароль або додайте SSH-ключ, потім натисніть Створити. Сервер буде готовий через 1–2 хвилини.
Підключення по SSH
Linux / macOS:
ssh root@IP_СЕРВЕРА
Windows - PowerShell или PuTTY:
ssh root@IP_СЕРВЕРА
Введіть пароль, заданий під час створення VPS, або використовуйте SSH-ключ.
Отримання облікових даних
Образ постачається з HTTP Basic Auth для входу в Open WebUI. Логін і пароль для цього рівня захисту зберігаються у файлі /root/.password_credentials. Переглянути їх можна за допомогою команди:
cat /root/.password_credentials
Файл містить два значення:
- ім’я користувача HTTP Basic Auth
- пароль HTTP Basic Auth
Збережіть їх — вони потрібні для першого входу через браузер.
Відкриття вебінтерфейсу
У браузері перейдіть за IP-адресою сервера:
http://IP_СЕРВЕРА
Браузер відобразить діалог HTTP Basic Authentication. Введіть логін і пароль із файлу /root/.password_credentials.
Якщо браузер покаже попередження про SSL-сертифікат, його можна проігнорувати та продовжити — це нормально для HTTP-доступу за IP-адресою.
Після успішної авторизації відкриється сторінка створення облікового запису адміністратора Open WebUI. Вкажіть ім’я, email і пароль. Перший створений обліковий запис автоматично отримує права адміністратора.
Вимкнення HTTP Basic Auth
HTTP Basic Auth потрібен лише під час першого розгортання, поки Open WebUI не захищений власною системою авторизації. Після створення облікового запису адміністратора його можна вимкнути.
Поверніться до SSH та виконайте:
/root/disable_basic_auth.shПісля цього для входу в Open WebUI використовуйте email і пароль, які були вказані під час створення облікового запису адміністратора. HTTP Basic Auth більше не запитуватиметься.
Завантаження першої моделі
Образ постачається без попередньо встановлених моделей — їх потрібно завантажити окремо. Завантаження виконується через командний рядок Ollama.
Підключіться до сервера через SSH і запустіть модель:
ollama run llama3
При первом запуске Ollama автоматически скачает модель с официального реестра. Для llama3 это около 4.7 ГБ. Прогресс скачивания виден прямо в терминале.
После завершения загрузки модель автоматически появится в списке моделей Open WebUI - выбирайте её в выпадающем меню и начинайте диалог.
Які моделі завантажувати
Вибір моделі залежить від ресурсів сервера та поставленого завдання. Нижче наведено кілька популярних варіантів:
| Модель | Розмір | RAM | Можливості |
|---|---|---|---|
| llama3.2:3b | ~2 ГБ | 4 ГБ | Швидкі відповіді, базові завдання |
| llama3.1:8b | ~4,7 ГБ | 8 ГБ | Висока якість тексту |
| mistral:7b | ~4,1 ГБ | 8 ГБ | Генерація коду, аналіз |
| qwen2.5:14b | ~8,9 ГБ | 16 ГБ | Складні міркування |
| deepseek-r1:7b | ~4,7 ГБ | 8 ГБ | Логіка та математика |
Повний каталог моделей: ollama.com/library
Завантажити додаткову модель без виходу з інтерфейсу можна через Settings → Models в Open WebUI: введіть назву моделі та натисніть Pull.
Керування моделями через CLI
# Переглянути список завантажених моделей
ollama list
# Запустити модель в інтерактивному режимі діалогу
ollama run mistral:7b
# Завантажити модель без запуску
ollama pull qwen2.5:14b
# Видалити модель
ollama rm llama3
# Переглянути детальну інформацію про модель
ollama show mistral:7b
REST API Ollama доступний за адресою http://localhost:11434. Через нього моделі можна підключати до сторонніх інструментів: Continue.dev, LangChain, власних застосунків і скриптів.
Приклад запиту до API:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Что такое Docker?",
"stream": false
}'Що налаштувати далі
Після базового встановлення рекомендується виконати такі налаштування:
- Встановіть Nginx із Let's Encrypt — це дозволить працювати через HTTPS з власним доменом замість HTTP-доступу за IP-адресою. Приклад конфігурації описаний в окремій статті про Nginx Proxy Manager.
- Налаштуйте керування користувачами — у розділі Admin Panel → Users можна створювати облікові записи для команди, обмежувати доступ до окремих моделей і призначати ролі.
- Налаштуйте автоматичне оновлення Ollama — нові версії регулярно виходять і додають підтримку нових моделей.
Перевірка поточної версії:
ollama --version
Оновлення:
curl -fsSL https://ollama.com/install.sh | sh
Маркетплейсний образ надає готове AI-середовище без ручного налаштування: Ollama + Open WebUI + базовий захист паролем. Першу модель можна запустити однією командою. Далі ви самостійно обираєте потрібні моделі, налаштовуєте середовище та підключаєте власні застосунки через API.