Ollama to platforma do lokalnego uruchamiania dużych modeli językowych (LLM). Odpowiada za pobieranie, przechowywanie i uruchamianie modeli za pomocą jednolitego interfejsu wiersza poleceń (CLI), a także udostępnia REST API, z którym mogą łączyć się zewnętrzne aplikacje. W obrazie z Marketplace Ollama jest dostarczana razem z Open WebUI – interfejsem webowym umożliwiającym pracę z modelami w przeglądarce.
Dlaczego warto uruchamiać LLM na własnym serwerze? Dane nie opuszczają infrastruktury. Nie obowiązują limity tokenów ani liczby zapytań. Można uruchamiać wyspecjalizowane i dostrojone modele, które nie są dostępne w usługach chmurowych.
Obraz z Marketplace wdraża całe środowisko w ciągu 1–2 minut: Ollama, Open WebUI oraz podstawowe zabezpieczenie hasłem. Następnie wystarczy pobrać wybrany model i rozpocząć pracę.
Wymagania
- Konto u dostawcy VPS z Marketplace obrazów.
- Serwer VPS z co najmniej 2 vCPU i 4 GB RAM.
- Do pracy z modelami 7B: minimum 8 GB RAM.
- Do pracy z modelami 13B: minimum 16 GB RAM.
Wdrażanie serwera z Marketplace
W Marketplace dostawcy znajdź obraz Ollama i kliknij Deploy.
Wybierz konfigurację serwera:
- CPU: 2–4 vCPU
- RAM: 8 GB (dla modeli 7B) lub 16 GB (dla modeli 13B)
- Dysk: 40–80 GB SSD – każdy model zajmuje od 4 do 10 GB
Ustaw hasło lub dodaj klucz SSH, a następnie kliknij Create. Serwer będzie gotowy po 1–2 minutach.
Łączenie przez SSH
Linux / macOS:
ssh root@IP_SERWERA
Windows - PowerShell или PuTTY:
ssh root@IP_SERWERA
Wprowadź hasło ustawione podczas tworzenia VPS lub użyj klucza SSH.
Pobieranie danych logowania
Obraz jest domyślnie zabezpieczony mechanizmem HTTP Basic Auth, który chroni dostęp do Open WebUI.
Login i hasło znajdują się w pliku:
cat /root/.password_credentials
Plik zawiera:
- nazwę użytkownika HTTP Basic Auth,
- hasło HTTP Basic Auth.
Zapisz te dane – będą potrzebne podczas pierwszego logowania w przeglądarce.
Otwieranie interfejsu webowego
W przeglądarce przejdź pod adres:
http://IP_SERWERA
Przeglądarka wyświetli okno logowania HTTP Basic Authentication. Wprowadź login i hasło z pliku /root/.password_credentials.
Jeśli pojawi się ostrzeżenie dotyczące certyfikatu SSL, możesz je zignorować i kontynuować – jest to normalne przy dostępie przez adres IP.
Po pomyślnej autoryzacji otworzy się formularz tworzenia konta administratora Open WebUI. Podaj nazwę użytkownika, adres e-mail oraz hasło.
Pierwsze utworzone konto automatycznie otrzymuje uprawnienia administratora.
Wyłączanie HTTP Basic Auth
HTTP Basic Auth jest potrzebne tylko podczas pierwszego uruchomienia, dopóki Open WebUI nie ma własnego systemu logowania.
Po utworzeniu konta administratora wróć do sesji SSH i wykonaj:
/root/disable_basic_auth.sh
Od tej chwili do logowania w Open WebUI używaj adresu e-mail i hasła utworzonego podczas konfiguracji administratora. HTTP Basic Auth nie będzie już wymagane.
Pobieranie pierwszego modelu
Obraz nie zawiera żadnych modeli – należy je pobrać osobno.
Połącz się z serwerem przez SSH i uruchom:
ollama run llama3
Przy pierwszym uruchomieniu Ollama automatycznie pobierze model z oficjalnego rejestru. W przypadku llama3 jest to około 4,7 GB.
Postęp pobierania będzie widoczny bezpośrednio w terminalu.
Po zakończeniu model automatycznie pojawi się na liście modeli w Open WebUI. Wybierz go z rozwijanego menu i rozpocznij rozmowę.
Jakie modele warto pobrać
Wybór modelu zależy od zasobów serwera oraz planowanych zastosowań.
| Model | Rozmiar | RAM | Zastosowanie |
|---|---|---|---|
| llama3.2:3b | ~2 GB | 4 GB | Szybkie odpowiedzi, podstawowe zadania |
| llama3.1:8b | ~4,7 GB | 8 GB | Wysoka jakość generowanego tekstu |
| mistral:7b | ~4,1 GB | 8 GB | Generowanie kodu, analiza |
| qwen2.5:14b | ~8,9 GB | 16 GB | Złożone rozumowanie |
| deepseek-r1:7b | ~4,7 GB | 8 GB | Logika i matematyka |
ny katalog modeli jest dostępny na stronie: ollama.com/library
Nowy model można pobrać również bezpośrednio z Open WebUI:
Settings → Models → Pull
Wpisz nazwę modelu i kliknij Pull.
Zarządzanie modelami z poziomu CLI
Z Ollamy można korzystać również bez Open WebUI.
Wyświetlenie listy pobranych modeli
ollama list
Uruchomienie modelu w trybie dialogowym
ollama run mistral:7b
Pobranie modelu bez uruchamiania
ollama pull qwen2.5:14b
Usunięcie modelu
ollama rm llama3
Wyświetlenie informacji o modelu
ollama show mistral:7b
REST API Ollamy jest dostępne pod adresem: http://localhost:11434. Za jego pomocą modele można integrować z narzędziami takimi jak Continue.dev, LangChain oraz własnymi aplikacjami i skryptami.
Przykład zapytania:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Czym jest Docker?",
"stream": false
}'Co warto skonfigurować później
Po podstawowej instalacji warto:
- zainstalować Nginx z Let's Encrypt, aby korzystać z HTTPS pod własną domeną zamiast z HTTP przez adres IP;
- skonfigurować zarządzanie użytkownikami – w Admin Panel → Users można tworzyć konta dla członków zespołu, ograniczać dostęp do wybranych modeli oraz przypisywać role;
- skonfigurować automatyczne aktualizacje Ollamy – nowe wersje regularnie dodają obsługę kolejnych modeli.
Sprawdzenie aktualnej wersji:
ollama --version
Aktualizacja:
curl -fsSL https://ollama.com/install.sh | sh
Obraz z Marketplace udostępnia gotowe środowisko AI bez konieczności ręcznej konfiguracji: Ollama + Open WebUI + podstawowe zabezpieczenie hasłem. Pierwszy model można uruchomić za pomocą jednego polecenia. Następnie pozostaje wybrać odpowiednie modele, dostosować interfejs oraz zintegrować środowisko z własnymi aplikacjami za pomocą REST API.