Ollama

Ollama – platforma vietiniam didelių kalbos modelių paleidimui. Ji atsakinga už modelių atsisiuntimą, saugojimą ir paleidimą per vieningą komandinės eilutės sąsają, taip pat atveria REST API, prie kurio jungiasi išorinės programos. Marketplace atvaizde Ollama ateina kartu su Open WebUI – žiniatinklio sąsaja darbui su modeliais per naršyklę.

Kodėl laikyti LLM savo serveryje? Duomenys neišeina už infrastruktūros ribų. Nėra tokenų ir užklausų apribojimų. Galima paleisti specializuotus ir papildomai apmokytus modelius, kurių nėra debesų paslaugose.

Marketplace atvaizdas išskleidžia visą aplinką per 1–2 minutes: Ollama, Open WebUI, bazinę apsaugą slaptažodžiu. Toliau tereikia atsisiųsti reikiamą modelį ir pradėti dirbti.

Ko reikės

• Paskyra VPS tiekėjo su atvaizdų marketplace
• VPS mažiausiai 2 vCPU ir 4 GB RAM
• Darbui su 7B parametrų modeliais: 8 GB RAM (minimum)
• 13B parametrų modeliams: 16 GB RAM

Serverio išskleidimas iš marketplace

Tiekėjo marketplace raskite Ollama atvaizdą ir spustelėkite Deploy. Pasirinkite serverio konfigūraciją:

• CPU: 2–4 vCPU
• RAM: 8 GB (7B modeliams) arba 16 GB (13B modeliams)
• Diskas: 40–80 GB SSD – kiekvienas modelis užima 4–10 GB

Nustatykite slaptažodį arba pridėkite SSH raktą ir spustelėkite sukurti. Serveris bus paruoštas per 1–2 minutes.

Prisijungimas per SSH

Linux / macOS:

ssh root@SERVERIO_IP

Windows - PowerShell или PuTTY:

ssh root@SERVERIO_IP

Įveskite slaptažodį, nustatytą kuriant VPS, arba naudokite SSH raktą.

Gaukite prisijungimo duomenis

Atvaizdas tiekiamas su HTTP Basic Auth Open WebUI įėjime. Vartotojo vardas ir slaptažodis šiam apsaugos lygiui saugomi faile /root/.password_credentials. Peržiūrėkite komanda:

cat /root/.password_credentials

Faile yra dvi reikšmės:

• HTTP Basic Auth vartotojo vardas
• HTTP Basic Auth slaptažodis

Užsirašykite juos – jie reikalingi pirmajam įėjimui per naršyklę.

Atidarykite žiniatinklio sąsają

Naršyklėje eikite į serverio IP adresą:

http://SERVERIO_IP

Naršyklė parodys HTTP Basic Authentication dialogą. Įveskite vartotojo vardą ir slaptažodį iš failo /root/.password_credentials.

Jei naršyklė rodo įspėjimą apie SSL sertifikatą, jį galite ignoruoti ir tęsti – tai normalu HTTP prieigai pagal IP.

Po sėkmingos autentifikacijos atsidaro Open WebUI administratoriaus paskyros kūrimo puslapis. Užpildykite vardą, el. paštą ir slaptažodį. Pirmoji sukurta paskyra automatiškai gauna administratoriaus teises.

Išjunkite HTTP Basic Auth

HTTP Basic Auth reikalingas tik pirmam diegimui, kol Open WebUI nėra apsaugotas savo autentifikacija. Sukūrus administratoriaus paskyrą, jį galima išjungti.

Grįžkite į SSH ir vykdykite:

/root/disable_basic_auth.sh

Po to į Open WebUI jungiamasi el. paštu ir slaptažodžiu, nustatytais kuriant administratoriaus paskyrą. HTTP Basic Auth daugiau neprašomas.

Atsisiųskite pirmąjį modelį

Atvaizdas tiekiamas be iš anksto įdiegtų modelių – juos reikia atsisiųsti atskirai. Atsisiuntimas vykdomas per Ollama komandinę eilutę.

Prisijunkite per SSH ir paleiskite modelį:

ollama run llama3

Pirmą kartą paleidus Ollama automatiškai atsisiųs modelį iš oficialaus registro. Llama3 atveju tai apie 4,7 GB. Atsisiuntimo progresas matomas tiesiogiai terminale. Baigus atsisiuntimą modelis automatiškai atsiras Open WebUI modelių sąraše – pasirinkite jį išskleidžiamajame meniu ir pradėkite dialogą.

Kokius modelius atsisiųsti

Modelio pasirinkimas priklauso nuo serverio resursų ir užduoties. Keletas populiarių variantų:

Pilnas modelių katalogas: ollama.com/library

Papildomą modelį be išėjimo iš sąsajos galite atsisiųsti per Settings → Models Open WebUI: įveskite modelio pavadinimą ir spustelėkite Pull.

Modelių valdymas per CLI

Ollama veikia ir be Open WebUI – tiesiogiai per terminalą:

# Įkeltų modelių sąrašas
ollama list

# Paleisti modelį dialogo režimu
ollama run mistral:7b

# Atsisiųsti modelį be paleidimo
ollama pull qwen2.5:14b

# Ištrinti modelį
ollama rm llama3

# Peržiūrėti modelio detales
ollama show mistral:7b

Ollama REST API pasiekiamas adresu http://localhost:11434. Per jį modeliai jungiami prie trečiųjų šalių įrankių: Continue.dev, LangChain, litellm, savų skriptų.

API užklausos pavyzdys:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Kas yra Docker?",
  "stream": false
}'

Ką konfigūruoti toliau

Po bazinio diegimo verta:

• Įdiegti Nginx su Let’s Encrypt – kad dirbtumėte per HTTPS su domenu, o ne per HTTP pagal IP. Konfigūracijos pavyzdys aprašytas atskirame straipsnyje apie Nginx Proxy Manager.
• Nustatyti vartotojų valdymą – Admin Panel → Users galite kurti komandos paskyras, apriboti prieigą prie konkrečių modelių, nustatyti roles.
• Nustatyti automatinį Ollama atnaujinimą – naujos versijos išeina reguliariai ir prideda naujų modelių palaikymą.

Patikrinkite esamą versiją:

ollama --version

Atnaujinimas:

curl -fsSL https://ollama.com/install.sh | sh

Marketplace atvaizdas suteikia paruoštą AI aplinką be rankinio konfigūravimo: Ollama + Open WebUI + bazinė apsauga slaptažodžiu. Pirmąjį modelį paleidžiate viena komanda. Toliau – modelių pasirinkimas, sąsajos smulkus derinimas ir prijungimas prie savų programų per API.