Ollama

Ollama ir platforma lielo valodas modeļu (LLM) lokālai palaišanai. Tā nodrošina modeļu lejupielādi, glabāšanu un palaišanu, izmantojot vienotu komandrindas interfeisu, kā arī piedāvā REST API, kam var pieslēgt ārējās lietojumprogrammas. Marketplace attēlā Ollama tiek piegādāta kopā ar Open WebUI — tīmekļa saskarni darbam ar modeļiem pārlūkprogrammā.
 

Kāpēc darbināt LLM savā serverī? Dati neiziet ārpus jūsu infrastruktūras. Nav ierobežojumu ne tokenu skaitam, ne pieprasījumu skaitam. Var izmantot specializētus un papildus apmācītus modeļus, kas nav pieejami mākoņpakalpojumos.
 

Marketplace attēls izvērš visu vidi 1–2 minūšu laikā: Ollama, Open WebUI un pamata aizsardzību ar paroli. Pēc tam atliek tikai lejupielādēt vajadzīgo modeli un sākt darbu.

Kas būs nepieciešams

• Konts pie VPS pakalpojumu sniedzēja ar Marketplace attēlu katalogu
• VPS ar vismaz 2 vCPU un 4 GB RAM
• Darbam ar modeļiem, kuriem ir 7B parametri: vismaz 8 GB RAM
• Darbam ar modeļiem, kuriem ir 13B parametri: 16 GB RAM

Servera izvēršana no Marketplace

Pakalpojumu sniedzēja Marketplace atrodiet Ollama attēlu un nospiediet Deploy. Izvēlieties servera konfigurāciju:

• CPU: 2–4 vCPU
• RAM: 8 GB (7B modeļiem) vai 16 GB (13B modeļiem)
• Disks: 40–80 GB SSD — katrs modelis aizņem aptuveni 4–10 GB

Norādiet paroli vai pievienojiet SSH atslēgu un nospiediet Create. Serveris būs gatavs 1–2 minūšu laikā.

Pieslēgšanās caur SSH

Linux / macOS:

ssh root@SERVERA_IP

Windows - PowerShell или PuTTY:

ssh root@SERVERA_IP

izmantojiet SSH atslēgu.

Piekļuves datu iegūšana

Attēls tiek piegādāts ar HTTP Basic Auth aizsardzību Open WebUI piekļuvei. Lietotājvārds un parole tiek glabāti failā:

Lai tos apskatītu, izpildiet:

cat /root/.password_credentials

Fails satur divas vērtības:

• HTTP Basic Auth lietotājvārdu
• HTTP Basic Auth paroli

Saglabājiet šos datus — tie būs nepieciešami pirmajai autorizācijai pārlūkprogrammā.

Tīmekļa saskarnes atvēršana

Pārlūkprogrammā atveriet servera IP adresi:

http://SERVERA_IP

Pārlūkprogramma parādīs HTTP Basic Authentication dialogu. Ievadiet lietotājvārdu un paroli no faila /root/.password_credentials.

Ja pārlūkprogramma parāda brīdinājumu par SSL sertifikātu, to var ignorēt un turpināt — tas ir normāli, ja piekļuve notiek pa HTTP, izmantojot IP adresi.

Pēc veiksmīgas autorizācijas tiks atvērta Open WebUI administratora konta izveides lapa. Norādiet vārdu, e-pasta adresi un paroli. Pirmais izveidotais konts automātiski iegūs administratora tiesības.

HTTP Basic Auth atspējošana

HTTP Basic Auth ir nepieciešams tikai sākotnējās izvēršanas laikā, kamēr Open WebUI vēl nav aizsargāts ar savu autentifikācijas sistēmu. Pēc administratora konta izveides to var atspējot.

Atgriezieties SSH sesijā un izpildiet:

/root/disable_basic_auth.sh

Pēc tam pieslēgšanai Open WebUI izmantojiet administratora konta izveides laikā norādīto e-pasta adresi un paroli. HTTP Basic Auth vairs netiks prasīts.

Pirmā modeļa lejupielāde

Attēls tiek piegādāts bez iepriekš instalētiem modeļiem — tie jālejupielādē atsevišķi. Lejupielāde tiek veikta, izmantojot Ollama komandrindu.

Pieslēdzieties caur SSH un palaidiet modeli:

ollama run llama3

Pirmajā palaišanas reizē Ollama automātiski lejupielādēs modeli no oficiālā reģistra. Modelim llama3 tas ir aptuveni 4,7 GB. Lejupielādes progress būs redzams terminālī.

Kad lejupielāde būs pabeigta, modelis automātiski parādīsies Open WebUI modeļu sarakstā. Izvēlieties to nolaižamajā izvēlnē un sāciet dialogu.

Kādus modeļus izvēlēties

Modeļa izvēle ir atkarīga no servera resursiem un paredzētā uzdevuma.

Pilns modeļu katalogs ollama.com/library

Papildu modeli var lejupielādēt arī Open WebUI saskarnē, atverot Settings → Models, ievadot modeļa nosaukumu un nospiežot Pull.

Modeļu pārvaldība caur CLI

Ollama var izmantot arī bez Open WebUI — tieši no termināļa.

# Lejupielādēto modeļu saraksts
ollama list

# Palaist modeli dialoga režīmā
ollama run mistral:7b

# Lejupielādēt modeli bez palaišanas
ollama pull qwen2.5:14b

# Dzēst modeli
ollama rm llama3

# Parādīt informāciju par modeli
ollama show mistral:7b

Ollama REST API ir pieejams adresē: http://localhost:11434. Ar tā palīdzību modeļus var pieslēgt trešo pušu rīkiem, piemēram, Continue.dev, LangChain vai pašu izstrādātiem skriptiem.

API pieprasījuma piemērs:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Kas ir Docker?",
  "stream": false
}'

Ko ieteicams konfigurēt tālāk

Pēc pamata instalācijas ieteicams:

• Uzstādīt Nginx kopā ar Let's Encrypt, lai izmantotu HTTPS caur domēnu, nevis HTTP piekļuvi pēc IP adreses. Konfigurācijas piemērs ir aprakstīts atsevišķā rakstā par Nginx Proxy Manager.
• Konfigurēt lietotāju pārvaldību. Admin Panel → Users sadaļā var izveidot komandas kontus, ierobežot piekļuvi konkrētiem modeļiem un piešķirt lietotāju lomas.
• Iestatīt Ollama automātisku atjaunināšanu. Jaunas versijas tiek izlaistas regulāri un pievieno atbalstu jauniem modeļiem.

Pārbaudīt pašreizējo versiju:

ollama --version

Atjaunināt:

curl -fsSL https://ollama.com/install.sh | sh

Marketplace attēls nodrošina pilnībā gatavu AI vidi bez manuālas konfigurēšanas: Ollama + Open WebUI + pamata aizsardzība ar paroli. Pirmo modeli var palaist ar vienu komandu. Tālāk atliek izvēlēties piemērotus modeļus, pielāgot saskarni un pieslēgt savas lietojumprogrammas, izmantojot API.