I ett tidigare inlägg om Large Language Models så stötte jag på lite problem med att få Ollama att fungera med Open-WebUI gränssnittet. Det har jag nu löst, och samtidigt finns det en ny modell som är i ropet som kan vara kul att testa lite, nämligen kinesiska DeepSeek-R1.
Det är helt klart en fördel att köra modeller lokalt, inte minst de som kommer från Kina så det är det jag tänker göra.
Först ska Ollama installeras.
curl -fsSL https://ollama.com/install.sh | sh
ollama pull deepseek-r1:7b
Det första kommandot installerar Ollama och det andra hämtar DeepSeek modellen med 7 miljarder parametrar. Om du har en ordentligt kraftfull dator så kan du hämta en större, eller om du exempelvis saknar GPU som kan användas så kan du hämta en mindre. Vilka modeller som kan användas framgår av https://ollama.com/ (klicka på models). Du kan hämta hur många du vill med ett modifierat kommando enligt ovan.
Som tidigare kan man köra modellen med ollama run deepseek-r1:7b eller motsvarande. I det här fallet tänker jag använda webbgränssnittet Open-WebUI och då behöver jag göra modellerna tillgängliga för Docker, som Open-WebUI körs genom.
Skriv in kommandot:
sudo systemctl edit ollama.service
Där lägger du till nedanstående på en tom rad i början av innehållet (det står i texten var ändringar kan göras).
[Service] Environment="OLLAMA_HOST=0.0.0.0"
Detta gör att Docker kan hitta Ollama modeller på den lokala datorn (0.0.0.0). Starta om tjänsten Ollama med:
sudo systemctl daemon-reload && sudo systemctl restart ollama
Skapa en katalog för Open-WebUI (exempelvis ~/docker/open-webui/). I katalogen skapas en compose.yaml fil med följande innehåll:
services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui volumes: - ./data:/app/backend/data ports: - 3000:8080 extra_hosts: - host.docker.internal:host-gateway restart: unless-stopped
Det enda som återstår är att köra docker-compose up -d från katalogen där compose.yaml filen finns sparad. Öppna sedan en webbläsare och ange localhost:3000 i adressfältet.
Du bör nu kunna skapa en användare och börja använda Ollama med nedladdade modeller.

DeepSeek är riktigt dålig på svenska, så det är säkrast att hålla sig till engelska. Till skillnad från Llama så visar DeepSeek en sorts ”tankeprocess” för hur modellen resonerar sig fram till ett svar. Om man sedan tycker att svaret på min fråga om något roligt och väderrelaterat verkligen var roligt, kan man fundera över.
Något annat jag ville testa är att ställa frågor kring specifika texter eller dokument. Då mina texter är på svenska så byter jag till Llama3.1 modellen för detta.

Genom att klicka på ”+” så kan man välja att lägga till en fil till konversationen. Här är det Försvarsmaktens mobiliseringsreglemente från 2018 som jag ber llama beskriva innehållet av.
Mer spetsigt blir det med mer konkreta frågor.

Det jag hittills kontrollerat verkar ofta stämma, men det förutsätter att svaret går att finna i texterna. Om det saknas tydliga svar så tenderar modeller att gissa, eller hitta på något. Verkar något konstigt, kan man alltid fråga modellen om den är säker på svaret.
Tack för introduktionen. Docker har lite problem, som rättigheter etc. Det finna Podman, som inte kör med root-rättighet, vad jag vet. Men jag använder inte så mycket Podman.
När en LLM gissar, vilket den går hellre än att tala om att den inte vet, så kallas det att den hallucinerar.
Vissa LLM:er kan man ställa om den så att de blir helt förutsägbar, eller så att den å andra sidan verkar gå på LSD. 🙂
Det kallas att man ställer om heat mellan 0 och 1. ChatGTP kan/kunde man göra det.
Orelaterat, men har du sett att Lantmäteriet nu släppt en hel del av deras avgiftbelagda geodata som öppen data?
Japp!
Väldigt roligt för mig som hobby kartläggare. Nu måste jag bara vänta på att alla mina beställningar ska trilla in.