Untitled

Rabu, 17 Jun 2026, 10:23 pm

dah pasang pun rtx 5060 ti 16gb, dptlah pakai llm sendiri.

pemasangan hardware ni tak byk masalah. yg byk kena research adalah bila nak configure driver graphic card tu supaya dpt di-detect dlm almalinux 9 & dpt dipakai dlm docker container. ini step2 yg saya kena ambil:

mula2 check command ‘nvidia-smi’, belum install lagi jadi kena install: ‘dnf install xorg-x11-drv-nvidia-cuda’, mesti guna package dari repo ‘rpmfusion-nonfree-updates’. lepas tu ‘dnf install akmod-nvidia’.

skrg ‘nvidia-smi’ command dah ada, tapi dia bagitau error nvidia driver not installed. part ni lah yg saya kena test, try, tanya ai & debug beberapa kali. hinggalah jumpa punca masalah:

semasa install akmod-nvidia, dnf turut install package kmod-nvidia-580xx yg version tidak compatible dgn kernel yg tgh running. oleh itu, solusinya saya buang kmod-nvidia-580xx & rebuild kernel module, dgn command2 ini:

– sudo dnf remove kmod-nvidia-580xx
– sudo rm -fr /var/cache/akmods/nvidia-580xx (clear cache lepas build module sebelum ni)
– sudo akmods –force (rebuild kernel module)
– sudo modprobe nvidia (load module)

pastu cara nak check kernel module utk nvidia tu dah load dgn betul:

– lsmod | grep -i nvidia = ada output
– nvidia-smi = tak ada error, tunjuk details berkenaan graphic card

lepas driver graphic card dah ok, skrg nak configure docker pula supaya ollama dlm container dpt access utk guna graphic card tu tadi. mula2 check kalau command nvidia-ctk dah install ke belum. kalau belum:

– sudo dnf config-manager –add-repo https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo
– sudo dnf install nvidia-container-toolkit

guna command nvidia-ctk tu untuk configure docker utk pakai nvidia driver:

– sudo nvidia-ctk runtime configure –runtime=docker

kemudian, cara nak check kalau docker dah dpt pakai graphic card tu:

– docker info | grep -A5 Runtimes = akan tunjuk ‘Runtimes: io.containerd.runc.v2 nvidia runc’
– docker run –rm –gpus all docker.io/ollama/ollama:0.30.4 nvidia-smi = output mesti sama dgn output yg run kat host tadi

dah setel setup graphic card, docker & ollama, next step saya nak try 2 model ni utk guna dgn hermes agent & continue.dev, tgk mana yg provide balance yg terbaik dari segi coding & reasoning:

– gemma 4 12b
– qwen 3.6 25b