Untitled

Ahad, 19 April 2026, 6:06 pm

Kerja hujung minggu sambil tengok Wrestlemania: web app utk scrape posts yg ada dalam sitemap sebuah website, kemudian masukkan ke dalam knowledge base dalam OpenWebUI.

OpenWebUI ada sedia feature RAG knowledge base, yg mana kita kena masukkan text content, web page atau file (PDF / text) secara manual, utk disimpan dalam bentuk embeddings dalam vector database.

Web app ini automasikan process ini, di mana kita hanya perlu bagi sitemap URL, lepas app ini akan crawl semua posts & masukkan ke dalam OpenWebUI.

Nak gunapakai knowledge base ni pula, pergi ke Workspace > Model, create satu model, kemudian sertakan knowledge base ke dalam model. kat chat interface, pilih model yg baru create tadi. Tanyalah soalan kat model tu nanti dia cari jawapan berdasarkan knowledge base.

Sekarang ni ada beberapa tempat utk tune model & knowledge base ini, seperti:

– edit system prompt supaya model bagi jawapan sesuai dgn soalan & knowledge base
– embeddings chunk size & chunk overlap, supaya dpt padankan soalan yg diberi dgn jawapan yg ada dlm knowledge base
– knowledge documents data, skrg ni dia bagi reference ke text file, saya nak dia return link kepada blog posts.