~/projekat
Project Aeon: Lokalna asistent platforma
Asistent platforma gde tvoji podaci nikad ne napuštaju mašinu. Vektorska pretraga preko lokalnih dokumenata, lokalni LLM runtime kroz Ollama, i čiste granice između API-ja, vektorskog skladišta i korisničkog interfejsa.
- FastAPI
- ChromaDB
- Vue 3
- TypeScript
- Naive UI
- Ollama
Uloga: Lični projekat · Godina: 2025 · Status: isporučeno
ukratko: Lokalna RAG platforma da dokumenti nikad ne napuste mašinu. FastAPI orkestrira, ChromaDB skladišti i pretražuje, Ollama pokreće model. Teški deo nije spajanje delova; to je dobijanje kvaliteta pretrage sa modelima koji ne mogu brute-force relevantnost.
Project Aeon je počeo od specifičnog problema: cloud-based AI asistenti zahtevaju slanje dokumenata na eksterne servere. Cilj je bio RAG konverzacije preko lokalnih fajlova, sa svim na sopstvenoj mašini. Bez API ključeva, bez podataka koji napuštaju host.
Arhitektura
Sistem ima tri jasna sloja.
- FastAPI servira backend API i orkestrira zahteve: prima korisnički upit, pogađa vektorsko skladište, sklapa prompt i prosleđuje zahtev za generisanje lokalnom modelu.
- ChromaDB rukuje vektorskim skladištem i pretragom sličnosti preko embedding-a dokumenata.
- Ollama pokreće LLM lokalno. Izbor modela je pitanje deployment-a, ne promene koda.
- Vue 3 klijent sa Naive UI daje čist chat interfejs, ali većina posla je iza API-ja.
Kvalitet pretrage
Zanimljiv deo je bio dobijanje kvaliteta pretrage sa lokalnim modelima. Cloud API-ji mogu brute-force relevantnost sa većim modelima i dužim context window-ima; lokalno moraš biti pametniji oko chunking-a, kvaliteta embedding-a i upravljanja context window-om. Chunker je završio kao jedna od ključnih odluka: premali i pretraga fragmentiše povezani sadržaj, preveliki i context window se puni šumom.
Završeno — naučeno sve što sam hteo iz ovog projekta.