Project Aeon: Lokalna asistent platforma

Uloga: Lični projekat · Godina: 2025 · Status: isporučeno

ukratko: Lokalna RAG platforma, da dokumenti nikad ne napuste mašinu. FastAPI orkestrira, ChromaDB čuva i pretražuje embedding-e, Ollama pokreće model. Spajanje delova je bilo lako. Posao je bio u kvalitetu pretrage sa malim lokalnim modelima.

Problem

Cloud AI asistenti traže da tvoji dokumenti budu na tuđem serveru. Hteo sam RAG razgovore nad lokalnim fajlovima, sa svim na mojoj mašini: bez API ključeva, bez podataka koji napuštaju računar.

Ograničenja

• Lokalni modeli su mali. Ne mogu da nadoknade relevantnost ogromnim kontekstom kao hostovani modeli.
• Kontekst je tesan. Svaki pronađeni deo teksta se bori za isti ograničen prostor u promptu.
• Modeli se menjaju. Zamena LLM-a treba da bude konfiguracija, ne izmena koda.

Odluke

• FastAPI kao orkestrator. Prima upit, pretražuje vektorsko skladište, sklapa prompt i prosleđuje generisanje lokalnom modelu.
• ChromaDB za vektorsko skladište i pretragu sličnosti nad embedding-ima dokumenata.
• Ollama pokreće LLM, pa je izbor modela stvar deployment-a.
• Vue 3 sa Naive UI za chat interfejs. Najveći deo posla je iza API-ja.

Ishod

Chunker se pokazao kao odluka koja nosi ceo sistem. Premali delovi i pretraga cepa povezan sadržaj. Preveliki i kontekst se puni šumom. Projekat je završen: odgovorio je na pitanja o lokalnoj pretrazi zbog kojih sam ga pravio.