Yanıtın izlenebilir bir bağlamı olmalı
Bölümlerin bilgilerine erişim sağlayan bir asistan, ilgili kaynağı bulmalı ve kaynağın yanıtı desteklemediği durumları ayırt edebilmeli. Course Intelligence RAG'i bilgi getirme ile yanıt üretme arasındaki bu sınır etrafında geliştirdim.
Benim katkım
Llama 3.1 (8B), SBERT embedding'leri ve FAISS vektör aramasıyla modüler bir bilgi getirme ve LLM orkestrasyonu mimarisi geliştirdim. Hiyerarşik anlamsal parçalama kaynakları aramaya hazırlıyor; filtreleme ve yapılandırılmış bağlam kontrolü modele iletilen içeriği belirliyor.
PyQt6 masaüstü arayüzü bilgi getirme ve yanıt üretimini arka planda çalıştırıyor; Ollama üzerinden çalışan yerel model yanıtını yazarken pencere tepki vermeye devam ediyor.
Değerlendirme
Asistanı nicel bir soru kümesiyle ve desteklenmeyen yanıtları yakalamaya yönelik tuzak sorularla değerlendirdim; bilgi getirme filtreleri ve sıkı sistem yönergeleri bu kontrollerin parçasıydı.
Bu kontroller yalnızca projenin kendi değerlendirmesini anlatır. Örneklem büyüklüğü, soru dağılımı ve bağımsız tekrar sonuçları burada raporlanmadığı için evrensel doğruluğun ya da halüsinasyonun mümkün olmadığının kanıtı değildir.
Tasarım kararları
Embedding, bilgi getirme, bağlam oluşturma ve üretim adımlarını ayırmak, hattı incelemeyi kolaylaştırıyor. Sistem farklı bölümlerin bilgilerini işlerken getirilen kaynaklarla modelin ürettiği metni ayrı tutuyor.
Sınırlamalar
Eksik veya güncelliğini yitirmiş kaynaklar yanıt kalitesini sınırlıyor. Kaynak doğru yanıtı içerse bile arama başarısız olabilir. Daha geniş bir değerlendirmede bilgi getirme hataları, kaynağa dayalı yanıt kalitesi ve yanıt vermeme davranışı ayrı ayrı ölçülmelidir.