Bir müşteri ürün değişim koşullarını soruyor. Genel amaçlı bir sohbet botunun yanıtı akıcı olabilir, ancak şirketinizin politikasına uymayabilir. Kurumsal bir sohbet botu, yetkili şirket kaynaklarından ilgili bilgileri bulabilmeli ve yanıtını bunlara dayandırmalıdır. RAG, bunu sağlamanın yollarından biridir. Yararı, kaynakların kalitesine ve yanıtların nasıl değerlendirildiğine bağlıdır.

Sorununuz kılavuzlarda ve şirket belgelerinde yanıt bulmaksa RAG değerlendirilebilir. Güncel sipariş durumunu bildirmek için sipariş sistemine bağlantı da gerekir. Araç seçmeden önce soruyu ve yanıtın kaynağını belirleyin.

RAG nedir, nasıl çalışır?

RAG, Retrieval-Augmented Generation ifadesinin kısaltmasıdır; getirilen bilgilerle desteklenen yanıt üretimini anlatır. Sistem yalnızca modelin genel bilgisine dayanmak yerine dış bir kaynaktan ilgili içeriği getirir ve modele sunar. Bunun için genellikle modelin tüm şirket belgeleriyle yeniden eğitilmesi gerekmez. IBM’in RAG açıklaması, bu yaklaşımın ince ayardan farkını da ele alır.

  1. Ürün kılavuzları ve hizmet politikaları gibi güvenilir kaynakları belirlersiniz.

  2. Sistem içeriği arama için hazırlar; birçok uygulamada metin daha küçük parçalara ayrılır.

  3. Kullanıcı soru sorar. Sistem, kullanıcının erişim yetkisi olan ilgili bölümleri getirir.

  4. Model, soru ve getirilen bilgilerle bir yanıt oluşturur.

  5. Yanıt, kullanıcının kontrol edebilmesi için kaynak bağlantıları içerebilir.

Bu süreç şirket bilgisini mutlaka modelin kalıcı belleğine dönüştürmez. Ancak getirilen metinler yanıt üretimi için bir model hizmetine gönderilebilir. İşleme konumu ve veri saklama politikası ayrıca değerlendirilmelidir.

Varsayımsal örnek: ürün değişimi

Bir mağazanın değişim süresini ve koşullarını onaylı bir belgede tanımladığını düşünün. Müşteri, “Ambalajı açılmış bir ürünü değiştirebilir miyim?” diye soruyor. Bot ilgili ürün kategorisinin bölümünü bulmalı, koşulları ve istisnaları açıklamalı, kaynak bağlantısını göstermelidir. Ürün türü belirsizse ek soru sormalı; belgede açık yanıt yoksa konuyu müşteri hizmetlerine yönlendirmelidir.

Bu örnek bir GaliTech projesi veya proje sonucu değildir. Önemli olan doğru belgeyi seçmektir: Eski bir politika ya da başka bir ürün kategorisinin kuralı, doğal görünen bir ifadeyle yanlış yanıt verilmesine yol açabilir.

Hangi bilgiler uygundur, hangileri ayrı bağlantı ister?

  • Nispeten sabit bilgi: hizmet prosedürleri, ürün kılavuzları ve çalışan eğitim belgeleri bilgi tabanının kaynakları olabilir.

  • Sık değişen içerik: politika güncellemeleri hem kaynağa hem arama dizinine yansıtılmalıdır. Belgeleri bir kez bağlamak güncelliği garanti etmez.

  • Anlık ve kişisel veriler: stok, güncel fiyatlar ve sipariş durumu genellikle ana sisteme yetkili bağlantı gerektirir. Kullanıcı kimliği ve erişim hakları dikkate alınmalıdır.

  • İşlem yapmak: sipariş oluşturmak veya müşteri kaydını değiştirmek ayrı işlem yetkileri ve kontroller gerektirir.

Gerçek uygulamalarda belge araması ve araç bağlantıları birlikte kullanılabilir. RAG tek başına sohbet botuna sistemlerinizi değiştirme yetkisi vermez.

RAG ne zaman gerekli olmayabilir?

Az sayıda, basit ve değişmeyen soru için bir sık sorulan sorular sayfası veya hazır yanıtlar yeterli olabilir. Çalışanların yalnızca belge bulması gerekiyorsa kurum içi aramayı iyileştirmeyi de değerlendirin. Diyalog, açıklama veya birden çok kaynaktaki bilgileri birleştirmek kullanıcıya yardımcı olduğunda sohbet botu anlamlı bir seçenek olur.

Özel geliştirmeden önce mevcut araçları, veri erişimini ve bakım maliyetlerini inceleyin. Bu işlevin ürünün neresinde yer alacağı da önemlidir. Web sitesi, uygulama ve platform farkları hakkındaki yazımız bu kararı ele alır.

Yanıtlar neden yine de yanlış olabilir?

RAG yanıtı ilgili kaynaklara bağlayabilir, ancak hataları ortadan kaldırmaz. Eksik belge, yanlış anlaşılan soru, uygun olmayan arama sonucu veya modelin hatalı çıkarımı yanlış yanıta neden olabilir. Kaynak göstermek kontrolü kolaylaştırır; bir bağlantı, yanıtın tüm iddialarının doğru olduğunu kanıtlamaz.

Çelişen kaynakları belirleyin, her belgeye bir sorumlu atayın ve geçerlilik tarihini kaydedin. Bilgi yetersizliğinde sistemin davranışını tanımlayın; hassas kararlar için insan incelemesini koruyun. AWS belgeleri, getirilen bilgilerin ve kaynak referanslarının kullanımını açıklar.

Özel belgeler tek başına gizlilik sağlamaz

Satış çalışanı, sohbet botu üzerinden başka bir bölümün gizli belgelerine erişmemelidir. Yetkiler bilgi getirilirken uygulanmalıdır; arayüzde bir bağlantıyı gizlemek yeterli değildir. Microsoft’un RAG belgeleri kaynaklara erişim kontrolünün önemini vurgular.

Verinin nerede işlendiğini, konuşma kayıtlarını kimlerin görebildiğini ve ne kadar saklandığını da belirleyin. Belgeler kötü amaçlı ya da yanıltıcı talimatlar içerebilir. OWASP’ın prompt injection rehberine göre RAG bu riski tek başına çözmez. Kaynak içeriğine izinleri değiştirme veya işlem yürütme yetkisi verilmemelidir.

Küçük bir pilotla başlayın, açık ölçütler kullanın

Pratik bir başlangıç önerisi, tek bir kullanıcı grubu ve hizmet kılavuzundaki soruları yanıtlamak gibi sınırlı bir sorun seçmektir. Güvenilir kaynakları düzenleyin. Gerçek, belirsiz, yanıtsız ve kullanıcının yetkisi dışında kalan sorulardan bir test kümesi oluşturun. Sonucu mevcut çalışma yöntemiyle karşılaştırın.

  • Doğru belge bölümü bulunuyor mu?

  • Yanıttaki iddialar kaynakla destekleniyor ve soruyu karşılıyor mu?

  • Sistem bilgi yetersizliğini belirtiyor mu?

  • Yetkiler, belge güncellemeleri ve silmeler doğru uygulanıyor mu?

  • Yanıt süresi, kullanım maliyeti ve insan incelemesi ihtiyacı nedir?

Bunlar pilot için önerilen ölçütlerdir. Microsoft’un değerlendirme rehberi de bilgi getirme kalitesi ile yanıt kalitesini ayrı ele alır. Bütçe yalnızca model kullanımından ibaret değildir: belge hazırlığı, entegrasyon, erişim kontrolleri ve devam eden bakım da iş ve maliyet gerektirir.

Sık sorulan sorular

RAG, modeli şirket verileriyle eğitmekle aynı şey mi?

Hayır. RAG yanıt sırasında bilgi getirir. İnce ayar, belirli bir amaç için model parametrelerini değiştirir. İki yaklaşım aynı çözümde kullanılabilir.

Sohbet botu her dosyayı otomatik olarak okur mu?

Yalnızca bağlantıları ve izinleri tanımlanmış kaynakları kullanır. Taranmış dosyalarda metin çıkarımı gerekebilir; bunun kalitesi de kontrol edilmelidir.

Çözüm özel olarak mı geliştirilmeli?

Şart değil. Hazır bir ürün, daha iyi arama veya mevcut sistemlerle entegrasyon yeterli olabilir. Karar; kapsam, yetkiler ve bakım kapasitesine bağlıdır.

İşletmeniz için sonraki adım

Sık sorulan üç soruyu, bugünkü yanıt kaynaklarını ve bu kaynakları görmeye yetkili kişileri belirleyin. Böylece bilgi araması, anlık veriye erişim ve işlem yapma ihtiyaçlarını ayırabilirsiniz.

Şirketinizde bir kullanım alanı belirlediyseniz, uygulama olanağının değerlendirilmesi için ihtiyacın açıklamasını ve bilgi kaynaklarının türlerini info@galitech.ir adresine gönderin. İlk iletişimde genel açıklama yeterlidir; gizli belgeleri göndermeyin.