NVIDIA, kişisel bir sohbet botunu kendi içerikleriyle kişiselleştirmeyi mümkün kılan Chat with RTX adlı bir teknoloji demosunu tanıttı.
Bu, yerel bir NVIDIA GeForce RTX 30 Serisi GPU veya daha yükseği ile en az 8GB video rastgele erişim hafızası veya VRAM tarafından hızlandırılmıştır. Chat with RTX, arama arttırılmış üretim (RAG), NVIDIA TensorRT-LLM yazılımı ve NVIDIA RTX hızlandırması kullanarak üretken yapay zeka yeteneklerini yerel, GeForce destekli Windows PC’lerine getiriyor. Kullanıcılar, Mistral veya Llama 2 gibi açık kaynaklı büyük dil modellerine yerel bir PC’deki dosyaları hızlı bir şekilde bağlayarak hızlı, bağlamsal olarak ilgili cevaplar için sorgular yapabiliyorlar.
Notları veya kaydedilmiş içerikleri aramak yerine, kullanıcılar sadece sorguları yazabilirler. Örneğin, bir kullanıcı, “Las Vegas’tayken partnerimin önerdiği restoran hangisiydi?” diye sorabilir ve Chat with RTX, kullanıcının işaret ettiği yerel dosyaları tarayacak ve bağlamla birlikte cevabı verecektir. Aracın desteklediği çeşitli dosya biçimleri arasında .txt, .pdf, .doc/.docx ve .xml bulunmaktadır. Uygulamayı bu dosyaları içeren klasöre yönlendirin ve araç, onları kütüphanesine saniyeler içinde yükleyecektir. Kullanıcılar ayrıca YouTube videoları ve çalma listelerinden bilgi ekleyebilirler.
Bir video URL’sini Chat with RTX’e eklemek, kullanıcıların bu bilgiyi bağlamsal sorguları için sohbet botlarına entegre etmelerini sağlar. Örneğin, favori etkileyici videolarından içeriklere dayalı seyahat önerileri isteyin veya en iyi eğitim kaynaklarına dayalı hızlı öğreticiler ve nasıl yapılır bilgileri alın. Chat with RTX, bulut tabanlı LLM hizmetlerine güvenmek yerine, kullanıcılara hassas verileri bir üçüncü tarafa paylaşmadan veya internet bağlantısı olmadan yerel bir PC’de işlem yapma imkanı sunar. GeForce RTX 30 Serisi GPU veya daha yükseği ile minimum 8GB VRAM’a sahip olmanın yanı sıra, Chat with RTX’in Windows 10 veya 11 ve en son NVIDIA GPU sürücülerine ihtiyacı vardır. Chat with RTX hakkında daha fazla bilgi edinin.
-
-
-
-
-
-
