Alibaba Group araştırmacıları, yapay zeka sistemlerinin bilgi arama konusunda eğitilmesinin maliyetini ve karmaşıklığını önemli ölçüde azaltabilecek ve pahalı ticari arama motoru API’lerine olan ihtiyacı tamamen ortadan kaldırabilecek yeni bir yaklaşım geliştirdiler.
” ZeroSearch ” adı verilen teknik, büyük dil modellerinin (LLM’ler) eğitim süreci boyunca gerçek arama motorlarıyla etkileşime girmek yerine bir simülasyon yaklaşımıyla gelişmiş arama yetenekleri geliştirmesine olanak tanır. Bu yenilik, yapay zeka sistemlerinin bilgiyi nasıl almayı öğrendiği konusunda daha iyi bir kontrol sunarken şirketlere önemli API harcamalarından tasarruf sağlayabilir.
Araştırmacılar bu hafta arXiv’de yayınlanan makalelerinde , “Güçlendirmeli öğrenme [RL] eğitimi, potansiyel olarak yüz binlerce arama isteğini içeren sık dağıtımlar gerektirir, bu da önemli API masraflarına neden olur ve ölçeklenebilirliği ciddi şekilde kısıtlar,” diye yazıyor . “Bu zorlukları ele almak için, gerçek arama motorlarıyla etkileşime girmeden LLM’lerin arama yeteneklerini teşvik eden bir güçlendirmeli öğrenme çerçevesi olan ZeroSearch’ü sunuyoruz.”
ZeroSearch, yapay zekayı arama motorları olmadan arama yapacak şekilde nasıl eğitiyor?
ZeroSearch’ün çözdüğü sorun önemlidir. Otonom olarak bilgi arayabilen AI asistanları geliştiren şirketler iki büyük zorlukla karşı karşıyadır: eğitim sırasında arama motorları tarafından döndürülen belgelerin öngörülemeyen kalitesi ve Google gibi ticari arama motorlarına yüz binlerce API çağrısı yapmanın aşırı yüksek maliyetleri.
Alibaba’nın yaklaşımı, bir LLM’yi bir sorguya yanıt olarak hem ilgili hem de ilgisiz belgeler üretebilen bir alma modülüne dönüştürmek için hafif bir denetlenen ince ayar süreciyle başlar. Takviyeli öğrenme eğitimi sırasında sistem, araştırmacıların “müfredat tabanlı bir dağıtım stratejisi” olarak adlandırdığı ve üretilen belgelerin kalitesini kademeli olarak düşüren bir strateji kullanır.
Araştırmacılar, “Bizim temel anlayışımız, LLM’lerin büyük ölçekli ön eğitim sırasında kapsamlı dünya bilgisi edinmiş olmaları ve bir arama sorgusu verildiğinde ilgili belgeleri üretebilme yeteneğine sahip olmalarıdır,” diye açıklıyor. “Gerçek bir arama motoru ile bir simülasyon LLM arasındaki temel fark, döndürülen içeriğin metinsel stilinde yatmaktadır.”
Google’ı maliyetin çok daha az bir kısmıyla geride bırakın
Yedi soru-cevap veri kümesinde yapılan kapsamlı deneylerde ZeroSearch, gerçek arama motorlarıyla eğitilen modellerin performansını yalnızca eşleştirmekle kalmadı, aynı zamanda sıklıkla aştı. Şaşırtıcı bir şekilde, 7B parametreli bir arama modülü Google Arama ile karşılaştırılabilir bir performans elde ederken, 14B parametreli bir modül onu bile geride bıraktı.
Maliyet tasarrufları önemlidir. Araştırmacıların analizine göre, SerpAPI üzerinden Google Arama kullanılarak yaklaşık 64.000 arama sorgusuyla eğitim yaklaşık 586,70 dolara mal olurken, dört A100 GPU’da 14B parametreli bir simülasyon LLM’si yalnızca 70,80 dolara mal olur – %88’lik bir azalma.
Makalede, “Bu, takviyeli öğrenme kurulumlarında gerçek arama motorlarının yerine iyi eğitilmiş bir LLM’nin kullanılmasının uygulanabilirliğini göstermektedir” denildi.
Bunun yapay zeka gelişiminin geleceği açısından anlamı nedir?
Bu atılım, yapay zeka sistemlerinin nasıl eğitilebileceği konusunda büyük bir değişimdir. ZeroSearch, yapay zekanın arama motorları gibi harici araçlara bağlı kalmadan gelişebileceğini göstermektedir.
AI endüstrisi için etkisi önemli olabilir. Şimdiye kadar, gelişmiş AI sistemlerini eğitmek genellikle büyük teknoloji şirketleri tarafından kontrol edilen hizmetlere pahalı API çağrıları gerektiriyordu. ZeroSearch, AI’nın gerçek arama motorlarını kullanmak yerine aramayı simüle etmesine izin vererek bu denklemi değiştiriyor.
Daha küçük AI şirketleri ve sınırlı bütçeli yeni kurulan şirketler için bu yaklaşım oyun alanını eşitleyebilir. API çağrılarının yüksek maliyetleri, sofistike AI asistanları geliştirmede büyük bir giriş engeli olmuştur. Bu maliyetleri neredeyse %90 oranında azaltarak ZeroSearch, gelişmiş AI eğitimini daha erişilebilir hale getirir.
Maliyet tasarruflarının ötesinde, bu teknik geliştiricilere eğitim süreci üzerinde daha fazla kontrol sağlar. Gerçek arama motorları kullanıldığında, döndürülen belgelerin kalitesi tahmin edilemezdir. Simüle edilmiş arama ile geliştiriciler, eğitim sırasında AI’nın hangi bilgileri göreceğini tam olarak kontrol edebilir.
Bu teknik, Qwen-2.5 ve LLaMA-3.2 dahil olmak üzere birden fazla model ailesi ve hem temel hem de talimat ayarlı varyantlar üzerinde çalışır. Araştırmacılar kodlarını, veri kümelerini ve önceden eğitilmiş modellerini GitHub ve Hugging Face’te kullanıma sunarak diğer araştırmacıların ve şirketlerin yaklaşımı uygulamasına olanak tanıdı.
Büyük dil modelleri gelişmeye devam ettikçe, ZeroSearch gibi teknikler , yapay zeka sistemlerinin harici hizmetlere güvenmek yerine kendi kendini simüle ederek giderek daha karmaşık yetenekler geliştirebileceği bir geleceğe işaret ediyor. Bu da potansiyel olarak yapay zeka geliştirmenin ekonomisini değiştiriyor ve büyük teknoloji platformlarına olan bağımlılığı azaltıyor.
İroni açıktır: Alibaba, AI’ya arama motorları olmadan arama yapmayı öğreterek, geleneksel arama motorlarını AI gelişimi için daha az gerekli hale getiren bir teknoloji yaratmış olabilir. Bu sistemler daha kendi kendine yeterli hale geldikçe, teknoloji manzarası sadece birkaç yıl içinde çok farklı görünebilir.
