Amazon Web Services (AWS), Perplexity AI’nin kurallarını ihlal edip etmediğini araştırıyor. Ünlü bir haber sitesine göre, şirketin bulut bölümü, hizmetin sunucularında barındırılan bir tarayıcı kullanarak Robots Exclusion Protocol’ü göz ardı ettiği iddialarını inceliyor. Bu protokol, geliştiricilerin bir alan adına robots.txt dosyası yerleştirerek botların belirli sayfalara erişip erişemeyeceğine dair talimatlar vermesini sağlar. Bu talimatlara uymak gönüllüdür, ancak saygın şirketlerin tarayıcıları, 90’lı yıllardan beri bu standarda genellikle saygı göstermektedir.
Wired, daha önce yayınladığı bir haberde, kendi web sitesinin robots.txt talimatlarını atlayan bir sanal makine keşfettiğini bildirmişti. Bu makine, Amazon Web Services sunucusunda, kesinlikle Perplexity tarafından işletildiği belirtilen 44.221.181.252 IP adresi ile barındırılıyor. Bu makinenin, son üç ay içinde Wired ve diğer Condé Nast mülklerini yüzlerce kez ziyaret ederek içeriklerini kazıdığı bildirildi. Wired ayrıca Guardian, Forbes ve The New York Times’ın da bu makineyi birçok kez yayınlarını ziyaret ederken tespit ettiğini belirtti. Wired, Perplexity’nin içeriklerini gerçekten kazıyıp kazımadığını doğrulamak için şirketin chatbot’una başlıklar veya makalelerinin kısa açıklamalarını girdi. Araç, bu makaleleri “minimum atıf” ile yakın bir şekilde özetleyen sonuçlar verdi.
Reuters’ın yakın tarihli bir raporuna göre, Perplexity, içerik toplamak için robots.txt dosyalarını atlayan tek yapay zeka şirketi değil. Ancak Amazon’un soruşturması sadece Perplexity AI’ye odaklanmış durumda. Amazon sözcüsü, müşterilerinin web sitelerini tararken robots.txt talimatlarına uyması gerektiğini söyledi. “AWS’nin hizmet şartları, müşterilerin hizmetlerimizi herhangi bir yasa dışı faaliyet için kullanmalarını yasaklar ve müşterilerimiz, şartlarımıza ve tüm geçerli yasalara uymaktan sorumludur” dedi.
Perplexity sözcüsü Sara Platnick, şirketin Amazon’un taleplerine yanıt verdiğini ve tarayıcılarının Robots Exclusion Protocol’ü atlamadığını belirtti. “AWS üzerinde çalışan PerplexityBot, robots.txt’ye saygı gösteriyor ve Perplexity kontrolündeki hizmetlerin AWS Hizmet Şartlarını ihlal edecek şekilde tarama yapmadığını doğruladık” dedi. Ancak Platnick, kullanıcılar sohbet botuna belirli bir URL eklediğinde PerplexityBot’un robots.txt’yi göz ardı edeceğini kabul etti.
Perplexity CEO’su Aravind Srinivas da şirketinin Robots Exclusion Protocol’ü görmezden geldiği ve bu konuda yalan söylediği iddialarını reddetti. Srinivas, Fast Company’ye verdiği demeçte, Perplexity’nin kendi tarayıcılarının yanı sıra üçüncü taraf web tarayıcılarını da kullandığını ve Wired’ın belirlediği botun bunlardan biri olduğunu kabul etti.
