Enver KOÇAK
Yapay zekâ dünyasında son dönemde en çok konuşulan konulardan biri, yapay zekâ ajanlarının bilgisayarları bizim yerimize nasıl kullanabileceği oldu. Vercel Labs, bu alanda çığır açacak açık kaynaklı bir araç olan agent-desktop projesini duyurdu. Bu sistem, yapay zekâ ajanlarının masaüstü uygulamalarını doğrudan kontrol etmesini sağlayan Rust tabanlı bir komut satırı arayüzü ve C kütüphanesi olarak geliştirildi. Apache-2.0 lisansıyla yayımlanan bu araç, geliştiricilerin işini kökten değiştirmeyi hedefliyor.
Ekran Görüntüleri Yerine İşletim Sistemi Ağaçları
Piyasadaki pek çok bilgisayar kullanımı aracı, ekran görüntüsü alarak ve piksellerin koordinatlarını hesaplayarak çalışır. Ancak bu yöntem oldukça maliyetlidir ve yüksek miktarda token tüketimine yol açar. Vercel Labs ekibinin geliştirdiği agent-desktop ise tamamen farklı bir yaklaşım benimser. Uygulamaları ekran fotoğrafları yerine, işletim sisteminin kendi erişilebilirlik ağacı üzerinden okur. macOS için AX API, Windows için UI Automation ve Linux için AT-SPI altyapısını kullanır.
Böylece bir ajan, etkileşime girebileceği her öğe için benzersiz bir referans içeren JSON anlık görüntüsü alır. Bu yöntem, ekran üzerindeki butonları ve menüleri doğrudan metinsel yapılar olarak görmesini sağlar. Kodlama yapan shell tabanlı herhangi bir ajan, görsel bir modele ihtiyaç duymadan yerel uygulamaları rahatlıkla yönetebilir hale gelir.
Arka Planda Sessizce Çalışan Mimari
Araç, yapay zekâ modelinin kendisi değil, ajanların komut gönderdiği harici bir kütüphanedir. İçerisinde herhangi bir büyük dil modeli veya grafik arayüz barındırmaz. Gelen her komut işlenir, tek bir JSON çıktısı üretilir ve işlem tamamlanır. Gözlemleme, eylem gerçekleştirme ve doğrulama döngüsü tamamen sizin ajanınızın kontrolünde kalır.
Varsayılan olarak arka planda ve başsız şekilde çalışır. Referans eylemleri, imleci hareket ettirmeden veya odak noktasını değiştirmeden erişilebilirlik API’si üzerinden gerçekleştirilir. Bu sayede siz bilgisayarınızı normal bir şekilde kullanmaya devam ederken, yapay zekâ ajanı da arka planda işlerini yürütebilir. İhtiyaç duyulduğunda küresel bayraklar yardımıyla fiziksel girdilere de izin verilebilir.
Token Maliyetlerini Büyük Ölçüde Azaltan İskelet Görünümü
Yoğun arayüze sahip modern masaüstü uygulamaları binlerce erişilebilirlik düğümü barındırabilir. Bu durum, tam ağaç dökümlerinin çok yüksek token maliyetleri yaratmasına neden olur. Geliştiriciler bu sorunu çözmek için iskelet görünümü özelliğini eklemiştir. İskelet anlık görüntüsü yalnızca ilk üç seviyeyi okur, derinlemesine inceleme için ise ek referanslar sunar.
Yapılan testlere göre, Slack, VS Code ve Notion gibi yoğun uygulamalarda token maliyetlerinde kayda değer düşüşler elde edilmiştir. Örneğin Apple Maps uygulamasında yapılan taramalarda tüketilen token miktarı ciddi oranlarda gerilemiştir. Bu optimizasyon, ajanların daha hızlı ve çok daha düşük maliyetlerle çalışmasına olanak tanır.
Pratik Kullanım ve Sınırlamalar
Paket yöneticileri aracılığıyla kolayca kurulabilen bu kütüphane, x64 ve ARM64 mimarilerini destekler. macOS kullanıcılarının erişim izinlerini manuel olarak vermesi gerekirken, Windows ve Linux ortamlarında farklı gereksinimler bulunabilir. Python, Swift, Go ve Ruby gibi farklı dillerdeki projeler de C kütüphanesi sayesinde bu aracı kendi süreçlerine entegre edebilir.
Ancak sistemin de bazı doğal sınırlamaları mevcuttur. Erişilebilirlik ağacını desteklemeyen veya özel arayüzlerle çizilen uygulamalar bu araçla kontrol edilemez. Buna rağmen, geleneksel piksel tabanlı yöntemlere kıyasla sunduğu hız ve token tasarrufu, yazılımcılar için büyük bir alternatif oluşturur.
Kaynaklar
- Vercel Labs Open-Sources agent-desktop for Agent Computer Use (marktechpost.com)
Bu yazı, yukarıdaki kaynaktan yapay zekâ yardımıyla Türkçe olarak derlenmiş bir özettir. Ayrıntılar ve resmi bilgi için kaynağa başvurun.
