Anthropic’in OpenAI’a meydan okuyan uygun fiyatlı toplu işleme seçeneği: Message Batches API

OpenAI rakibi Anthropic, yeni Message Batches API‘yi duyurdu. Message Batches API işletmelerin büyük miktarda veriyi standart bir API çağrısı maliyetine işlemesini sağlıyor. 24 saat içinde 10 bin sorguyu asenkron halde yönetebilen Message Batches API, büyük veriyle çalışan kurumsal şirketler için gelişmiş yapay zeka modellerini uygun maliyetli hale getiriyor. 

Message Batches API, gerçek zamanlı işleme ile kıyaslandığında hem girdi hem de çıktı tokenlarında yüzde 50 indirim sunuyor. Bu yılın başlarında OpenAI’ın da kendi Batch API’sini duyurduğunu düşünürsek, Anthropic‘in rekabette güç kazanmak için kendini yeniden konumlandırdığını söyleyebiliriz. 

Karşılaştırmak gerekirse; 128 bin tokenlık bağlam penceresi sunan GPT-4o için 1 milyon token başına girdi maliyeti 1.25 dolar, çıktı maliyeti ise 5 dolar olarak karşımıza çıkıyor. 200 bin tokenlık bağlam penceresi sunan Claude 3.5 Sonnet için 1 milyon token başına girdi maliyeti 1.50 dolar, çıktı maliyeti ise 7.50 dolar olarak öne çıkmakta. 

Message Batches API, Anthropic’in API’si aracılığıyla Claude 3.5 Sonnet, Claude 3 Opus ve Claude 3 Haiku modelleri için kullanıma sunuldu. Claude için Google Cloud’un Vertex AI desteğinin yakında sunulması beklenirken, Claude’u Amazon Bedrock üzerinden kullanan müşteriler toplu çıkarım yeteneklerine zaten erişebiliyor.

Şirketin toplu işlemeyi indirimli olarak sunması, yapay zeka hesaplamaları için etkili bir ölçek ekonomisini de beraberinde getiriyor. Bu yeni fiyatlandırma stratejisi, orta ölçekli işletmeleri yapay zeka benimsemesine teşvik ederken, daha önce mali nedenlerle hayata geçemeyen daha kapsamlı ve büyük ölçekli analizlerin gerçekleştirilmesini sağlayabilir. 

Şimdiye kadar yapay zeka modellerinin hızlı çıkarımlar sunma konusundaki yeteneklerini öne çıkardığını gördük. Ancak son zamanlarda yapay zeka modellerinin yavaş çalışmasının hem muhakeme yetenekleri hem de maliyetler açısından çeşitli avantajlar sağladığını söyleyebiliriz. Özellikle birçok iş uygulamasının anlık sonuçlar gerektirmemesi, Anthropic’i daha yavaş ancak daha uygun maliyetli bir seçenek sunmaya itmiş olabilir. Şirketin belirttiğine göre; birçok kullanım durumu için doğru zamanda işleme, gerçek zamanlı işlemeden daha önemli. 

Yavaş işleme seçeneği ise şirketlerin yapay zeka iş yüklerini yönetme stratejilerini değiştirebilir. Şirketler, yapay zeka görevlerini, gerçek zamanlı ve toplu işleme arasında dengelemeye başlayabilir. Öte yandan işletmelerin toplu işlemenin düşük maliyetlerine alışması, gerçek zamanlı işlemenin verimliliğini artırmak ve maliyetini düşürme konusundaki pazar baskısını azaltabilir. Bu da bu alandaki gelişmelerin durağanlaşmasına yol açabilir. Dolayısıyla hem toplu hem de gerçek zamanlı işleme yeteneklerinin geliştirilmesi arasında doğru dengeyi kurmanın yapay zeka ekosisteminin sağlıklı gelişiminde kilit rol oynayacağını söylemek mümkün.