Büyük dil modelleri (LLM’ler), dil anlama ve metin üzerinde mantıklı çıkarımlar yapma konusunda olağanüstü bir yetenek sergilerken, matematiksel işlemler gibi hesaplama gerektiren görevlerde sıklıkla zorluklar yaşamaktadır. Özellikle basit matematiksel soruları bile doğru yanıtlamakta güçlük çeken bu modeller, hesaplama ve algoritmik işlemleri metinsel akıl yürütme ile çözmeye çalışırken genellikle verimsiz kalmaktadır. Bu durum, LLM’lerin çözüm üretme süreçlerinde bir eksiklik yaratmaktadır. Bunun yerine, sembolik işlemleri (örneğin, matematiksel çarpma veya Sudoku çözümü gibi) gerçekleştirmek için daha doğru ve etkili bir yaklaşım gereklidir.
MIT araştırmacıları, bu sorunu çözmek amacıyla, büyük dil modellerine rehberlik eden daha küçük bir model olan CodeSteer‘ı geliştirmiştir. CodeSteer, bir LLM’nin sorguyu doğru bir şekilde yanıtlayana kadar, metinsel akıl yürütme ile kod üretimi arasında geçiş yaparak çözüm sürecine rehberlik eder. Bu sistem, her bir iterasyon sonrasında modelin mevcut ve önceki yanıtlarını analiz eder ve doğru sonuca ulaşılana kadar çözümü iyileştirmek için önerilerde bulunur. CodeSteer’ın etkili kullanımı, sembolik hesaplamalar gerektiren görevlerde doğruluk oranını önemli ölçüde artırmıştır; örneğin, sayıları çarpma, Sudoku çözme gibi işlemlerde doğruluk oranı %30’dan fazla iyileşmiştir.
Daha ilginç bir bulgu ise, CodeSteer’ın daha gelişmiş modelin yeteneklerini sınırlamadan, daha küçük modellerle yapılan ince ayarların büyük dil modellerinin performansını artırmada etkili olduğunu göstermesidir. Bu, özellikle metinsel akıl yürütme ile çözülemeyen karmaşık sorunlar için büyük dil modellerinin çözümleme yeteneklerini önemli ölçüde geliştirebilir. Örneğin, robotların belirsiz ortamlarda yol planlaması yapması veya uluslararası tedarik zincirlerinde sevkiyat planlaması gibi karmaşık görevlerde bu tür iyileştirmeler büyük bir fayda sağlayabilir.
Araştırmacılar, CodeSteer‘ı geliştirirken, büyük dil modellerinin potansiyelini tam olarak kullanabilmek için doğrudan yeniden eğitim yerine, küçük, uzmanlaşmış bir modelle rehberlik edilmesini hedeflemişlerdir. Bu sayede, büyük modelin diğer yetenekleri zarar görmeden, sembolik hesaplamalar gibi belirli görevlerde doğruluk oranları artırılabilmiştir. Çalışmanın baş yazarı Chuchu Fan, bu yaklaşımın, spor takımlarındaki antrenörlerin, oyuncuları daha verimli hale getirmek için rehberlik etmeleri gibi benzer bir şekilde çalıştığını belirtmektedir.
Araştırmada kullanılan SymBench veri seti, özellikle uzamsal akıl yürütme, matematiksel işlemler, sıralama ve optimizasyon gibi karmaşık sembolik görevleri içeren 37 farklı görevden oluşmaktadır. Bu veri seti, CodeSteer’ın performansını test etmek için kullanılmış ve elde edilen sonuçlar, CodeSteer’ın diğer yöntemlerden %53,3 olan doğruluk oranını %86,4’e çıkarmasına olanak sağlamıştır.
Sonuçlar, CodeSteer’ın küçük, ancak etkili rehberliği sayesinde daha büyük dil modellerinin çok daha verimli hale gelebileceğini göstermektedir. Bu teknik, aynı zamanda daha az hesaplama gücü gerektiren ve daha hızlı çözümler sunan bir yöntem sunmaktadır. Araştırmacılar, gelecekte bu yöntemleri daha da optimize etmeyi ve metinsel akıl yürütme ile kod üretimi arasında geçiş yapabilen birleşik bir modeli nasıl etkili bir şekilde ince ayar yapabileceklerini araştırmayı planlamaktadırlar.
Sonuç olarak, CodeSteer’ın geliştirilmesi, büyük dil modellerinin hesaplama gücünü daha verimli kullanabilmelerini sağlayarak, pratikte uygulamalı yapay zeka çözümleri üretme potansiyelini artırmaktadır. Bu gelişmeler, özellikle karmaşık karar destek sistemlerinde ve dinamik problem çözme senaryolarında önemli katkılar sağlayabilir.
Kaynaklar :
Chen, Y., Hao, Y., Liu, Y., Zhang, Y., & Fan, C. (2025). CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance. arXiv preprint arXiv:2502.04350.
Duyuru Haberi MIT News (CodeSteer) sayfasından takip edebilirsiniz.