Yapay Zekada Tokenizasyon Devrimi: 'Byteification' ile Karakter Bazlı Öğrenme
· 2 kaynaktan derlendi
Araştırmacılar, LLM'lerin kelime parçacıkları (token) yerine doğrudan baytlar üzerinden işlem yapmasını sağlayan 'byteification' yöntemini geliştirdi. Bu sayede modeller, harf sayma gibi temel karakte
Kaynaklar
- Retrofitted LLM can count the letter ‘i’s in ‘artificial intelligence’— Nature
- Retrofitting language models to operate over bytes— Nature
Haberin tamamını, arka planını ve ilgili dosyayı görmek için Recap'e giriş yap. Haber #246847