BitNetによるAIのさらなる進化

https://the-decoder.com/bitnet-b1-58-the-future-of-chatbots-could-be-1-bit
https://huggingface.co/papers/2402.17764

これまで32bitや16bitの精度や、突き詰めても4bit量子化くらいまでが実用的なAIパラメータの計算精度でしたが、パラメーターを1bit（正確には1.58bit、0,1,-1の3値)の精度で計算する手法が出てきました。

1.58bit化することで行列計算における積算をなくすことができ、すべての計算を和算のみで完結できるようになることからCPUを用いての計算でもGPUと遜色ない速度が出せるということで将来のローカルデバイスでの推論に大きな発展がありそうです。
それでいて必要なパラメーター数があれば16bit等の精度のあるモデルと遜色ない性能が出せるのだとか。
BitNetではモデルのパラメーターに対して必要なメモリも大幅に少なくなりますので期待が高まります。

殘念ながら学習フェーズではこれまでの様に高い精度が必要であることからGPUやAI専用のTPUがAI活用において不要になることはないようですが、今後のAI活用に大きな前進となる技術となりそうで楽しみです。