米Google（グーグル）のデータ圧縮技術「TurboQuant」が注目を集めている。生成AI（人工知能）に広く使われるメモリー「KVキャッシュ」を効率的に使えるようにするものだ。メモリーの需要が縮小するとの見方が市場に広がったことを背景に、米Mic ...

シェアードメモリの場合は、デバイスメモリからデータをコピーしてくると、それは単なるデータ(値)であり、元のデバイスメモリのアドレスとは関係が切れてしまう。したがって、シェアードメモリのデータは、シェアードメモリに付けられたアドレスを ...

CPUのスペックを語る時、クロック周波数やコア／スレッド数のほかに、「CPUキャッシュメモリ」に言及されることがあります。このCPUキャッシュメモリとは何なのかについて、開発者のガブリエル・G・クンハ氏が解説しています。 キャッシュメモリは、CPU ...

GPUの1次キャッシュのコヒーレンシ また、GPUはSMごとに1次キャッシュメモリを持っている。従って、1つのSM内で走るすべてのスレッドは同じ状態を見ることになり、矛盾は生じない。しかし、これをマルチコアのCPUの1次キャッシュと同じように、すべてのSM ...

The dynamic interplay between processor speed and memory access times has rendered cache performance a critical determinant of computing efficiency. As modern systems increasingly rely on hierarchical ...

「キャッシュメモリ」は「メインメモリ」に対して小規模ながら、快適なアプリケーションの利用に大きく貢献している。キャッシュメモリの仕組みや役割に光を当てよう。 キャッシュメモリとは、頻繁にアクセスするデータを一時的に保持するメモリを指す ...

Google researchers have published a new quantization technique called TurboQuant that compresses the key-value (KV) cache in large language models to 3.5 bits per channel, cutting memory consumption ...

コンピューティングの“黒子”として欠かせないのが「メインメモリ」と「キャッシュメモリ」だ。この2つは何がどう違うのか。 メインメモリは、アプリケーションからデータへの高速アクセスを実現する。メインメモリの容量が不十分だと、データ処理 ...

東芝は、2次以降のオンチップキャッシュを全て磁気メモリ(STT-MRAM)に置き換えることで、大規模高性能プロセッサやSoC(System on a Chip)などの消費電力と製造コストを低減する技術を開発した。米国ワシントンD.C.で開催されている電子デバイス技術の国際学会IEDM ...

Image:PortalRunner/YouTubePCが遅くなってきたときにメモリを増やすと安心するのよね。コンピュータのメモリが足りていません。生成AIの台頭が原因です。今すぐに生成AIバブルがはじけて、データセンター建設計画がすべておじゃんにな ...