研究紹介

連想記憶と自己組織化の数理

玉森研究室の研究領域は、脳の記憶メカニズムに立脚した「連想記憶モデル（ホップフィールド・ネットワーク）」と「自己組織化の数理」です。

人間をはじめとする生物の脳は、ノイズを含む不完全な情報からでも、瞬時に全体像を想起する高度な情報処理を行っています。この「連想記憶」のプロセスは、相互作用する多数の素子が織りなすエネルギーの地形（ランドスケープ）の中を、状態が安定な谷底（アトラクタ）へと遷移していく力学系として数学的に記述されます。こうした記憶のメカニズムには、現代の計算機科学における情報処理の限界を越えるための、本質的な数理的原理が潜んでいると考えられています。

近年、深層学習や大規模言語モデルの発展により、人工知能技術は大きな飛躍を遂げました。一方で、これらのシステムは莫大な計算資源を要求し、その内部における情報処理のプロセスはしばしばブラックボックス化しています。当研究室では、計算機の規模に頼るのではなく、脳の連想記憶の原理を単純化・抽象化し、それを数学的なモデルとして定式化することで、より透明性が高く効率的な情報処理の枠組みを構築することを目指しています。

ネットワークがデータを学習し、どのように安定した記憶の地形を形作るのかを理解するためには、学習のダイナミクスを記述する確固たる理論が必要です。当研究室では、「カーネル法」などの機械学習の手法を連想記憶モデルに導入し、その振る舞いを「情報幾何学」や「統計力学」の枠組みから解析しています。

カーネル法を用いることで、ネットワークはデータを高次元空間へと写像し、高い記憶容量を獲得します。この学習の過程を詳細に調べると、ネットワークのパラメータ空間には「最適化の尾根（Ridge of Optimization）」と呼ばれる特異な幾何学構造が現れることがわかってきました。学習アルゴリズムは、この曲率の極端に大きな空間の境界（Edge of Stability）において、時に不安定な振る舞いを示しながらも、結果として自律的に安定な記憶のアトラクタを形成する「自己組織化」の過程を経ることが明らかになりつつあります。

このような自己組織化の現象を理解するためには、個別の学習結果だけでなく、背後にある普遍的な構造を捉える必要があります。パラメータがなす高次元の曲がった空間（多様体）の幾何学的な性質が学習の軌跡をどう支配するのかを議論する「情報幾何学」、そして、多数の記憶が互いに干渉する中でどのようにシステム全体のマクロな安定性が保たれるのかを記述する「統計力学」の視点が、現象の解明には不可欠です。

当研究室は、力学系、情報幾何、統計力学の数理的な枠組みを融合し、「ネットワークはいかにして記憶を自己組織化するのか」という問いの解明を通じて、知的情報処理の原理に迫る基礎研究に取り組んでいます。

これまでの主な研究成果（学術論文 / プレプリント）

これまで、高容量化に伴って生じる非自明な現象とその背後にあるメカニズムについて、以下の知見を得てきました。

• アトラクタ地形の定量解析と記憶限界の解明 [1, 2]

ネットワークサイズに対する最適カーネル幅の非自明なスケーリング則を導出し、線形にスケールする記憶容量を実現しました。さらに、記憶の境界が相転移のように鋭利であること（Critical Slowing Down）を示し、実質的な記憶限界が「幾何学的な分離可能性」ではなく「クロストークノイズに対する動的安定性（SNR）」によって定まることを明らかにしました。

• 最適化の尾根（Ridge）とスペクトル集中メカニズム [3]

記憶容量とノイズ頑健性が極大化する特異なパラメータ領域「Ridge of Optimization」を発見しました。この領域では、ネットワークが「安定性を担う巨大な第1固有値」と「容量を保つための裾野（Tail）」を持つ極端に偏った状態へと自己組織化する「Spectral Concentration（スペクトル集中）」が起きていることを突き止めました。

• 学習力学系の情報幾何学的解析と Edge of Stability [4, 5]

Ridgeの幾何学的な正体を「ランク1崩壊の境界に位置する特異点」として特定しました。通常の勾配法（GD）が示す激しい振動は、学習率の限界ギリギリで曲率を平衡させる「自己安定化プロセス（Edge of Stability）」であり、深層学習におけるFlat Minima仮説に反して「極度に尖った境界でこそ最適な記憶が形成される」ことを示しました。また、空間の歪みを補正する自然勾配法（NGD）を用いれば、この高曲率空間でも測地線に沿って滑らかに最適解へ収束することを実証しました。

• 表現の双対性と極限ハードウェア（エッジAI）への適合性 [6, 7]

本ネットワークの表現が「入力空間では疎（スパース）に機能し、パラメータ空間では密（バイモーダル）な分布を持つ」という双対性を持つことを解明しました。この性質により、極低精度（2-bit）量子化に対する頑健性と、非同期更新下（イベント駆動）でのスプリアス振動のない最小イベント収束を実現しており、ニューロモルフィックハードウェアへの実装に適していることを示しました。

参考文献

[1] Akira Tamamori, "Quantitative attractor analysis of high-capacity kernel Hopfield networks," NOLTA, vol. E17-N, no. 3, pp. 770--787, July 2026. DOI: 10.1587/nolta.17.770

[2] Akira Tamamori, "Geometric and dynamical analysis of attractor boundaries and storage limits in kernel Hopfield networks," arXiv preprint arXiv:2605.00366, May 2026. DOI: 10.48550/arXiv.2605.00366 （投稿準備中）

[3] Akira Tamamori, "Self-organization and spectral mechanism of attractor landscapes in high-capacity kernel Hopfield networks," NOLTA, vol. E17-N, no. 3, pp. 788--804, July 2026. DOI: 10.1587/nolta.17.788

[4] Akira Tamamori, "Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories," arXiv preprint arXiv:2609.16827, September 2026. DOI: 10.48550/arXiv.2609.16827 （査読中）

[5] Akira Tamamori, "Geometry of learning dynamics: Gradient descent versus natural gradient on the ridge of optimization," arXiv preprint arXiv:2609.16805, September 2026. DOI: 10.48550/arXiv.2609.16805 （投稿準備中）

[6] Akira Tamamori, "Efficient event-driven retrieval in high-capacity kernel Hopfield networks," NOLTA, vol. E18-N, no. 1, pp. **--**, January 2027. DOI: 10.48550/arxiv.2605.05978 (accepted, in press)

[7] Akira Tamamori, "Quantization robustness from dense representations of sparse functions in high-capacity kernel associative memory," NOLTA, vol. E18-N, no. 1, pp. **--**, January 2027. DOI: 10.48550/arXiv.2604.20333 (accepted, in press)

[8] Akira Tamamori,（近日公開予定）

[9] Akira Tamamori,（近日公開予定）