---
title: 高次元ほど勾配法で局所最小値に取り残されづらい
date: 2023-09-17T02:57:57.000Z
updated: 2026-03-01T16:19:23.801Z
tags:
  - computational-thinking
url: https://www.baku89.com/ja/%E9%AB%98%E6%AC%A1%E5%85%83%E3%81%BB%E3%81%A9%E5%8B%BE%E9%85%8D%E6%B3%95%E3%81%A7%E5%B1%80%E6%89%80%E6%9C%80%E5%B0%8F%E5%80%A4%E3%81%AB%E5%8F%96%E3%82%8A%E6%AE%8B%E3%81%95%E3%82%8C%E3%81%A5%E3%82%89%E3%81%84
---

# 高次元ほど勾配法で局所最小値に取り残されづらい

> 言い換えると、直観には反するものの、ニューラルネットでは単純な問題より複雑な問題のほうが容易に解けるということだ。その理由を大ざっぱに言うと、「重み変数」が大量にあると、高次元の空間に「多方向の道」ができ、それが最小値へとつながることがある。それに対して、変数が少なくなると、単純に局所最小値、つまり「山間の湖」にはまりこんでしまい、そこから「抜け出す道」がなくなるのである。

『ChatGPTの頭の中 - Steven Wolfram』 p.54

確かに。

水で考えるとわかりやすい

- **1次元**なら、水をせき止めるのに両端をふさげば済む
- **2次元**なら、周囲をぐるっと囲む必要がある
- **3次元**なら袋で包むしかない\
  次元が上がるほど、完全に封じ込めるための「面」が増える\
  だから、水はどこかから漏れるし、勾配もどこかに流れる

**ここからの仮説：**\
僕らがチューニング対象として扱える潜在空間に、ある程度の次元数があるなら、近視眼的な局所最適化でも、袋小路に閉じ込められるリスクは意外と小さいんじゃないか

これは、市場原理の説明にも通じる。プレイヤーがそれぞれ利己的・近視眼的に行動しても、全体としてはそれなりに最適化されてしまうことがあるのは、探索空間が十分に高次元だから

ただし「プレイヤーにとって意識的に操作可能な次元数が十分に大きい」というのが肝心。ほとんどの場合、探索空間の次元数に対して、プレイヤーの頭の中にある潜在空間はコンパクトすぎる。ゆえに、本来の高次元空間では鞍部にあたる場所が山間の湖に見えてしまう。その周囲を取り囲う山を飛び越える＝リスクをとらないと、安住の低地には抜け出せない

[佐藤雅彦](/%E4%BD%90%E8%97%A4%E9%9B%85%E5%BD%A6)のいう「[ジャンプ](/%E3%82%B8%E3%83%A3%E3%83%B3%E3%83%97)」は、人間にとっての空間の狭さゆえに必要とされる飛躍のことをいう

→ [探索空間と潜在空間](/%E6%8E%A2%E7%B4%A2%E7%A9%BA%E9%96%93%E3%81%A8%E6%BD%9C%E5%9C%A8%E7%A9%BA%E9%96%93)