前回の記事では、「連続実数」の存在は正しいとも間違っているとも言えず、ゲーデルの不完全性定理の影響を受ける、という驚きの事実を紹介しました。
つまり、数直線上に“なめらかに”数が詰まっているという前提すら、論理的には確定できないのです。
これは、物理量や時間をどのように扱うかという問題にもつながります。
Volterra級数と離散モデル
Volterra級数という数学モデルがあります。非線形（曲がった関数）かつ記憶を持つシステム、たとえば『今の状態は過去の状態に依存する』といった複雑な現象を扱うのに適した表現です。時間が連続していることを前提としたモデルです。
しかしこれに対し、時間を離散的（とびとびの時刻）に扱いながら、同様の現象を表現する方法があります。それが、
Volterra-Kolmogorov-Gabor（VKG）多項式
\[
y_n = a_0 + \sum_{i=1}^{M} a_i x_i + \sum_{i=1}^{M} \sum_{j=1}^{M} a_{ij} x_i x_j + \sum_{i=1}^{M} \sum_{j=1}^{M} \sum_{k=1}^{M} a_{ijk} x_i x_j x_k + \cdots
\]\[
\mathbf{X} = (x_1, x_2, \ldots, x_M)
\quad \text{：入力変数ベクトル（説明変数や時系列データ）}
\]\[
\mathbf{A} = (a_0, a_i, a_{ij}, a_{ijk}, \ldots)
\quad \text{：係数ベクトル（学習されるモデルの重み）}
\]\[
y_n
\quad \text{：モデルの出力（時刻 } n \text{ における予測値）}
\]\[
M
\quad \text{：入力変数の数（次元数）}
\]\[
\sum
\quad \text{：各項にわたる総和（高次の交差項を表す）}
\]
と呼ばれる離散時間モデルです。
VKG多項式とGMDH
このVKG多項式は、以前ブログで述べた「GMDH（Group Method of Data Handling）」という、今あらためて注目されつつある学習アルゴリズムに使われています。
GMDHは、ニューラルネットワークよりも人間の論理的推論に近い構造をもつとさえ一部で言われており、次のような特徴があります：
- 物理量の時系列データ（時間や空間に沿った測定値）をそのまま扱える
- ノード（処理単位）同士を多項式テンプレートで接続し、ネットワークを自動構築する
- 非線形な関係をデータ駆動的に抽出できる
このGMDHを考案したアレクセイ・イヴァフネンコは、連続実数のような数学的理想に頼るのではなく、離散的なデータの構造から出発して学習・予測を行うという思想を持っていました。
数学的理想からの脱却？
我々が扱う現実世界のデータ――センサー値、時系列、空間の計測――は、すべて離散的にサンプリングされた情報です。にもかかわらず、AIや機械学習ではいまだに「連続的な関数」「なめらかな数直線」を仮定してしまうことが多いのです。
GMDHのようなモデルは、そうした連続性の幻想から一歩離れ、現実的な構造に根ざした推論を志向します。
おわりに
連続か、離散か。この問いは単なる数学の話ではなく、我々のAIの設計思想そのものを揺さぶる論点です。
今後さらに、GMDHやVKG多項式の実装や応用例についても掘り下げていきたいと思います。
コメント