流形假设
流形假设认为，现实中的很多高维数据集实际上沿着高维空间内的低维潜流形分布。[1][2][3][4]流形假设的结果是，很多最初看起来需要很多变量描述的数据集，实际上只需要较少变量，这好比底流形的局部坐标系。有人认为，这原理是机器学习算法通过考虑一些共有特征以有效描述高维数据集的基础。
流形假设与机器学习中非线性降维的有效性有关。流形雕刻、流形对齐、流形正则化等很多降维技术都假设数据位于低维子流形上。
流形假设的主要意义在于
统计流形的信息几何
流形假设的一种经验主义方法侧重于与流形学习理论间的对应，其假设是：稳健的机器学习需要用数据压缩方法编码感兴趣的数据集。在有效编码假设、预测编码与变分贝叶斯方法的研究者们共同努力下，这一观点利用信息几何工具逐渐形成。
推理分布潜空间的信息几何的论据在于费舍尔信息度量的存在性和唯一性。[6]在这种一般情形下，我们试图找到统计流形的随机嵌入。从动力系统的角度看，大数据情景中流形通常表现出某些特性，如均衡性
- 可从底层生成过程中获取大量数据样本
- 机器学习实验具有可重复性，因此生成过程的统计表现为静态（stationarity）
理论神经科学家在研究自由能原理时精确地指出，有关的统计流形表现为马尔可夫毯。[7]
巴别塔悖论
Romain Brette的巴别塔悖论[8]是有效编码假设在生物可行的流形学习算法面临的基本挑战：
有效编码假设认为，神经元将信号高效地编码为尖峰序列，即去除原信息的所有冗余、同时保留信息，即编码后信息可映射回原信息 (Barlow, 1961; Simoncelli, 2003)。这意味着在完全有效的编码中，编码信息与随机信息没有区别。编码根据输入的统计数据确定，且只传递编码后的信息，因此编码的有效程度是接收者无法理解的。这就是有效编码的悖论。
在神经编码的隐喻中，编码是“私有”的，是每个神经元特有的。然则所有神经元使用的都是不同的语言，能非常简洁地表达概念，其他人却无法理解。因此，根据编码隐喻，大脑就是一座巴别塔。
预测与有效编码理论预测，每个神经元都有自己的有效编码，是由最大熵推理得出的。可将这些局部编码视作不同的语言。Brette随后推测，既然神经元都有种对相邻神经元的随机语言，那么全局编码应该是不可能的。
参考文献
- ^ Gorban, A. N.; Tyukin, I. Y. Blessing of dimensionality: mathematical foundations of the statistical physics of data. Phil. Trans. R. Soc. A. 2018, 15 (3): 20170237. Bibcode:2018RSPTA.37670237G. PMC 5869543
. PMID 29555807. doi:10.1098/rsta.2017.0237.
- ^ Cayton, L. Algorithms for manifold learning (PDF) (技术报告). University of California at San Diego: 1. 2005. 12(1–17).
- ^ Fefferman, Charles; Mitter, Sanjoy; Narayanan, Hariharan. Testing the manifold hypothesis. Journal of the American Mathematical Society. 2016-02-09, 29 (4): 983–1049. S2CID 50258911. arXiv:1310.0425 . doi:10.1090/jams/852.
- ^ Olah, Christopher. Blog: Neural Networks, Manifolds, and Topology. 2014 [2024-06-09]. （原始内容存档于2024-09-18）.
- ^ Chollet, Francois. Deep Learning with Python 2nd. Manning. 2021: 128–129. ISBN 9781617296864.
- ^ Caticha, Ariel. Geometry from Information Geometry. MaxEnt 2015, the 35th International Workshop on Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2015. arXiv:1512.09076 .
- ^ Kirchhoff, Michael; Parr, Thomas; Palacios, Ensor; Friston, Karl; Kiverstein, Julian. The Markov blankets of life: autonomy, active inference and the free energy principle. J. R. Soc. Interface. 2018, 15 (138): 20170792. PMC 5805980 . PMID 29343629. doi:10.1098/rsif.2017.0792.
- ^ Brette, R. 07 December 2017. The Paradox of the Efficient Code and the Neural Tower of Babel [Blog post]. Retrieved from http://romainbrette.fr/what-is-computational-neuroscience-xxvii-the-paradox-of-the-efficient-code-and-the-neural-tower-of-babel/ （页面存档备份，存于互联网档案馆）
阅读更多
- Brown, Bradley C. A.; Caterini, Anthony L.; Ross, Brendan Leigh; Cresswell, Jesse C.; Loaiza-Ganem, Gabriel. The Union of Manifolds Hypothesis and its Implications for Deep Generative Modelling. The Eleventh International Conference on Learning Representations. 2023 [2024-06-09]. arXiv:2207.02862 . （原始内容存档于2023-05-22）.
- Lee, Yonghyeon. A Geometric Perspective on Autoencoders. 2023. arXiv:2309.08247 .