GITBOOK-48: No subject

Author: jingedawang

book/di-4-jie-yu-yan-jian-mo-zhi-nan.md

@@ -16,19 +16,19 @@
 
 回想我们自己，当我们读到一个字时，几乎瞬间就能明白它的含义。整个过程甚至是下意识的，仿佛大脑中隐含着一个“字典”，一看到这个字就能立即跳转到其解释。但此“字典”非我们前面提到的字典。在[第2节](di-2-jie-cong-yi-ge-shi-ji-an-li-ru-shou.md)的字典里，我们只是做了简单映射，把字转换到了ID，但大脑的“字典”则会更进一步，把字转换成它的含义。我们尚不知道这种含义如何在大脑中存储和表示，但我们可以肯定地说，它一定不只是一个简简单单的ID。
 
-从数学的角度上看，任何事物都可以用数字表示。ID可以用数字表示，事物的含义其实也可以用数字表示。不过，当我们用数字表示含义的时候，它必须具有内在价值，或者说存在物理解释。比如，用摄氏度表示温度，每个数字都与具体的物理世界相关联，0℃正好对应着冰的熔点。这种物理解释将数字本身的性质与物理现象统一起来，越小的数代表越低的温度，而且温度变化和数字变化的规律是一致的，也就是说，数字加减乘除的结果仍然可以解释温度变化，于是对温度的研究就可以转化为数学运算。
+从数学的角度来看，任何事物都可以用数字表示。ID可以用数字表示，事物的含义其实也可以用数字表示。不过，当我们用数字表示含义的时候，它必须具有内在价值，或者说存在物理解释。比如，用摄氏度表示温度，每个数字都与具体的物理世界相关联，0℃正好对应着冰的熔点。这种物理解释将数字本身的性质与物理现象统一起来，越小的数代表越低的温度，而且温度变化和数字变化的规律是一致的，也就是说，数字加减乘除的结果仍然可以解释温度变化，于是对温度的研究就可以转化为数学运算。
 
-回到文字上，文字的含义其实也存在物理解释，在大脑中，这种解释可能是神经元突触间特定的激活模式，只是我们不十分了解这一过程。既然如此，不如由我们自己来创造一个物理解释，来捕捉文字的内涵。
+回到文字上，文字的含义其实也存在物理解释。在大脑中，这种解释可能是神经元突触间特定的激活模式，只是我们不十分了解这一过程。既然如此，不如由我们自己来创造一个物理解释，来捕捉文字的内涵。
 
-首先，文字的含义本质上是信息。信息是一个很广的概念，任何事物，实在的或抽象的，都可以认为是信息。信息产生的目的是方便人们沟通，比如，当我说“我很渴”的时候，你就能想到我需要喝水。“渴”和“水”这两个字虽然一个抽象一个具体，指向不同的事物，但它们之间有着紧密的联系。本质上，这种关联衡量了事物之间的相似性，而整个世界恰恰是由相似性联结起来的。你可以试着想象，如果任何事物都和其它事情毫无关联，我们该如何理解这个世界。
+首先，文字的含义本质上是信息。信息是一个很广的概念，任何事物，实在的或抽象的，都可以认为是信息。信息产生的目的是方便人们沟通，比如，当我说“我很渴”的时候，你就能想到我需要喝水。“渴”和“水”这两个字虽然一个抽象一个具体，指向不同的事物，但它们之间有着紧密的联系。本质上，这种关联衡量了事物之间的相似性，而整个世界恰恰是由相似性联结起来的。很难想象，如果任何事物都和其它事情毫无关联，我们该如何理解这个世界。
 
 那么，以相似性为基础，我们应该让相似的字用相似的数来表示。就像温度一样，相近的温度对应的数值应该更接近。但对文字来说，这个要求很难满足，因为字和字之间的相似性不是单调排列的。如果我们说“渴”和“水”含义相近，这种相似体现在动物的生理行为层面，渴了就需要喝水。同时，我也可以说“水”和“油”相似，因为它们都是液体。但由此并不能说明“渴”和“油”相似，因为渴了并不应该喝油。于是，这种相似性的排序会成为巨大的难题。我们不可能在一条数轴上安排好所有字的合适位置，换句话说，我们不能用一个数来代表一个字。
 
 谈到此处，你或许对我的意图有所察觉——我们应该用多个数来表示一个字。如果用两个数表示一个字，就意味着把所有字安排在二维平面上。如果用三个数，就意味着把所有字安排在三维空间中。然而，即使是三维空间也仍然不够用，它不足以区分文字内在的微妙含义。可以想象，几维空间就意味着我们需要在几个层面上把所有字排好序。然而，任何一个字恐怕都包含了不止三重含义，所以三维是不够的。
 
 继续升维，就进入了所谓的高维空间。我们不如一步到位，选一个很高的维度，以免不够用，假设是1024维。用1024个数来表示一个字，每个数代表某个特定层面的微妙含义，估计是够了。
 
-不过，我们如何定义每个维度的含义呢？很显然，我们定义不了，也根本不知道该如何找出1024种微妙的解释。但没关系，别忘了我们有神经网络。就像在小王的例子中，他事先定义好了输入的维度和每个维度的解释，然后交给神经网络处理。实际上，我们也可以不定义每个维度的解释，只是告诉神经网络输入维度是1024，让它通过学习数据来自己探索和发现每个维度的意义。
+不过，我们如何定义每个维度的含义呢？很显然，我们定义不了，也根本不知道该如何找出1024种微妙的解释。但没关系，别忘了我们有神经网络。在小王的例子中，他事先定义好了输入的维度和每个维度的解释，然后交给神经网络处理。实际上，我们也可以不定义每个维度的解释，只是告诉神经网络输入维度是1024，让它通过学习来自己探索和发现每个维度的意义。
 
 但没有解释的话，输入的这1024个值如何确定呢？
 
@@ -102,8 +102,8 @@
 
 <figure><img src=".gitbook/assets/grouped_full_connection.png" alt=""><figcaption><p>图7 神经网络的每一层都以组的单位接收或处理数据</p></figcaption></figure>
 
-的确，在这个处理下，连线变得非常稀疏，好像又回到了最初使用ID输入的模式，只不过每个输入现在不是一个ID，而是一个1024维的向量。
+的确，这种方式的连线变得非常稀疏，好像又回到了最初使用ID输入的模式，只不过每个输入现在不是一个ID，而是一个1024维的向量。
 
-虽然看起来很清爽，但实际上，图7的结构并没有说清楚数据是如何在神经元之间传递的。在图6中，每条箭头明确地代表一个数，中间层神经元接收到几个箭头，它代表的函数就有几个自变量。而图7中间层的一组神经元接收来自输入的255组神经元的数据，具体每个神经元接收到哪些数据，图中并没有说明。也就是说，图7中的连接定义了一种开放的模型结构，它只规定一组神经元连接到另一组神经元，但具体组的内部如何处理这些数据，可以有不同的实现方式。
+虽然看起来很清爽，但实际上，图7的结构并没有说清楚数据是如何在神经元之间传递的。在图6中，每条箭头明确地代表一个数，中间层神经元接收到几个箭头，它代表的函数就有几个自变量。而图7中间层的一组神经元接收来自输入的255组神经元的数据，具体每个神经元接收到哪些数据，图中并没有说明。也就是说，图7定义了一种开放的模型结构，它只规定一组神经元连接到另一组神经元，但具体组的内部如何处理这些数据，可以有不同的实现方式。
 
 至于怎样实现最好，下节就来揭晓答案。