更新 14章 文档部分

Author: jiangzhonglian

docs/14.利用SVD简化数据.md

@@ -7,7 +7,7 @@
 
 ```
 奇异值分解（SVD, Singular Value Decomposition）:
-    提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提出信息的强大工具。
+    提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提取信息的强大工具。
 ```
 
 ## SVD 场景
@@ -19,10 +19,10 @@
 
 ![LSA举例](/images/14.SVD/使用SVD简化数据-LSI举例.png)
 
-> 推荐引擎
+> 推荐系统
 
 1. 利用 SVD 从数据中构建一个主题空间。
-2. 再在该空间下计算其相似度。(从高维-低维空间的转化，在低维空间来计算相似度，SVD提升了推荐引擎的效率。)
+2. 再在该空间下计算其相似度。(从高维-低维空间的转化，在低维空间来计算相似度，SVD 提升了推荐系统的效率。)
 
 ![主题空间案例1](/images/14.SVD/SVD_推荐系统_主题空间案例1.jpg)
 
@@ -32,39 +32,47 @@
 
 例如：`32*32=1024 => 32*2+2*1+32*2=130`(2*1表示去掉了除对角线的0), 几乎获得了10倍的压缩比。
 
+![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg)
+
 ## SVD 原理
 
 ### SVD 工作原理
 
 > 矩阵分解
 
 * 矩阵分解是将数据矩阵分解为多个独立部分的过程。
-* 矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新形式时两个或多个矩阵的乘积。（类似代数中的因数分解）
+* 矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新形式是两个或多个矩阵的乘积。（类似代数中的因数分解）
 * 举例：如何将12分解成两个数的乘积？（1，12）、（2，6）、（3，4）都是合理的答案。
 
 > SVD 是矩阵分解的一种类型，也是矩阵分解最常见的技术
 
-* SVD 将原始的数据集矩阵Data分解成三个矩阵U、∑、\\(V^T\\)
+* SVD 将原始的数据集矩阵 Data 分解成三个矩阵 U、∑、V
 * 举例：如果原始矩阵 \\(Data_{m*n}\\) 是m行n列，
-    * \\(U_{m*m}\\) 表示m行m列
-    * \\(∑_{m*n}\\) 表示m行n列
-    * \\(V^T_{n*n}\\) 表示n行n列。
+    * \\(U_{m*n}\\) 表示m行n列
+    * \\(∑_{m*k}\\) 表示m行k列
+    * \\(V_{k*n}\\) 表示k行n列。
+
+\\(Data_{m*n} = U_{m\*k} \* ∑_{k\*k} \* V_{k\*n}\\)
+
+![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg)
+
+具体的案例：（大家可以试着推导一下：https://wenku.baidu.com/view/b7641217866fb84ae45c8d17.html ）
 
-![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.png)
+![SVD公式](/images/14.SVD/SVD公式的测试案例.jpg)
 
-* 上述分解中会构建出一个矩阵∑，该矩阵只有对角元素，其他元素均为0(近似于0)。另一个惯例就是，∑的对角元素是从大到小排列的。这些对角元素称为奇异值，它们对应原始矩阵 Data 的奇异值。
-* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Date^T\\) 特征值的平方根。
+* 上述分解中会构建出一个矩阵∑，该矩阵只有对角元素，其他元素均为0(近似于0)。另一个惯例就是，∑的对角元素是从大到小排列的。这些对角元素称为奇异值。
+* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Data^T\\) 特征值的平方根。
 * 普遍的事实：在某个奇异值的数目(r 个=>奇异值的平方和累加到总值的90%以上)之后，其他的奇异值都置为0(近似于0)。这意味着数据集中仅有 r 个重要特征，而其余特征则都是噪声或冗余特征。
 
 ### SVD 算法特点
 
 ```
-优点：简化数据，去除噪声，提高算法的结果
+优点：简化数据，去除噪声，优化算法的结果
 缺点：数据的转换可能难以理解
 使用的数据类型：数值型数据
 ```
 
-## 推荐引擎
+## 推荐系统
 
 ### 推荐系统 概述
 
@@ -87,10 +95,12 @@
 > 基于物品的相似度和基于用户的相似度：物品比较少则选择物品相似度，用户比较少则选择用户相似度。【矩阵还是小一点好计算】
 
 * 基于物品的相似度：计算物品之间的距离。【耗时会随物品数量的增加而增加】
+* 由于物品A和物品C 相似度(相关度)很高，所以给买A的人推荐C。
 
 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于物品相似度.png)
 
 * 基于用户的相似度：计算用户之间的距离。【耗时会随用户数量的增加而增加】
+* 由于用户A和用户C 相似度(相关度)很高，所以A和C是兴趣相投的人，对于C买的物品就会推荐给A。
 
 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于用户相似度.png)
 
@@ -111,9 +121,9 @@
     * `相似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))`
     * 如果夹角为90度，则相似度为0；如果两个向量的方向相同，则相似度为1.0。
 
-> 推荐引擎的评价
+> 推荐系统的评价
 
-* 采用交叉测试的方法。
+* 采用交叉测试的方法。【拆分数据为训练集和测试集】
 * 推荐引擎评价的指标： 最小均方根误差(Root mean squared error, RMSE)，也称标准误差(Standard error)，就是计算均方误差的平均值然后取其平方根。
     * 如果RMSE=1, 表示相差1个星级；如果RMSE=2.5, 表示相差2.5个星级。
 
@@ -126,7 +136,7 @@
     3. 对这些物品的评分从高到低进行排序，返回前N个物品。
 
 
-### 项目案例: 餐馆菜肴推荐引擎
+### 项目案例: 餐馆菜肴推荐系统
 
 #### 项目概述
 

images/14.SVD/SVD公式的测试案例.jpg

@@ -52,14 +52,20 @@ def loadExData():
            [1, 1, 1, 0, 0],
            [5, 5, 5, 0, 0]]
     """
+    # # 原矩阵
+    # return[[1, 1, 1, 0, 0],
+    #        [2, 2, 2, 0, 0],
+    #        [1, 1, 1, 0, 0],
+    #        [5, 5, 5, 0, 0],
+    #        [1, 1, 0, 2, 2],
+    #        [0, 0, 0, 3, 3],
+    #        [0, 0, 0, 1, 1]]
+
     # 原矩阵
-    return[[1, 1, 1, 0, 0],
-           [2, 2, 2, 0, 0],
-           [1, 1, 1, 0, 0],
-           [5, 5, 5, 0, 0],
-           [1, 1, 0, 2, 2],
-           [0, 0, 0, 3, 3],
-           [0, 0, 0, 1, 1]]
+    return[[0, -1.6, 0.6],
+           [0, 1.2, 0.8],
+           [0, 0, 0],
+           [0, 0, 0]]
 
 
 # 相似度计算，假定inA和inB 都是列向量
@@ -297,12 +303,15 @@ def imgCompress(numSV=3, thresh=0.8):
 if __name__ == "__main__":
 
     # # 对矩阵进行SVD分解(用python实现SVD)
-    # Data = loadExData()
-    # print Data
-    # U, Sigma, VT = linalg.svd(Data)
+    Data = loadExData()
+    print 'Data:', Data
+    U, Sigma, VT = linalg.svd(Data)
     # # 打印Sigma的结果，因为前3个数值比其他的值大了很多，为9.72140007e+00，5.29397912e+00，6.84226362e-01
     # # 后两个值比较小，每台机器输出结果可能有不同可以将这两个值去掉
-    # print Sigma
+    print 'U:', U
+    print 'Sigma', Sigma
+    print 'VT:', VT
+    print 'VT:', VT.T
 
     # # 重构一个3x3的矩阵Sig3
     # Sig3 = mat([[Sigma[0], 0, 0], [0, Sigma[1], 0], [0, 0, Sigma[2]]])
@@ -326,10 +335,10 @@ def imgCompress(numSV=3, thresh=0.8):
     """
 
     # 计算相似度的方法
-    myMat = mat(loadExData2())
+    # myMat = mat(loadExData2())
     # print myMat
     # 计算相似度的第一种方式
-    print recommend(myMat, 1, estMethod=svdEst)
+    # print recommend(myMat, 1, estMethod=svdEst)
     # 计算相似度的第二种方式
     # print recommend(myMat, 1, estMethod=svdEst, simMeas=pearsSim)