更新15章内容

Author: jiangzhonglian

docs/15.大数据与MapReduce.md

@@ -2,31 +2,52 @@
 
 ![大数据与MapReduce首页](/images/15.BigData_MapReduce/mr_headPage.jpg "大数据与MapReduce首页")
 
+## 大数据 概述
+
 `大数据: 收集到的数据已经远远超出了我们的处理能力。`
 
-## MapReduce
 
+## 大数据 场景
+
+```
+假如你为一家网络购物商店工作，很多拥护访问该网站，其中有些人会购买商品，有些人则随意浏览后就离开。
+对于你来说，可能很想识别那些有购物意愿的用户。
+那么问题就来了，数据集可能会非常大，在单机上训练要运行好几天。
+接下来：我们讲讲 Hadoop 如何来解决这样的问题
 ```
-Hadoop 是 MapRedece框架的一个免费开源实现。
+
+
+## MapReduce 
+
+### Hadoop 概述
+
+```
+Hadoop 是 MapRedece 框架的一个免费开源实现。
 MapReduce: 分布式的计算框架，可以将单个计算作业分配给多台计算机执行。
-优点: 使程序以并行的方式执行，可在短时间内完成大量工作。
-缺点: 算法必须经过重写，需要对系统工程有一定的理解。
-适用数据类型: 数值型和标称型数据。
 ```
 
-* MapReduce框架的示意图
-* ![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图")
+### MapRedece 原理
+
+> MapRedece 工作原理
+
+* 主节点控制 MapReduce 的作业流程
+* MapReduce 的作业可以分成map任务和reduce任务
+* map 任务之间不做数据交流，reduce 任务也一样
+* 在 map 和 reduce 阶段中间，有一个 sort 和 combine 阶段
+* 数据被重复存放在不同的机器上，以防止某个机器失效
+* mapper 和 reducer 传输的数据形式为 key/value对
 
-> 关于MapRduce的学习要点
+![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图")
 
-* 主节点控制MapReduce的作业流程
-* MapReduce的作业可以分成map任务和reduce任务
-* map任务之间不做数据交流，reduce任务也一样
-* 在map和reduce阶段中间，有一个sort和combine阶段
-* 数据被重复存放在不同的机器上，以防止某个机器实效
-* mapper和reducer传输的数据形式为key/value对
+> MapRedece 特点
+
+```
+优点: 使程序以并行的方式执行，可在短时间内完成大量工作。
+缺点: 算法必须经过重写，需要对系统工程有一定的理解。
+适用数据类型: 数值型和标称型数据。
+```
 
-## Python中Hadoop流的使用
+### Hadoop 流(Python 调用)
 
 > 理论简介
 
@@ -44,27 +65,27 @@ cat inputFile.txt | python mapper.py | sort | python reducer.py > outputFile.txt
 # 测试 Mapper
 # Linux
 cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py
-# # Window
+# Window
 # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt
 
 # 测试 Reducer
 # Linux
 cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py | python src/python/15.BigData_MapReduce/mrMeanReducer.py
-# # Window
+# Window
 # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanReducer.py
 ```
 
-## MapReduce上的机器学习
+### MapReduce 机器学习
 
-> Mahout in Action
+#### Mahout in Action
 
 1. 简单贝叶斯：
 2. k-近邻算法：
 3. 支持向量机(SVM)：使用随机梯度下降算法求解，如Pegasos算法。
 4. 奇异值分解：Lanczos算法是一个有效的求解近似特征值的算法。
 5. k-均值聚类：canopy算法初始化k个簇，然后再运行K-均值求解结果。
 
-## 使用mrjob库将MapReduce自动化
+#### 使用 mrjob 库将 MapReduce 自动化
 
 > 理论简介
 
@@ -85,23 +106,12 @@ python mrMean.py < inputFile.txt > myOut.txt
 python src/python/15.BigData_MapReduce/mrMean.py < input/15.BigData_MapReduce/inputFile.txt
 ```
 
-## 利用Pegasos算法并行训练支持向量机
-
-> 在MapReduce框架上使用SVM的一般方法
+#### 利用 Pegasos 算法并行训练支持向量机
 
-```
-收集数据：数据按文本格式存放。
-准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用map作业来完成，从而达到并行处理的目的。
-分析数据：无。
-训练算法：与普通的SVM一样，在分类器训练上仍需花费大量的时间。
-测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。
-使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。
-```
+Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)
 
-> Pegasos 算法
+> Pegasos 工作原理
 
-Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)。
-Pegasos算法工作流程是：
 1. 从训练集中随机挑选一些样本点添加到带处理列表中
 2. 按序判断每个样本点是否被正确分类
     * 如果是则忽略
@@ -111,19 +121,30 @@ Pegasos算法工作流程是：
 上述算法伪代码如下：
 
 ```
-将w初始化为0
+将 w 初始化为0
 对每次批处理
-    随机选择k个样本点(向量)
+    随机选择 k 个样本点(向量)
     对每个向量
         如果该向量被错分：
-            更新权重向量w
-    累加对w的更新
+            更新权重向量 w
+    累加对 w 的更新
+```
+
+> 开发流程
+
+```
+收集数据：数据按文本格式存放。
+准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用 map 作业来完成，从而达到并行处理的目的。
+分析数据：无。
+训练算法：与普通的 SVM 一样，在分类器训练上仍需花费大量的时间。
+测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。
+使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。
 ```
 
-我们继续看Python版本的代码实现。
+我们继续看 Python 版本的代码实现。
 
 * * *
 
-* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian) [小瑶](http://www.apache.wiki/display/~chenyao)**
+* **作者：[片刻](http://cwiki.apachecn.org/display/~jiangzhonglian) [小瑶](http://cwiki.apachecn.org/display/~chenyao)**
 * [GitHub地址](https://github.com/apachecn/MachineLearning): <https://github.com/apachecn/MachineLearning>
 * **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)**