深入浅出数据分析

《深入浅出数据分析》是由电音读时犯远存刚子工业出版社于2010年9月1日出版来自的图书，该书作者是米尔顿(MichaelMilton)。

• 书名 深入浅出数据分析
• 作者 米尔顿(MichaelMilton)
• 译者 李芳
• 出版社 电子工业出版社
• 出版时间 2010年9月1日

内容简来自介

　　《深入浅出数据分数尽副类析》以类似"章回小说"的复标发果活泼形式，生动地向读者展现优秀的数据分析人气员应知应会的技术:数据分析基本步骤、实验方法、最优化方法、假设检验方法、顾府井也额夫贝叶斯统计方法、主观概率法、启发法、直方引茶且促宣支奏从绿预图法、回归法、误差处理、相关数据库、数据整理技巧;正文以后，意犹未尽地360百科以三篇附录介绍数据分析十大要务、R工具及ToolPak工具，在充分展现《深入浅出数据分析》目标知识以外，为读者搭建了走向下一茶施身防学受持湖步深入研究的桥梁。

　　《解祖算当孔路专深入浅出数据分析》构思跌宕起伏，行文妙趣横生，无论读者是职场老手，还是业界新人;无论是字斟句酌，还是信手翻阅，都能跟着文字在职场中走上几回，体味数据分析领域的乐趣与挑战。

编辑推荐

　　《深入浅出数据分析》:我们生活在数据的天地里，你的工作就是淋漓尽致地发挥数据的作用。级久从哪里起步?《深入浅出数据分析》将为你提供帮助:利用Excel或Openo航器含称mce应用程序组织数据，在R应用程序中进行进一步整理，通过散点图和直方图找出有意义丰入种械载的模式，借助启发式算法作出结论费，通过实验和假定测试预见未留刻白超普事投流夜达仅来，再以清楚直观的图形展建但液个示分析结果。

　　无论你是快识压侵志铁从翻必督研究新产品可行性的开发人员，还是评估广告效果的市场营销经理;无论你是向客户呈报数据的营销员，还是管理所有这些数据密集型部门及种种其他事务的个人企业家，《深入浅出数快够缺跟节办住章侵家移据分析》都能为你带来全面的学习体验，让你将数据转变为事业中最有用的工具。

　　我们认为，您的时间极其宝贵，不该浪费在冥思苦想各种新名词、新概念上。《液度化支消合房片编束深入浅出数据分析》化管调让根据最新认知科学和学习理论，星以形成多感官学习体验为目的，顺应大脑的工作方式，设计丰富的图形图表，你将不再被密密麻麻的文字催得昏昏欲睡。

媒体推荐

　　"是时候写一本通俗易懂、内容全面的数据分析知识指南了，好让概念的学习变得既简单又有趣。借助各种成熟的技术和免费的工具，数据分析将改变你思考问题和解决问题的方式。概念对理论有用，对实践更有用。"

　　"《深来自入浅出数据分析》写得漂亮，读者可以学到分析现实问题的系统性方法。从卖咖啡到开橡皮玩具厂，再到要求老板涨工资，此书告诉我们如何发现和解密数据在日常生活中的强大作用。从图形图表到Excel和R计算机程序，《深入浅出数据分析》想尽办法让各个层次的读者都体会到系统化的数据分析对于制定大大小小的决策的强大作用。"

　　"被堆积如山的数据压得喘不过气了?让Michael Milton做你的老师吧，在办公工具里添上数据分析工具，抢占技术先机。《深入浅出数据分析》将告诉你如何将原始数据转变成真的知识。别再抽签算卦了--几套软件，一本《深入浅出数据分析》，就能让你做出正确的决策。"

　360百科　"Kathy和Bert合著的《深入浅出Java》(Head First Java)让白纸黑字摇身一变，成为读者领略过的最接近GUI的作品。作者以幽默、新潮的风格，让学习Java成为不断追问'他们接下来打算怎么办呢?'的愉快体验身李口热。"

　　"《深入浅出Java》(Head First Java)引人入胜的风格会把一无所知的你变成斗志昂扬的Java战士，不仅如此，书中还收入了大量实用事例，这样的实用事例在其他文章中只会留给恐怖的'读角者练习'。此书睿智、幽默、新潮而实用--能在讲授对象序列化和网络加载协议知识的同时有这样的主张并坚持做到的书籍并不多见。

　　"此滑首木六所主干证着书明快，风趣，玩世不恭，引人入胜。细心读--你可能确实能学到东西!"

　　"正合我们这些喜欢研究技术、生活随意的程序员的口味，实用开发策略的称手参考书--让我的大脑尽情运转，无须硬着头皮应付迂腐乏味的专家说教。"

　　"有的书是用来买的，有的书是用来藏的，还有的书是用来摆在案头的。感谢O'Reilly和Head First的员工，他们出了最高等级的书--深入浅出(变圆去毫频儿初新容表训Head First)系列，让人爱不手、百读不厌。《深入浅出SQL》(Head F毫际代里红底款七兵板irst SQL)是我最心爱的书，都快翻烂了。"

　　"本书的透彻、幽默和睿智令人钦佩，连编程门外汉也能借助这七样的书想出办法解决问题。"

　　"昨天收到书就开始读……一读就停不下来了，真是酷毙了。书全联告扬凯雨几题宣玉很有趣，内容扎实，切中活满科肯綮。印象太好了。"

　　"我读过的最有趣、最高明的软件设计图书之一。"

　　"过去要犯着错误摸索前进的漫长学习过程，现在干净利落地浓缩在一本迷人的平装书中。"

　　"每一章都凝聚着优雅的设计，每一条原理无不饱含实用价值与闪光智慧。"

　　"我《深入浅出HTML 皮毛次密味群身+ CSS & XHTML》(Head First H剧素损业触TML with CSS & XHTML)。它以'有趣'的模式，将全部知识倾囊相授。"

　　"通常，阅读设计模式方面的书或文章时，我都得头悬梁锥刺股才能保证注意力集中。这本书却是个例外，听起来可能有点怪，这诉联清本书让学习设计模式变得盎然有趣。"当其他设计模式方面的书籍还在教读者呀呀学语时，这本书却已在踏浪高歌'加油，兄弟!'"

　　"我实混烈适实在在爱这本书。不瞒大家说，我当着老婆的面亲了这本书。"

作品目录

　　总目录

　　序言 I

　　1 数据分析引言:分解数据 1

　　2 实验:检验你的理论 迅就37

　　3 最优化:寻找最大值 75

　　4 数据图形化:图形让你更精践究策一宪点司载明 111

　　5 假设检验:假设并非如此 139

　　6 贝叶斯统计:穿越第一关 169

　　7 主观概率:信念数字化 191

　　8 启发法:凭人类的天性作陈空识何盟分析 225

　　9 直方图:数字的形状 251

　　10 回归:预测 279

　　11 误差:合理误差 伟格315

　　12 相关数通据库:你能关联吗? 359

　　13 整理数据:井然有序 385

　　附录A 尾声:正文未及的十大要诀 417

　　附录B 安装R:启动R! 427

　　附录C 安装Excel分析工具:ToolPak 431

　　细分目录及各章引子

　　序言

　　大脑对待数据分析的态度。一边是你努力想学会一些知识，一边是你

　　的大脑忙着开小差。你的大脑在今想:"最好把位置留给更重要的事，

　　像该离哪些野生动物远点啊，像光着身子滑雪是不是个坏点子啊。"

　　既然如此，你该如何引诱你的大脑意识到，懂得数据分析是你安身立

　　命的根本?

　　谁适合阅读本书? II

　　我们了解你在想什么 III

　　元认知 V

　　征服大脑 VII

　　自述 VIII

　　技术顾问组 X

　　致谢 XI

　　1.分解数据数据分析引言

　　Acme化妆品公司需要你出力 2

　　首席执行官希望数据分析师帮他提高销量 3

　　数据分析就是仔细推敲证据 4

　　确定问题 5

　　客户将帮助你确定问题 6

　　Acme公司首席执行官给了你一些反馈 8

　　把问题和数据分解为更小的组块 9

　　现在再来看看了解到的情况 10

　　评估组块 13

　　分析从你介入的那一刻开始 14

　　提出建议 15

　　报告写好了 16

　　首席执行官欣赏你的工作 17

　　一则新闻 18

　　首席执行官确信的观点让你误入歧途 20

　　你对外界的假设和你确信的观点就是你的心智模型 21

　　统计模型取决于心智模型 22

　　心智模型应当包括你不了解的因素 25

　　首席执行官承认自己有所不知 26

　　Acme给你发来了一长串原始数据 28

　　深入挖掘数据 31

　　泛美批发公司确认了你的印象 32

　　回顾你的工作 35

　　你的分析让客户作出了英明的决策 36

　　2.实验

　　检验你的理论

　　你能向别人揭示自己坚信的信念吗?正在进行实证检验?做个好实验吧，再

　　没有什么办法能像一个好实验那样，既能解决问题又能揭示事物的真正运行

　　规律。一个好实验往往能让你摆脱对观察数据的无限依赖，能帮助你理清因

　　果联系;可靠的实证数据将让你的分析判断更有说服力。

　　咖啡业的寒冬到了! 38

　　星巴仕董事会将在三个月内召开 39

　　星巴仕调查表 41

　　务必使用比较法 42

　　比较是破解观察数据的法宝 43

　　价值感是导致销售收入下滑的原因吗? 44

　　一位典型客户的想法 46

　　观察分析法充满混杂因素 47

　　店址可能对分析结果有哪些影响 48

　　拆分数据块，管理混杂因素 50

　　情况比预料的更糟! 53

　　你需要做一个实验，指出哪种策略最有效 54

　　星巴仕首席执行官已经急不可待 55

　　星巴仕降价了 56

　　一个月后…… 57

　　以控制组为基准 58

　　避免解雇123 61

　　让我们重新做一次实验 62

　　一个月后… 63

　　实验照样会毁于混杂因素 64

　　精心选择分组，避免混杂因素 65

　　随机选择相似组 67

　　随机访谈 68

　　准备就绪，开始实验 71

　　结果在此 72

　　星巴仕找到了与经验吻合的销售策略 73

　　3.寻找最大值最优化

　　有些东西人人都想多多益善。为此我们上下求索。要是能用数字表示我

　　们不断追求的东西--利润、钱、效率、速度等，实现更高目标的机会

　　就在眼前。有一种数据分析工具能够帮助我们调整决策变量，找出解决

　　方案和优化点，使我们最大限度地达到目标。本章将使用这样一种工具，

　　并通过强大的电子表格软件包Solver来实现这个工具。

　　现在是浴盆玩具游戏时间 76

　　你能控制的变量受到约束条件的限制 79

　　决策变量是你能控制的因素 79

　　你碰到了一个最优化问题 80

　　借助目标函数发现目标 81

　　你的目标函数 82

　　列出有其他约束条件的产品组合 83

　　在同一张图形里绘制多种约束条件 84

　　合理的选择都出现在可行区域里 85

　　新约束条件改变了可行区域 87

　　用电子表格实现最优化 90

　　Solver一气呵成解决最优化问题 94

　　利润跌穿地板 97

　　你的模型只是描述了你规定的情况 98

　　按照分析目标校正假设 99

　　提防负相关变量 103

　　新方案立竿见影 108

　　你的假设立足于不断变化的实际情况 109

　　4.数据图形化

　　图形让你更精明

　　数据表远非你所需。你的数据庞杂晦涩，各种变量让你目不暇接，应付堆积

　　如山的电子表格不只令人厌倦不堪，而且确实浪费时间。相反，与仅仅使用

　　电子表格不同，一幅用纸不多、栩栩如生的清晰图像，却能让你摆脱"一叶

　　障目，不见泰山"的烦恼。

　　新军队需要优化网站 112

　　结果面世，信息设计师出局 113

　　前一位信息设计师提交的三份信息图 114

　　这些图形隐含哪些数据? 115

　　体现数据! 116

　　这是前一位设计师主动提供的意见 117

　　数据太多绝不会成为你的问题 118

　　让数据变美观也不是你要解决的问题 119

　　数据图形化的根本在于正确比较 120

　　你的图形已经比打入冷宫的图形更有用 123

　　使用散点图探索原因 124

　　最优秀的图形都是多元图形 125

　　同时展示多张图形，体现更多变量 126

　　图形很棒，但网站掌门人仍不满意 130

　　优秀的图形设计有助于思考的原因 131

　　实验设计师出声了 132

　　实验设计师们有自己的假设 135

　　客户欣赏你的工作 136

　　订单从四面八方滚滚而来! 137

　　5.假设并非如此假设检验

　　世事纷纭，真假难辨。人们需要用庞杂多变的数据预测未来，然而免不了

　　剪不断，理还乱。正因如此，分析师不会简单听信浮于表面的解释，也不

　　会想当然地认可这些解释的真实性:通过数据分析的仔细推理，分析师能

　　够异常细致地评估大量备选答案，然后将手头的一切信息整合到各种模

　　型中。接下来要学的证伪法即是一种切实有效的非直觉方法。

　　给我来块"皮肤"…… 140

　　我们何时开始生产新手机皮肤? 141

　　PodPhone不希望别人看透他们的下一步行动 142

　　我们得知的全部信息 143

　　电肤的分析与数据相符吗? 144

　　电肤得到了机密《战略备忘录》 145

　　变量之间可以正相关，也可以负相关 146

　　现实世界中的各种原因呈网络关系，而非线性关系 149

　　假设几个PodPhone备选方案 150

　　用手头的资料进行假设检验 151

　　假设检验的核心是证伪 152

　　借助诊断性找出否定性最小的假设 160

　　无法一一剔除所有假设，但可以判定哪个假设最强 163

　　你刚刚收到一条图片短信…… 164

　　即将上市! 167

　　6.贝叶斯统计

　　穿越第一关

　　数据收集工作永不停息。必须确保每一个分析过程都充分利用所搜集到的与

　　问题有关的数据。虽说你已学会了证伪法，处理异质数据源不在话下，可要

　　是碰到直接概率问题该怎么办?这就要讲到一个极其方便的分析工具，叫做

　　贝叶斯规则，这个规则能帮助你利用基础概率和波动数据做到明察秋毫。

　　医生带来恼人的消息 170

　　让我们逐条细读正确性分析 173

　　蜥蜴流感到底有多普遍? 174

　　你计算的是假阳性 175

　　这些术语说的都是条件概率 176

　　你需要算算 177

　　1%的人患蜥蜴流感 178

　　你患蜥蜴流感的几率仍然非常低 181

　　用简单的整数思考复杂的概率 182

　　搜集到新数据后，用贝叶斯规则处理基础概率 182

　　贝叶斯规则可以反复使用 183

　　第二次试验结果:阴性 184

　　新试验的正确性统计值有变化 185

　　新信息会改变你的基础概率 186

　　放心多了! 189

　　7. 信念数字化

　　主观概率

　　虚拟数据未尝不可。真的。不过，这些数字必须描述你的心智状态，表

　　明你的信念。主观概率就是这样一种将严谨融入直觉的简便办法，具体

　　做法马上介绍。随着讲解的进行，你将学会如何利用标准偏差评估数据

　　分布，前面学过的一个更强大的分析工具也会再次登台亮相。

　　背水投资公司需要你效力 192

　　分析师们相互叫阵 193

　　主观概率体现专家信念 198

　　主观概率可能表明:根本不存在真正的分歧 199

　　分析师们答复的主观概率 201

　　首席执行官不明白你在忙些什么 202

　　首席执行官欣赏你的工作 207

　　标准偏差量度分析点与平均值的偏差 208

　　这条新闻让你措手不及 213

　　贝叶斯规则是修正主观概率的好办法 217

　　首席执行官完全知道该怎么处理这条新信息了 223

　　俄罗斯股民欢欣鼓舞! 224

　　8.启发法

　　凭人类的天性做分析

　　现实世界的风云变幻让分析师难以料事如神。总有一些数据可望不可及，即

　　使有所能及，最优化方法也往往艰深耗时。所幸，生活中的大部分实际思维

　　活动并非以最理性的方式展开，而是利用既不齐全也不确定的信息，凭经验

　　进行处理，迅速做出决策。奇就奇在这些经验确实能够奏效，因此也是进行

　　数据分析的重要而必要的工具。

　　邋遢集向市议会提交了报告 226

　　邋遢集确实把镇上打扫得干干净净 227

　　邋遢集已经计量了自己的工作效果 228

　　他们的任务是减少散乱垃圾量 229

　　计量垃圾量不可行 230

　　问题刁钻，回答简单 231

　　数据邦市的散乱垃圾结构复杂 232

　　无法建立和运用统一的散乱垃圾计量模型 233

　　启发法是从直觉走向最优化的桥梁 236

　　使用快省树 239

　　是否有更简单的方法评估邋遢集的成就? 240

　　固定模式都具有启发性 244

　　分析完毕，准备提交 246

　　看来你的分析打动了市议会的议员们 249

　　9. 数字的形状直方图

　　直方图能说明什么?数据的图形表示方法不计其数，直方图是其中出类

　　拔萃的一种。直方图与柱状图有些相似，能迅速而有效地汇总数据。接

　　下来你将用这种小巧而实用的图形量度数据的分布、差异、集中趋势等。

　　无论数据集多么庞大，只要画一张直方图，就能"看出"数据中的奥妙。

　　让我们在本章中用一个新颖、免费、无所不能的软件工具绘制直方图。

　　员工年度考评即将到来 252

　　伸手要钱形式多样 254

　　这是历年加薪记录 255

　　直方图体现每组数据的发生频数 262

　　直方图不同区间之间的缺口即数据点之间的缺口 263

　　安装并运行R 264

　　将数据加载到R程序 265

　　R创建了美观的直方图 266

　　用数据的子集绘制直方图 271

　　加薪谈判有回报 276

　　谈判要求加薪对你意味着什么? 277

　　10.回归

　　预测

　　洞悉一切，未卜先知。回归分析法力无边，只要使用得法，就能帮助你预测

　　某些结果值。若与控制实验同时使用，回归分析还能预测未来。商家狂热地

　　运用回归分析帮助自己建立模型，预测客户行为。本章即将让你看到，明智

　　地使用回归分析，确实能够带来巨大效益。

　　你打算怎么花这些钱? 280

　　以获取大幅度加薪为目的进行分析 283

　　稍等片刻……加薪计算器! 284

　　这个算法的玄机在于预测加薪幅度 286

　　用散点图比较两种变量 292

　　直线能为客户指明目标 294

　　使用平均值图形预测每个区间内的数值 297

　　回归线预测出人们的实际加薪幅度 298

　　回归线对于具有线性相关特点的数据很有用 300

　　你需要用一个等式进行精确预测 304

　　让R创建一个回归对象 306

　　回归方程与散点图密切相关 309

　　加薪计算器的算法正是回归方程 310

　　你的加薪计算器没有照计划行事…… 313

　　11. 合理误差误差

　　世界错综复杂。预测有失精准并不稀奇。不过，如果在进行预测的时候

　　指出误差范围，你和你的客户就不仅能知道平均预测值，还能知道该误

　　差造成的典型偏差，指出误差可以让预测和信念更全面。通过本章讲授

　　的工具，你还会懂得如何控制误差及如何尽量降低误差，从而提高预测

　　可信度。

　　客户大为恼火 316

　　你的加薪预测算法做了什么? 317

　　客户组成 318

　　要求加薪25%的家伙不在模型范围内 321

　　如何对待想对数据范围以外的情况进行预测的客户 322

　　由于使用外插法而惨遭解雇的家伙冷静下来了 327

　　你只解决了部分问题 328

　　扭曲的加薪结果数据看起来是什么样子? 329

　　机会误差=实际结果与模型预测结果之间的偏差 330

　　误差对你和客户都有好处 334

　　机会误差访谈 335

　　定量地指定误差 336

　　用均方根误差定量表示残差分布 337

　　R模型知道存在均方根误差 338

　　R的线性模型汇总展示了均方根误差 340

　　分割的根本目的是管理误差 346

　　优秀的回归分析兼具解释功能和预测功能 350

　　相比原来的模型，分区模型能更好地处理误差 352

　　你的客户纷纷回头 357

　　12.你能关联吗? 关系数据库

　　如何组织变化多端的多变量数据?一张电子数据表只有两维数据:行和

　　列。如果你的数据包括许多方面，则表格格式很快就会过时。在本章，

　　你会看出电子表格很难管理多变量数据，还能看到关系数据库管理系统

　　让多变量数据的存储和检索变得极其简单。

　　《数据邦新闻》希望分析销量 360

　　这是他们保存的运营跟踪数据 361

　　你需要知道数据表之间的相互关系 362

　　数据库就是一系列相互有特定关系的数据 365

　　找到一条贯穿各种关系的路线，以便进行必要的比较 366

　　创建一份穿过这条路径的电子表格 366

　　通过汇总将文章数目和销量关联起来 371

　　看来你的散点图确实画得很好 374

　　复制并粘贴所有这些数据是件痛苦的事 375

　　用关系数据库管理关系 376

　　《数据邦新闻》利用你的关系图建立了一个RDBMS 377

　　《数据邦新闻》用SQL提取数据 379

　　RDBMS数据可以进行无穷无尽的比较 382

　　你上了封面 383

　　13.井然有序整理数据

　　乱糟糟的数据毫无用处。许多数据搜集者需要花大量时间整理数据。不

　　整齐的数据无法进行分割、无法套用公式，甚至无法阅读，被人们视而

　　不见也是常事，对不对?其实，你可以做得更好。只要眼前清楚地浮现

　　出希望看到的数据外观，再用上一些文本处理工具，就能抽丝剥茧地整

　　理数据，化腐朽为神奇。

　　刚从停业的竞争对手那儿搞到一份客户名单 386

　　数据分析不可告人的秘密 387

　　Head First猎头公司想为自己的销售团队搞到这份名单 388

　　清理混乱数据的根本在于准备 392

　　一旦组织好数据，就能修复数据 393

　　将#号作为分隔符 394

　　Excel通过分隔符将数据分成多个列 395

　　用SUBSTITUTE替换"^"字符 399

　　所有的"姓"都整理好了 400

　　用SUBSTITUTE替换名字模式太麻烦了 402

　　用嵌套文本公式处理复杂的模式 403

　　R能用正则表达式处理复杂的数据模式 404

　　用sub指令整理"名" 406

　　现在可以向客户交货了 407

　　可能尚未大功告成…… 408

　　为数据排序，让重复数值集中出现 409

　　这些数据有可能来源于某个关系数据库 412

　　删除重复名字 413

　　你创建了美观、整洁、具有唯一性的记录 414

　　Head First猎头公司正在一网打尽各种人才! 415

　　再见…… 416

　　附录A 尾声

　　正文未及的十大要诀

　　你已颇有收获。但数据分析这门技术不断变迁，学之不尽。由于本书篇幅有

　　限，尚有一些密切相关的知识未予介绍，我们将在本附录中浏览十大知识点。

　　其一:统计知识大全 418

　　其二:Excel技巧 419

　　其三:耶鲁大学教授Edward Tufte(爱德华·塔夫特)的图形原则 420

　　其四:数据透视表 421

　　其五:R社区 422

　　其六:非线性与多元回归 423

　　其七:原假设-备择假设检验 424

　　其八:随机性 424

　　其九:Google Docs 425

　　其十:你的专业技能 426

　　启动R! 附录B 安装R

　　强大的数据分析功能靠的是复杂的内部机制。好在只需几分钟就能安装

　　和启动R，本附录将介绍如何不费吹灰之力安装R。

　　附录C 安装Excel分析工具

　　ToolPak

　　Excel有一些最好的功能在默认情况下并不安装。为了执行第3章的优化和第

　　9章的直方图，需要激活Solver和Analysis ToolPak，Excel在默认情况下安

　　装了这两种扩展插件，但若非用户主动操作，这些插件不会被激活。

其他图书

　　Head First Java

　　Head First Object-Oriented Analysis and Design(OOA&D)

　　Head First HTML with CSS and XHTML

　　Head First Design Patterns

　　Head First Servlets and JSP

　　Head First EJB

　　Head First PMP

　　Head First SQL

　　Head First Software Development

　　Head First JavaScript

　　Head First Ajax

　　Head First Physics

　　Head First Statistics

　　Head First Rails

　　Head First PHP & MySQL

　　Head First Algebra

　　Head First Web Design

　　Head First Networking