数据挖掘分析观后感整理

舍恩伯格的《大数据时代》被人推崇为2012最佳书籍，今年安泰读书会的重头戏。虽然主讲人最后放了个香港大黄鸭般的鸽子，但现场讨论氛围依旧非常热烈——而且还是在没几个人读完的情况下，也就意味着——大数据对我们的影响，已经深入到生活的方方面面。
无处不在的大数据：各种云计算，谷歌的神通，亚马逊的推送，天涯人肉，微博万能等等等等，我们掌握了新的工具，也获取了以前从未有过的各种信息。大数据拉近了我们与现实的距离，“地球村”变成了“地球屋”，仿佛所有人所有事物都触手可及，而这些牛逼哄哄的互联网巨头就在客厅展示着世界的每一寸光景。
然而，事实真的是这样吗?首先，从应用角度出发，低廉的运算能力和存储空间，让以前的样本分析显得非常简陋——一些从全体数据挖掘出来，忽略精确而从大量数据的简单算法得出来的结论颠覆了常识。但个人觉得，这只是统计学的终极目标——并没有非常大的跨越，可能终结了回归分析，有效性验证等手段，但依旧还是统计。而革命性在于关注相关关系而非因果关系。现场讨论从神学角度挑战了因果关系的不可能——或者说人类用简单思考的逻辑来定义因果，以及用之前小数据演绎出大概率事件来推导因果，都是不正确的。真正的因果关系应该属于上帝的范畴，人类如果真的完全掌握之后，会统治整个宇宙。但我觉得，无需从神学观点来讨论，而可以借鉴量子力学对经典力学的颠覆——在原子层面上，经典力学会失效——那么在大数据层面上，普通的抽样调查直观反映会失效。
而且从量子力学角度是很难推导经典力学的公式，那么从现在的惯有思维，也难以推导出大数据的因果关系。同时现场有讨论，是否计算机可以精确地模拟每个原子，然后完整地展现微观到宏观的化学反应细节?我觉得首先是计算能力不足，其次即便设定原子的运动条件真的正确，计算结果未知但宏观结果我们却已经知道——牛顿的经典力学足以应付日常绝大部分情况了。好比切西瓜，究竟刀头的铁原子和西瓜的有机分子如何作用，真的重要吗?回归到商业领域，如果我们可以提高相关性的准确度，从而提高投入效率，那就已经足够了。本来一个产品受到一半客户喜欢，但如果通过大数据挖掘到更好的定位，有百分之八十的客户喜欢，那么价值已经非常可观了。