查看: 260|回复: 9

关于数据挖掘和数据分析师

签到天数: 1 天

连续签到: 1 天

[LV.1]初来乍到

396 主题	307 好友	5万积分

第三章

听着时间涓滴败血

积分: 51214

发表于 2012-4-29 20:34:26 | 显示全部楼层 |阅读模式

╱人◕‿‿◕人╲定下契约

您需要登录才可以下载或查看，没有账号？╱人◕‿‿◕人╲订下契约（注册新用户）

x

本帖最后由软软的上嘴唇于 2012-4-29 20:35 编辑

数据挖掘(data mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

网络之后的下一个技术热点　　
我们现在已经生活在一个网络化的时代，通信、计算机和网络技术正改变着整个人类和社会。如果用芯片集成度来衡量微电子技术，用CPU处理速度来衡量计算机技术，用信道传输速率来衡量通信技术，那么摩尔定律告诉我们，它们都是以每18个月翻一番的速度在增长，这一势头已经维持了十多年。在美国，广播达到5000万户用了38年；电视用了13年；Internet拨号上网达到5000万户仅用了4年。全球IP网发展速度达到每6个月翻一番，国内情况亦然。1999年初，中国上网用户为210万，现在已经达到600万。网络的发展导致经济全球化，在1998年全球产值排序前100名中，跨国企业占了51个，国家只占49个。有人提出，对待一个跨国企业也许比对待一个国家还要重要。在新世纪钟声刚刚敲响的时候，回顾往昔，人们不仅要问：就推动人类社会进步而言，历史上能与网络技术相比拟的是什么技术呢?有人甚至提出要把网络技术与火的发明相比拟。火的发明区别了动物和人，种种科学技术的重大发现扩展了自然人的体能、技能和智能，而网络技术则大大提高了人的生存质量和人的素质，使人成为社会人、全球人。
　　现在的问题是：网络之后的下一个技术热点是什么？让我们来看一些身边俯拾即是的现象：《纽约时报》由60年代的10～20版扩张至现在的100～200版，最高曾达1572版；《北京青年报》也已是16～40版；市场营销报已达100版。然而在现实社会中，人均日阅读时间通常为30～45分钟，只能浏览一份24版的报纸。大量信息在给人们带来方便的同时也带来了一大堆问题：第一是信息过量，难以消化；第二是信息真假难以辨识；第三是信息安全难以保证；第四是信息形式不一致，难以统一处理。人们开始提出一个新的口号：“要学会抛弃信息”。人们开始考虑：“如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？”
　　面对这一挑战，数据开采和知识发现（DMKD）技术应运而生，并显示出强大的生命力。
数据爆炸但知识贫乏　　
另一方面，随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。
支持数据挖掘技术的基础　　
数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的，然后发展到可对数据库进行查询和访问，进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而促进信息的传递。现在数据挖掘技术在商业应用中已经可以马上投入使用，因为对这种技术进行支持的三种基础技术已经发展成熟，他们是：
　　- - 海量数据搜集
　　- - 强大的多处理器计算机
　　- - 数据挖掘算法
　　Friedman[1997]列举了四个主要的技术理由激发了数据挖掘的开发、应用和研究的兴趣：
　　- - 超大规模数据库的出现，例如商业数据仓库和计算机自动收集的数据记录；
　　- - 先进的计算机技术，例如更快和更大的计算能力和并行体系结构；
　　- - 对巨大量数据的快速访问；
　　- - 对这些数据应用精深的统计方法计算的能力。
　　商业数据库现在正在以一个空前的速度增长，并且数据仓库正在广泛地应用于各种行业；对计算机硬件性能越来越高的要求，也可以用现在已经成熟的并行多处理机的技术来满足；另外数据挖掘算法经过了这10多年的发展也已经成为一种成熟，稳定，且易于理解和操作的技术。
从商业数据到商业信息的进化　　
从商业数据到商业信息的进化过程中，每一步前进都是建立在上一步的基础上的。见下表。表中我们可以看到，第四步进化是革命性的，因为从用户的角度来看，这一阶段的数据库技术已经可以快速地回答商业上的很多问题了。
数据挖掘的核心模块技术历经了数十年的发展，其中包括数理统计、人工智能、机器学习。今天，这些成熟的技术，加上高性能的关系数据库引擎以及广泛的数据集成，让数据挖掘技术在当前的数据仓库环境中进入了实用的阶段。
数据挖掘逐渐演变的过程　　
数据挖掘其实是一个逐渐演变的过程,电子数据处理的初期,人们就试图通过某些方法来实现自动决策支持,当时机器学习成为人们关心的焦点.机器学习的过程就是将一些已知的并已被成功解决的问题作为范例输入计算机,机器通过学习这些范例总结并生成相应的规则,这些规则具有通用性,使用它们可以解决某一类的问题.随后,随着神经网络技术的形成和发展,人们的注意力转向知识工程,知识工程不同于机器学习那样给计算机输入范例，让它生成出规则，而是直接给计算机输入已被代码化的规则，而计算机是通过使用这些规则来解决某些问题。专家系统就是这种方法所得到的成果，但它有投资大、效果不甚理想等不足。80年代人们又在新的神经网络理论的指导下，重新回到机器学习的方法上，并将其成果应用于处理大型商业数据库。随着在80年代末一个新的术语，它就是数据库中的知识发现，简称KDD(Knowledge discovery in database).它泛指所有从源数据中发掘模式或联系的方法，人们接受了这个术语，并用KDD来描述整个数据发掘的过程，包括最开始的制定业务目标到最终的结果分析，而用数据挖掘（data mining）来描述使用挖掘算法进行数据挖掘的子过程。但最近人们却逐渐开始使用数据挖掘中有许多工作可以由统计方法来完成，并认为最好的策略是将统计方法与数据挖掘有机的结合起来。
　　数据仓库技术的发展与数据挖掘有着密切的关系。数据仓库的发展是促进数据挖掘越来越热的原因之一。但是，数据仓库并不是数据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息。

与数据挖掘相似的数据分析师
项目数据分析师（CERTIFIED PROJECTS DATA ANALYST）简称：CPDA ，是专业从事投资项目财务数据分析的高级决策人通过掌握的大量行业数据以及科学的计算工具，为投资机构做出正确的项目投资决策。

CPDA 由中国商业联合会数据分析专业委员会，国家工信部颁发的项目数据分析师职业技术证书。

【主要工作领域及岗位】
1、从事投资项目审核审批和招商引资、项目评估、投资决策等工作的政府机构、企业的相关领导以及从业人员。
2、在银行或非银行金融机构、投资管理公司、投资管理顾问公司从事风险投资、产业投资、信贷和投资管理等方面工作的专业从业人员。
3、会计师事务所、资产评估事务所及税务师事务所、律师相关专业人员。`
4、学习财务、统计、投资、金融和企业管理等相关专业的在校应届学生。
5、在企事业单位从事市场调查与宣传工作的人士以及具有策划与决策工作职能要求的人士。
6、希望在不同领域尝试创业以及在投资、金融、资本运营、房地产和企业管理领域发展的各界人士。
7、正在从事和希望从事数据分析相关工作的其他相关人士。

数据分析师的级别1、数据跟踪员

虽然这个工作的人还不能称作数据分析师，但是往往作这样工作的人还都自称是数据分析师，
这样的人，只能通过×××系统看到有限的数据，并且很少去处理数据，甚至不理解数据的由来和含义，只是机械的把自己看到的数据拷贝出来，转发给相应的人。
这类人发出来的数据，是否有意义，怎么解读，他自己是不知道的，只能期望收到数据的人了。

2、数据查询员/处理员

这些人可以称为分析师了，他们已经对数据有一定的理解了，对于大部分数据，他们也知道数据的定义，并且可以通过监控系统或者原始的数据，处理得到这些数据。
统计学的方法，这批人还是很精通的，统计学的工具，他们也是用起来得心应手，你让他们做一下因子分析，聚类肯定是没问题，各类检验也是用的炉火纯青。
他们的不足是：1、如果不告诉他们命题，那么他们就不知道该应用什么样的方法去得到结论了。2、对于数据的处理没问题，但是却没有一个很好的数据解读能力。只能在统计学的角度上解释数据。

3、数据分析师

数据分析师这群人，对于数据的处理已经不是问题了，他们的重点已经转化到怎么样去解读数据了，同样的数据，在不同人的眼中有不一致的内容。
好的数据分析师，是能通过数据找到问题，准确的定位问题，准确的找到问题产生的原因，为下一不的改进，找到机会点的人。
往往科班出身的人，欠缺的不是在处理数据上，而是在解读数据上，至于将数据和产品结合到一起，则是其更缺少的能力了。

4、数据应用师

数据应用，这个词很少被提到。但是应用数据被提的很多，分析了大量的数据，除了能找到问题以外，还有很多数据可以还原到产品中，为产品所用。
典型的是在电子商务的网站中，用户的购买数据，查看数据和操作的记录，往往是为其推荐新商品的好起点，而数据应用师就是要通过自己的分析，给相应的产品人员一个应该推荐什么产品，购买的可能性会最大的一个结论。
国内能做到这个级别的数据人员还真是少的可怜，甚至大部分人员连数据的视图都搞不定，而真正意义上的能数据应用师，可以用数据让一个产品变得更加的简单高校。

5、数据规划师

数据规划师，不能说水品上比数据应用师高多少，而是另外一个让数据有价值的方向。
往往在实际的应用中，数据都是有其生命周期的，用来分析，应用的数据也是，这点上，尤其是在互联网公司更加明显，一个版本的更新，可能导致之前的所有数据都一定程度的失效。
数据规划师在一个产品设计之前，就已经分析到了，这个产品应该记录什么样的数据，这些数据能跟踪什么问题，哪些记录到的数据，可以应该用到数据中去，可以对产品产生什么样的价值。

签名被小宅喵吞掉了~~~~(>_<)~~~~

使用道具举报