财新传媒


什么是“探索性数据分析”

2016年01月06日 14:49 来源于 财新网
在大数据时代,混乱的、无结构的、多媒体的海量数据,通过各种渠道源源不断地积累和记载着人类活动的各种痕迹。探索性数据分析可以成为了一个有效的工具
张小彦
财新网“决策智能”专栏作家。20世纪80年代由费孝通先生推荐赴美留学。1989年获匹兹堡大学社会学博士。二十多年来遵循费老“社会学为社会服务”的教诲,将社会科学与现代信息技术相结合开发社会管理和决策支持软件系统。曾为美国联邦政府和二十几个州政府设计、建立了毒品滥用预防活动管理信息系统。2007至2010年,被美国卫生部聘为毒品滥用预防和治疗研究中心国家级顾问;同年,获得国家预防网络授予的服务金奖;2008年获得了美国安永企业家东部地区年度奖;2010年被匹兹堡地区商业周刊评为行业标兵。现任美国匹茨堡大学客座教授并兼任一家软件公司董事长和数据科学家。

  美国约翰•怀尔德杜克(John Wilder Tukey)1977年在《探索性数据分析》(Exploratory Data Analysis)一书中第一次系统地论述了探索性数据分析。他的主要观点是:探索性数据分析(EDA)与验证性数据分析(Confirmatory Data Analysis )有所不同:前者注重于对数据进行概括性的描述,不受数据模型和科研假设的限制,而后者只注重对数据模型和研究假设的验证。他认为统计分析不应该只重视模型和假设的验证,而应该充分发挥探索性数据分析的长处,在描述中发现新的理论假设和数据模型。

  推荐进入财新数据库,可随时查阅宏观经济、股票债券、公司人物,财经数据尽在掌握。

责任编辑:张帆 | 版面编辑:刘潇

财新微信