财新传媒


数据融合:大数据分析的瓶颈

2016年03月23日 09:29 来源于 财新网
数据处理新工具使数据科学家从数据准备的繁琐工作中解放出来,但如何根据每个数据分析项目量体定制,融合多源数据以形成有效的分析数据集仍是数据科学家必须面对的一个更具挑战性的瓶颈
张小彦
财新网“决策智能”专栏作家。20世纪80年代由费孝通先生推荐赴美留学。1989年获匹兹堡大学社会学博士。二十多年来遵循费老“社会学为社会服务”的教诲,将社会科学与现代信息技术相结合开发社会管理和决策支持软件系统。曾为美国联邦政府和二十几个州政府设计、建立了毒品滥用预防活动管理信息系统。2007至2010年,被美国卫生部聘为毒品滥用预防和治疗研究中心国家级顾问;同年,获得国家预防网络授予的服务金奖;2008年获得了美国安永企业家东部地区年度奖;2010年被匹兹堡地区商业周刊评为行业标兵。现任美国匹茨堡大学客座教授并兼任一家软件公司董事长和数据科学家。

  【财新网】(专栏作家 张小彦)利用互联网购物的营销数据来追踪和勾画消费行为并以此为据促销是大数据应用的成功典型案例。有些人已此将大数据吹得神乎其神,好像它能成为万能药。其实,这只是大数据应用中的很小一部分。作为智能决策的支持手段之一,大数据在企业、事业、政府、社会管理和发展上的应用是更重要的挑战。在这里,多源数据的融合就成为大数据分析中的瓶颈。

  每个亲身参加过大数据项目的数据科学家、数据分析师、数据库管理员都会告诉你,项目的80%的时间和经费花在数据的准备工作上。这其中多源数据的融合是最耗费资源的任务之一。难怪最近纽约时报惊呼:“数据科学家把高达 80%的时间用于数据准备而不是用来发现新的商业智能”。

  推荐进入财新数据库,可随时查阅宏观经济、股票债券、公司人物,财经数据尽在掌握。

责任编辑:张帆 | 版面编辑:刘潇

财新微信