物联网、云计算、移动互联网等新技术的发展,使得手机、平板电脑、PC及遍布地球各个角落的传感器,成为数据来源和承载方式。据估计,互联网上的数据量每两年会翻一番,到2013年,互联网上的数据量将达到每年667EB(1EB=230GB)。这些数据绝大多数是“非结构化数据”,通常不能为传统的数据库所用,但这些庞大的数据“宝藏”将成为“未来的新石油”。
中国已经步入大数据时代,现在中国的很多部委都已经在研究大数据、运用大数据。美国将大数据提升为国家战略,中国还没有明确提出,但已经把大数据上升为与国防一样的高度,多部委还联合发布了鼓励措施。我国政府对大数据的敏感度快速提高,并正在采取措施。所以说,中国已经步入大数据时代,这种重视是由政府层面自上而下进行普及的,可能还未普及到普通百姓层面,但各级政府已经有了高度重视。邬贺铨院士也曾表示:“我国将产生全球最大量的数据,要重视大数据的开发利用和管理。”
大数据的关键在于分享。我国智慧城市发展的一个瓶颈在于信息孤岛效应,各政府部门间不愿公开、分项数据,这就造成数据之间的割裂,无法产生数据的深度价值。关于这一问题,一些政府部门也有清醒的认识,开始寻求解决方案,这是受自身的需求驱动的。比如,一些政府部门原来不愿分享自己的数据,但现在开始寻求数据交换伙伴,因为他们逐渐意识到单一的数据是没法发挥最大效能的,部门之间相互交换数据已经成为一种发展趋势。同时,随着各方面的发展及政策的推进,很多以前不公开的数据也逐渐公开了,这对大数据的发展都是有力的支持。