大数据的技术是数据管理技术的一种,数据管理系统有着悠久的发展历史,它是所有计算机应用的基础。谈到数据管理的软件,必须关注数据管理软件所依赖的硬件环境和它来解决的应用场景,我们可以通过图1来认识数据管理软件的位置。首先它是一种软件,处于底层硬件和上层应用之间,本质上是利用计算机硬件的存储和计算能力,对数据进行存储、管理、加工等操作,最终为了支持上层各类应用。
图1 数据管理技术发展背景
数据管理技术到现在至少有50年的发展历史,大概经历了几个发展阶段,见图2。第一个阶段是关系型数据模型的提出,为关系数据库发展奠定了理论基础;第二个阶段是Oracle和DB2等商业关系型数据库的兴起和发展壮大,开始了商业数据库产品在各行各业的应用,数据库也正式成为了继服务器、操作系统之外的第三个必须品;第三阶段由于业务场景的需要,数据库被分为面向业务的事务数据库和面向分析统计的分析数据库,两者之间的架构和建模方式也发生了变化,这是数据库技术的第一次分离;第四个阶段是数据库技术的分布式浪潮,最早是从数据分析端产生的,单机无法应对海量数据分析的需求,分布式水平扩展的需求提上日程,Hadoop、Spark和各类NoSQL都是为了应对这一需求而诞生,而分布式的技术也在2010年左右扩展到了事务数据库领域,主要为了应对越来越多的互联网业务。
图2 数据管理系统的发展阶段