纵横大数据主要观点（四）

经典DBMS的挑战

1. 数据量与处理压力带来的扩展性的挑战,主要体现在：
   1. 企业的核心业务系统，应付用户并发量与数据量增长的压力越来越严重；
   2. 企业的业务分析系统应付数据处理强度与数据量增长的压力也越来越严重。
2. 对多种数据类型管理以及弱模式管理需求满足。
3. 主流关系型数据库应对现代数据管理需求的挑战的主要策略，主要分两种（基于分布式与并行技术解决方案架构）：
   1. Share Disk：从名字上可以判断，主要是扩展了数据库计算能力，但是磁盘、网络IO依旧是瓶颈；典型产品Oracle RAC，实际项目中超过4个RAC节点OLTP的集群很少，当增加第一个RAC节点时数据库性能可以显著提升性能，增加更多节点数据库性能则不能线性增加，甚至可能出现多节点的数据库性能还不如单机性能（数据库主要性能瓶颈时磁盘IO瓶颈，在OLTP和OLAP都有可能发生，OLAP场景更多一些；节点数量增加并没有解决硬盘IO瓶颈，且增加节点导致的协调、控制等损耗更大）。
   2. Share Nothing ：通过分片技术让每个节点上存储的数据都不相同，这样即可解决水平扩展中磁盘IO问题，典型产品TeraData，GreenPlum；这种架构下由于数据分散在不同节点，这种架构天然就不适合OLTP的场景（例如：表关联操作不得不进行节点间数据迁移工作）。Share Nothing架构基本上都用于OLAP场景。

数据库的改进

技术改进

1. 列存储：数据按列存储，对于少量的查询操作则可以只读出需要列的数据而不是整表数据，数据库主要瓶颈磁盘IO/网络IO，减少读取的数据则可以提升效率；
2. 智能扫描：主要是在存储节点提供计算能力，在存储节点上根据SQL语句过滤不必要的数据，例如传统数据库技术中对于一个没有索引的表执行select c_1,c_2 from t where r1=4需要将整个表读取到内存再根据SQL规则计算，而有智能扫描能力数据库则可以在存储节点上加入了CPU操作，过滤那些不必要的数据，减少了计算节点和存储节点之间的数据传输；
3. 高速缓存与内存：一是通过高速缓存（Flash Cache）批量写数据减少磁盘IO操作，二是把内存当硬盘，硬盘当磁带使用，将所有数据装载到内存，定期更新内存数据到硬盘；
4. 数据压缩：对同一列数据进行压缩，压缩以后传输到内存的数据变少，减少IO操作

数据库一体机

典型的产品包括：TeraData一体机（OLAP），Oracle Exadata一体机（OLTP和OLAP混合负载，实际更优于OLAP），Oracle Exadata一体机计算节点采用了RAC的计算架构，存储上采用InfiniBand网络。