在传统的数据仓库建设中,往往强调数据的收集以及前端的数据展现,而对数据仓库的设计与建模关心不足,造成系统升级困难,甚至项目实施的失败。当前数据仓库的实施、设计与建模已经得到最终用户的高度重视,因为成功的设计对数据仓库的实施来说可以达到事半功倍的效果。然而成功的设计需要正确的设计方法、大量的需求调研以及丰富的实施经验,这是大多数厂商在实施过程中尤为头疼的问题。目前,只有Sybase公司提供了近乎完美的行业数据仓库设计模型IWS。IWS在全球已被广泛应用,近期在中国也逐步得到应用,如大鹏证券的数据仓库项目就采用Sybase公司的Adaptive Server IQ Multiplex和IWS产品。
Sybase IQ Multiplex是一个高度可扩展的分析型数据库引擎,专门为分析型应用与数据仓库而设计,使数据仓库应用拥有卓越的查询性能与最低的总拥有成本。IQ Multiplex是专门为分析型(不是事务型)而建构的,首先关注的是查询的性能。其垂直存储、专利索引技术以及独特的架构使其成为数据仓库的最佳选择。
带压缩的列存储 IQ Multiplex按列而不是行存储数据——这与所有其他关系型数据库引擎广泛使用的存储方法方向相反。
独特的索引结构 IQ Multiplex中使用的索引结构的组合是独特的,为数据仓库高度优化的。比特式(bit-wise)索引及相应的压缩技术是Sybase 的一项专利。Sybase IQ Multiplex运用这一技术对数据仓库中的所有字段建立索引,不仅带来查询效率的大幅度提高,还降低了对磁盘空间的使用。
查询优化 IQ Multiplex拥有一个出色的查询优化器,能够对谓词评估、联合类型、排序、分组、数据访问以及其他查询评估步骤做出复杂的决定。由于IQ Multiplex架构允许维护大量索引,而且由于系统在多数情况下通过索引化的列值保留了精确的行的记录数,优化器能够比许多关系型引擎更好地利用这些信息来生成更佳的查询计划。
全新的多线索体系结构 在IQ名称后面加上“Multiplex”表明了它支持并行操作。Sybase IQ Multiplex采用了新的体系结构,即单进程多线索结构。这种结构在处理多个并发用户的请求时,能够降低处理和内存方面的开销,并支持数百甚至上千个并发用户的能力。
快速加载 IQ Multiplex支持批量与非批量数据库加载。并行操作已经内建到面向插入与更新操作的加载器中,因此,无需为多个数据仓库应用提交多个并行加载工作以获得并行化。
IQM 与“非共享的” MPP(大规模并行处理)之比较 IQ Multiplex 共享磁盘,不需要对数据库进行分区。MPP 系统由于需要对数据表进行水平数据分区,因此,大大地增加了工作量及维护和管理数据库所需的成本。IQM 不受错误的数据和查询的影响,与MPP 系统不同,它能够有效地管理不同规模的节点。