基于MySQL和Infobright的数据仓库技术
基于MySQL和Infobright的数据仓库技术
数据仓库/分析/商务智能( BI )领域正在飞速发展。在激烈的经济竞争中所有行业和智能企业需要利用其内部的数据来做出重要的商业决策，包括战术和战略两方面，以保持行业的领先地位。
数据仓库(如对MySQL的一次重大社会和客户调查)目前是MySQL的第五种最常见的应用。现在用于MySQL数据仓库最流行的存储引擎是MyISAM (第二个是InnoDB的) ，当数据达到1TB左右是他的性能依然很优越。在此之后，大量的用户往往将数据仓库分布在多个服务器，以提高性能。现在，从分析公司IDC统计资料来看，大多数的数据仓库是6TB下(据IDC称只有4 %超过25TB)，因此这意味着大多数人成天都只在管理数百GB和6TB之间的数据仓库。
MySQL的数据仓库引擎InfoBright, infobright，一个基于mysql的数据仓库系统实现，它已经是很多开源或商用BI系统的底层存储引擎。
不同于一般的数据库，ICE的MySQL引擎是列式存储，一般的数据库是行式存储，这样的好处是，按某字段内容做查询条件，查询相当于取这个表中某一列，效率可见一斑。
由于是分析型OLAP数据库， 不支持insert、update、delete等操作，也没有主键，数据只能load infile进去. 压缩比高达1/4
最后最关心的还是ICE的查询速度，对单列数据精确定位，基本在2秒之内能出来，对数据按条件范围查询，如like手机号查询，3.9秒出来，至于之前用MySQL的myisam引擎，同样一个查询要18秒！
小结一下，用Infobright的MySQL数据引擎，查询效率高，压缩比高，不过需要更新或删除操作的，就比较麻烦了，不过面向OLAP数据仓库，更新和删除是大忌就是了，Infobright从根本上杜绝了这样的一些损害查询效率的操作。
几大优点：
1、高压缩比率，平均压缩比可达10：1，甚至可以达到40:1，我用infobright把3.1G的数据存成不足300M。
2、列存储，即使数据量十分巨大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。
3、不需要建索引，就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格节点记录块内的统计信息，代替索引，加速搜索。
4、单一台服务器可以高效地读写30T数据。具有可扩展性，这里是指对于同样的查询，当数据量是10T时，它耗费的时间不应该比1T数据量时慢太多，基本是一个数量级内。
与mysql对比：
1、infobright适用于数据仓库场合，即非事务、非实时、非多并发；分析为主；存放既定的事实（基本不会再变
相关文档：
在选择存储引擎时，应根据应用特点选择合适的存储引擎，对于复杂的应用系统可以根据实际情况选择多种存储引擎进行组合。
下面是常用存储引擎的适用环境。
●MyISAM:默认的Mysql插件式存储引擎。如果应用是以读写和插入操作为主，只有很少更新和删除操作，并且对事务完整性，并发性要求不是很高，那么� ......
MySQL常用命令总结
===MySQL基础====
mysql下载: http://www.mysql.com/
mysqld 常规MySQL服务器
mysqld-opt 优化mysql服务器,提供一些功能可以挖掘更好的功能
mysqld-max 与mysqld一样,但可以支持更新,更具实验性质的功能(更不稳定)
++安装mysql
参见自带的INSTALL-SOURCE文件
$ ./configure –prefix=/app/m ......
1.
前言
我使用的主机名为server1.example.com
，ip
地址是192.168.0.100
。这些设置可能与你想要的有所不同，所以你必须在适当的地方修改一下。
2
安装MySQL5
用下列命令安装MySQL
：
yum install mysql mysql-server
然后我们为MySQL
创建系统启动链接（这样的话，MySQL
就会随着系统启动而启动），并启动 ......
一、安装JDK 首先下载JDK 5.0（JDK 5.0的下载页面为：http://java.sun.com/j2se/1.5.0/download.jsp）； 然后运行JDK 5.0安装程序jdk-1_5_0_06-windows-i586-p.exe，安装过程中所有选项保持默认；最后配置JDK的环境变量：在“我的电脑”上点右键—>“属性”—>“高级”& ......
第一招、mysql服务的启动和停止
net stop mysql
net start mysql
第二招、登陆mysql
语法如下： mysql -u用户名 -p用户密码
键入命令mysql -uroot -p， 回车后提示你输入密码，输入12345，然后回车即可进入到mysql中了，mysql的提示符是：
mysql>
注意，如果是连接到另外的机器上，则需要加入一个参数-h机器IP
� ......
