基于MySQL和Infobright的数据仓库技术
基于MySQL和Infobright的数据仓库技术
数据仓库/分析/商务智能( BI )领域正在飞速发展。在激烈的经济竞争中所有行业和智能企业需要利用其内部的数据来做出重要的商业决策，包括战术和战略两方面，以保持行业的领先地位。
数据仓库(如对MySQL的一次重大社会和客户调查)目前是MySQL的第五种最常见的应用。现在用于MySQL数据仓库最流行的存储引擎是MyISAM (第二个是InnoDB的) ，当数据达到1TB左右是他的性能依然很优越。在此之后，大量的用户往往将数据仓库分布在多个服务器，以提高性能。现在，从分析公司IDC统计资料来看，大多数的数据仓库是6TB下(据IDC称只有4 %超过25TB)，因此这意味着大多数人成天都只在管理数百GB和6TB之间的数据仓库。
MySQL的数据仓库引擎InfoBright, infobright，一个基于mysql的数据仓库系统实现，它已经是很多开源或商用BI系统的底层存储引擎。
不同于一般的数据库，ICE的MySQL引擎是列式存储，一般的数据库是行式存储，这样的好处是，按某字段内容做查询条件，查询相当于取这个表中某一列，效率可见一斑。
由于是分析型OLAP数据库， 不支持insert、update、delete等操作，也没有主键，数据只能load infile进去. 压缩比高达1/4
最后最关心的还是ICE的查询速度，对单列数据精确定位，基本在2秒之内能出来，对数据按条件范围查询，如like手机号查询，3.9秒出来，至于之前用MySQL的myisam引擎，同样一个查询要18秒！
小结一下，用Infobright的MySQL数据引擎，查询效率高，压缩比高，不过需要更新或删除操作的，就比较麻烦了，不过面向OLAP数据仓库，更新和删除是大忌就是了，Infobright从根本上杜绝了这样的一些损害查询效率的操作。
几大优点：
1、高压缩比率，平均压缩比可达10：1，甚至可以达到40:1，我用infobright把3.1G的数据存成不足300M。
2、列存储，即使数据量十分巨大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。
3、不需要建索引，就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格节点记录块内的统计信息，代替索引，加速搜索。
4、单一台服务器可以高效地读写30T数据。具有可扩展性，这里是指对于同样的查询，当数据量是10T时，它耗费的时间不应该比1T数据量时慢太多，基本是一个数量级内。
与mysql对比：
1、infobright适用于数据仓库场合，即非事务、非实时、非多并发；分析为主；存放既定的事实（基本不会再变
相关文档：
在选择存储引擎时，应根据应用特点选择合适的存储引擎，对于复杂的应用系统可以根据实际情况选择多种存储引擎进行组合。
下面是常用存储引擎的适用环境。
●MyISAM:默认的Mysql插件式存储引擎。如果应用是以读写和插入操作为主，只有很少更新和删除操作，并且对事务完整性，并发性要求不是很高，那么� ......
Doing INTERSECT and MINUS in MySQL
By Carsten | October 3, 2005
Doing an INTERSECT
An INTERSECT is simply an inner join where we compare the tuples of one table with those of the other, and select those that appear in both while weeding out duplicates. So
SELECT member_id, name from a
INTERSECT ......
最近一直在研究freeBSD下nginx+php+mysql的安装，看了很多网上的资料收获不小，不过大部分都是编译安装，相对初学者来说比较复杂，不容易理解，所以我整合了一些ports安装的资料，都是经过自己验证后的，安装成功也比较容易理解，下面是两种成功的案例，其中有一个是Apache代替nginx的安装，希望对大家有所帮助。
� ......
我本机测试是安装的 mysql 5.1 , 但 centos 服务器上确是使用的 mysql 5.0 , 平时没发现差别, 但最近sql 文件导入导出时发现了, 一点小小差别.
主要是在处理到索引语句时出现了不兼容的情况, 比如下面语句是在 mysql 5.1 导出的:
KEY `index_2` (`datatype`,`stime`,`line`,`mcode`) USING BTREE
如果想导入到 mysql 5 ......
一 . 安装与配置MYSQL
二 . 常用mysql命令行命令
1 .mysql的启动与停止
启动MYSQL服务 net start mysql
停止MYSQL服务 net stop mysql
2 . netstat –na | findstr 3306 查看被监听的端口 , findstr用于查找后面的端口是否存在
3 . 在命令行中登陆MYSQL控制台 , 即使用 MYSQL COMMEND LINE TOOL
......
