基于MySQL和Infobright的数据仓库技术
基于MySQL和Infobright的数据仓库技术
数据仓库/分析/商务智能( BI )领域正在飞速发展。在激烈的经济竞争中所有行业和智能企业需要利用其内部的数据来做出重要的商业决策，包括战术和战略两方面，以保持行业的领先地位。
数据仓库(如对MySQL的一次重大社会和客户调查)目前是MySQL的第五种最常见的应用。现在用于MySQL数据仓库最流行的存储引擎是MyISAM (第二个是InnoDB的) ，当数据达到1TB左右是他的性能依然很优越。在此之后，大量的用户往往将数据仓库分布在多个服务器，以提高性能。现在，从分析公司IDC统计资料来看，大多数的数据仓库是6TB下(据IDC称只有4 %超过25TB)，因此这意味着大多数人成天都只在管理数百GB和6TB之间的数据仓库。
MySQL的数据仓库引擎InfoBright, infobright，一个基于mysql的数据仓库系统实现，它已经是很多开源或商用BI系统的底层存储引擎。
不同于一般的数据库，ICE的MySQL引擎是列式存储，一般的数据库是行式存储，这样的好处是，按某字段内容做查询条件，查询相当于取这个表中某一列，效率可见一斑。
由于是分析型OLAP数据库， 不支持insert、update、delete等操作，也没有主键，数据只能load infile进去. 压缩比高达1/4
最后最关心的还是ICE的查询速度，对单列数据精确定位，基本在2秒之内能出来，对数据按条件范围查询，如like手机号查询，3.9秒出来，至于之前用MySQL的myisam引擎，同样一个查询要18秒！
小结一下，用Infobright的MySQL数据引擎，查询效率高，压缩比高，不过需要更新或删除操作的，就比较麻烦了，不过面向OLAP数据仓库，更新和删除是大忌就是了，Infobright从根本上杜绝了这样的一些损害查询效率的操作。
几大优点：
1、高压缩比率，平均压缩比可达10：1，甚至可以达到40:1，我用infobright把3.1G的数据存成不足300M。
2、列存储，即使数据量十分巨大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。
3、不需要建索引，就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格节点记录块内的统计信息，代替索引，加速搜索。
4、单一台服务器可以高效地读写30T数据。具有可扩展性，这里是指对于同样的查询，当数据量是10T时，它耗费的时间不应该比1T数据量时慢太多，基本是一个数量级内。
与mysql对比：
1、infobright适用于数据仓库场合，即非事务、非实时、非多并发；分析为主；存放既定的事实（基本不会再变
相关文档：
Doing INTERSECT and MINUS in MySQL
By Carsten | October 3, 2005
Doing an INTERSECT
An INTERSECT is simply an inner join where we compare the tuples of one table with those of the other, and select those that appear in both while weeding out duplicates. So
SELECT member_id, name from a
INTERSECT ......
php教程 mysql教程_connect 与mysql_pconnect函数与实例教程
mysql_connect
mysql_connect($this->root,$this->user,$this->pass)
/*
mysql_connect ,单个反问用户不会频繁的调用数据库教程，没必要保持连接，而且mysql的连接数也是有限制的， 使用 及时访问比较频繁，也最好使用mysql_connect，这样使� ......
今天用JPA生成数据表，虽然在Entity上已经配置好了一对多和多对一的关系，总是奇怪不能生成外键索引。
后来发现是MySQL的 storage engine 的问题。
默认的MyISAM是不支持外键的。
只有改成 InnoDB才支持外键
修改方法，找到 my.ini
在里面添加或修改（如果有的话）
default-storage-engine = InnoDB
附：
MyISAM和 ......
第一招、mysql服务的启动和停止
net stop mysql
net start mysql
第二招、登陆mysql
语法如下： mysql -u用户名 -p用户密码
键入命令mysql -uroot -p， 回车后提示你输入密码，输入12345，然后回车即可进入到mysql中了，mysql的提示符是：
mysql>
注意，如果是连接到另外的机器上，则需要加入一个参数-h机器IP
� ......
ysql默认是不允许远程连接的，因为有很大的安全隐患。
需要手动增加可以远程访问数据库的用户。
方法一、本地登入mysql，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，将"localhost"改为"%"
#mysql -u root -proot
mysql>use mysql;
mysql>update user set host = '%' where user = 'root';
my ......
