Oracle千万条记录插入与查询小结
最近做了个项目,实现对存在千万条记录的库表进行插入、查询操作。原以为对数据库的插入、查询是件很容易的事,可不知当数据达到百万甚至千万条级别的时候,这一切似乎变得相当困难。几经折腾,总算完成了任务。
1、避免使用Hibernate框架
Hibernate用起来虽然方便,但对于海量数据的操作显得力不从心。
关于插入:
试过用Hibernate一次性进行5万条左右数据的插入,若ID使用sequence方式生成,Hibernate将分5万次从数据库取得5万个sequence,构造成相应对象后,再分五万次将数据保存到数据库。花了我十分钟时间。主要的时间不是花在插入上,而是花在5万次从数据库取sequence上,弄得我相当郁闷。虽然后来把ID生成方式改成increase解决了问题,但还是对那十分钟的等待心有余悸。
关于查询:
Hibernate对数据库查询的主要思想还是面向对象的,这将使许多我们不需要查询的数据占用了大量的系统资源(包括数据库资源和本地资源)。由于对Hibernate的偏爱,本着不抛弃、不放弃的作风,做了包括配SQL,改进SQL等等的相当多的尝试,可都以失败告终,不得不忍痛割爱了。
2、写查询语句时,要把查询的字段一一列出
查询时不要使用类似select * from x_table的语句,要尽量使用select id,name from x_table,以避免查询出不需要的数据浪费资源。对于海量数据而言,一个字段所占用的资源和查询时间是相当可观的。
3、减少不必要的查询条件
当我们在做查询时,常常是前台提交一个查询表单到后台,后台解析这个表单,而后进行查询操作。在我们解析表单时,为了方便起见,常常喜欢将一些不需要查询的条件用永真的条件来代替(如:select count(id) from x_table where name like ‘%’),其实这样的SQL对资源的浪费是相当可怕的。我试过对于同样的近一千万条记录的查询来说,使用select count(id) from x_table 进行表查询需要11秒,而使用select count(id) from x_table where name like ‘%’却花了33秒。
4、避免在查询时使用表连接
在做海量数据查询时,应尽量避免表连接(特别是左、右连接),万不得已要进行表连接时,被连接的另一张表数据量一定不能太大,若连接的另一张表也是数万条的话,那估计可以考虑重新设计库表了,因为那需要等待的时间决不是正常用户所能忍受的。
5、嵌套查询时,尽可能地在第一次select就把查询范围缩到最小
在有
相关文档:
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
/**
* 此处插入类型说明。
* 创建日期:(2001/11/30 14:55 ......
1.sqlplus-----开启服务
2.输入用户名和密码(默认3个用户,注意,密码是可以修改的:system/manager;scott/tiger;sys/change_on_install),连接数库。
3.创建表空间:
create tablespace 表空间逻辑名 datafile '表空间文件的物理逻辑'
size 文件大小(如:10m) autoextend 是否自动增长文件大小(on/off ......
--创建对象类型
create or replace type emp_typ as object (
id number,
name varchar2(30),
sal number,
comm number,
member procedure change_comm(new_comm number),
member function get_info return varchar2
) ;
--创建对象类型构造函数定义
create or replace type body emp_typ is
member proce ......
Author: Rainny
Date: 2010-3-5
一,症状描述
2个节点的ORACLE 10G RAC,隔一段时间其中的一个NODE就会DOWN机。节点从CLUSTER中被驱逐。
二,诊断过程
Rac1被逐出,RAC2存活,RAC2接管了RAC1的VIP,我们来查看RAC2的相关LOG。
首先查看RAC2的告警日志:..\log\rac2\alertrac2.log:
2010-03-05 14:39:50.750
[cssd(7 ......
Oracle的在线重定义表功能
http://blog.itpub.net/post/468/12855
http://blog.itpub.net/post/468/12962
在一个高可用系统中,如果需要改变一个表的定义是一件比较棘手的问题,尤其是对于7×24系统。Oracle提供的基本语法基本可以满足一般性修改,但是对于把普通堆表改为分区表,把索引组织表修改为堆表等操作就无 ......