SQL Server 2008 复制 分区SWITCH清理数据
SQL Server 2008 复制 分区SWITCH清理数据
场景:
某种特定业务下,我们的部分业务数据可能只会保留比较短的时间,用来做临时处理。因为考虑高可用的特性,可能会利用
SQL Server的复制组件复制这种数据到另外的 类似前端,查询中心等数据库服务器,创建一个冗余副本。复制组件标记事务日志,追踪所有的Update,Insert,Delete操作。可是如果不定期清理这种表,那么在一个快速增长的环境下,表变的臃肿不堪,不仅仅浪费磁盘空间,而且给性能带来了负面影响。
如:
A临时数据中心 ---同步-->B 查询/其他业务中心,副本
保证A不可用的时候,B的业务不依赖于A服务器,利用A同步过来的数据B自己直接处理。
常见的解决方案:
一、很简单的,我们可以想到,建立一个清理Job
,根据日期标识,确定删除的范围不出一点错误,比如我每天的晚上12:00以后清理昨天的数据,那么可能会构建这样的查询(朋友们,也许会说使用TRUNCATE
,准时的12:00来TRUNCATE掉,不过很不幸的是,SQL
Server 复制是利用日志标记的方式来同步数据,而TRUNCATE语句不会被日志标记,所以TRUNCATE语句在复制表中是被禁用的)
DELETE from dbo.t WHERE complete_time >=
'2010-05-04' AND
complete_time < '2010-05-05'
来删除5月4号的所有数据,可能上亿也可能更多。
优化方案:因为考虑到存在带量的更新 删除 和插入操作,所以首先讲数据库设置成SIMPLE恢复模式,以最小化日志方式。
由于DELETE单个语句是一个事务性的语句,要么全部成功,要么全部失败。那么可想如果删除的是亿级别的数据,那么日志增长,IO负荷非常的大。
所以 可能优化DELETE
操作:
WHILE 1=1
BEGIN
DELETE TOP(5000) from dbo.t
WHERE complete_time >= '2010-05-04' AND complete_time <
'2010-05-05'
IF @@ROWCOUNT<5000
BREAK;
END
将删除操作,缩短成每5000行一批的数据来处理。
缺点:因为存在复制,那么很显然,浪费了极多的带宽,特别在Internet这种环境下,利用VPN的连接,尤其浪费。VPN带宽十分的渺小。再者,在进行亿级的DELETE,时间耗费也是非常恐怖的,而且DELETE过程中,由于存在Range-X
范围排他锁,许多开发人员
相关文档:
--语 句 功 能
--数据操作
SELECT --从数据库表中检索数据行和列
INSERT --向数据库表添加新数据行
DELETE --从数据库表中删除数据行
UPDATE --更新数据库表中的数据
--数据定义
CREATE TABLE --创建一个数据库表
DROP TABLE --从数据库中删除表
......
首先写一个SQL注入过滤的类:
public class SqlFilter
{
#region SQL注入式攻击代码分析
/// <summary>
/// 处理用户提交的请求
/// </summary>
public void StartProcessRequest()
{
string getkeys = "";
s ......
返回
返回包含一个日期的 Variant (Date),这一日期还加上了一段时间间隔。
语法
DateAdd(interval, number, date)
DateAdd 函数语法中有下列命名参数:
interval 必要。字符串表达式,是所要加上去的时间间隔。
number 必要。数值表达式,是要加上的时间间隔的数目。其数值可以为正数(得 ......
SELECT DISTINCT '['+user_name(b.uid)+'].['+b.name+']' AS 对象名,b.type AS 类型
from sysdepends a,sysobjects b
WHERE b.id=a.depid
AND a.id=OBJECT_ID('过程名');
EXEC SP_DEPENDS '过程名';
......
在Essbase中使用MDX只能用于查询,尚不能来操作Cube(MS SSAS中可以使用MDX来操作Cube的),所以这里只学习MDX的Select语句。
在学习的过程中,我觉得最有难度的地方有两个。
一是,对OLAP多维的理解。如同学习SQL一样,SQL作用的对象是表,表的结构都是二维的,标识行列即可;但是MDX作用的对象是多维数据库,那 ......