博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Oracle操作大量数据方法总结
阅读量:5101 次
发布时间:2019-06-13

本文共 2699 字,大约阅读时间需要 8 分钟。

一、插入大量数据

--创建存储过程语句 

CREATE OR REPLACE PROCEDURE p_insert 
IS

--批量提交参数 

num NUMBER;  
BEGIN 
    FOR i IN 1..10000000 LOOP

--插入语句 

       insert into USERINFO (ID, NAME, AGE, ADDRESS, OCCUPATION_NAME) 
values (1, 'ouhy', 25, '广东省佛山市南海区XXXX公司', '测试工程师);   --执行插入 
        num:=num+1;

  --5000笔提交一次,分批量提交,及时释放redo log buffer 

        IF Mod(num,5000)=0 THEN 
           COMMIT; 
        END IF; 
    END LOOP; 
END;

--执行语句

begin 

  p_insert; 
commit; 
  end;

 

一.删除大量数据(例如:table A 有2000万w数据,需要删除1000w)

1.先将不删除1000w的数据导入到临时表 Table B 中

 create table B as select id,name from table A where .....

2.然后将2000w数据整个删除(这个在有备份情况下才用的)

truncate table A;  或者 drop table A;

3.将数据从临时表全部导回来

insert into table A  select * from table B

create table A as select id,name from B;

4. 然后删除临时表

drop table B;

-------------------------附上 ORACLE  DELETE 和 TRUNCATE区别---------------------------------------

语法

delete from aa 
truncate table aa 

区别 

1.delete from后面可以写条件,truncate不可以。

2.delete from记录是一条条删的,所删除的每行记录都会进日志,而truncate一次性删掉整个页,因此日至里面只记录页释放,简言之,delete from更新日志,truncate基本不,所用的事务日志空间较少。

3.delete from删空表后,会保留一个空的页,truncate在表中不会留有任何页。

4.当使用行锁执行 DELETE 语句时,将锁定表中各行以便删除。truncate始终锁定表和页,而不是锁定各行。 

5.如果有identity产生的自增id列,delete from后仍然从上次的序列开始增加,即序列不变,而truncate后,序列会恢复初始。

6.truncate不会触发delete的触发器,因为truncate操作不记录各个行删除。

总结

1.truncate和 delete只删除数据不删除表的结构(定义)     
   drop语句将删除表的结构被依赖的约束(constrain),触发器(trigger),索引(index); 依赖于该表的存储过程/函数将保留,但是变为invalid状态。

2.delete语句是dml,这个操作会放到rollback segement中,事务提交之后才生效;如果有相应的trigger,执行的时候将被触发

    truncate,drop是ddl, 操作立即生效,原数据不放到rollback segment中,不能回滚. 操作不触发trigger。

3.delete语句不影响表所占用的extent, 高水线(high watermark)保持原位置不动     

   显然drop语句将表所占用的空间全部释放     
   truncate 语句缺省情况下见空间释放到 minextents个 extent,除非使用reuse storage;   truncate会将高水线复位(回到最开始)。

4.速度,一般来说: drop> truncate > delete 

5.安全性:小心使用drop 和truncate,尤其没有备份的时候.否则哭都来不及。

6.使用上,想删除部分数据行用delete,注意带上where子句. 回滚段要足够大.     想删除表,当然用drop     

想保留表而将所有数据删除. 如果和事务无关,用truncate即可. 如果和事务有关,或者想触发trigger,还是用delete
如果是整理表内部的碎片,可以用truncate跟上reuse stroage,再重新导入/插入数据。

------------------------------------------------------------------------------------------------------------------------

二、删除大量重复记录

1、利用rowid

在oracle中,每一条记录都有一个rowid,rowid在整个中是唯一的,rowid确定了每条记录是oracle中的哪一个数据文件、块、行上。在重复的记录中,可能所有列的内容都相同,但rowid不会相同。SQL语句如下:

 

delete from tbl where rowid in (select a.rowid

from tbl a,            tbl b

where a.rowid>b.rowid and a.col1=b.col1 and a.col2 = b.col2) 

 

如果已经知道每条记录只有一条重复的,这个sql语句适用。但是如果每条记录的重复记录有N条,这个N是未知的,就要考虑适用下面这种方法了。

2、利用max或min函数

这里也要使用rowid,与上面不同的是结合max或min函数来实现。SQL语句如下

delete from tbl a

where rowid not in (

          select max(b.rowid)           

          from tbl b

           where a.col1=b.col1 and a.col2 = b.col2);            //这里max使用min也可以 

或者用下面的语句

delete from tbl a where rowid<(

             select max(b.rowid)           

             from tbl b

             where a.col1=b.col1 and a.col2 = b.col2);

 

转载于:https://www.cnblogs.com/happyrocky/p/HappyRocky_Oracle_1.html

你可能感兴趣的文章
[POJ1830] 开关问题
查看>>
linux下find查找命令用法
查看>>
《Head First设计模式》
查看>>
CentOS 配置网络yum源
查看>>
UVALive 7274 Canvas Painting (优先队列)
查看>>
多线程程序设计
查看>>
HTML中常用的列表标签
查看>>
【Java Saves!】Session 2:我的意图
查看>>
jQuery-4.动画篇---动画基础隐藏和显示
查看>>
深入剖析 redis AOF 持久化策略
查看>>
物流货代公司管理系统
查看>>
zabbix监控的基础概念、工作原理及架构
查看>>
Farseer.net轻量级开源框架 中级篇:事务的使用
查看>>
js斐波拉切
查看>>
【41】102. Binary Tree Level Order Traversal
查看>>
BZOJ_1029_[JSOI2007]_建筑抢修_(贪心+优先队列)
查看>>
None.js 第五步 Buffer(缓冲区)
查看>>
dede文章页调用当前栏目链接方法
查看>>
django 自定义标签
查看>>
第二节课课堂作业
查看>>