查看: 3196|回复: 11

[FAQ] 关于第11课作业的讨论---转帖到这里。

  [复制链接]
论坛徽章:
1
R研习者初级
日期:2012-08-03 23:05:24
发表于 2012-9-18 11:30 | 显示全部楼层 |阅读模式
本帖最后由 Alantany 于 2012-9-18 14:21 编辑

北京-谭怀远<alantany@gmail.com>  10:31:32
第11期作业里,1,4题大家怎么都喜欢用data guard啊?
那么大的数据量,data guard不被归档冲死啊?file:///C:\Users\alantany\AppData\Local\Temp\X@8}U9MLE}EBUE273)]9PGF.gif
北京-谭怀远<alantany@gmail.com>  10:32:57
这幅图片被很多同学使用啊?
file:///C:\Users\alantany\AppData\Local\Temp\DFB6BEA3D4E54E56A80658BA378A7BE0.png
52-北京-王鹏(285727051)  10:38:48
主要是写上了假设网络带宽足够
呵呵
71-北京-黎达伟(14983926)  10:43:35
没有做过那么大应用,以为网络给力的话,以为不会卡死呢,。。。。
谭总能不能给大伙不错的解决样例参考下
北京-谭怀远<alantany@gmail.com>  10:44:29
olap--归档 是有些相悖的。
dg---需要归档。

第二节架构课里有啊,大家可以参考一下。
北京-谭怀远<alantany@gmail.com>  10:46:23
看了很多同学的作业,都毫无压力的选择DG。
71-北京-黎达伟(14983926)  10:46:51
[img]file:///C:\Users\alantany\AppData\Local\Temp\{[W]SJ`1FUG%F3J0GE}I0JW.gif[/img]
52-北京-王鹏(285727051)  10:48:15
第一个不能用DG
北京-谭怀远<alantany@gmail.com>  10:48:17
我们把RAC和DG放到最后一节讲,说明它在OLAP业务下,和其它技术比起来,是不是非常重要的。
52-北京-王鹏(285727051)  10:48:22
最有一个可以采用吧
第4题
采用active datagurad
101-北京-韩坤(7543310)  10:49:08
谭总,两个备份的题目,不知道到底要表达什么意思啊?
北京-谭怀远<alantany@gmail.com>  10:49:30
如果你的主数据库是olap数据库,如果使用SQL*loader加载大量数据,就应该关闭归档。
关闭了归档,何来dg呢?
101-北京-韩坤(7543310)  10:49:45
也没说明到底是OLAP或OLTP的系统?
北京-谭怀远<alantany@gmail.com>  10:50:14
我们的课程就是讲olap数据库。课程里一直都说。
101-北京-韩坤(7543310)  10:49:08
谭总,两个备份的题目,不知道到底要表达什么意思啊?

就是当你遇到这样的项目,你该如何考虑啊。
71-北京-黎达伟(14983926)  10:50:57
能不能通过分区交换的方式来做呢?
北京-谭怀远<alantany@gmail.com>  10:51:12
最简单的就是sql*loader的双写机制。
52-北京-王鹏(285727051)  10:51:33
那最后一个题目要求远程灾备也这样吗?
北京-谭怀远<alantany@gmail.com>  10:51:46
也可以如此啊。
101-北京-韩坤(7543310)  10:51:50
我接触的OLAP的系统,就是数据不会再变化了,所以也就没有备份与容灾的概念来
15-北京-张丹(86152615)  10:52:37
第四题,也不用dg?
101-北京-韩坤(7543310)  10:53:41
谭总,稍后给你发份邮件
71-北京-黎达伟(14983926)  10:53:43
[img]file:///C:\Users\alantany\Documents\Tencent Files\1918769694\Image\(B7NZ1E%DW)NACKBYSUP@6P.jpg[/img]

10台机器分别用Sql*Loader 来加载?

52-北京-王鹏(285727051)  10:54:19
这个是要用加载来完成的
北京-谭怀远<alantany@gmail.com>  10:54:24
思路是:
如果你使用sql*loader直接加在数据,就应该关闭归档。
如果你关闭了归档,dg就无法使用。

101-北京-韩坤(7543310)  10:56:17
sql*loader要加载的数据,怎么提前生成? 生成平面文件吗
北京-谭怀远<alantany@gmail.com>  10:56:25
当然不是必须用sql*loader的双写。
比如磁盘级的复制等技术。
总之,dg是不合适的。
15-北京-张丹(86152615)  10:56:33
第一题,不能用DG,了解!!做对了。file:///C:\Users\alantany\AppData\Local\Temp\MNZG)S@Y~O64{]B~UL$X2KN.gif

第四题,也不用DG?我就要再想想了。file:///C:\Users\alantany\AppData\Local\Temp\_A~_C_F`%IP6P74Q9KE%$%5.gif
北京-谭怀远<alantany@gmail.com>  10:57:24
101-北京-韩坤(7543310)  10:56:17
sql*loader要加载的数据,怎么提前生成? 生成平面文件吗

业务生成的啊,比如etl。
101-北京-韩坤(7543310)  10:58:38
每次生成的那必须是增量的
北京-谭怀远<alantany@gmail.com>  10:59:04
file:///C:\Users\alantany\AppData\Local\Temp\_A~_C_F`%IP6P74Q9KE%$%5.gif
77-北京-赵公坡<zhaogongpo@qq.com>  10:59:31
哈哈,我的都没有用dg,因为老师明确说了,olap系统不归档。
北京-谭怀远<alantany@gmail.com>  11:00:08
虽然不能一概而论,但大致应该如此吧。
101-北京-韩坤(7543310)  11:00:19
用ETL生成,如果每次,都是生成全部的平面文件,其不每次用SQL LOADER的时候,都要全部导入,
北京-谭怀远<alantany@gmail.com>  11:00:48
加载完了,删除文件或者换个名字就好了吧?
71-北京-黎达伟(14983926)  11:02:42
ETL抽取自10T数据 的*.txt得多大啊? 50T?
101-北京-韩坤(7543310)  11:02:59
应该小很多
71-北京-黎达伟(14983926)  11:04:45
数据放 TXT文件里更小?
北京-谭怀远<alantany@gmail.com>  11:05:34
大家不要盲目相信dg,它更像是一个事务级的,数据量小的,或者数据增加平稳,缓慢的数据库的备份选择,比如一些关键数据的数据库。
对于olap这种会突然加载大量数据的数据库,并不适合。
在做架构设计时,产品和方案的选择很重要啊。
02-北京-南建星(1052382576)  11:07:36
谭总 对 存储级的 mirror 有什么看法
北京-谭怀远<alantany@gmail.com>  11:07:53
挺好的。file:///C:\Users\alantany\AppData\Local\Temp\X@8}U9MLE}EBUE273)]9PGF.gif
02-北京-南建星(1052382576)  11:08:05
比dg 好吧
北京-谭怀远<alantany@gmail.com>  11:08:34
不同的层面。
dg能保证事务级的容错,mirror可以吗?
02-北京-南建星(1052382576)  11:08:47
dg 能回滚是吧
dg 类似 是每一个步骤 都执行
mirror 只是copy了结果
北京-谭怀远<alantany@gmail.com>  11:09:54
层面不同。
一个是业务层面,一个是物理层面。
02-北京-南建星(1052382576)  11:10:05
这我知道
101-北京-韩坤(7543310)  11:13:03
谭总,讲讲你们的OLAP系统的数据是怎么生成的?
北京-谭怀远<alantany@gmail.com>  11:13:31
应用生成的。
至于什么应用,不能说啊。
101-北京-韩坤(7543310)  11:14:15
那个当然我们无需知道啊,
北京-谭怀远<alantany@gmail.com>  11:15:05
那就是一个进程,接受数据,然后写到加载文件里面,调用sql*loadre加载入库。
101-北京-韩坤(7543310)  11:18:14
第一题,10台数据库,然后定时用SQL LOADER加载到每台数据库上,那较好是不是有10份冗余
最后
北京-谭怀远<alantany@gmail.com>  11:20:09
那又如何?有人不考虑成本嘛。
Hadoop架构下,通常一个节点有2个备份呢。
17-顺德-黄剑雄(574633874)  11:21:04
谭总,SQL*LOADER加载数据快还是用OCI写程序批量加载数据快?
北京-谭怀远<alantany@gmail.com>  11:21:13
一样的机制。
17-顺德-黄剑雄(574633874)  11:22:30
但是用SQL*LOADER对于出错的部分没办法抓获
71-北京-黎达伟(14983926)  11:23:18
出错的地方都被写到.bad文件去了
北京-谭怀远<alantany@gmail.com>  11:23:55
如果对细节要求高,就要写程序对细节进行处理。
101-北京-韩坤(7543310)  11:24:29
SQL*LOADER 加载的时候,用外部表,行不行?
17-顺德-黄剑雄(574633874)  11:24:56
就是又要处理bad文件,那不是要手工干预了,看有无bad文件
101-北京-韩坤(7543310)  11:25:05
如果表多的话,那要写多少个SQL*LOADER的加载啊
北京-谭怀远<alantany@gmail.com>  11:25:44
我们是一个加载串行的向多个表里加载。
这个就看你需要如何控制了。
101-北京-韩坤(7543310)  11:27:16
有些表如果 有主外键关系了,那还得考虑 先后顺序了
北京-谭怀远<alantany@gmail.com>  11:27:40
细节控制,必须的。
17-顺德-黄剑雄(574633874)  11:28:26
这个用什么方法都是一样要先后顺序的了
101-北京-韩坤(7543310)  11:28:31
现在明白 为什么 谭老大说的 OLAP系统的备份、恢复难了
吃饭了,回来接着聊


回复

使用道具 举报

论坛徽章:
15
R研习者初级
日期:2012-05-11 22:09:45scala徽章
日期:2014-11-06 14:56:26kettle徽章
日期:2014-11-06 14:46:10R研习者中级
日期:2014-09-19 14:19:45R研习者中级
日期:2014-09-19 14:18:27Hadoop研习者中级
日期:2014-09-19 14:13:17Hadoop研习者中级
日期:2014-09-19 14:12:58Oracle研习者高级
日期:2013-08-25 14:23:35R研习者中级
日期:2013-06-13 19:02:32nosql徽章
日期:2013-05-09 17:05:06Openstack徽章
日期:2013-05-09 17:03:52R研习者中级
日期:2013-01-11 14:59:01
发表于 2012-9-18 12:27 | 显示全部楼层


,如果有高亮就好了。
总结一下
第一题: 直接sql*loader,备份sql*loader的原数据
第四题: 采用sql*loader 或者磁盘级的复制等技术 等
DG:
它更像是一个事务级的,数据量小的,或者数据增加平稳,缓慢的数据库的备份选择,比如一些关键数据的数据库。
对于olap这种会突然加载大量数据的数据库,并不适合。

回复 支持 反对

使用道具 举报

论坛徽章:
1
R研习者初级
日期:2012-08-03 23:05:24
 楼主| 发表于 2012-9-18 13:00 | 显示全部楼层
bsspirit 发表于 2012-9-18 12:27
,如果有高亮就好了。

总结一下

回复 支持 反对

使用道具 举报

论坛徽章:
3
Oracle研习者高级
日期:2013-08-25 14:23:35R研习者中级
日期:2014-09-19 14:21:06Oracle研习者中级
日期:2014-09-19 14:31:38
发表于 2012-9-18 16:37 | 显示全部楼层


完了,做错了。。。。

回复 支持 反对

使用道具 举报

论坛徽章:
1
R研习者初级
日期:2012-08-03 23:05:24
 楼主| 发表于 2012-9-18 22:40 | 显示全部楼层
Elvis 发表于 2012-9-18 16:37
完了,做错了。。。。

对错不重要啊,重要的理解了它的意思。
回复 支持 反对

使用道具 举报

论坛徽章:
1
Oracle研习者高级
日期:2013-08-25 14:23:36
发表于 2012-9-18 22:57 | 显示全部楼层


第四题要做到实时的,技术上难度不小

回复 支持 反对

使用道具 举报

论坛徽章:
3
R研习者初级
日期:2012-05-11 22:09:45Hadoop研习者初级
日期:2012-09-28 23:48:40Oracle研习者高级
日期:2013-08-25 14:23:35
发表于 2012-9-20 09:20 | 显示全部楼层


我也没用DG,也是用的SQLLOAD,但理论上这么想,没真实见到过。

回复 支持 反对

使用道具 举报

论坛徽章:
1
Oracle研习者高级
日期:2013-08-25 14:23:36
发表于 2012-9-20 14:22 | 显示全部楼层


有没有一个整理得比较完善的流程图贴出来大家共享共享哈~~~

回复 支持 反对

使用道具 举报

论坛徽章:
25
Openstack徽章
日期:2013-05-09 17:03:52R研习者中级
日期:2015-04-10 15:08:07树莓派
日期:2015-04-10 15:20:01电商分布式系统徽章
日期:2015-04-15 15:28:25R研习者中级
日期:2015-04-15 15:28:59LATEX徽章
日期:2015-05-07 11:35:00Oracle研习者初级
日期:2015-05-07 11:38:07R研习者中级
日期:2015-05-07 11:47:15R研习者中级
日期:2015-05-21 14:28:21抽样调查徽章
日期:2015-06-09 14:18:25perl徽章
日期:2015-09-25 17:35:49kettle徽章
日期:2015-04-10 15:02:57
发表于 2012-9-20 22:41 | 显示全部楼层


额 赶作业 视频还没看呢

回复 支持 反对

使用道具 举报

论坛徽章:
26
Oracle研习者初级
日期:2012-07-19 01:06:10Oracle研习者初级
日期:2014-10-09 15:10:03比特币徽章
日期:2014-11-06 14:53:58mysql徽章
日期:2014-11-06 15:13:52数据治理徽章
日期:2015-06-18 11:35:53Goldengate徽章
日期:2015-06-25 11:35:32Hadoop研习者中级
日期:2015-08-27 11:53:16DB2徽章
日期:2015-12-03 16:16:03spss初级
日期:2015-12-24 15:56:30投资理财徽章
日期:2016-01-14 15:01:22Hadoop研习者初级
日期:2016-03-03 15:28:11R研习者初级
日期:2016-04-28 10:51:05
发表于 2012-9-22 23:56 | 显示全部楼层
bsspirit 发表于 2012-9-18 12:27
,如果有高亮就好了。

总结一下

第四题: 采用sql*loader 或者磁盘级的复制等技术 等
可行的远程容灾系统(接近实时) 这2个要求 好像 sqlldr 都不行吧
1.首先 需要把 数据文件 传到 远端 在加载数据库中    会有时间差
2. 要求接近实时  往数据库中加载 又需要额外的时间 不满足实时
3. 磁盘级复制  是指  复制磁盘上的操作系统文件吗
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-7-22 09:20 , Processed in 0.177743 second(s), 65 queries .

关闭

扫一扫加入
本版微信群