炸鸡
超级版主
Rank: 17Rank: 17Rank: 17Rank: 17Rank: 17
传说中的大色狼


LU爱心使者  
UID 134
精华 32
积分 11322
帖子 21022
活跃指数 726
LU金币 15578 个
LU金条 16 个
阅读权限 251
注册 2003-9-26
来自 鸡窝
 
发表于 2008-1-30 00:22  资料  个人空间  主页 短消息  加为好友 
磁盘性能瓶颈

刚才测试备份,发现速度不快,故追寻疑点。

磁带是lto4的,理论值有每秒120MB,我选了个文件系统做备份,直接通过光纤连磁带机。
我们看看iostat -d hdiskpower119 hdiskpower120 2的输出:

Disks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn
hdiskpower119   94.0     29964.0     238.0      59928         0
hdiskpower120    0.0       0.0       0.0          0         0
hdiskpower119   96.5     27217.6     213.6      54408         0
hdiskpower120    0.0       0.0       0.0          0         0
hdiskpower119   94.5     30980.0     243.0      61960         0
hdiskpower120    0.0       0.0       0.0          0         0
hdiskpower119   72.5     28242.1     221.6      56456         0
hdiskpower120   22.5     5058.5      39.5      10112         0
hdiskpower119    1.0       4.0       1.0          8         0
hdiskpower120   92.5     28416.0     285.5      56832         0

hdiskpower119在10秒内全是读操作,这个文件系统大概20G,这10秒内大部分都集中在一块盘里,vg是有两块盘的。
每秒30MB左右的速度,比磁带还慢。

我们看看这块盘的信息:


#lsattr -El hdiskpower119
cgname                                         Consistency Group Name     True
clr_q         yes                              Clear Queue (RS/6000)      True
location                                       Location                   True
lun_id        0x116000000000000                LUN ID                     False
lun_reset_spt yes                              FC Forced Open LUN         True
max_coalesce  0x20000                          Maximum coalesce size      True
max_transfer  0x40000                          Maximum transfer size      True
pvid          00339dad4fd551280000000000000000 Physical volume identifier False
pvid_takeover yes                              Takeover PVIDs from hdisks True
q_err         no                               Use QERR bit               True
q_type        simple                           Queue TYPE                 False
queue_depth   16                               Queue DEPTH                True
reassign_to   120                              REASSIGN time out value    True

这是在EMC DMX3存储上的一个LUN,物理盘是1万转的,做raid5,3+1,每块9G,5个meta后成45G一个LUN。
光纤通道最窄是2G每秒。

还有哪里可调整呢?

顶部
老农
管理员
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
民工


LU爱心使者  
UID 2
精华 28
积分 18624
帖子 31368
活跃指数 2104
LU金币 27319 个
LU金条 0 个
阅读权限 255
注册 2003-9-16
来自 北京
 
发表于 2008-1-30 00:31  资料  个人空间  主页 短消息  加为好友  添加 老农 为MSN好友 通过MSN和 老农 交谈 QQ
max_transfer  0x40000。,这才256K哦。。。。这么低?
DS4000的都可以到1M。。。。
DMX不熟悉,不太明白





听过老农讲课的的朋友请进来一下,点这里

专业提供IBM小机及存储技术支持、实施、维保和培训,代理备机及配件。EMAIL:allenlong68[at]hotmail.com([at]换成@)

AIX交友QQ群:3089003(群是朋友聊天用的,技术请在论坛谈。群满时,不常活动的会被请出,给新人腾位置)
QQ里谈技术没积累,是方便自己麻烦别人;在论坛里讨论,可以大家都参与,并留做参考。
技术不是简单看个文档就能提高的,多参与讨论进步快。对问题有见解的就发一下,说对了是帮助别人,说错了给机会纠正自己。
顶部
johnny2010
技术专家
Rank: 14Rank: 14Rank: 14Rank: 14


UID 476
精华 14
积分 2400
帖子 4138
活跃指数 750
LU金币 2740 个
LU金条 12388 个
阅读权限 200
注册 2003-10-14
 
发表于 2008-1-30 00:31  资料  个人空间  短消息  加为好友 
你是做维护的出身,为啥问这问题。

顶部
炸鸡
超级版主
Rank: 17Rank: 17Rank: 17Rank: 17Rank: 17
传说中的大色狼


LU爱心使者  
UID 134
精华 32
积分 11322
帖子 21022
活跃指数 726
LU金币 15578 个
LU金条 16 个
阅读权限 251
注册 2003-9-26
来自 鸡窝
 
发表于 2008-1-30 00:53  资料  个人空间  主页 短消息  加为好友 
我,那个,笨啊。。。。见笑了。


另外,最大的LTG是只能256,原来800只能到128,我以为现在已经算好了。

顶部
pyockee (P猪)
版主
Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15


UID 59940
精华 5
积分 1770
帖子 1904
活跃指数 108
LU金币 2953 个
LU金条 0 个
阅读权限 210
注册 2006-12-3
来自 上海
 
发表于 2008-1-30 01:34  资料  个人空间  短消息  加为好友  添加 pyockee 为MSN好友 通过MSN和 pyockee 交谈 QQ
夜深了...





心路历程:
07-02兄弟们,红裤衩呢?
07-06师太!你就从了老衲吧!
07-09师太,你就放弃秃驴从了贫道吧!
07-12师太,你就放弃老衲吧
08-03溮忲,荖衲悢沵!
P猪的被窝 http://sanandlun.loveunix.cn
从此在LU安家扎营!                                                                                                                                                               
顶部
wildhorse
技术专家
Rank: 14Rank: 14Rank: 14Rank: 14


LU爱心使者  
UID 131
精华 15
积分 3311
帖子 5950
活跃指数 186
LU金币 2134 个
LU金条 13176 个
阅读权限 200
注册 2003-9-26
来自 北京
 
发表于 2008-1-30 02:53  资料  个人空间  短消息  加为好友  添加 wildhorse 为MSN好友 通过MSN和 wildhorse 交谈
猜测大概跟磁带的写特性有关系。
你的磁盘是M5,相信做CP肯定不会慢。
往磁带写,由于都是顺序方式,单一session能力有限,可以尝试通过多session并行方式提高。
通常备份软件就是多个session写同一磁带来提高磁带写入速度。

如果两个磁盘做条带,能否提高读写速度?验证一下?

另外,驱动器的cache buffer多大?64 or 128M?





LU上的马厩。。。 http://wildhorse.loveunix.cn
msn:calmnessheart@hotmail.com
最新版新手上线中。。。
当潮水退去,才能看到谁没穿裤衩。。。
顶部
[广告] 记录自己的思想火花,留住每日的技术积累,尽在拥有属于自己独立域名的博客。
小猪 (onlyOne)
荣誉斑竹
Rank: 14Rank: 14Rank: 14Rank: 14


UID 90598
精华 12
积分 4560
帖子 8021
活跃指数 358
LU金币 8872 个
LU金条 0 个
阅读权限 200
注册 2007-5-31
来自 LU猪猪盟
 
发表于 2008-1-30 08:00  资料  个人空间  短消息  加为好友  QQ
换IBM的





吼吼...广州上海AIX培训长期招募热群....QQ群22192878.
5月1日广州开课啦.详情请见:http://bbs.loveunix.net/viewthre ... &extra=page%3D1
浙江地区IBM全线硬件产品销售.
顶部
[广告] 记录自己的思想火花,留住每日的技术积累,尽在拥有属于自己独立域名的博客。
shala
技术专家
Rank: 14Rank: 14Rank: 14Rank: 14


UID 19911
精华 5
积分 1234
帖子 2290
活跃指数 80
LU金币 1254 个
LU金条 37862 个
阅读权限 200
注册 2004-5-5
 
发表于 2008-1-30 08:51  资料  个人空间  短消息  加为好友 
这是在EMC DMX3存储上的一个LUN,物理盘是1万转的,做raid5,3+1,每块9G,5个meta后成45G一个LUN。


如果这个似乎正常。一个物理盘是1万转的,做raid5,3+1得存储后端得速度就是30多M(记得这个数据是在存储在线看到过得是 raid5  7+1 得情况),如果存储得cache很小得话,基本上等同于直接访问硬盘。如果数据顺序放在LUN上,想当于同时只有4块盘在读写。





http://shala.unixblog.net
沙拉◎为TH而奋斗
http://shala.loveunix.cn
------------
大老婆唠唠叨叨,小老婆叽叽喳喳,情况却一声不吭....烦啊,二房的感觉遥遥无期。
顶部
[广告] 记录自己的思想火花,留住每日的技术积累,尽在拥有属于自己独立域名的博客。
shala
技术专家
Rank: 14Rank: 14Rank: 14Rank: 14


UID 19911
精华 5
积分 1234
帖子 2290
活跃指数 80
LU金币 1254 个
LU金条 37862 个
阅读权限 200
注册 2004-5-5
 
发表于 2008-1-30 09:05  资料  个人空间  短消息  加为好友 
服务器使用的硬盘转速快,可以达到每分钟7200或10000转,甚至更高;它还配置了较大(一般为2MB或4MB)的回写式缓存;平均访问时间比较短;外部传输率和内部传输率更高,采用Ultra Wide SCSI、Ultra2 Wide SCSI、Ultra160 SCSI、Ultra320 SCSI等标准的SCSI硬盘,每秒的数据传输率分别可以达到40MB、80MB、160MB、320MB。


主轴转速

主轴转速是一个在硬盘的所有指标中除了容量之外,最应该引人注目的性能参数,也是决定硬盘内部传输速度和持续传输速度的第一决定因素。如今硬盘的转速多为5400rpm、7200rpm、10000rpm和15000rpm。从目前的情况来看,10000rpm的SCSI硬盘具有性价比高的优势,是目前硬盘的主流,而7200rpm及其以下级别的硬盘在逐步淡出硬盘市场。

内部传输率

内部传输率的高低才是评价一个硬盘整体性能的决定性因素。硬盘数据传输率分为内外部传输率;通常称外部传输率也为突发数据传输率(Burstdata Transfer Rate)或接口传输率,指从硬盘的缓存中向外输出数据的速度。

目前采用Ultra 160 SCSI技术的外部传输率已经达到了160MB/s;内部传输率也称最大或最小持续传输率(Sustained Transfer Rate),是指硬盘在盘片上读写数据的速度,现在的主流硬盘大多在30MB/s到60MB/s之间。由于硬盘的内部传输率要小于外部传输率,所以只有内部传输率才可以作为衡量硬盘性能的真正标准。





http://shala.unixblog.net
沙拉◎为TH而奋斗
http://shala.loveunix.cn
------------
大老婆唠唠叨叨,小老婆叽叽喳喳,情况却一声不吭....烦啊,二房的感觉遥遥无期。
顶部
[广告] 记录自己的思想火花,留住每日的技术积累,尽在拥有属于自己独立域名的博客。
shala
技术专家
Rank: 14Rank: 14Rank: 14Rank: 14


UID 19911
精华 5
积分 1234
帖子 2290
活跃指数 80
LU金币 1254 个
LU金条 37862 个
阅读权限 200
注册 2004-5-5
 
发表于 2008-1-30 09:09  资料  个人空间  短消息  加为好友 
在RAID 5中有“写损失”,即每一次写操作,将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。





http://shala.unixblog.net
沙拉◎为TH而奋斗
http://shala.loveunix.cn
------------
大老婆唠唠叨叨,小老婆叽叽喳喳,情况却一声不吭....烦啊,二房的感觉遥遥无期。
顶部
shala
技术专家
Rank: 14Rank: 14Rank: 14Rank: 14


UID 19911
精华 5
积分 1234
帖子 2290
活跃指数 80
LU金币 1254 个
LU金条 37862 个
阅读权限 200
注册 2004-5-5
 
发表于 2008-1-30 09:12  资料  个人空间  短消息  加为好友 
http://storage.it168.com/h/2007-06-26/200706261007953.shtml

鸡鸡参考一下这个EMC DMX3得人家比你还慢,每秒不到10M

http://storage.it168.com/g/2007-06-01/200706011139562.shtml
这个是因为powerpath版本导致得速度慢,每s 60M

[ 本帖最后由 shala 于 2008-1-30 09:16 编辑 ]





http://shala.unixblog.net
沙拉◎为TH而奋斗
http://shala.loveunix.cn
------------
大老婆唠唠叨叨,小老婆叽叽喳喳,情况却一声不吭....烦啊,二房的感觉遥遥无期。
顶部
lzolder
LU大天使
Rank: 6Rank: 6


LU爱心使者  
UID 27151
精华 5
积分 1799
帖子 3011
活跃指数 69
LU金币 2518 个
LU金条 5921 个
阅读权限 120
注册 2004-10-22
 
发表于 2008-1-30 09:27  资料  个人空间  短消息  加为好友  QQ
如果如shala叙述的话,那30MB/s就是正常速度了?EMC那头也没法调?

我这边DMX3做cplv的时候也只有30MB/s,慢得让人揪心





CopyGroup Backup CopyGroup Archive CopyGroup
顶部
 



当前时区 GMT+8, 现在时间是 2008-12-5 15:38
乐悠LoveUnix论坛-京ICP备05005823号

Thanks to Discuz!  © 2001-2007    Power by LoveUnix.net
Processed in 0.089728 second(s), 7 queries , Gzip enabled

清除 Cookies - 联系我们 - 乐悠LoveUnix - Archiver