先简单说一下案发现场的情况

一、PowerEdge R730一台,出厂主要性能部件如下
2X 英特尔至强 E5-2603 v3 1.6GHz,15M 缓存,6.40GT/s QPI,无Turbo,无 HT,6C/6T (85W)
PERC H730 集成 RAID控制器, 1GB 缓存
3X 600GB 10K RPM SAS 6Gbps 2.5英寸热插拔硬盘 RAID5
2X DDR4 8GB RDIMM, 2133MT/s, 双列, x8 带宽
双个. 热插拔, 冗余电源(1+1), 750瓦
4口 NetXtreme BCM5720 Gigabit Ethernet PCIe
二、虚拟平台搭建
Dell官网下载了R730对应的ESXI 6 ISO
一个闲置sandisk 16G U盘插入机箱内置的USB口
idrac虚拟控制台远程挂载ISO安装到U盘,设置U盘启动
看到ESXI反人类华丽界面,配置管理网卡和IP
至此,ESXI主机环境all the green(出击脸)
三、虚拟机搭建描述(附赠问题!)
测试环境下先搭建两台CENTOS
原厂三块SAS的RAID5 分配给虚拟机系统空间另外再用两块1T的盘组RAID1,挂载上去做资料盘
再随便用一块SSD插上去做ESXI的缓存盘(840EVO:啊~~我不要做这么随便的盘!)
那么,问题来了:
卑鄙无耻下流的DELL在13代服务器上的全系阵列卡阉割了LSI原厂的cachecade功能

QQ截图20160130180212.jpg (80.44 KB, 下载次数: 0)
然后,Dell说”LSI的那个都没人用呢,所以我和sandisk携手推出了更坑钱的DAS Cache!“”小伙伴们,快来买授权吧!“
我TM都是进入阵列卡bios界面设置半天找不到cachecade选项,才出来翻资料......
Dell你怎么能这样,我TM还是个孩子啊!我又不会去找原厂固件强行刷入你的阵列卡!
SO,只能启用VMware在enterprises plus版本中提供的Flash Read Cache

QQ截图20160130182209.jpg (113.05 KB, 下载次数: 0)
虚拟化服务器端闪存vSphere Flash Read Cache 可虚拟化服务器端闪存,从而提供一个可大幅降低应用延迟的高性能读缓存层。 缓存对虚拟机完全透明,无需任何客户机代理。 vSphere Flash Read Cache 支持按每个 VMDK 的精确度分配闪存资源,从而提供 vMotion 一致性读缓存以及与 DRS 的集成来进行初始安置。
可靠和经济实惠的服务器端闪存- 以 PCIe 卡或固态驱动器形式出现的服务器端闪存为 vSphere 环境提供了可靠和经济实惠的存储介质。 服务器端闪存提供了一个新的低延迟存储层,可以利用该层来以性价比逐渐提高的方式使数据靠近虚拟机。
- See more at: http://www.vmware.com/cn/product ... thash.efBRxspv.dpuf
现在陷入了选择迷茫大阵
A方案1.SSD接入阵列卡,选择non-raid模式,在ESXI中能直接识别为SSD,设置为缓存
2.SSD接入阵列卡,选择单盘raid0模式,在ESXI中不能直接识别,需要手动标识为SSD,随后设置为缓存
以上两种有啥区别?!
求解!
B方案:
SSD不接阵列卡,接入主板上的SATA接口
基于现在整个ESXI的磁盘IO是从阵列卡PCIE接口走的考虑
作为缓存的SSD避开阵列卡从另外的SATA通道走是否在高并发磁盘请求时有帮助?
接下来又衍生出了一些其他问题,各位老司机请别厌烦看我一一道来。
衍生问题1:
H730 mini阵列卡自带电池和1G 缓存,是否可以在阵列上两个RAID缓存策略都用write back来代替writre through
那如果接上阵列卡上的SSD缓存盘,应该采用何种阵列卡的缓存策略呢?
衍生问题2:
现在在ESXI主机上看到的储存情况如下,硬件加速都是”不受支持“状态
查阅了vmware文档也没看明白,请问有配置ESXI的兄弟打开过这个硬件加速支持的么?

QQ图片20160130184619.png (11.48 KB, 下载次数: 0)
问题较多,文字较乱,请见谅
希望大神、老司机们各种乱入赐教啊!
评论
你这玩得太高级 ,菜鸟帮你顶一下让人看到
评论
服务器和家用产品比价格可能高级点,但是问题和高级无关啊....
就是缓存+阵列卡设置的问题,还有ESXI环境的问题
我看坛子里面玩这些的大神很多,所以求解答.....
这段时间找文档翻死我了....
评论
小白帮不上楼主。
只知道一点,戴尔服务器跑esxi,需要购买通过VMware认证的型号,不然各种折腾。
评论
支持肯定没问题的,直接到自己购买机型的支持页面看就好啦:)

QQ截图20160130200812.jpg (65.2 KB, 下载次数: 0)

QQ截图20160130200756.jpg (56.43 KB, 下载次数: 0)
评论
现在处于SSD的过渡期,这些技术也都只是过渡而已。。
要等NVMe这个超级牛逼技术,稳定和成熟下来,才能好用。。
所以不知道你想干什么,硬件加速那个我可以回答你,貌似是VAAI的问题,你可以找找,这个需要VMware认证的,好像。。
评论
另外,你有多少台这样的服务器??
评论
买3块万兆网卡,用3台服务器玩VSAN
评论
楼主的问题,不知道怎么回答。但换个角度看问题。
H730阵列卡,插在pcie3.0 x8插槽,总带宽8GB/s,接8个硬盘,每个硬盘带宽1GB/s,超过sata3.0(6Gb/s)硬盘接口带宽。因此阵列卡不会成为瓶颈。
SSD接在阵列卡,trim没问题吧。
评论
H730支持Raid5和non-raid共存?做了1组Raid5,单盘就只能Raid0吧。
SSD最好绕走SATA,带宽不受影响。但这个笼子是2根SFF8643,走SATA就得拔掉4个盘。
评论
硬件加速存储要求
ESXi
块存储设备
NAS 设备
ESXi 版本 6.0
支持用于阵列集成的 T10 SCSI 标准或块存储插件 (VAAI)
支持用于阵列集成的 NAS 插件
[size=0.9em]注
NFS 4.1 不支持硬件加速
评论
答非所问,不过还是谢谢帮顶了
评论
多谢答疑,除了IO带宽还基于两个担心
1.并发请求
2.阵列卡的缓存就1G,如果同时承担两个RAID+SSD缓存是否会降低命中率
阵列卡支持Trim的信息如下,希望是自动的:)

无标题.jpg (78.27 KB, 下载次数: 0)
评论
支持啊,我现在ESXI已经分配的储存我已经截图在上面了
一组RAID5 三盘
一组RAID1 双盘
一组non-raid 单盘SSD
不用拔啊,R730机箱里面有独立的SATA接口。只不过我现在6个盘含SSD都在笼子里面

无标题.jpg (158.28 KB, 下载次数: 0)
SATA口看得见么,在右上角,白色的,被线挡住一部分
评论
1.单盘做RAID0没有好处,有点多此一举。若果有多个SSD磁盘做阵列,可以用命令:esxcli storage nmp satp rule add -s VMW_SATP_LOCAL --device naa.xxxxxxxxxxxxxxxxx --option="enable_ssd" (naa是磁盘的识别号)将其指定为SSD,这样就作为缓存使用了。
2.集成的阵列如果负载大,可以使用板载的sata接口。性能匹配就可以。
3.缓存建议用write back,因为你的阵列是HDD。cachecade是热数据分层,与这个没什么关系,这个策略是数据回写阵列用的。
4.至于存储的硬件加速是指厂家支持VM一个API来减少对存储硬件的要求,好像叫VAAI。多见于FC存储,IPSAN我暂时没见过,好像10G的产品会有。
评论
现在在单台配着玩,摸熟了后面同样配置上多台就架vcenter了
评论
果然大神露面啊,感谢答疑
1.我并非要使用单盘RAID 0,而是单盘SSD接阵列卡就两种模式,RAID就是0,要么就是non-raid。
想了解的是这两种模式的不同
2.了解
3.HDD阵列建议打开write back,然后SSD缓存盘在阵列卡上设置为直写,对么?
4.另外一个大神兄也答复了这个VAAI的问题,我正在研究文档~
评论
关于硬件加速问题,我在安装过程中,凡是ESXI支持的FCSAN或者IPSAN,均能自动开启硬件加速,而本地存储均显示不支持或者未知。
关于阵列卡回写问题,一般认为有缓存和电池的,应该开启WRITE BACK,这样可以提高写入性能,数据丢失风险会比另外一种模式稍高。
至于你的SSD,性能除了由于各个接口的不同导致性能不同外,我觉得更多的还是依赖于缓存算法以及耗用系统整体的资源。另外如果你的负载没那么高,那么这几个接口的区别也没想象的那么大。
一切依赖于实际环境的测试。

2016-01-30 22-18-25.jpg (37.4 KB, 下载次数: 0)
评论
我的意思是主板上的SATA口没办法接到笼子背板上。
另外你那张图片中间靠上,H730电池和纽扣电池中间那个8643口,应该也是主板SATA吧
评论
感谢答疑,文档中提到的功能,看起来也是和SAN关系多一些,目前我还没必要上SAN,所以暂时不去纠结啦
再次感谢C2H6o兄~
硬件加速的优点
当支持硬件加速功能时,主机可以获得硬件支持,从而可以更快和更有效地执行多个任务。
主机可以通过以下活动获取帮助:
■
通过 Storage vMotion 迁移虚拟机
■
从模板部署虚拟机
■
克隆虚拟机或模板
■
虚拟机文件的 VMFS 群集锁定和元数据操作
■
置备厚虚拟磁盘
■
创建容错虚拟机
■
在 NFS 数据存储上创建和克隆厚磁盘
评论
我手上的ISCSI SAN就能支持。你可以测试一下外加个WSS2008的ISCSI能不能支持就知道了。
你这些问题更多的是ESXI的问题,应该去VMWARE相关论坛讨论更好点。
评论
懒点就在机箱里面空着的各种扩展板上固定个SSD
文艺点开启另外一组笼子
富贵点....就再入一张PCIE阵列卡+背板开启另一组笼子
你说的那两个电池中间是内部板载的SAS口:)
评论
问题比较基础,还有不少阵列卡的普通问题
感觉在chiphell就能搞定
结果果然如此:)
评论
A方案1.SSD接入阵列卡,选择non-raid模式,在ESXI中能直接识别为SSD,设置为缓存
2.SSD接入阵列卡,选择单盘raid0模式,在ESXI中不能直接识别,需要手动标识为SSD,随后设置为缓存
以上两种有啥区别?!
没啥差别,一样用的
方法一省事一点
B方案:
SSD不接阵列卡,接入主板上的SATA接口
基于现在整个ESXI的磁盘IO是从阵列卡PCIE接口走的考虑
作为缓存的SSD避开阵列卡从另外的SATA通道走是否在高并发磁盘请求时有帮助?
没啥帮助,盘太少,还没撑饱卡
衍生问题1:
H730 mini阵列卡自带电池和1G 缓存,是否可以在阵列上两个RAID缓存策略都用write back来代替writre through
那如果接上阵列卡上的SSD缓存盘,应该采用何种阵列卡的缓存策略呢?
这个没有标准答案,看你的需要 比如要测试系统性能,就要关闭写缓存。但你这卡的缓存太小,write back带来的好处有限
评论
如果不考虑热插拔,可以用PCIE的SSD,性能优势明显。
评论
如果是VAAI,确定的话,我觉得你不用折腾了,这个是代码级别的了,一般的存储,VMware也不会支持,要中端存储企业级的一般才可以。。大部分是商业阵列之类。。
另外,软件定义存储是趋势,但是这个我曾经问过VMware,我说vSAN应该是以后的主力啊,尤其是SSD普及以后。。
vForum2015的大会上,VMware负责存储的人说,暂时还不是这样,vSAN还是针对没钱的客户。。。说明目前道路还有点远。。
LSI被收购,也说明一定问题。。
不过对于EMC来说,其实它一直就是个软件公司。。。。
如果你只有1台机器,ESXi玩玩没意思的,玩出点意思,至少需要4台机器+一个存储,同时还有一个管理机在外面,另外还要有万兆的冗余网络。。。
所以自己玩,算了,自己搭个ESXi,在上面玩Windows的软件管理啊,域环境啊,这种学习一下还是不错的。。。玩Cloud,需要很多机器的。。
评论
我曾经做过vCloud的项目。。。
你要真想玩,不管是你自己,还是公司,我建议你用刀片服务器。。。方便可靠灵活,可玩的地方比较多。。
投资的话,硬件方面大概200万不到,应该可以玩的不错了。。
评论
你谈到的VAAI,其中Storage vMotion就有个很好的应用,支持VAAI的存储,貌似主机使用资源会少点。。不过我当时也没有注意。。
我当时用EMC和HP的存储,做过Storage vMotion,因为FC Switch是8Gb的,所以速度还挺快的,记得当时速度在350MB/s左右,在交换机上面抓到的,所以很快就完成了。。
评论
1.3.建议你使用NON-RAID的模式,这样直接让VM接管SSD,也不用担心阵列缓存策略。
我做的SSD阵列,是直接写盘操作(阵列卡的缓存不用,应为SSD数据块有大有小,若果是小数据块那缓存作用大,大的话那个缓存反而是累赘)。阵列卡接触少了,基本都是存储柜,不过还是建议你问问客服,他们才是专业的。
评论
不会,这只是前期自己搭配着顺便做项目测试的
后面跑起实际业务后会上商业云,这样来说比较省心。
多谢分享经验
我手上SSD零零碎碎的,型号容量都不同
有条件了也上全闪阵列:)
评论
“支持”和“认证”是不同的,前者是能用,后者是绝对好用。
服务器玩esxi,仅仅支持是不够的,真想玩的爽,还是弄个认证的吧。
评论
1. 首先你选的 RAID 卡是 H730,这个破卡对SSD支持不是太好,H310的卡会支持SSD好一些,当然,如果是在Vmware的环境中,也可以通过使用命令强制标识你的SSD
2. 至于缓存的问题,如果是vSAN,配置起来就很简单,如果只单纯的相用SSD作为快速缓存的话,可以在配置里面添加SSD cache这个选项,然后需要虚拟机的版本升级到vm-10. 在 webclient里面来做相应的修改,将VM的 ssd cache激活,这个激活的过程只能在 webclient 里面完成,普通的客户端是无法看到这个选项的
3. 磁盘的加速功能,只有受认证的存储才能开,本地的磁盘开不了,有钱上EMC吧,这个入门级别的EMC还是相对很便宜的,现在最便宜的是 VNX5200
4. 之前有个哥们说过了,玩VMware最好是用刀片,这样省资源,架构可以做得很复杂,最好是直接上UCS,90W左右大约可以做8把配置了256G内存的刀片,两个5108的刀片笼子,两个笼子上分别配置2个8口的万兆上联口,可玩性很高
评论
企业级商用服务器,Dell不敢不认证就把定制的ESXI iSO档提供给客户的,出问题不被告死呢...

无标题.jpg (142.02 KB, 下载次数: 0)
http://www.vmware.com/resources/compatibility/search.php
评论
不用客气,希望能帮上忙。
PS:我是个菜鸟,不是什么大神。
评论
菜鸟在求救了。公司上新的ERP,让我买个新服务器。
京东搜了下,R730: E5-2620V4*2 / 64G / H730 / 750W*2
目前最纠结的是硬盘,原来公司的R820,用的是15K SAS硬盘,觉得还是不够满意,这次想上SSD。
和乙方交流下,一种是600G*4做RAID 5,或者单独用200G*2做RAID1作系统,数据另外用3块600G或者900G做raid5。
没捣鼓过这些,不知道这样行吗?SSD做阵列有啥问题没有?
完全新手不知道要注意什么
评论
从:(840EVO:啊~~我不要做这么随便的盘!)往后就看不懂了
评论
make.exe,藏龙卧虎 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 {日本国际学校}梅田インターナショナルスクール
·日本学校 LINE:sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル=140円台まで上昇?
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办?