发这个贴是源自最初看到有人求36TB数据存储的解决方法（https://www.chiphell.com/thread-1201669-1-2.html）。回帖中的方案各有特色，但苦于那是级别不够不能直接回帖，于是在新手区发了这个帖子。今天升级为天使后才知道原来新手区是不能再访问了。可惜了当初码了那么多字，恨自己没有存盘的习惯。
36TB说大不大，说小不小，未来还有可能再次有扩容需求，所以在我看来采用分布式存储是比较理想的选择。好处是：
初期投入不大（三台GEN8），可以满足需求（3台GEN8有12个盘位，6TB的盘RAID1都行）；未来可以横向扩展，不会受限于机箱内部的空间。通常扩展到12个节点，240块盘不是问题（对于GEN8，12个节点也有48块盘了）；性能较单台存储更好，并行处理，无论CPU、内存和网络带宽都随存储的增加而增加；能提供更多的IOPS，代价是延迟稍高，不过对于原帖中的视频资料这点延迟相信没有影响；可用性比单台存储更高，不仅盘有容错，即便一个甚至多个节点坏了也不会中断服务，采用两副本的镜像方式，无论替换服务器还是硬盘，重建都很快。
光说不练假把式，为了验证这个想法，乘着某东GEN8特价，购入了3台。来个合影先。
IMG_0460.JPG (191.49 KB, 下载次数: 4)
按照已经被这里的前辈趟平的改造之路，升级了E3-1230V2的U，加了16GB内存。要说一台GEN8就够折腾的了，三台一起弄，真的有剁手的冲动。东平西凑了三块希捷2TB的硬盘，有从某东购入了三块同型号的2TB硬盘，勉强把硬盘对付过去，要配齐12块，真不敢想也暂时没这个必要。
IMG_0467.jpg (166.05 KB, 下载次数: 2)
同样按照前辈们的指引，为了将来能够满配硬盘，打算从SATA5引导系统，故而从某东购入了3块8GB的Micro SD卡。
IMG_0466.jpg (157.69 KB, 下载次数: 1)
从某宝购入了三块Seagate Pulsar.2 200GB SSD。这盘性能很烂，但是好的盘用在第五个盘位的SATA2上也浪费了。而且作为系统盘对于性能的要求并不高。况且这盘4400TBW的写入耐久性很感人。当然更重要的是对于有强迫症的人来说，硬盘当然最好都是Seagate的。
SATASSD.jpg (114.64 KB, 下载次数: 3)
最后，纯靠7200转的3.5寸SATA盘，这个存储还是和性能不沾边，于是自然想到用SSD给它加速。让热数据存放在SSD层，冷数据存放在HDD层，从而实现分层存储。此时空闲的PCIe槽正好可以用上。于是某宝购入3块成色相当一般的LSI Nytro WrapDrive 400GB PCIe SSD。
StorageReview-LSI-Nytro-WarpDrive-BLP4-400.jpg (73.9 KB, 下载次数: 2)
为什么是这个PCIe SSD而不是别的，当然主要原因是它也是Seagate的产品 ；）还有就是用于加速目的三块卡裸容量有1.2TB，而且性能也还凑合，更重要的是每块其实是由4块100GB的SSD构成。这样每台GEN8除了系统的SSD外，满配的话可以有4块SSD加4块HDD，强迫症再次发作。下面是装入GEN8的样子
IMG_0449.JPG (224.2 KB, 下载次数: 2)
启动的时候，可以看到是四块独立的SSD
ILO.jpg (78.37 KB, 下载次数: 0)
网络的部分，千兆当然的必须的，每台GEN8的两个网口都做了Teaming，我为使用这套存储的工作站配了一个4口的Intel网卡。
对于硬件部分小结一下。三台GEN8，每台配置如下：
CPU: E3-1230V2内存： 16GB系统盘： Seagate Pulsar.2 200GBSSD层：LSI Nytro WrapDrive 400GB PCIe SSD （100GB x 4)HDD层：Seagate 7200转 2TB HDD x 2
软件篇：https://www.chiphell.com/thread-1213998-1-1.html
评论
三台G8疊在一起真是壯觀
而且很適合疊放的設計,有種整齊感
评论
三台？不错
统统组RAID的话，可以奏出一场完美的风扇奏鸣曲
期待喔
评论
牛，终于看到堆叠放置Microserver Gen8的了。
评论
牛，终于看到堆叠放置MicroServer Gen8的了。
评论
有个问题
如果对存储容量有较大的需求，比如那个36T
那么再添一个阵列卡，多口的那种SAS卡也很常见，大概一千多的价格，扩充至一二十个SATA接口很轻松
是否可以用一台Gen8来搞定？
毕竟这么多Gen8，管理起来是不是会更加操心一些
就连开iLO都要开三个窗口
评论
可以用一个ilo控制多台gen8，见下面截图：
Capture2.PNG (3.81 KB, 下载次数: 0)
评论
这配置，e3 散热改造？
评论
土豪呀！！！！！！
评论
刚才某宝找了一下，
LSI Nytro WrapDrive 400GB 3500
E3-1230 V2 1200
16G ECC 1000
Seagate Pulsar.2 200G 3500
Gen 8 2599
不算硬盘，单台Gen配齐已经11800了
这是豪无人性啊！！！
评论
靠，土豪啊.........你让我等贱民情何以堪！羡死！
评论
妈妈问我为什么跪在电脑前看帖子，
土豪，请受吾等草民一拜
题外话
看见1230的时候我还在想，有点贵了呢，不升级也可以啊
看见16g的时候我在想，没听说内存降价啊
看见希捷ssd的时候我在想，希捷的ssd不是贵得一比么
看见400g pcie ssd做加速的时候，我终于认识到，我遇到了一位值得交出自己膝盖的豪啊
评论
都是服务器的东西，上1W应该很正常吧
那个阵列卡就是个大头
等你上什么企业级硬盘又是一笔大的开销
评论
原来这个地方的设置就是为了方便集群管理的
受教了
服务器的东西贵，确实有贵的道理
评论
土豪不是你能买得起多少多少钱的东西就算是土豪的
而是一种生活态度
让我们一起来感受一下楼主的云淡风轻：“光说不练假把式，为了验证这个想法，乘着某东GEN8特价，购入了3台。”
看看，楼主只是为了验证某个想法，就一气买了3台gen 8！
还各自配上了顶级配件！
一般人最多也就是用虚拟机，模拟3个nas出来做实验好吧！
评论
三台有ssd有hdd正好可以组个vsan
评论
我还以为LZ加的那些个配件好便宜呢。。。。。。
评论
好强，等着看软件部分
评论
膜拜一下，简直是壕无人性:D
评论
帅气啊，期待更新
评论
膜拜啊。。
现在还在为改机苦恼中呢
评论
可以，你说的方式属于纵向扩展。与横向扩展比各有长处。不过带外接SAS口的HBA卡和SAS的JBOD也都很不不便宜。
评论
LZ这样的土豪还是上刀片吧，MicroServer怎能满足
评论
很想知道这个部分怎么实现，2008R2支持这个功能么，正好能用上我闲置的一块SSD
------------------------------------------------
最后，纯靠7200转的3.5寸SATA盘，这个存储还是和性能不沾边，于是自然想到用SSD给它加速。让热数据存放在SSD层，冷数据存放在HDD层，从而实现分层存储。
评论
2008 R2不行，需要2012 R2及以上的版本。
评论
壕无人性！
评论
说实话，我现在还是没有很好的办法来搞定我那36T以上的方案，求加QQ细聊~~~
我的QQ 84511167
评论
等软件篇---确实豪，一次三台高配.....
评论
楼主方案按1:10的比例配置ssd加速缓存的容量，属于中段存储的特性了，而所以你的36g就要3.6g的固体硬盘。
存储领域的趋势就是一个闪存做缓存或者就是全闪存的方案，另外个就是存储虚拟化。
评论
什么时候发软件部分？这个存储怎么对外发布呢？如果做Vsan，策略请注明。
能画个拓扑图吗？前排围观。
评论
牛，我就一台都还没空折腾呢，就等着看谁做集群呢
评论
留痕膜拜~~~~
评论
ILO Federation可以统一开关机，但是没看到可以集中的打开控制台的。虽然我已经打开这个功能。
Untitled.png (83.2 KB, 下载次数: 1)
Untitled2.png (60.5 KB, 下载次数: 0)
评论
可以看看软件篇https://www.chiphell.com/thread-1213998-1-1.html
评论
https://www.chiphell.com/thread-1213998-1-1.html
评论
楼主这样设计机器太多，未来管理方面会比较复杂，每台也只有12t的空间
评论
我就是那个36T的作者，我对这方面我完全是小白，求QQ在线交流~~~~
评论
lz的方案对你来说太高端了。。建议直接买成品NAS或者找专业人员帮忙比较好
评论
其实明白原理，一般的搭建不会难。官方有很多的技术白皮书和论坛，非常有帮助的
评论
有问题可以在这里交流。QQ不太方便用。
评论
先感谢了~~~
首先您的方案，对我来说不太实际，成本太高了
我最开始考虑GEN8，其实也是因为分3个区域，灵活管理
但是我这方面的知识，仅仅只在于WIN共享的范围内
另外您升级到E3-1230 V2，但是无风扇散热，温度应该扛不住才对吧
还有很多问题不是很明白，QQ在线聊是更方便的，不知道您周末是否方便
评论
1230V2在GEN8上没有问题
https://www.chiphell.com/forum.p ... ;page=1#pid27127583
我的配置并不是针对你的。不过分布式的架构可以考虑采用。对于你可以就是三台GEN，加上内存、硬盘，加上三个小SSD做系统就成了。CPU不用升级，PCIe的SSD当然也不需要。
周末出差。
评论
谢谢分享。学习了。
评论
编辑掉吧，看到楼主说不是针对视频的那个36T的场景。
评论
太壮观了。。。壕......
评论
问下 楼主，LSI Nytro可以当作系统盘安装系统么？
评论
感谢楼主分享教程，楼主发帖辛苦了。
评论
可以。而且在GEN8上还有一个好处就是你可以配置LSI和内置RAID谁先启动，如果设置Nytro WrapDrive先启动，那么在Nytro WrapDrive的界面中还能再配置那块SSD作为引导盘。
评论
土豪我只能流口水的份了
评论
你可以不升级到1230 缓存的SSD如果要求不高 可以用民用的PCIE或者干脆剩掉上 个H710P 找个硬盘柜 2台G8 +2张710P 带30个盘都无压力
评论
请问光驱位装系统是怎么做的？？
评论
实在太6 ，必须给赞
评论
我是参考这个帖子做的。不同的是引导到VHD。
https://www.chiphell.com/forum.php?mod=viewthread&tid=1196090&page=1#pid26837939
评论
这，太豪迈了~，nb
评论
看来我的N54L只能当砖用了
评论
宿主机的启动可以引导到VHD?
评论
是的
http://technet.microsoft.com/zh-cn/library/hh825691.aspx
评论
学习了，谢谢~
评论
那你装的是win7或者win8？
Windows Server Threshold预览版
评论
高端货，只能欣赏
评论
gen8附带的一个简易使用教程就告知了这个玩意儿可以叠叠乐，但是建议最多叠3台。同时HP还推出了一款PS1810-8G交换机，可以和这货一起叠放。。
评论
土豪啊
评论
马一个先，另外楼主gen8按照hp的官方文档码放是不能超过两台的，，，，
评论
我也是，我还想去看看也买那么块ssd。看了楼下说的价格死心了。
评论
分布式的我在linux下部署过FastDFS，便宜又实用。但需要根据api自己开发前端，对普通用户要求有点高。框架如下图
分布式文件系统FastDFS架构剖.gif (49.88 KB, 下载次数: 0)
评论
这配置，当然企业用配置要求高，家庭配置楼主有啥建议没有啊，家庭媒体中心，功耗和声音考虑的比较多感觉
评论
Seagate Pulsar.2 200G 这盘现在X宝600块可以搞定。
评论
今后的存储技术的发展走的是简化：以太网硬盘
适用于扩展对象存储的 Kinetic 以太网硬盘| Seagate
http://www.seagate.com/cn/zh/pro ... torage/kinetic-hdd/
携手同行 HCC上希捷展示新存储解决方案_服务器_服务器-中关村在线
http://server.zol.com.cn/542/5426300.html
希捷硬盘 本次大会，希捷展示了其最新、最先进的云存储产品及解决方案，包括Nytro Pcle闪存卡，Kinetic Chassis， 1200企业级固态硬盘， 企业级15K/10K超能盘，企业级2.5寸/3.5寸海量盘，Terascale扩容盘以及适用于云存储的存档硬盘等，从传统硬盘介质、闪存介质和存储系统多方面展示了公司在云存储方面的综合能力。 希捷Nytro闪存产品集成高性能闪存技术与智能管理软件，可提供极高的性能，减少延迟时间并降低CPU的负荷，能够胜任最严苛的数据库应用和I/O密集型工作负载；希捷Kinetic开放存储平台从根本上重组了传统存储服务器的架构，将面向对象的应用直接连接至存储设备，从而消除了传统堆栈中的多层硬件和软件，降低运营成本高达50%；经过优化适用于各种云计算应用的希捷1200企业级固态硬盘，专为拥有写入密集型工作负载的典型多用户、24X7全天候运行数据中心而设计，为现有的存储架构提供最快的性能以及最低的功耗。 如今，希捷先后与腾讯、百度、中国电信等国内顶级企业进行战略合作，无论从产品还是技术，进行全面合作，共同面对云服务带来的机遇和挑战。此次大会，希捷带来业界最广泛的云存储产品组合。 除了独立展台希捷还与华为合作，联合展出了装备希捷存储产品的FusionServer 5288服务器和OceanStor存储解决方案。
评论
终于可以回帖了，mark一下。
评论
由于离开北京，现打算将这三台MicroServer都出了。只接受北京见面交易，有意的请PM。下面我挂在网上的一台的链接。
https://2.taobao.com/item.htm?id ... .1000925.0.0.ir2ami
评论
这个的确牛
评论
还剩一台，我打算下个周末搬到人工背到上海。如果上海的兄弟有需要，可以当面验货交易。
北京的兄弟如果想要，下个周末前联系我。
评论
直接上全闪AFF吧
评论
整个服务器的功率多大，能否24小时不停止运行，谢谢！
评论
看中你的加速卡 然后再看看链接 里面 并没有。。。。
评论
是的 看过花钱请别人解决问题的 ， 没见过花钱帮别人解决问题的， 楼主的层次已经是我等需要仰望的星空了。。。
评论
个人觉得外置8088口很适合扩展，就是小贵
评论
感觉你的cpu性能过剩了。我也不怎么懂，但是我觉得应该双机加盘柜吧。盘柜双raid模块加双电源。牛逼点双机热备加心跳线。但是这个主机也不行不是。最好再加ups。但是，这个就不是家庭服务器了。我的方案便宜简单的多，呵呵，基本上是垃圾组成，6年来也没出啥大问题。对于速度我没啥要求，能达到千兆网络的极限就行了，平时也没有高io应用。我的cpu还是很老的U7500，ms9803，ddr2 2G，火箭raid5阵列卡，普通机箱（后面有一台换了H2），最后还加了minipcie的usb3.0卡。用realVNC管理。1台是8颗2t，后来加的一台是6颗3T。要组成更大的容量也没啥问题。
360276103238652240.jpg (135.31 KB, 下载次数: 0)
598843081953845329.jpg (269.2 KB, 下载次数: 0)
610547472292289161.jpg (253.49 KB, 下载次数: 0)
评论
楼主你太凶猛了
评论
先送上膝盖再去看软件篇
剁手hell很多有米人，但只有楼主这样的我才会写个服字
评论
MS Gen8的单PCI-E永远是瓶颈
数据速度快和走出去不可兼得 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 ｛日本国际学校｝梅田インターナショナルスクール
·日本学校 LINE：sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル＝140円台まで上昇？
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办？