前段时间个人NAS raid6挂了三块硬盘，不得已将原数据用多块单硬盘另外备份下来，准备换硬盘重建raid6后再传回去。
数据备份还原手段是局域网FTP传输，传输方向依次是 ext4(raid6)->ntfs->btrfs(raid6)。
数据全部还原到NAS后，用transmission校验了一下大部分早已100%下载完毕种子（接近16T资源，还在校验中），发现有近20个左右的种子出现99%完成状态，其中5个种子因无人补种基本宣告报废。
我想这就是传说中的静默损坏案例了，本地FTP传输过程应该是没有问题的，但是无从分析损坏发生在数据保存和中转的哪个环节，这些数据不用transmission校验可能放N年都不知道损坏了。
可想而知百度云出现数据损坏多么正常了，在乎数据完整的，单盘数据有多大可能出问题想想都被吓到（比如一个dll文件损坏），看来家用电脑的数据完整性就是个笑话。
评论
为什么不认为是操作系统bug，蓝屏才是bug？
评论
随便想想，windows使用正常过程中，偶然发现故障（蓝屏、报错窗口、进不了系统），这不一定是主板、CPU、内存、或显卡的锅，更不一定是人为操作/装卸软件的锅，可能只是一次非常正常的“静默损坏”造成的。最近的新闻加上自身体会，我才意识到这问题有多严重，却没有低成本的有效方法能发现或避免此问题的发生，这才是根本
评论
不懂 反正我的硬盘不是用坏的，是放坏的
评论
操作系统BUG是指win?还是黑裙?以上案例操作系统参与很少，只有传输和保存工作，当然不能说没有这种可能，只是这种可能性太低了
评论
好高端看不太懂，不过学到了，谢谢
评论
我也想分享一个静默损坏的案例 这次是SSD的 pm981 1tb从台机上拆下来后发现刚保存的xlsx文件损坏 但是刚才编辑和重新打开确认过都没问题 目前还不清楚是哪个环节出了问题；这个事情之后 我觉得保存历史版本是非常重要而且明智的选择 覆盖已有文件很不安全
评论
固态也存在“静默损坏”?这真是第一次听说的案例了
评论
电子产品就这样 服务器的硬盘说坏也就坏了 没办法
你要很看重数据安全就做RAID 1
评论
我也觉得很奇怪 照道理来说是不可能的 因为我保存后又重新打开确认了一次 等于又做了一次校验；然后我正常关机 把固态拆下来换到新主板上去 文件损坏了....好在我有备份 这事情说起来挺诡异，因为就这个文件损坏了，我这个盘也是新盘 pm981 写入不到300G 就很奇怪
评论
楼主你检查下这20个种子所在的文件夹是否有其他种子也占用，或者曾经和其他种子同时占用过。。
举个例子说更容易点：
以前我下whatcd的时候，一手歌有很多版本，比如mp3 192k，mp3 320k，种子对应的文件夹名字是一样的，比如都是"13415-song"这下面，两个种子同时下，种子1下面的文件1先完成了区块1，标记为已完成，但是种子2下面同样名称的文件1区块1还没完成，就覆盖了，或者先下一个，另一个也可能覆盖的时候，特别容易出现这种。
还有就是电影文件，很多source的nfo文件是不一样的。nfo一般就几k，两个站的如果其他都一样，就nfo不一样，特别容易出现99%。
评论
你说这种方式可能类似于多站共种，不过我基本上不会多站共用一个种子，一个资源也会注意只要一个版本，，毕竟硬盘不够用，呵呵，谢谢提出一种检查问题的思路
评论
其实知道硬盘坏了倒还好办，关键是谁都不知道数据坏了（硬盘是好的），才会造成更大的灾难
评论
不是多站共用1个种子，就是辅种？
比如HDX（纯假设的站名）有fighting club 1080 blu don这个种子，这个种子对应最后的文件夹名字叫“fighting club 1080 blu dd 5.1 don”，他里面有nfo文件，是一个版本。
HDY也有fight club 1080 club blu don这个种子，这个种子对应最后的文件夹名字也叫“fighting club 1080 blu dd 5.1 don”，，他里面也有nfo文件，但是一个版本。
如果这两个种子对应物理硬盘上同一个文件夹，那这样只要 recheck，有1个就会99%。
我没有transmission，我用的ut，是可以看到是每个具体文件的完成度的，因为bt验证信息是按区块的，所以可能出现文件A，99%，文件B，0%，文件C，99%，其他文件都是100%，最后整体99%。你可以看下你的。
评论
如果真是这样，貌似磁带才可以对付静默损坏了。
评论
意思我懂，谢谢
评论
捕获.JPG (55.83 KB, 下载次数: 0)
尝试给不明白的人解释一下：
以上截图为一个损坏的资源数据，该数据共43.57GB，合计包含有2722个文件，共有5569个数据块，其中每个数据块8MB，
此资源发布时间是2013年1月3日，下载时间是2014年9月15日，完成时间是2014年9月19日，此后一直未更改过，一直保存在NAS上。
此次备份还原后，手动校验数据，发现分隔开的两处数据损坏（进度条的两处微小空白），合计影响数据块5块，容量5*8=40MB，不过损坏文件达到14个（就不放截图了）
这14个文件不做手动校验根本不知道是坏的，文件大小正常，文件名正常，只是数据损坏了，这部分数据损坏的发生概率是极低的，损坏的数据量也是极低的，只是谁也不知道这14个文件是坏的，这就是静默损坏的严重之处，坏了就认命，呵呵！
评论
图像视频文件允许一定量的数据差异，另外你用的这个bt软件我也在用，他的完整性校验机制有一定缺陷，不是基于文件而是基于块的，如果只下载部分文件，他会提示文件不完整，实际上文件本身是完整的但缺少了你没下载的部分导致文件校验不完整，这会导致与文件真的损坏混在一起，如果没人补种永远都是校验不通过但可能文件本身是完整的，另外百度云不存在你说的情况，至少我到现在都没发现文件hash值有差异
另外可以试试refs等新的文件系统，想起以前保存的资源现在来说几乎不可能再去访问了，数据可能并没有想象中需要保存太久
评论
看重数据安全仅靠raid完全不够看，应该起码有如下几重防护：
0. 靠谱存储设备，你要弄个七彩虹黑片拆机片固态那肯定是不行的；
1. raid，这个不谈了；
2. 每天定期备份到一块与raid无关的硬盘上；
3. 私有云端的网络同步备份；
4. 每隔一段时间将重要数据拷贝到与电脑不在一个位置的移动硬盘上，至少不能在同一个小区；
5. 在老家或者外国放置一块移动硬盘，每隔较长时间备份一次移动数据。
评论
这种问题就是HD从电脑里拔下的时候没有切断电源开关，或者关闭电源没有等待一段时间（风扇没有停）就拿下HD。
评论
用来说明的资源截图是完整下载的，无论是文件还是数据块当初下载时都是完整的，这并不是transmission的锅。
不过，确实用transmission下载一部分资料时，文件与数据块之间不同的容量计算是存在的，经常会出现如果只需要下载1个文件，需要的文件头尾与数据块对齐不一致的现象，造成数据下载过多或过少，这我也发现了，呵呵，尽量多下完整资源，或只下部分资源时，把资源前后文件都勾选一下就行了，数据多了总比少了好。
评论
用网件路由也有可能出现文件损坏的情况，坛里有贴
评论
当年下载完以后立即校验过嘛？
至少utorrent 100%以后立即rehash 变成99%的情况不少见
评论
我倒觉得楼上说的原因也有可能，我自己就碰到过下载完成正常做种的文件突然报错提示要进行校验的情况，但是因为用的群辉的shr而且每次定期的磁盘校验也从不报错，应该不会说是数据存着存着就出错了，想来应该是下载的时候就有部分区块是有问题的。
评论
FTP传输损坏的案例遇到多次，而且确实有在本地网络中传输坏的，所以某些时候FTP传输不如直接拷贝来的稳定。
评论
你确定不是你传的时候的问题？盘都挂了3块确定不是nas问题。
raid6 不如你另找一个地方备份。重要数据备3份。
pt bt一直读的文件是会坏的。 下好看着是100%，过几天突然就变99.9%了。
评论
1.见“但是无从分析损坏发生在数据保存和中转的哪个环节”这一句。其次，应该不是数据区的问题，因为挂盘是挂了三块系统区（黑裙）
2.本来不准备讨论“不用raid，备份数据是不是更安全”这种议题。忍不住多聊一句，大数据量的使用没有那么多精力折腾备份这种事，很多数据日常要用或者要方便的取用，视频不重要，音乐不重要，系统dll文件重不重要呢?游戏重不重要呢?各类软件安装包重不重要呢，损坏了都能很容易的找回来吗?raid本来就是个节省精力的办法，要数据绝对安全的办法很多，不外乎多花钱或多花精力，此话题到此为止吧，用什么人工手段保障数据见仁见智。
3.一直读的文件变99.9%，排除效验错误以外，我想应该就是静默损坏，难道BT软件只读数据还能把数据读坏?！
谢谢提出宝贵看法！
评论
百毒云下载坏档是老毛病了，很多资源论坛都强制要求百毒云的包加恢复记录
lz这个应该是当初下载的时候就不完整，用过几个bt软件，都遇到过下载完成之后重校验变99%的情况
p2p软件里面，大约只有emule是靠谱的。。。
评论
这种99%不是很正常吗？
比如做种的人抓个盘结果写入的硬盘有一个坏道，由于视频播放是有容错率的，不会出现不hash 100%不能播放的情况，那所有人下载完毕播放一点问题没有。但是如果校验就可能会出现到99%永远不能完成100%
这种情况直接跳过校验就能做种，TR貌似是用硬链接，如果用utorrent的话直接跳过散列检测就100%了
所以不一定是静默损坏这么高大上，最大可能是发种的人那里出了问题
评论
百度云限速后就没传过大文件，小文件没有一个坏档案例，估计是客户端p2p的原因吧，网页一直很正常，另外有多年存储经验的话都会碰到一个问题就是大文件copy后hash一遍，非常耗时，避免部署时出现意外，lz的情况不光可能出现在传输过程，硬件本身也会导致，没有恢复机制的文件系统数据保存太久也无法保证绝对完整，也就是静默错误
举个最简单的例子，一个软件躺在你硬盘里很多年了，有天突然你看到他并打开它发现动不动就崩溃，很可能就是存放在硬盘里部分关键代码数据已经改变了，当你重新安装一下发现又正常了，数据其实存放周期比想象中短很多，以前用ntfs存的vhd文件大约都是30G级别的，上次一对比，发现一个hash值都不同，想想还是算了也不细究里面哪些文件出问题了，现在换refs，几年后再看看吧，emule已经成为历史了连ipv6都不能支持，Transmission可以以服务形式运行，一直都在用这个
不是的，bt下载时都是有校验过程的，如果元数据出问题不可能下载成功的，这个你可以放心，校验不通过你的文件肯定是有问题的
评论
1. 視頻文件沒研究,音頻文件是會因為一些播放(管理)軟件變化的.比如有些人用iTunes導入專輯,iTunes會改變音頻文件的tag,這是會造成校驗不完整的.不知道視頻文件在加載鏡像或是用播放器播放的時候,會不會出現這樣的情況.
2. 有時候文件下載不完整可能和tracker的代碼有關係.Gazelle架構的站經常能看到一些人下載停在一個進度,如果不處理一直都是這樣.WCD,red,APL我做種列表裡常年都有幾十個下載進度停在那裡的leecher.這樣的概率還不算少,沒做過具體統計,gazelle出現這樣的情況的概率大概在千分之五到百分之一之間.所以你丟失的文件可能下載完成的時候就是不完整的.
3. BT客戶端也可能會造成這樣的問題.以前用UT,我發種都是做完種子校驗一次,點發布之前再校驗一次,做完種子之後我是不動文件的.就是這樣我還是碰到過很多次到最後所有人下載進度停在99%的情況,自己再校驗也發現文件變成99%了.這樣的情況從一張CD到一個藍光原盤都發生過,從做種子到發現問題的時間10多分鐘到幾小時不等,這麼短的時間硬盤發生問題的可能性幾乎是沒有的.不確定是UT的問題,但是UT有很大嫌疑,因為從做種子到出問題只有UT接觸過文件.我現在改用qb,可能樣本比較少,目前沒發現這種情況.
4. 29樓的回复是沒有基本常識的,做種子的時候是以當時做種子的文件的100%計算的,哪怕做種子的時候的文件相對於一個"完全無誤"的文件是99%,那做出來的種子本身就是這個99%的文件的100%/.
评论
朋友，你的回复才是缺乏基本常识
你写的情况仅仅针对蓝光抓成iso，音乐抓成iso的“光盘”模式，这种1:1完全复制的光盘模式的种子要么就是校验通不过，不是一个种子，要么就是100%
但是蓝光抓成bdmv和音乐抓成wav或者flac就可能会出现99%，因为它要通过utorrent和windows的双重判定
打个比方，制作种子的人硬盘有坏道，或者制作种子的时候一边制作种子一边在下载，引发硬盘负荷重，播放花屏......等等诸如此类.......制作者制作完了100%的种子，对制作者本人来说这种子是没有问题的，然后上传到网站。。。。下载的人下到了自己的硬盘上之后，则必须通过windows对硬盘数据块的判定，windows认为这一数据块是坏的，那自然就99%
于是下载的时候能下到100%（utorrent判定数据正常），但是重新校验的时候就只能到99%（windows判定数据不正常）。这也很有可能就是你前面写的“3”的原因
评论
可以专门存储大量压缩文件做试验。
评论
是ftp的问题。。。。
评论
ftp很容易出现损坏，即使是局域网。。。
评论
emule已经成为历史了？一直用电驴的我感到很悲伤……
评论
請問你發過幾個種?種子校驗是否100%只是校驗做種子時候的文件的完整性,這是基本常識.
至於你說的文件抓出來就是99%,我可以告訴你,就算你用EAC抓軌報錯,抓軌log在站點的logchecker評分低於100,你做出來的種子只要沒問題在bt客戶端校驗仍然是100%.具體參見各個音樂站評分低於100%評分的種子有多少,照你說的這些種子都是只要一校驗都會99%的,你可以自己去下幾個校驗一下,看看是不是你說的那樣.
所謂的windows判定更是荒謬,絕大多數的情況下99%的種子播放根本就不會出現問題,這種校驗不完整的情況根本不影響文件本身的完整性.拿flac做例子,一個人下載了一張專輯,專輯的名字是ABC,他覺得這個名字不對,把專輯名的tag改為ABB,這樣就會造成種子校驗99%.這個99%只是相對於做種子時候的文件,和文件本身的質量並沒有必然的聯繫.
评论
如果不是你前面跳出来气势汹汹的说我缺乏基本常识，我也懒得来回这么一贴
我上面回帖已经写的很清楚了，懒得同样的事情继续花笔墨，你看不懂不是我的问题.
评论
自己把你這段話翻成英文去HDB發出來問問是不是有人覺得你有基本常識?
评论
HDB是什么？可以吃吗？
我是回复楼主的帖子，前面已经写的很清楚了
你连ISO格式和BDMV格式写入硬盘，windows管理有区别都不懂，要无理取闹抓人乱喷请随意
评论
大家消消气，观点有出入正常，争吵则不必。我只希望此事给大家讨论一下，也给大家的数据日常使用提个醒，相信看了帖子的人自然心里有数，谢谢你们的意见
评论
不太懂
全换intel P系列ssd能避免或者减少不？
评论
所以对silent corruption有强迫症的人都去用ZFS了...
评论
你在HDB用蹩腳的英文大量的回复,甚至有時候別人發帖問什麼你都沒搞清楚就亂回一通的時候想過HDB能不能吃這個問題嗎?
還ISO格式寫入硬盤,你買過幾張碟?我雖然說對視頻文件沒研究,至少經我手抓過的藍光和DVD超過3位數,我都不知道你哪來的自信敢提這樣的問題.
最後,沒有基本常識只是在陳述一個事實,如果一句陳述基本事實的話都能讓你感覺到被冒犯,覺得別人氣勢洶洶,那你回帖之前是不是應該先想一下自己應該怎麼回帖呢?你29樓回帖的語氣你是不是覺得有點氣勢凌人呢?關鍵你還是在一個你完全不了解的領域氣勢凌人的張嘴就來.
聽樓主的,這帖不會再回复你,你繼續覺得你永遠正確吧.
评论
我不知道什么hdb，不知道你在说什么，谢谢
注册了6年就专门来喷我回复了几个帖子，感到很荣幸哦
不过很抱歉，就算你抓了几百张碟也好各种牛逼也好，你和我的生命没有交集，你在我心目中就是
评论
我只说别超内存条 会出现校验错误
评论
这么说，我以前的老相片JPG格式半张花屏应该也是这个问题了
评论
我的840EVO固态刚买回来写入了大量数据 100多G 结果出现了可怕的现象 在操作系统层面 所有文件夹都是双份 同名的 我没敢继续操作 直接全盘格了重装了 目前用到现在 偶尔出一些莫名其妙的小问题
评论
lz下载的每个bt不是都执行一遍吗，可以拷贝到另一个目录，比如视频或音频总会看一遍吧，游戏也拿来玩一下，不然下载来干嘛，难道为收藏而下载
评论
我遇到过硬盘很久没读取过的文件读不出来（大概三四年没打开过那些文件，硬盘一直正常再用），所以我现在一般自己的数据都备份至少两份，然后两年内一定要全部读取回写，或者拷贝到新硬盘中。
评论
lz你的情况就是因为坏了3块盘，数据肯定有损啊，每块盘单独镜像后用恢复软件拷出来的？
单块硬盘出问题很少，前不久腾讯云损坏数据是一个例子，可以描述为lz发明的这个静默损坏，写入后读取出来的内容就和原始不相符了。
个人电脑上出现文件复制一下就校验不对，还是先查内存吧！
评论
以上是硬盘smart无报错的情况，很少有问题，会有少量实际硬盘有故障没自检出来的，少于内存问题造成的文件损坏。
评论
1.上面回复过，系统区损坏，数据区无损。
2.如果是内存损坏，可就不只近20个种子有损了，原NAS大约有500多个种子，至少会损坏一半以上吧。
3.静默损坏不是我发明的，早而有之，谈这个问题本来就是因为腾讯这个事件有感而发。
感谢你的意见
评论
bt的校检本来就有问题，以前不是流行过一段时间放单独的校检文件。
我是觉得硬盘本省都报故障了，出什么问题都不能算静默了。
评论
SnapRAID自带数据完整性保护
Scrub一下就能修复了
评论
没错，因为bt太不靠谱，早期的pt都带quickpar校验的。。。
评论
曾经一台固态机器1年多没通电开机。。硬盘数据丢失无法引导启动。。。格式化后正常可用。
评论
曾经试过聚会的单反照片，存在电脑里，同步过程以为没问题了，后来再转回来发现就是相片一半看不到
评论
不用ecc内存，不可能完全杜绝的一般情况下，在写入数据的过程中，举个例子，源数据A，写入的数据B，系统是不会主动去检查B是否和A一致，系统只关心两个问题，第一，读通道是否出错，关心的是读数据A的通道，而不是读出的数据。第二，同理，写通道是否正确。如果读和写两个通道没报错，系统就认为整个数据写入的过程没错，但是，这是个弱校验方式。我之前好像看到过一篇08年的关于静默损坏的论文，那帮人调查了150万块的硬盘，发现有8%的静默损坏发生。。。具体数据记不清了。。。
评论
固态硬盘因为特性 不能长时间不开机 会丢失数据的 半年加电几小时 让主控在后台把数据热更新一下
评论
老的普通硬盘需要时不时通电吗？
评论
我是所有数据3-4个月冷备份一次 备份过程会有好几天 所以就相当于给普通的硬盘通电了 还能利用发热去去潮气 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 ｛日本国际学校｝梅田インターナショナルスクール
·日本学校 LINE：sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル＝140円台まで上昇？
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办？