如何對數據進行識別和去重是現在主流重復數據刪除軟件的主要區別。希望下面的文章可以幫您找到最合適的重復數據刪除軟件。

在硬盤上進行數據備份是大勢所趨。以后將會有越來越多的備份工作從磁帶轉移到磁盤上，重復數據刪除的重要性由此也變的更為明顯。由于每個廠家的產品各不相同，以及對這種技術的不了解，導致許多的存儲管理員在選擇重復數據刪除產品時感到茫然。

在備份過程中，重復數據刪除產品主要運行在兩個地方：備份軟件和硬盤庫中。主流的備份軟件有以下幾款：Asigra公司的Tele- vaulting，EMC公司的Avamar，賽門鐵克公司的Veritas Netbackup PureDisk。這些備份軟件可以在主機級別對數據進行重復數據刪除，然后將處理過的數據傳遞到備份目標盤或者災難恢復地點。主流的磁盤庫廠家包括：Data Domain、Diligent Technologies、Quantum和Sepaton等。重復數據刪除軟件可以對這些目標端設備進行數據的重復刪除，而且不會影響正常的數據備份工作。

下面提到的算法基本適用于任何廠家的重復數據刪除產品。重復數據刪除對性能有何影響及重復刪除后的數據如何管理是兩個最受關注的問題。有時使用一種方法可能無法滿足備份的需求，這時存儲管理員不得不在磁盤庫和備份軟件中同時運行重復數據刪除軟件。部署重復數據刪除時可能會遇到一些潛在的問題，例如，未進行重復刪除的數據能否保存到磁帶上，重復數據刪除技術是否跟備份軟件兼容，必要時能否將重復數據刪除功能關閉等。用戶一定要在權衡利弊之后再決定是否進行實施。

如何估算重復數據刪除的比率

多余的數據：

服務器上多余的數據越多，重復刪除的比率就越高。如果用戶使用的是同一種操作系統，例如Windows，并且系統上的文件或者數據庫數據大部分相同的話，重復數據刪除的效果會很理想。如果用戶使用不同的操作系統，并且上面的數據文件都不相同，那重復數據刪除的比率會比較低。

數據變化的頻率：

重復數據刪除的比率跟數據變化的頻率有關。數據變化的頻率越高，重復數據刪除的比率越低。平時所說的20：1的重復數據刪除比率是基于數據變化率為5%基礎之上的。

數據預壓縮：

數據壓縮是數據刪除算法中的一個關鍵因素。數據壓縮的比率一般為2：1，廠家宣傳的重復刪除的數據通常已包含壓縮功能刪除的這部分數據。如果重復數據刪除比率是15:1,通過壓縮可以達到30：1. 不過如果已經壓縮過的數據，例如jpeg，mpeg，zip文件，再次壓縮基本不會有什么效果。

數據保存周期：

數據保存的周期可以影響數據重復刪除的比率。如果計劃讓重復數據刪除的比率達到10倍或者30倍，需要將數據保存周期設置為20周。如果沒有足夠的空間存儲數據，重復數據刪除的比率就會降低。

全備份的次數：

全備份的次數越多，重復數據刪除的比率就越高。