7月3日，Back You Up 鼎甲線上公開(kāi)課第12期開(kāi)講，鼎甲華東區(qū)技術(shù)支持工程師張年年介紹了CDM的設(shè)計(jì)場(chǎng)景與真實(shí)使用場(chǎng)景，并對(duì)CDM未來(lái)發(fā)展趨勢(shì)進(jìn)行了分析。
大家好，歡迎大家來(lái)參加今天的鼎甲公開(kāi)課，我們今天的主題是CDM的想象與真實(shí)。我大致會(huì)把這個(gè)課程分成五個(gè)部分。
第一部分，你從哪里來(lái)，我的CDM。 我們講CDM從哪里來(lái)主要要回到我們整個(gè)災(zāi)備行業(yè)的兩大基本需求，災(zāi)備行業(yè)最重要的兩個(gè)需求，它都是來(lái)自于一些災(zāi)難性的場(chǎng)景，那么我們看一下到底有一些什么場(chǎng)景。 比如說(shuō)誤操作、中病毒，又比如惡意刪除、刪庫(kù)跑路這種。 當(dāng)發(fā)生這些，我們叫數(shù)據(jù)上的邏輯錯(cuò)誤的時(shí)候，我們需要把這個(gè)數(shù)據(jù)狀態(tài)調(diào)回到?jīng)]有發(fā)生這些錯(cuò)誤之前。 那么另外一些場(chǎng)景，比如說(shuō)節(jié)點(diǎn)宕機(jī)了、斷網(wǎng)了、發(fā)生災(zāi)難了，就是整個(gè)服務(wù)器啊，整個(gè)機(jī)柜，甚至于整個(gè)機(jī)房都遭受了一些數(shù)據(jù)災(zāi)難，我們?cè)鯓硬拍鼙ＷC這個(gè)業(yè)務(wù)能夠持續(xù)的運(yùn)行？ 這是災(zāi)備行業(yè)的第二個(gè)問(wèn)題，那么這兩個(gè)問(wèn)題其實(shí)是兩個(gè)需求的核心，一個(gè)是數(shù)據(jù)可恢復(fù)性，一個(gè)就是業(yè)務(wù)的連續(xù)性的保障。面對(duì)這兩個(gè)核心的需求，我們?yōu)膫湫袠I(yè)的廠商是做了很多工作，主要的內(nèi)容就是備份和容災(zāi)。也就是說(shuō)，備份和容災(zāi)其實(shí)是兩件不同的事情。 備份做了一些什么事呢？我們看一下備份的特點(diǎn)。備份主要是建立一個(gè)數(shù)據(jù)的時(shí)間冗余，它的數(shù)據(jù)恢復(fù)都會(huì)有數(shù)據(jù)的傳輸過(guò)程，而且這個(gè)數(shù)據(jù)的存放一定是脫離生產(chǎn)環(huán)境的，它是不能放在生產(chǎn)環(huán)境內(nèi)部的。 那么什么是容災(zāi)呢？我們顧名思義它是災(zāi)難的冗余嘛，在災(zāi)難來(lái)臨的時(shí)候，我們不至于說(shuō)整個(gè)業(yè)務(wù)沒(méi)有辦法進(jìn)行了。容災(zāi)這件事情它有三個(gè)非常突出的特點(diǎn)，第一個(gè)容災(zāi)的數(shù)據(jù)它是同步更新的，一旦你在一個(gè)節(jié)點(diǎn)上刪除了一個(gè)數(shù)據(jù)，那么其他節(jié)點(diǎn)相應(yīng)的數(shù)據(jù)也就跟著刪除了。 容災(zāi)第二個(gè)特點(diǎn)就是可切換，它可以在節(jié)點(diǎn)之間去切換它的業(yè)務(wù)負(fù)載，第三個(gè)特點(diǎn)就是不能回到過(guò)去。 那么在災(zāi)備工作上還有兩個(gè)非常重要的指標(biāo)，就是RTO和RPO。RTO是業(yè)務(wù)恢復(fù)時(shí)間，RPO是恢復(fù)時(shí)間點(diǎn)。 在這些概念的基礎(chǔ)上，CDM是如何來(lái)的呢？CDM一共有三個(gè)非常核心的技術(shù)。第一個(gè)是連續(xù)日志保護(hù)，通過(guò)一個(gè)定時(shí)的數(shù)據(jù)備份，再加上我們實(shí)時(shí)的連續(xù)日志保護(hù)，可以將數(shù)據(jù)庫(kù)的數(shù)據(jù)非常完整的去保存。它和CDP有一個(gè)本質(zhì)的區(qū)別，就是我們備下來(lái)的每一個(gè)日志都是能保證它是可恢復(fù)的。 第二個(gè)核心技術(shù)點(diǎn)就是合成備份，合成備份最重要的一個(gè)優(yōu)點(diǎn)就是它是一個(gè)永久的增量備份。我們可以看下面這個(gè)圖，每一塊紅色的都是指那個(gè)初始的全量備份，每個(gè)初始的全量備份加上當(dāng)前的這個(gè)綠顏色的增量數(shù)據(jù)之后，可以組合成為一個(gè)新的全量數(shù)據(jù)，就是后面的藍(lán)色這個(gè)方框。每一個(gè)藍(lán)色方塊都成為一個(gè)塊狀的形態(tài)，存在我們的CDM服務(wù)器里面。那么這些藍(lán)色的方塊兒可以去干什么？可以去做一個(gè)掛載恢復(fù)，那么就引入了我們第三個(gè)核心的技術(shù)叫做即時(shí)掛載恢復(fù)。 即時(shí)掛載恢復(fù)它的概念是根據(jù)數(shù)據(jù)形態(tài)不同，通過(guò)iscsi、FC、NFS等協(xié)議，將備份集通過(guò)直接掛載到客戶(hù)端的形式進(jìn)行交付。主要特點(diǎn)是無(wú)數(shù)據(jù)傳輸、掛載內(nèi)容可寫(xiě)及多副本掛載。 剛剛我講了三大核心的CDM技術(shù)，我們可以看到，實(shí)際上這個(gè)CDM就是脫胎于備份且不止于備份。 那么根據(jù)這個(gè)CDM的情況呢，我們?cè)O(shè)計(jì)了一些方案場(chǎng)景，就是我們?cè)谙胂裰械膱?chǎng)景，我們今天的主題叫想象與真實(shí)嘛，那我們想象中的場(chǎng)景是怎么樣的？ 是我們獲得黃金副本之后進(jìn)行若干個(gè)快照的掛載，去支持這些應(yīng)急、開(kāi)發(fā)、測(cè)試分析等等一些其他的業(yè)務(wù)。 我們想象中首先CDM是一個(gè)備份恢復(fù)的東西，然后它是可以去做一個(gè)應(yīng)急接管級(jí)副本提供。 那么我們?cè)诂F(xiàn)實(shí)中，比如說(shuō)鼎甲在這幾年也實(shí)施了很多個(gè)CDM的項(xiàng)目，在項(xiàng)目實(shí)施和后期維護(hù)的過(guò)程中呢，也發(fā)現(xiàn)了很多用戶(hù)實(shí)際上對(duì)你這個(gè)CDM平臺(tái)，它的用法和它的一個(gè)使用的需求。比如說(shuō)在電信號(hào)碼百事通，他們有一些這樣的用法。 我們還有一個(gè)客戶(hù)，是一個(gè)碼頭客戶(hù)，他的這個(gè)碼頭的應(yīng)用首先是不能停的。他的數(shù)據(jù)備份呢，也是不能丟數(shù)據(jù)的，他的RPO要求是分鐘級(jí)別。 快遞公司它們數(shù)據(jù)庫(kù)的體量是非常龐大的，它主要是要做合成備份，做合成備份的目的是它沒(méi)有辦法周期性的做全量備份。因?yàn)樗坏┳鋈總浞菹喈?dāng)于他這個(gè)數(shù)據(jù)庫(kù)的使用幾乎要停止，所以一定要做永久的增量備份。此外，它還有一個(gè)25T的數(shù)據(jù)庫(kù)，當(dāng)它要去生成一個(gè)測(cè)試庫(kù)的時(shí)候，它需要CDM去做掛載恢復(fù)。 因?yàn)镃DM是脫胎于備份，CDM的廠商也主要是以備份廠商為主，那我們?cè)谧鑫覀儺a(chǎn)品的時(shí)候，在我們的想象中，我們的產(chǎn)品在被用戶(hù)使用的頻率一般是不會(huì)很高的，因?yàn)橛脩?hù)發(fā)生災(zāi)難的頻率不會(huì)很高。但是CDM這個(gè)東西是不一樣的，它的頻率會(huì)變得非常高。然后呢，秒級(jí)恢復(fù)到小時(shí)級(jí)恢復(fù)，這里面就講到我剛才說(shuō)到的一個(gè)日志回滾的時(shí)間。第三個(gè)硬件，我們CDM的這個(gè)設(shè)備，它所使用的硬件是不是一個(gè)普通的備份一體機(jī)能夠搞定，這也是一個(gè)非常重要的問(wèn)題。 我們來(lái)看一下這個(gè)使用頻率啊，比如說(shuō)號(hào)百的場(chǎng)景，他這個(gè)場(chǎng)景都不是一些發(fā)生災(zāi)難的時(shí)候才會(huì)有的場(chǎng)景，而是日常工作中就會(huì)產(chǎn)生的場(chǎng)景，所以他每天的工作中都會(huì)發(fā)生這種需要副本掛載的事情。然后在如此高頻率的使用情況下，他遇到的問(wèn)題一定會(huì)更多。操作后，他的這個(gè)掛載在操作以后就會(huì)很快的去解除掉啊，很少會(huì)有這種長(zhǎng)時(shí)間要掛一兩個(gè)月的這種場(chǎng)景出現(xiàn)。 第二種這個(gè)想象與現(xiàn)實(shí)的差距就是你的售前介紹的時(shí)候秒級(jí)恢復(fù)，實(shí)際上秒級(jí)恢復(fù)是很難去做到，因?yàn)樗幸粋€(gè)日志回滾的時(shí)間，就說(shuō)我們?cè)谑矍敖榻B時(shí)經(jīng)常會(huì)去忽略掉這個(gè)日志回滾的時(shí)間。大型庫(kù)的備份時(shí)間較長(zhǎng)，備份過(guò)程中的產(chǎn)生的日志需要回滾，以滿(mǎn)足精確的時(shí)間點(diǎn)、SCN恢復(fù)。 在硬件配置層的想象與現(xiàn)實(shí)，基本上有三大塊：修改恢復(fù)目標(biāo)庫(kù)的配置如AIO及文件系統(tǒng)調(diào)優(yōu)；引入SSD閃存盤(pán)，提高磁盤(pán)I/O性能； 增加備份服務(wù)器的內(nèi)存、CPU配置。 最后我講一下當(dāng)我們遇到了這些想象和現(xiàn)實(shí)的差距之后，鼎甲對(duì)我們CDM的產(chǎn)品在未來(lái)做了一些什么樣的展望？下面這是一個(gè)方案，我們把CDM和脫敏去整合到一起。整合到一起之后呢，也就是說(shuō)將脫敏這件事情，也是離開(kāi)了生產(chǎn)庫(kù)。在做脫敏抽取數(shù)據(jù)和運(yùn)算的這個(gè)過(guò)程，是不需要生產(chǎn)庫(kù)的參與。所以就把脫敏這件事情離你生產(chǎn)更遠(yuǎn)，對(duì)你生產(chǎn)就沒(méi)有任何的影響，通過(guò)CDM和掛載數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)這么一個(gè)脫敏的工作。最終用戶(hù)是通過(guò)查詢(xún)客戶(hù)端直接去查詢(xún)這個(gè)脫敏的數(shù)據(jù)庫(kù)就可以了。 第二種方案呢，我們CDM在整個(gè)的基礎(chǔ)架構(gòu)中扮演的角色，我們?nèi)ネ诰蛞幌碌诙鎯?chǔ)的一個(gè)重要角色。那么在這個(gè)過(guò)程中，其實(shí)CDM這個(gè)系統(tǒng)和生產(chǎn)測(cè)試用的存儲(chǔ)是在同一個(gè)層面的。從生產(chǎn)數(shù)據(jù)到測(cè)試數(shù)據(jù)，這么一個(gè)轉(zhuǎn)換過(guò)程是通過(guò)CDM可以去做一個(gè)數(shù)據(jù)的承上啟下，通過(guò)CDM可以去做一個(gè)生產(chǎn)數(shù)據(jù)的副本，快速為測(cè)試數(shù)據(jù)提供副本。 然后我們?cè)诙椎倪@個(gè)CDM的一體機(jī)，硬件上也做了一些優(yōu)化，比如說(shuō)我們推出了DK8000系列的全閃存的一體機(jī)。包括了是全閃的系統(tǒng)盤(pán)啊，全閃的數(shù)據(jù)盤(pán)，大大的提高了我們磁盤(pán)的IO，還有就是針對(duì)一些大容量的大數(shù)據(jù)量的這個(gè)用戶(hù)的情況，我們的CDM也提供了4U的這種DK7000系列，我們叫它半閃存盤(pán)。其實(shí)根本目的也是用來(lái)提高我們的磁盤(pán)的IO，提高磁盤(pán)IO以后就可以提高整個(gè)掛載恢復(fù)回滾日志的速率。
