多么痛的領(lǐng)悟!順豐誤刪數(shù)據(jù)庫(kù),人靠不住,只能靠技術(shù)
發(fā)布人:scutech 發(fā)布日期:2018-09-20 16:06:48 點(diǎn)擊數(shù):3801
昨日,從順豐傳出來(lái)的這封郵件傳遍IT圈,簡(jiǎn)意是:一位高級(jí)運(yùn)維人員搞錯(cuò)了一條命令,誤刪了某個(gè)數(shù)據(jù)庫(kù),數(shù)據(jù)無(wú)法恢復(fù),后果太嚴(yán)重了,順豐只好讓他被動(dòng)跑路。
大家在群里展開熱烈討論:
僅僅是因?yàn)榍缅e(cuò)一條命令或小失誤而導(dǎo)致數(shù)據(jù)丟失,嚴(yán)重影響業(yè)務(wù)連續(xù)性的事件也不在少數(shù):
2017年2月,Gitlab.com的某同學(xué)工作至深夜,在解決ddos攻擊過(guò)程中,命令錯(cuò)誤地敲在了生產(chǎn)環(huán)境上,導(dǎo)致300GB數(shù)據(jù)被刪除,雖然極力挽回,但最后仍然丟了6個(gè)小時(shí)的數(shù)據(jù)。
2017年3月,AWS也曾發(fā)生過(guò)類似的誤操作,某工程師在調(diào)查Northern Virginia Region上S3的一個(gè)和賬務(wù)系統(tǒng)相關(guān)的問(wèn)題,因?yàn)橛幸粭l命令搞錯(cuò)了,導(dǎo)致了移除了大量的S3的控制系統(tǒng)。
2018年4月,Kuriko由于機(jī)房運(yùn)維人員的rm -rf /*命令,導(dǎo)致宿主機(jī)上所有數(shù)據(jù)丟失,Kuriko使盡一切辦法,嘗試恢復(fù)原有數(shù)據(jù)以及獲取備份資料,但恢復(fù)可能較小。
要避免以上問(wèn)題,小編給出三點(diǎn)建議:
相信科技的力量,而不只是管理
事件中,有人認(rèn)為最應(yīng)該解雇的是運(yùn)維主管,應(yīng)該設(shè)置更多的審批流程和權(quán)限,甚至用價(jià)值觀來(lái)教導(dǎo)工程師等等。
小編認(rèn)為,這些手段不是不好,但會(huì)導(dǎo)致企業(yè)的運(yùn)營(yíng)效率降低,增加人員成本,而且不能從根本上解決問(wèn)題。
作為技術(shù)人員,解決問(wèn)題的最好方式是通過(guò)技術(shù)手段,而不只是使用更多的人肉手段。人類區(qū)別于動(dòng)物的差別在于會(huì)發(fā)明和使用現(xiàn)代化的工具。
我們應(yīng)當(dāng)更多的相信技術(shù)而不是管理。相信技術(shù)會(huì)用技術(shù)來(lái)解決問(wèn)題,相信管理,那就只會(huì)有制度、流程和價(jià)值觀來(lái)解決問(wèn)題。
推行自動(dòng)化的數(shù)據(jù)保護(hù)技術(shù)
一個(gè)老運(yùn)維說(shuō),誤刪數(shù)據(jù)庫(kù)事件在自己的職業(yè)生涯里,碰見過(guò)不少于10次,特別是在多個(gè)終端操作的時(shí)候,特別容易出錯(cuò)。備份固然重要,但更重要是知道如何備份。
人都會(huì)有犯錯(cuò)的時(shí)候,誤操作會(huì)導(dǎo)致數(shù)據(jù)丟失。但也有很大一部分誤操作,是發(fā)生在數(shù)據(jù)恢復(fù)的過(guò)程中,更可怕地會(huì)導(dǎo)致數(shù)據(jù)永久丟失。透過(guò)敲代碼的方式來(lái)實(shí)現(xiàn)數(shù)據(jù)保護(hù)是靠不住的,所以竭盡全力推動(dòng)運(yùn)維自動(dòng)化,應(yīng)該是所有運(yùn)維人最應(yīng)該干的事。
最重要的是選擇對(duì)的工具!!
鼎甲自動(dòng)化的數(shù)據(jù)保護(hù)、數(shù)據(jù)管理工具,確保企業(yè)在IT運(yùn)維過(guò)程中,數(shù)據(jù)零丟失,系統(tǒng)高可用,業(yè)務(wù)不中斷。
數(shù)據(jù)保護(hù)平臺(tái)——DBackup
中國(guó)郵政兩大省級(jí)公司(廣東、江蘇),已經(jīng)透過(guò)尖端的技術(shù),做好了自動(dòng)化的數(shù)據(jù)保護(hù)工作,防患于未然。
透過(guò)鼎甲數(shù)據(jù)保護(hù)平臺(tái)DBackup,可以保障企業(yè)的IT系統(tǒng)數(shù)據(jù),在遭遇人為誤操作、病毒攻擊、軟硬件故障、自然災(zāi)難時(shí),能得到完整、準(zhǔn)確、快速的恢復(fù)。
運(yùn)維人員只需要提前設(shè)置好備份策略,DBackup便可以實(shí)時(shí)、自動(dòng)化地對(duì)數(shù)據(jù)進(jìn)行備份,包括操作系統(tǒng)、數(shù)據(jù)庫(kù)、應(yīng)用、文件、虛擬機(jī)等各類數(shù)據(jù),無(wú)需運(yùn)維人員手動(dòng)開展,杜絕誤操作。
此外,一旦遭遇故障導(dǎo)致數(shù)據(jù)丟失。透過(guò)DBackup,可以一鍵快速恢復(fù)到任意時(shí)間點(diǎn)的數(shù)據(jù),同樣無(wú)需復(fù)雜的人手工作,保證業(yè)務(wù)的連續(xù)穩(wěn)定,徹底杜絕以上事件的發(fā)生。
CDM數(shù)據(jù)副本管理工具——InfoSemper
DBackup結(jié)合CDM數(shù)據(jù)副本管理工具InfoSemper,更是超越傳統(tǒng)數(shù)據(jù)保護(hù)的價(jià)值,激活數(shù)據(jù)副本潛能。
中國(guó)郵政江蘇省公司,率先透過(guò)InfoSemper,使數(shù)據(jù)副本不只用于數(shù)據(jù)備份和恢復(fù),更是可以自動(dòng)化地進(jìn)行快速共享,給不同人員在開發(fā)測(cè)試、報(bào)表分析、商業(yè)智能等場(chǎng)景中使用。關(guān)鍵是數(shù)據(jù)副本共享的速度非常快,可達(dá)分鐘級(jí)數(shù)TB的速度,共享過(guò)程絲毫不會(huì)影響業(yè)務(wù)的連續(xù)性和穩(wěn)定性。
運(yùn)維人員從此解放雙手,避免繁瑣的數(shù)據(jù)管理工作。
我們都知道能備份的數(shù)據(jù)不一定能恢復(fù),做備份但不可恢復(fù),更是耍流氓。透過(guò)InfoSemper,可以作為數(shù)據(jù)恢復(fù)演練的手段,定期驗(yàn)證數(shù)據(jù)恢復(fù)的有效性,保證數(shù)據(jù)零風(fēng)險(xiǎn)。
透過(guò)以上神器,100%能保證數(shù)據(jù)的安全性。
此外,說(shuō)一個(gè)題外話,一個(gè)高級(jí)工程師的價(jià)值不在于寫過(guò)多少代碼,而是踩過(guò)多少坑,受過(guò)教訓(xùn),積累了寶貴經(jīng)驗(yàn)。