一分耕耘,一分收獲,來到千鋒大數(shù)據(jù)培訓(xùn)的兩個(gè)月里,深刻的認(rèn)識到了這句話的真諦。
比起大學(xué)里吃喝玩樂,混日子,白白丟掉大把的光陰。在大數(shù)據(jù)培訓(xùn)班里的每一天都十分充實(shí)。每天依舊按部就班,卻再也不是泡網(wǎng)吧,和朋友吃吃喝喝,刷夜吃雞。從清早踏進(jìn)教室的大門,到午夜時(shí)分,迎著月光回到寢室,每一天都仿佛是一場精神上的洗禮,腦子里裝著滿滿的知識,整個(gè)人雖然非常疲憊,但此刻內(nèi)心卻無比的平靜。
我想任何一個(gè)正常的成年人都會(huì)思考未來,哪怕曾經(jīng)的我,日日虛度光景,午夜夢回之時(shí)也會(huì)經(jīng)歷內(nèi)心的掙扎。有幸,我選擇了千鋒,這垂死掙扎的結(jié)果,是我賭贏了!
隨著學(xué)習(xí)的節(jié)奏越來越快,每天沒有多余的時(shí)間給我浪費(fèi),只有埋頭苦學(xué),才能追趕那些優(yōu)秀的人。一分耕耘,一分收獲,我的路還很長,肯付出便有希望,加油。
hdfs haadmin -failover 手動(dòng)進(jìn)行故障轉(zhuǎn)移,在該模式下,即使現(xiàn)役,NameNode 已經(jīng)失效,系統(tǒng)也不會(huì)自動(dòng)從現(xiàn)役NameNode 轉(zhuǎn)移到待機(jī) NameNode,下面學(xué)習(xí)如何部署 HA 自動(dòng)進(jìn)行故障轉(zhuǎn)移。自動(dòng)故障轉(zhuǎn)移為 HDFS 部署增加了兩個(gè)新組件:
ZooKeeper 和 ZKFailoverController(ZKFC)進(jìn)程。ZooKeeper 是維護(hù)少量協(xié)調(diào)數(shù)據(jù),通知客戶端這些數(shù)據(jù)的改變和監(jiān)視客戶端故障的高可用服務(wù)。HA 的自動(dòng)故障轉(zhuǎn)移依賴于ZooKeeper 的以下功能:
1) 故障檢測:集群中的每個(gè) NameNode 在 ZooKeeper 中維護(hù)了一個(gè)持久會(huì)話,如果機(jī)器崩潰,ZooKeeper 中的會(huì)話將終止,ZooKeeper 通知另一個(gè) NameNode 需要觸發(fā)故障轉(zhuǎn)移。
2) 現(xiàn)役 NameNode 選擇:ZooKeeper 提供了一個(gè)簡單的機(jī)制用于唯一的選擇一個(gè)節(jié)點(diǎn)為 active 狀態(tài)。如果目前現(xiàn)役 NameNode 崩潰,另一個(gè)節(jié)點(diǎn)可能從 ZooKeeper 獲得特殊的排外鎖以表明它應(yīng)該成為現(xiàn)役NameNode。
ZKFC 是自動(dòng)故障轉(zhuǎn)移中的另一個(gè)新組件,是 ZooKeeper 的客戶端,也監(jiān)視和管理
NameNode 的狀態(tài)。每個(gè)運(yùn)行 NameNode 的主機(jī)也運(yùn)行了一個(gè) ZKFC 進(jìn)程,ZKFC 負(fù)責(zé):
1) 健康監(jiān)測:ZKFC 使用一個(gè)健康檢查命令定期地 ping 與之在相同主機(jī)的NameNode,只要該 NameNode 及時(shí)地回復(fù)健康狀態(tài),ZKFC 認(rèn)為該節(jié)點(diǎn)是健康的。如果該節(jié)點(diǎn)崩潰,凍結(jié)或進(jìn)入不健康狀態(tài),健康監(jiān)測器標(biāo)識該節(jié)點(diǎn)為非健康的。
2) ZooKeeper會(huì)話管理:當(dāng)本地 NameNode 是健康的,ZKFC 保持一個(gè)在 ZooKeeper中打開的會(huì)話。如果本地 NameNode 處于 active 狀態(tài),ZKFC 也保持一個(gè)特殊的 znode 鎖, 該鎖使用了 ZooKeeper 對短暫節(jié)點(diǎn)的支持,如果會(huì)話終止,鎖節(jié)點(diǎn)將自動(dòng)刪除。
3) 基于 ZooKeeper的選擇:如果本地 NameNode 是健康的,且 ZKFC 發(fā)現(xiàn)沒有其它的節(jié)點(diǎn)當(dāng)前持有 znode 鎖,它將為自己獲取該鎖。如果成功,則它已經(jīng)贏得了選擇,并負(fù)責(zé)運(yùn)行故障轉(zhuǎn)移進(jìn)程以使它的本地NameNode 為 active。故障轉(zhuǎn)移進(jìn)程與前面描述的手動(dòng)故障轉(zhuǎn)移相似,首先如果必要保護(hù)之前的現(xiàn)役 NameNode,然后本地 NameNode 轉(zhuǎn)換為 active 狀態(tài)。
以上是最近學(xué)習(xí)所做總結(jié),路漫漫其修遠(yuǎn)兮,吾將上下而求索。希望以我的例子借鑒那些尚有理智的朋友,浪子回頭,亦可直走巔峰。人生的路很長,此刻放下貪戀,創(chuàng)造你的人生價(jià)值,不晚。
千鋒大數(shù)據(jù)培訓(xùn)課程首先從宏觀上講述了大數(shù)據(jù)的特點(diǎn),商業(yè)應(yīng)用,發(fā)展和職業(yè)前景。然后對主流數(shù)據(jù)技術(shù)和生態(tài)圈進(jìn)行了介紹,了解其他和大數(shù)據(jù)技術(shù)之間關(guān)系,然后對不同類型的大數(shù)據(jù)的分析和處理系統(tǒng),解決方案和行業(yè)案例進(jìn)行剖析和講解。
此外,想要學(xué)習(xí)大數(shù)據(jù)的同學(xué),可以先參加千鋒大數(shù)據(jù)培訓(xùn)兩周的預(yù)科班,全程都是免費(fèi)試聽的,先看自己適不適合學(xué)習(xí)再做接下來的準(zhǔn)備更加萬無一失不是?