1. 數(shù)據(jù)傾斜

　　答案：避免熱點(diǎn)key設(shè)計(jì)，雙keyby設(shè)計(jì)

　　2. checkpoint優(yōu)化

　　答案：

　　1）降低Source的并發(fā)度、拉取頻率、拉取量

　　2）提高checkpoint發(fā)送頻率

　　3）提升同是處理線程數(shù)(實(shí)操)

　　4）提高checkpoint超時(shí)時(shí)間

　　3.如何保證數(shù)據(jù)質(zhì)量(數(shù)倉(cāng))？

　　答案：數(shù)據(jù)質(zhì)量：指我們數(shù)據(jù)加工、轉(zhuǎn)換、計(jì)算等整個(gè)流程中的數(shù)據(jù)正確性，主要體現(xiàn)在ODS層和ADS層急需要數(shù)據(jù)質(zhì)量，ODS主要判斷ODS中的數(shù)據(jù)和業(yè)務(wù)庫(kù)中的數(shù)據(jù)是否一致(條數(shù))，ADS層主要是看最終指標(biāo)是否正確，也即入口和出口一定把質(zhì)量監(jiān)控好。

　　1）大公司就可以說是公司自研的數(shù)據(jù)質(zhì)量系統(tǒng)來保障數(shù)據(jù)質(zhì)量，保證ODS同步數(shù)據(jù)是否多少、可以配置ODS層數(shù)據(jù)量為上游數(shù)據(jù)的百分比、可以配置告警。如：業(yè)務(wù)庫(kù)訂單表今天3000萬條，但是采集到ODS層2000萬條，配置告警規(guī)則為業(yè)務(wù)庫(kù)orders/ods層orders=100%，這個(gè)時(shí)候肯定就要觸發(fā)告警，因?yàn)橛唵紊婕暗藉X，一條數(shù)據(jù)都不能丟。行為日志可以丟一些，自行根據(jù)需求設(shè)置即可。

　　2）小公司，就是將1步驟中的實(shí)現(xiàn)過程自己實(shí)現(xiàn)，比如第一個(gè)版本使用Shell腳本自己實(shí)現(xiàn)ODS層和ADS層數(shù)據(jù)質(zhì)量監(jiān)控的；第二版本自己寫的web項(xiàng)目來對(duì)數(shù)據(jù)質(zhì)量監(jiān)控，主要實(shí)現(xiàn)數(shù)據(jù)條數(shù)、同環(huán)比指標(biāo)的一些監(jiān)控。或者使用開源的框架：Griffin或DolphinScheduler 3.0就有數(shù)據(jù)質(zhì)量功能了。

　　4.女生學(xué)習(xí)大數(shù)據(jù)技術(shù)可以嗎，會(huì)不會(huì)受到歧視？

　　答案： 女生學(xué)習(xí)大數(shù)據(jù)技術(shù)可以嗎，會(huì)不會(huì)受到歧視? - 擁抱大數(shù)據(jù)的回答 - 知乎

　　5.更新大數(shù)據(jù)隨堂視頻(zookeeper-功能介紹)

　　答案：zookeepr-功能介紹 - 擁抱大數(shù)據(jù)的視頻 - 知乎

　　6.更新大數(shù)據(jù)隨堂視頻(zookeeper-集群搭建)

　　答案：zookeeper-集群搭建 - 擁抱大數(shù)據(jù)的視頻 - 知乎 

　　更多關(guān)于大數(shù)據(jù)培訓(xùn)的問題，歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓(xùn)服務(wù)經(jīng)驗(yàn)，采用全程面授高品質(zhì)、高體驗(yàn)培養(yǎng)模式，擁有國(guó)內(nèi)一體化教學(xué)管理及學(xué)員服務(wù)，助力更多學(xué)員實(shí)現(xiàn)高薪夢(mèng)想。