零基礎(chǔ)學(xué)編程需要什么基礎(chǔ)？英語(yǔ)不好可以學(xué)嗎 2022-09-06
零基礎(chǔ)學(xué)編程需要什么基礎(chǔ)？英語(yǔ)不好可以學(xué)嗎？零基礎(chǔ)學(xué)習(xí)編程需要具備扎實(shí)的計(jì)算機(jī)基礎(chǔ)常識(shí)，較強(qiáng)的邏輯思維、計(jì)算機(jī)操作系統(tǒng)體系結(jié)構(gòu)、計(jì)算...詳情>
爬蟲分類有哪些？ 2022-09-05
通用網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)中搜集網(wǎng)頁(yè)，采集信息，這些網(wǎng)頁(yè)信息決定著整個(gè)引擎系統(tǒng)的內(nèi)容是否豐富，信息是否即時(shí)，因此其性能的優(yōu)劣直接影響著搜索...詳情>
2022年it行業(yè)的就業(yè)方向及前景分析 2022-09-05
在2022年it主流就業(yè)方向包括前端開發(fā)、數(shù)據(jù)庫(kù)管理、大數(shù)據(jù)開發(fā)、后臺(tái)開發(fā)、嵌入式開發(fā)、AI智能和UI設(shè)計(jì)這七大方向，每個(gè)方向所需要的技能都會(huì)...詳情>
SparkStreaming消費(fèi)速度趕不上生產(chǎn)速度怎么辦？ 2022-09-02
在默認(rèn)情況下，Spark Streaming 通過(guò)receiver或者Direct方式以生產(chǎn)者生產(chǎn)數(shù)據(jù)的速率接收數(shù)據(jù)。當(dāng) batch processing time > batch interval 的...詳情>
SparkStreaming一個(gè)批次有多久？一個(gè)批次有多少條數(shù)據(jù)？ 2022-09-02
關(guān)于批次間隔需要結(jié)合業(yè)務(wù)來(lái)確定的，如果實(shí)時(shí)性要求高，批次間隔需要調(diào)小。 每個(gè)批次的數(shù)據(jù)量是和每天產(chǎn)生的數(shù)據(jù)量有直接關(guān)系，在計(jì)算的時(shí)候需...詳情>
批次累加 2022-09-02
UpdataStateBykey updataStateBykey是特殊的reduceByKey， 相當(dāng)于oldValue+reduceByKey(newValue1,newValue2)，通過(guò)傳入一個(gè)updateFunc來(lái)實(shí)現(xiàn)...詳情>
解決數(shù)據(jù)積壓（重點(diǎn)） 2022-09-02
批處理時(shí)間<<批間隔時(shí)間：流量太小，集群閑置，浪費(fèi)資源，批處理時(shí)間>>批間隔時(shí)間：流量太大，集群繁忙，數(shù)據(jù)積壓導(dǎo)致系統(tǒng)崩潰#####通過(guò)設(shè)置sp...詳情>
SparkStreaming整合Kafka（重點(diǎn)） 2022-09-02
receiver方式 sparkStream啟動(dòng)一個(gè)單獨(dú)的線程receiver定時(shí)使用kafka高階API向kafka拉取數(shù)據(jù)，并自動(dòng)地更新zk的offsets。優(yōu)點(diǎn)：用戶專注于業(yè)務(wù)...詳情>
DStream 2022-09-02
DStream是Spark Streaming的基礎(chǔ)抽象，代表持續(xù)的數(shù)據(jù)流，它由一系列連續(xù)的RDD組成，一個(gè)批次間隔接收的數(shù)據(jù)只會(huì)存放在一個(gè)block中，因此每個(gè)...詳情>
SparkSQL的時(shí)間類型？ 2022-09-02
SparkSQL的時(shí)間類型？SparkSQL的所有類型都在org.apache.spark.sql.types._的包下面，這個(gè)里面我們可以引入對(duì)應(yīng)的schema類型，包括事件的Date...詳情>
熱問(wèn)標(biāo)簽 更多>>
熱問(wèn)TOP榜
在線提問(wèn)
專業(yè)導(dǎo)師線上坐鎮(zhèn)，解答個(gè)性化學(xué)習(xí)難題
提交問(wèn)題
京公網(wǎng)安備 11010802030320號(hào)