国产艳妇AV在线,一个人看的www免费视频在线观看,黄色一级a片亚洲调情挑逗

近一段時(shí)間在使用Spark Streaming，里面遇到很多問(wèn)題，只知道參照官方文檔寫(xiě)，不理解其中的原理，于是抽了一點(diǎn)時(shí)間研究了一下Spark Streaming作業(yè)提交的全過(guò)程，包括從外部數(shù)據(jù)源接收數(shù)據(jù)，分塊，拆分Job，提交作業(yè)全過(guò)程。這里我只介紹從Kafka中接收數(shù)據(jù)為例進(jìn)行講解。我這里是基于對(duì)Spark 1.3.0的代碼進(jìn)行分析的，由于Spark代碼在經(jīng)常變動(dòng)，不同版本的Spark代碼可能不一樣，所以閱讀下面的代碼請(qǐng)參照Spark 1.3.0的源碼。

　　我們通過(guò)KafkaUtils.createStream函數(shù)可以創(chuàng)建KafkaReceiver類（這是默認(rèn)的Kafka Receiver，如果spark.streaming.receiver.writeAheadLog.enable配置選項(xiàng)設(shè)置為true，則會(huì)使用ReliableKafkaReceiver，其中會(huì)使用WAL機(jī)制來(lái)保證數(shù)據(jù)的可靠性，也就是保證數(shù)據(jù)不丟失。）

　　在KafkaReceiver類中首先會(huì)在onStart方法中初始化一些環(huán)境，比如創(chuàng)建Consumer(這個(gè)就是用來(lái)從Kafka的Topic中讀取消息的消費(fèi)者)。在初始化完相關(guān)環(huán)境之后會(huì)在線程池中啟動(dòng)MessageHandler來(lái)從Kafka中接收數(shù)據(jù)：

12

private class MessageHandler(stream: KafkaStream[K, V])

本站文章版權(quán)歸原作者及原出處所有。內(nèi)容為作者個(gè)人觀點(diǎn)，并不代表本站贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)，本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。本站是一個(gè)個(gè)人學(xué)習(xí)交流的平臺(tái)，網(wǎng)站上部分文章為轉(zhuǎn)載，并不用于任何商業(yè)目的，我們已經(jīng)盡可能的對(duì)作者和來(lái)源進(jìn)行了通告，但是能力有限或疏忽，造成漏登，請(qǐng)及時(shí)聯(lián)系我們，我們將根據(jù)著作權(quán)人的要求，立即更正或者刪除有關(guān)內(nèi)容。本站擁有對(duì)此聲明的最終解釋權(quán)。

Spark Streaming作業(yè)提交源碼分析接收數(shù)據(jù)篇

沙克云

定制

關(guān)于