Servizz

Mekkaniżmu tat-tindif tad-dejta Spark Streaming
(I) DStream u RDD
Kif nafu, il-komputazzjoni ta 'Spark Streaming hija bbażata fuq Spark Core, u l-qalba ta' Spark Core hija RDD, għalhekk Spark Streaming għandu jkun relatat ma 'RDD ukoll.Madankollu, Spark Streaming ma jħallix lill-utenti jużaw RDD direttament, iżda astratti sett ta 'kunċetti DStream, DStream u RDD huma relazzjonijiet inklużivi, tista' tifhemha bħala l-mudell ta 'dekorazzjoni f'Java, jiġifieri, DStream huwa titjib ta' RDD, iżda l-imġieba hija simili għal RDD.
DStream u RDD it-tnejn għandhom diversi kundizzjonijiet.
(1) għandhom azzjonijiet ta 'trasformazzjoni simili, bħalma huma mappa, reduceByKey, eċċ, iżda wkoll xi uniċi, bħal Window, mapWithStated, eċċ.
(2) kollha għandhom azzjonijiet ta 'Azzjoni, bħal foreachRDD, għadd, eċċ.
Il-mudell tal-ipprogrammar huwa konsistenti.
(B) Introduzzjoni ta 'DStream fi Spark Streaming
DStream fih diversi klassijiet.
(1) Klassijiet tas-sors tad-dejta, bħal InputDStream, speċifiċi bħala DirectKafkaInputStream, eċċ.
(2) Klassijiet ta' konverżjoni, tipikament MappedDStream, ShuffledDStream
(3) klassijiet tal-output, tipikament bħal ForEachDStream
Minn hawn fuq, id-dejta mill-bidu (input) sat-tmiem (output) issir mis-sistema DStream, li jfisser li l-utent normalment ma jistax jiġġenera u jimmanipula direttament RDDs, li jfisser li d-DStream għandu l-opportunità u l-obbligu li jkun responsabbli għaċ-ċiklu tal-ħajja ta' RDDs.
Fi kliem ieħor, Spark Streaming għandutindif awtomatikufunzjoni.
(iii) Il-proċess tal-ġenerazzjoni RDD fi Spark Streaming
Il-fluss tal-ħajja ta 'RDDs fi Spark Streaming huwa mhux maħdum kif ġej.
(1) F'InputDStream, id-dejta riċevuta tiġi trasformata f'RDD, bħal DirectKafkaInputStream, li jiġġenera KafkaRDD.
(2) imbagħad permezz ta 'MappedDStream u konverżjoni ta' data oħra, din id-darba tissejjaħ direttament RDD li tikkorrispondi mal-metodu tal-mappa għall-konverżjoni
(3) Fl-operazzjoni tal-klassi tal-output, biss meta l-RDD ikun espost, tista 'tħalli lill-utent iwettaq il-ħażna korrispondenti, kalkoli oħra, u operazzjonijiet oħra.