Servizz

Mekkaniżmu tat-tindif tad-dejta Spark Streaming
(I) DStream u RDD
Kif nafu, il-komputazzjoni ta' Spark Streaming hija bbażata fuq Spark Core, u l-qalba ta' Spark Core hija RDD, għalhekk Spark Streaming trid tkun relatata wkoll ma' RDD. Madankollu, Spark Streaming ma jħallix lill-utenti jużaw RDD direttament, iżda jastratti sett ta' kunċetti DStream, DStream u RDD huma relazzjonijiet inklużivi, tista' tifhimhom bħala l-mudell ta' dekorazzjoni f'Java, jiġifieri, DStream huwa titjib ta' RDD, iżda l-imġiba hija simili għal RDD.
Kemm DStream kif ukoll RDD għandhom diversi kundizzjonijiet.
(1) għandhom azzjonijiet ta' trasformazzjoni simili, bħal map, reduceByKey, eċċ., iżda wkoll xi wħud uniċi, bħal Window, mapWithStated, eċċ.
(2) kollha għandhom azzjonijiet ta' Azzjoni, bħal foreachRDD, count, eċċ.
Il-mudell ta' programmazzjoni huwa konsistenti.
(B) Introduzzjoni ta' DStream fi Spark Streaming
DStream fih diversi klassijiet.
(1) Klassijiet ta' sorsi tad-dejta, bħal InputDStream, speċifiċi bħal DirectKafkaInputStream, eċċ.
(2) Klassijiet ta' konverżjoni, tipikament MappedDStream, ShuffledDStream
(3) klassijiet ta' output, tipikament bħal ForEachDStream
Minn dak li ntqal hawn fuq, id-dejta mill-bidu (input) sat-tmiem (output) issir mis-sistema DStream, li jfisser li l-utent normalment ma jistax jiġġenera u jimmanipula direttament l-RDDs, li jfisser li d-DStream għandu l-opportunità u l-obbligu li jkun responsabbli għaċ-ċiklu tal-ħajja tal-RDDs.
Fi kliem ieħor, Spark Streaming għandutindif awtomatikufunzjoni.
(iii) Il-proċess tal-ġenerazzjoni tal-RDD fi Spark Streaming
Il-fluss tal-ħajja tal-RDDs fi Spark Streaming huwa approssimattiv kif ġej.
(1) F'InputDStream, id-dejta riċevuta tiġi trasformata f'RDD, bħal DirectKafkaInputStream, li jiġġenera KafkaRDD.
(2) imbagħad permezz ta' MappedDStream u konverżjoni oħra tad-dejta, din id-darba tissejjaħ direttament RDD li tikkorrispondi għall-metodu tal-mappa għall-konverżjoni
(3) Fl-operazzjoni tal-klassi tal-output, meta l-RDD ikun espost biss, tista' tħalli lill-utent iwettaq il-ħażna korrispondenti, kalkoli oħra, u operazzjonijiet oħra.