Dab tsi yog txo los ntawm qhov tseem ceeb?
Dab tsi yog txo los ntawm qhov tseem ceeb?

Video: Dab tsi yog txo los ntawm qhov tseem ceeb?

Video: Dab tsi yog txo los ntawm qhov tseem ceeb?
Video: Koj Hais Dab Tsi?/Suabci Kwm & Ab Meej Ham/Official MV 2023 2024, Kaum ib hlis
Anonim

Spark RDD reduceByKey muaj nuj nqi sib koom ua ke cov txiaj ntsig rau txhua qhov tus yuam sij siv tus associative txo muaj nuj nqi. Qhov ntawd intuitively txhais tau tias, qhov kev ua haujlwm no ua rau cov txiaj ntsig zoo ib yam thaum rov ua dua ntawm tib txheej ntawm RDD cov ntaub ntawv nrog ntau qhov kev faib tawm tsis hais txog lub ntsiab lus txiav txim.

Tom qab ntawd, qhov txawv ntawm groupByKey thiab reduceByKey yog dab tsi?

groupByKey () tsuas yog txhawm rau pab pawg koj cov ntaub ntawv raws li tus yuam sij. txoByKey () yog ib yam zoo li pab pawg + kev sib sau. txoByKey tuaj yeem siv tau thaum peb khiav ntawm cov ntaub ntawv loj. aggregateByKey() yog logically tib yam li txoByKey () tab sis nws cia koj rov qab los rau hauv txawv hom.

Kuj Paub, vim li cas txo qhov kev txiav txim hauv lub txim? Txias txo kev ua haujlwm yog ib qho kev ua hom kev ua haujlwm thiab nws ua rau tag nrho DAG tua rau txhua kab lus qhia tub nkeeg. Teeb RDD txo muaj nuj nqi txo cov ntsiab lus ntawm RDD no siv cov lus teev tseg thiab cov neeg ua haujlwm sib koom ua ke binary. Txias txo kev ua haujlwm yuav luag zoo ib yam li txo txoj hauv kev Scala.

Ib sab saum toj, Pairrdd yog dab tsi?

Spark muab cov haujlwm tshwj xeeb ntawm RDDs uas muaj qhov tseem ceeb / tus nqi khub. Cov RDDs no hu ua khub RDDs. Pair RDDs yog lub tsev tsim muaj txiaj ntsig hauv ntau qhov kev pab cuam, vim lawv nthuav tawm cov haujlwm uas tso cai rau koj los ua txhua tus yuam sij hauv qhov sib npaug lossis rov ua cov ntaub ntawv thoob plaws hauv lub network. PairRDDs yog KEY/VALUE khub.

Puas yog reduceByKey ua haujlwm?

txo () tso tawm ib qho kev sau uas tsis ntxiv rau cov lus qhia acyclic graph (DAG) yog li siv los ua ib qho kev ua . Txawm li cas los xij, txoByKey () rov qab RDD uas tsuas yog lwm qib / xeev hauv DAG, yog li ntawd yog qhov hloov pauv.

Pom zoo: