Puas yog ua yeeb yam hauv lub txim?
Puas yog ua yeeb yam hauv lub txim?

Video: Puas yog ua yeeb yam hauv lub txim?

Video: Puas yog ua yeeb yam hauv lub txim?
Video: Plab Plab Ntswg..(Pluav Pluav Ntswg) Maiv Twm New Song 2023-2024 2024, Kaum ib hlis
Anonim

2 Teb. ua yeeb yam yog tseeb ib kev ua , tab sis nws yog qhov ntse txaus kom paub thaum nws tsis tas yuav khiav txhua yam. Yog tias koj muaj ib qho kev txiav tximBy nws yuav siv sij hawm ntev heev, tab sis qhov no tag nrho koj cov haujlwm yog daim ntawv qhia kev ua haujlwm thiab yog li tsis tas yuav suav tag nrho cov lus kawg.

Tsuas yog li ntawd, suav ib qho kev ua hauv lub txim?

suav () rau suav tus naj npawb ntawm kab. Txij li thaum nws pib qhov kev tua DAG thiab xa cov ntaub ntawv rov qab rau tus tsav tsheb, nws ib qho kev ua rau RDD. Case 2: Yog koj hu suav ntawm Dataframe, nws pib qhov kev tua DAG thiab xa cov ntaub ntawv rov qab rau tus tsav tsheb, nws ib qho kev ua rau Dataframe.

Ib yam li ntawd, kev nqis tes ua thiab kev hloov pauv hauv lub txim yog dab tsi? Teeb Kev Ua Haujlwm RDD. Ob hom Apache Teeb RDD cov haujlwm yog - Kev hloov pauv thiab Kev ua . A Kev hloov pauv yog ib txoj haujlwm uas tsim RDD tshiab los ntawm RDDs uas twb muaj lawm tab sis thaum peb xav ua haujlwm nrog cov ntaub ntawv tiag tiag, ntawm qhov ntawd. Kev ua yog ua.

Piv txwv li, dab tsi yog qhov kev ua hauv lub txim?

Kev ua yog RDD txoj haujlwm, tus nqi ntawd rov qab mus rau spar driver programs, uas ncaws tawm txoj haujlwm los ua haujlwm ntawm pawg. Transformation cov zis yog ib qho input ntawm Kev ua . txo, sau, coj Sample, coj, ua ntej, saveAsTextfile, saveAsSequenceFile, countByKey, foreach yog ntau kev ua hauv Apache spark.

Ua li cas sau () ua nyob rau hauv lub txim?

sau (func) sau rov qab cov ntsiab lus ntawm dataset raws li ib qho array rov qab mus rau qhov kev pab cuam tsav tsheb. sau feem ntau yog siv rau hauv cov piv txwv yav dhau los xws li Teeb Kev hloov pauv piv txwv txhawm rau qhia qhov txiaj ntsig ntawm qhov rov qab los. REPL, piv txwv li, yuav luam cov nqi ntawm cov array rov qab mus rau lub console.

Pom zoo: