Dab tsi yog broadcast spark?
Dab tsi yog broadcast spark?

Video: Dab tsi yog broadcast spark?

Video: Dab tsi yog broadcast spark?
Video: 02/06/2022 - Lo Phong La Kiatoukaysy yog leej twg thiab nws ua dab tsi? Februay 6, 2022 2024, Tej zaum
Anonim

Tshaj tawm hloov pauv hauv Apache Teeb yog ib lub tswv yim rau kev sib koom sib txawv ntawm cov executors uas txhais tau tias yuav tsum tau nyeem nkaus xwb. Tsis muaj tshaj tawm variables cov kev hloov pauv no yuav raug xa mus rau txhua tus neeg ua haujlwm rau txhua qhov kev hloov pauv thiab kev ua, thiab qhov no tuaj yeem ua rau lub network nyiaj siv ua haujlwm.

Kuj tseem paub yog, thaum twg kuv yuav tsum tshaj tawm lub txim?

Tshaj tawm Cov kev hloov pauv feem ntau yog siv thaum cov dej num hla ntau theem xav tau tib cov ntaub ntawv lossis thaum caching cov ntaub ntawv hauv daim ntawv deserialized yog xav tau. Tshaj tawm variables yog tsim los ntawm kev sib txawv v los ntawm kev hu rau SparkContext.

Ib tug kuj yuav nug, accumulator txhais li cas spark? Accumulators yog cov kev hloov pauv uas tsuas yog "ntxiv" los ntawm kev ua haujlwm sib koom ua ke thiab tuaj yeem yog li, tau txais txiaj ntsig zoo hauv kev sib npaug. Lawv tuaj yeem siv los siv cov txee (raws li hauv MapReduce) lossis cov lej. Teeb ib txwm txhawb nqa accumulators ntawm cov lej, thiab cov programmer tuaj yeem ntxiv kev txhawb nqa rau hom tshiab.

Tsis tas li ntawd, dab tsi yog qhov sib txawv sib txawv hauv lub txim?

Sib koom sib txawv yog cov sib txawv uas yuav tsum tau siv los ntawm ntau lub zog & txoj hauv kev sib luag. Sib koom sib txawv tuaj yeem siv rau hauv kev ua haujlwm sib luag. Teeb cais txoj haujlwm rau hauv qhov tsawg tshaj plaws ua haujlwm tau, kaw, khiav ntawm cov nodes sib txawv thiab txhua tus muaj ib daim qauv ntawm tag nrho cov sib txawv ntawm Teeb txoj hauj lwm.

Peb puas tuaj yeem tshaj tawm DataFrame?

Teeb ua tau “ tshaj tawm ”me me DataFrame los ntawm kev xa tag nrho cov ntaub ntawv hauv qhov me me DataFrame rau tag nrho cov nodes hauv pawg. Tom qab me me DataFrame yog tshaj tawm , Txim ua tau ua ib qho kev koom tes yam tsis muaj shuffling ib qho ntawm cov ntaub ntawv hauv qhov loj DataFrame.

Pom zoo: