Dab tsi yog spark broadcast?
Dab tsi yog spark broadcast?

Video: Dab tsi yog spark broadcast?

Video: Dab tsi yog spark broadcast?
Video: 02/06/2022 - Lo Phong La Kiatoukaysy yog leej twg thiab nws ua dab tsi? Februay 6, 2022 2024, Tej zaum
Anonim

Tshaj tawm hloov pauv hauv Apache Teeb yog ib lub tswv yim rau kev sib koom sib txawv ntawm cov executors uas txhais tau tias yuav tsum tau nyeem nkaus xwb. Tsis muaj tshaj tawm variables cov kev hloov pauv no yuav raug xa mus rau txhua tus neeg ua haujlwm rau txhua qhov kev hloov pauv thiab kev ua, thiab qhov no tuaj yeem ua rau lub network nyiaj siv ua haujlwm.

Ib yam li ntawd, tib neeg nug, thaum twg kuv yuav tsum tau tshaj tawm lub suab?

Tshaj tawm Cov kev hloov pauv feem ntau yog siv thaum cov dej num hla ntau theem xav tau tib cov ntaub ntawv lossis thaum caching cov ntaub ntawv hauv daim ntawv deserialized yog xav tau. Tshaj tawm variables yog tsim los ntawm kev sib txawv v los ntawm kev hu rau SparkContext.

Tsis tas li ntawd, dab tsi yog accumulators thiab tshaj tawm cov hloov pauv hauv lub txim? Teeb txhawb nqa ob hom kev sib koom sib txawv : tshaj tawm variables , uas tuaj yeem siv los cache tus nqi hauv kev nco ntawm tag nrho cov nodes, thiab accumulators ,qu yog sib txawv uas tsuas yog "ntxiv" rau, xws li cov suav thiab cov lej.

Xav txog qhov no, dab tsi yog spark accumulator?

Accumulators yog cov kev hloov pauv uas tsuas yog "ntxiv" los ntawm kev ua haujlwm sib koom ua ke thiab tuaj yeem yog li, tau txais txiaj ntsig zoo hauv kev sib npaug. Lawv tuaj yeem siv los siv cov txee (raws li hauv MapReduce) lossis cov lej. Teeb ib txwm txhawb nqa accumulators ntawm cov lej, thiab cov programmer tuaj yeem ntxiv kev txhawb nqa rau hom tshiab.

Kuv yuav hloov kho kuv qhov kev hloov pauv hauv kev tshaj tawm hauv lub txim li cas?

  1. Txav mus rau cov ntaub ntawv siv saib mus rau hauv forEachPartition lossis forEachRdd kom nws nyob ntawm cov neeg ua haujlwm.
  2. Rov pib dua cov ntsiab lus Spark txhua zaus qhov hloov pauv refdata, nrog rau kev tshaj tawm tshiab.

Pom zoo: