RDD yog dab tsi hauv Scala?
RDD yog dab tsi hauv Scala?

Video: RDD yog dab tsi hauv Scala?

Video: RDD yog dab tsi hauv Scala?
Video: Leng Yang - Yog Vim Dab Tsi (Official Full Song | Nkauj Tawm Tshiab) 2020/05/24 2024, Kaum ib hlis
Anonim

Resilient Distributed Datasets ( RDD ) yog cov ntaub ntawv tseem ceeb ntawm Spark. Nws yog ib qho immutable distribution collection of objects. RDDs tuaj yeem muaj txhua hom Python, Java, lossis Scala cov khoom, suav nrog cov chav kawm uas tus neeg siv tau teev tseg. Formally, ib RDD yog nyeem nkaus xwb, muab faib sau cov ntaub ntawv.

Cov lus nug tseem yog, qhov txawv ntawm RDD thiab DataFrame yog dab tsi?

RDD – RDD yog ib qho kev sib sau ua ke ntawm cov ntaub ntawv nthuav dav thoob plaws ntau lub tshuab hauv pawg. RDDs yog ib txheej ntawm Java lossis Scala cov khoom sawv cev rau cov ntaub ntawv. DataFrame -A DataFrame yog ib qho kev faib sau los ntawm cov ntaub ntawv muab tso rau hauv kab npe. Nws yog conceptually sib npaug rau ib lub rooj hauv a kev txheeb ze database.

Tsis tas li ntawd, RDD faib li cas? Resilient Muab faib Cov ntaub ntawv ( RDDs ) Lawv yog a faib sau cov khoom, uas yog khaws cia rau hauv lub cim xeeb los yog nyob rau hauv disks ntawm txawv tshuab ntawm ib pawg. Ib leeg RDD tuaj yeem muab faib ua ntau qhov kev sib cais kom cov partitions tuaj yeem khaws thiab ua tiav ntawm cov tshuab sib txawv ntawm ib pawg.

RDD ua haujlwm li cas?

RDDs hauv Teeb muaj sau cov ntaub ntawv uas muaj partitions. RDDs hauv Teeb tau muab faib ua cov ntsiab lus me me ntawm cov ntaub ntawv - lub npe hu ua partitions, thaum ua tiav, ib txoj haujlwm yuav raug tso tawm rau ib qho kev faib tawm. Partitions hauv RDDs yog lub hauv paus units ntawm parallelism.

Qhov twg yog RDD sai dua lossis DataFrame?

RDD - Thaum ua haujlwm yooj yim pab pawg thiab kev sib sau ua ke RDD API qeeb dua. DataFrame - Hauv kev tshawb nrhiav kev tshawb fawb, tsim cov ntaub ntawv sib sau ua ke ntawm cov ntaub ntawv, dataframes yog sai dua . RDD - Thaum koj xav tau kev hloov pauv qis thiab ua haujlwm, peb siv RDDs . Tsis tas li ntawd, thaum peb xav tau cov ntsiab lus siab siab peb siv RDDs.

Pom zoo: