Cov txheej txheem:

Kuv yuav ua PySpark DataFrame los ntawm cov npe li cas?
Kuv yuav ua PySpark DataFrame los ntawm cov npe li cas?

Video: Kuv yuav ua PySpark DataFrame los ntawm cov npe li cas?

Video: Kuv yuav ua PySpark DataFrame los ntawm cov npe li cas?
Video: Data Science with Python! Analyzing File Types from Avro to Stata 2024, Tej zaum
Anonim

Kuv ua raws li cov kauj ruam no los tsim DataFrame los ntawm cov npe ntawm tuples:

  1. Tsim a lis ntawm tuples. Txhua tuple muaj npe ntawm tus neeg muaj hnub nyoog.
  2. Tsim ib tug RDD los ntawm lub lis saum toj no.
  3. Hloov txhua tuple rau ib kab.
  4. Tsim a DataFrame los ntawm kev thov tsimDataFrame ntawm RDD nrog kev pab ntawm sqlContext.

Ua raws li qhov pom no, koj yuav hloov DataFrame li cas rau ib daim ntawv teev npe hauv Python?

  1. Kauj ruam 1: Hloov cov Dataframe mus rau ib qho nested Numpy array siv DataFrame.to_numpy() i.e.
  2. Kauj ruam 2: Hloov 2D Numpy array rau hauv cov npe ntawm cov npe.
  3. Kauj ruam 1: Hloov cov dataframe los hloov kab ua kab thiab kab ua kab.
  4. Kauj ruam 2: Hloov cov Dataframe mus rau ib qho nested Numpy array siv DataFrame.to_numpy()

Tsis tas li ntawd, dab tsi yog qhov hluav taws xob DataFrame? A Spark DataFrame yog ib qho kev faib tawm ntawm cov ntaub ntawv uas tau muab tso rau hauv cov kab npe uas muab kev ua haujlwm los lim, pab pawg, lossis suav cov sib sau ua ke, thiab tuaj yeem siv nrog Teeb SQL ntawv. DataFrames tuaj yeem tsim los ntawm cov ntaub ntawv tsim qauv, RDDs uas twb muaj lawm, cov ntxhuav hauv Hive, lossis cov ntaub ntawv sab nraud.

Kuj Paub, PySpark SQL yog dab tsi?

Spark SQL yog a Teeb module rau kev tsim cov ntaub ntawv ua. Nws muab cov programming abstraction hu ua DataFrames thiab tuaj yeem ua raws li kev faib tawm SQL ntawv nug cav. Nws ua rau cov lus nug tsis tau hloov kho Hadoop Hive kom khiav mus txog 100x sai dua ntawm kev xa tawm thiab cov ntaub ntawv uas twb muaj lawm.

Puas yog lub teeb DataFrames hloov tsis tau?

Hauv Teeb koj ua tsis tau - DataFrames yog hloov tsis tau . Koj yuav tsum siv.

Pom zoo: