使用Databricks中的dbutils.fs.ls输出创建数据帧

本教程将介绍使用Databricks中的dbutils.fs.ls输出创建数据帧的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。

使用Databricks中的dbutils.fs.ls输出创建数据帧 教程 第1张

问题描述

所以,我是一个初学者,在Databricks上学习Spark编程(Pyspark)-

我要做什么?

列出目录中的所有文件并将其保存到数据帧中,以便我能够对此文件列表应用筛选、排序等。为什么?因为我正在尝试查找目录中最大的文件。

为什么下面不起作用?我遗漏了什么?

从pyspk.sql.ypes导入StringType

sklist=dbutils.fs.ls(源文件)

df=spk.createDataFrame(sklist,StringType())

推荐答案

好吧,实际上,我想通了:)。我只想把问题留在这里,以防有人从中受益。

所以基本上,问题出在模式上。并不是列表中的所有元素都是字符串类型。因此,我显式创建了一个架构,并在createDataFrame函数中使用它。

工作代码-

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

ddlSchema = StructType([
StructField('path',StringType()),
StructField('name',StringType()),
StructField('size',IntegerType())
])

sklist = dbutils.fs.ls(sourceFile)
df = spark.createDataFrame(sklist,ddlSchema)

好了关于使用Databricks中的dbutils.fs.ls输出创建数据帧的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。