使用Databricks中的dbutils.fs.ls输出创建数据帧
本教程将介绍使用Databricks中的dbutils.fs.ls输出创建数据帧的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。
问题描述
所以,我是一个初学者,在Databricks上学习Spark编程(Pyspark)-
我要做什么?
列出目录中的所有文件并将其保存到数据帧中,以便我能够对此文件列表应用筛选、排序等。为什么?因为我正在尝试查找目录中最大的文件。
为什么下面不起作用?我遗漏了什么?
从pyspk.sql.ypes导入StringType
sklist=dbutils.fs.ls(源文件)
df=spk.createDataFrame(sklist,StringType())
推荐答案
好吧,实际上,我想通了:)。我只想把问题留在这里,以防有人从中受益。
所以基本上,问题出在模式上。并不是列表中的所有元素都是字符串类型。因此,我显式创建了一个架构,并在createDataFrame函数中使用它。
工作代码-
from pyspark.sql.types import StructType, StructField, IntegerType, StringType
ddlSchema = StructType([
StructField('path',StringType()),
StructField('name',StringType()),
StructField('size',IntegerType())
])
sklist = dbutils.fs.ls(sourceFile)
df = spark.createDataFrame(sklist,ddlSchema)
好了关于使用Databricks中的dbutils.fs.ls输出创建数据帧的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。