达斯克:真正懒惰地分类
本教程将介绍达斯克:真正懒惰地分类的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。
问题描述
如果我有一个具有未知分区的数据集,并且希望根据列对其进行排序并将其输出到Parquet,则在我看来,Dask至少会执行两次部分工作:
import dask
import dask.dataframe as dd
def my_identity(x):
"""Does nothing, but shows up on the Dask dashboard"""
return x
df = dask.datasets.timeseries()
df = df.map_partitions(my_identity)
df = df.set_index(['name']) # <- `my_identity` is calculated here, as well as other tasks
df.to_parquet('temp.parq') # <- previous tasks seem to be recalculated here
如果my_identity
需要计算,则重新计算将非常昂贵。
我的理解是不是Dask会在这里做两次工作?有什么方法可以防止这种情况发生吗?
推荐答案
下面的解释可能不准确,但希望能有所帮助。
让我们试试看达斯克在这件事上的处境。我们正在要求Dask.创建一个基于某些变量的索引...Dask只适用于已排序的索引,因此Dask会想知道怎么重新排列数据以使其排序,以及分区的适当划分。您看到的第一个计算就是这样做的,DASK将只存储划分/数据重新洗牌所需的计算部分。
然后,当我们要求DASK保存数据时,它会计算变量,将数据置乱(与之前的计算一致),并将其存储在相应的分区中。
怎么避免这种情况?可能的选项:
persist
设置索引之前。一旦持久化,Dask会计算变量并将其保留在工作进程上,因此设置索引将引用该计算的结果。仍将对所需的数据进行重新洗牌)。请注意,文档建议持久化after设置索引,但这种情况假设列存在(不需要单独计算)。
在分区内排序,这可以很慢地完成,但当然只有在不需要全局排序的情况下才是一个选项。
使用纯文本pandas
,这可能需要对数据进行一些手动分块(我倾向于使用排序)。
好了关于达斯克:真正懒惰地分类的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。