达斯克:真正懒惰地分类

本教程将介绍达斯克:真正懒惰地分类的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。

达斯克:真正懒惰地分类 教程 第1张

问题描述

如果我有一个具有未知分区的数据集,并且希望根据列对其进行排序并将其输出到Parquet,则在我看来,Dask至少会执行两次部分工作:

import dask
import dask.dataframe as dd

def my_identity(x):
 """Does nothing, but shows up on the Dask dashboard"""
 return x

df = dask.datasets.timeseries()
df = df.map_partitions(my_identity)
df = df.set_index(['name'])  # <- `my_identity` is calculated here, as well as other tasks
df.to_parquet('temp.parq') # <- previous tasks seem to be recalculated here

如果my_identity需要计算,则重新计算将非常昂贵。

我的理解是不是Dask会在这里做两次工作?有什么方法可以防止这种情况发生吗?

推荐答案

下面的解释可能不准确,但希望能有所帮助。

让我们试试看达斯克在这件事上的处境。我们正在要求Dask.创建一个基于某些变量的索引...Dask只适用于已排序的索引,因此Dask会想知道怎么重新排列数据以使其排序,以及分区的适当划分。您看到的第一个计算就是这样做的,DASK将只存储划分/数据重新洗牌所需的计算部分。

然后,当我们要求DASK保存数据时,它会计算变量,将数据置乱(与之前的计算一致),并将其存储在相应的分区中。

怎么避免这种情况?可能的选项:

    persist设置索引之前。一旦持久化,Dask会计算变量并将其保留在工作进程上,因此设置索引将引用该计算的结果。仍将对所需的数据进行重新洗牌)。请注意,文档建议持久化after设置索引,但这种情况假设列存在(不需要单独计算)。

    在分区内排序,这可以很慢地完成,但当然只有在不需要全局排序的情况下才是一个选项。

    使用纯文本pandas,这可能需要对数据进行一些手动分块(我倾向于使用排序)。

好了关于达斯克:真正懒惰地分类的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。