任务坚持行为不一致

本教程将介绍任务坚持行为不一致的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。

任务坚持行为不一致 教程 第1张

问题描述

如果我注释掉此行,我发现DaskPersistent有奇怪的行为

# client = Client(memory_limit='20GB',n_workers=1)  # Connect to distributed cluster and override default

并执行

dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()

持久化按预期运行..计算并存储在内存中,使我能够即时访问结果
但是,如果我取消注释

client = Client(memory_limit='20GB',n_workers=1)  # Connect to distributed cluster and override default

然后

dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()
dd_feature_009a013a_normalized_noneedshift = client.persist(dd_feature_009a013a_normalized_noneedshift)

没有做任何事情。惰性数据帧立即返回...当我打开client = Client(memory_limit='20GB',n_workers=1)时,我应该做什么才能实现相同的行为?

推荐答案

当我们使用client.persist持久化一个对象时,我们会返回一个引用计算结果的未来。计算后,结果将存储在一个或多个工作器上,视情况而定。在现有的未来上运行client.persist将返回另一个未来...因此引用另一个计算可能是不必要的。

要获得未来的结果,可以对未来本身运行.result()。这将阻止进一步的命令,直到计算出未来并返回结果。

好了关于任务坚持行为不一致的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。