将非常大的CSV文件拆分成较小的文件

本教程将介绍将非常大的CSV文件拆分成较小的文件的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。

将非常大的CSV文件拆分成较小的文件 教程 第1张

问题描述

DASK是否适合并行读取大型CSV文件并将其拆分为多个较小的文件?

推荐答案

可以,dASK可以读取大型csv文件。它会将它们分割成块

df = dd.read_csv("/path/to/myfile.csv")

然后,在保存时,DASK始终将CSV数据保存到多个文件

df.to_csv("/output/path/*.csv")

有关这方面的详细信息,请参阅READ_CSV和TO_CSV文档字符串。

    dd.read_csv

    dd.DataFrame.to_csv

好了关于将非常大的CSV文件拆分成较小的文件的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。