大きなCSVファイルを分割

大きなCSVファイルを分割する必要がある理由

100万行のCSVは、データベースの書き出しとしてはごく普通ですが、渡したい先のほとんどでは使えません。Excelは1,048,576行で止まり、そのかなり手前から動作が重くなります。Googleスプレッドシートにはセル数の上限があります。メール配信サービスは1回の取り込みを数千から数万件に制限しています。ウェブのフォームは一定サイズを超えるファイルを受け付けず、メールの添付にも上限があります。ファイルを同じ大きさに分け、それぞれに見出し行を付ければ、これらはすべて解決します。

分割の仕組み

ファイルを置き、1ファイルあたりの行数を選びます。見出し行を判別して各ファイルの先頭にコピーするので、どのファイルも単独で正しく開け、取り込めます。ファイルはバイト位置で切るのではなく正しく解析されるため、引用符の中に改行を含む項目があっても、行が途中で切れることはありません。分割したファイルには番号が付き（customers-01.csv、customers-02.csvなど）、個別にも、まとめてZIPでもダウンロードできます。

行数の決め方

ブラウザで扱う大きなファイル

ファイルはブラウザのメモリ上で処理されます。ノートパソコンなら数百MBのファイルでも問題ありませんが、スマートフォンでは非常に大きなファイルでメモリが足りなくなることがあります。アップロードは一切ありません。こうした書き出しには顧客や金融のデータが含まれることが多いので、そこが大事なところです。

元に戻すには

あとで1つのファイルに戻したくなったら、CSVを結合するツールが見出し行を1つだけ残して各ファイルをつなぎ直します。

よくある使い道

• データベースの書き出しを、Excelで開ける大きさに分ける。
• メール配信サービスの取り込み上限に収める。
• アップロードサイズに上限のあるマーケットプレイス向けに商品フィードを分ける。
• 大きなリストをチームで分担して目視確認する。