テキストとCSVの文字化けを修正

文字が意味不明な記号になる理由

アクセント付きの文字、アポストロフィ、通貨記号があるはずの場所に2〜3個の変な記号が出ているなら、そのファイルは間違った文字コードで読み込まれています。テキストはバイトとして保存されていて、文字コードはバイトを文字に変えるためのルールです。今のシステムはUTF-8を使いますが、古いWindowsのプログラム、特にExcelは、Windows-1252などの地域の文字コードで保存・読み込みすることがよくあります。一方の方法で書かれたファイルを他方の方法で読むと、基本的なASCII以外の文字はすべて化けます。データが失われたわけではなく、間違ったルールで解読されているだけです。

2つの異なる問題と、それぞれの直し方

ファイルが古い文字コードで保存されている。古いWindowsのツールから書き出したCSVは、Windows-1252やISO-8859-1で保存されています。UTF-8を前提とするツールでは、疑問符や代替文字が表示されます。直し方：このツールに元の文字コードを指定すれば、どの環境でも正しく読めるUTF-8で保存し直します。

ファイルが二重エンコードされている（いわゆる文字化けの保存）。誰かがUTF-8のファイルをWindows-1252として読み、そのまま保存し直したため、正しいバイトがそれぞれ2〜3個の間違った文字に変換されてしまった状態です。アクセント記号の前に必ずチルダ付きの大文字Aが現れる、おなじみの症状はこれが原因です。直し方：修復オプションが、それらの文字をバイトに戻して正しくUTF-8として解読し、誤りを元に戻します。

自動判別

元の文字コードを自動にしておくと、ツールはまずファイルを厳密なUTF-8として読もうとします。失敗すればWindows-1252として読み直します。読めても、二重エンコード特有のパターンが見つかれば修復を適用します。ほとんどの場合はこれで十分です。自動の結果がまだおかしいときだけ、文字コードを手で指定してください。

BOMオプション

WindowsのExcelは、ファイルの先頭にバイト順マークがない限り、今もCSVを地域の文字コードで開きます。Excelに戻すファイルならBOMをオンに、データベース、プログラミング用のツール、多くのウェブの取り込みではオフにしてください。目印を最初の列名の一部として扱ってしまうものがあるためです。

修復後の結果

出力は、名前も内容も同じで、正しくエンコードされたUTF-8のテキストファイルです。CSV、TXT、その他のプレーンテキストに使えます。アップロードはありません。修復はブラウザ内で行われます。