リストの重複を削除

もっともよくあるデータの整理作業

リストには重複がたまっていきます。2つの書き出しを貼り合わせる、フォームが2回送信される、メールリストが古いものと統合される、商品カタログが再度取り込まれる。その結果、件数が狂い、同じ相手への二重送付で費用がかさみ、メールリストの場合は迷惑メールと判定される原因になります。重複の削除はほぼすべての整理作業の最初の一歩で、数式やスクリプトを必要とするべきではありません。

このツールの仕組み

リストを入力欄に貼り付けるか、テキストやCSVのファイルを置きます。各行が1件として扱われます。ツールは各項目の最初の出現を残し、それ以外を捨て、元の順番を保ちます。並べ替えは行いません。結果には、入力された行数、出力された行数、削除した重複の数が表示されます。

何を重複とみなすか

1バイト単位で同じでなくても、人から見れば重複ということはよくあります。オプションで比較の厳しさを決められます。

メールリストなら3つともオンにしてください。大文字小文字に意味がある商品コードやユーザー名では、大文字と小文字を区別しない設定をオフのままにします。

行全体か、1つの列か

CSVを置いた場合は1行全体が1件になるため、すべての列が一致したときだけ重複になります。誤って繰り返された行を消すにはこれが正しい動きです。名前が違ってもメールアドレスごとに1行だけ残したいなど、1つの列で重複を判定したい場合は、列を抽出するツールで先にその列を取り出すか、表計算ソフトでその列で並べ替えてから重複を削除してください。

結果の受け取り

整理したリストはテキストファイルとして、CSVを置いた場合はCSVとして、同じ名前に「-deduped」を付けてダウンロードされます。表計算ソフトやメール配信ツールなど、元の場所に戻してください。すべてブラウザ内で行われるので、顧客リストやメールアドレスの一覧がどこかにアップロードされることはありません。

関連する整理

メールアドレスのリストなら、メールリストを整理するツールが重複の削除に加えて形式チェックと表記の統一を一度に行います。重複を削除する前に複数のファイルをまとめるなら、先にCSVを結合するツールを使ってください。