【Awkでデータ解析のすゝめ】重複のあるCSVデータから重複を取り除くためのテクニック

            * データで重複しているセル要素を見つける/カウントする
* データから重複を削除してユニークな要素だけの行要素にする
* 重複がある場合のデータ検索結果から重複を取り除く

        

            2,2,2,3
1,3,3,6
4,2,8,4
3,1,2,2

        

            $ RAW_DATASET=$(cat <<EOF
2,2,2,3
1,3,3,6
4,2,8,4
3,1,2,2
EOF
)

        

            $ echo "$RAW_DATASET" | awk -F"," '
{
    for (i=1; i<=NF; i++) {
        print !label[$i]++;
    }
}
'
#👇出力
1
0
0
1
1
0
0
1
1
0
1
0
0
0
0
0

        

            $ echo "$RAW_DATASET" | awk -F"," '{
    for (i=1; i<=NF; i++) {
        if (!label[$i]++) {print $i;}
    }
}'
#👇出力
2
3
1
6
4
8

        

            $ echo "$RAW_DATASET" | awk -F"," '
{
    for (i=1; i<=NF; i++) { label[$i]++; }
}
END {
    for(j in label) {
        print j "は" label[j] "回でました";
    }
}
'
#👇出力
1は2回でました
2は6回でました
3は4回でました
4は2回でました
6は1回でました
8は1回でました

        

            $ echo "$RAW_DATASET" | awk -F"," '
{
    for (i=1; i<=NF; i++) { label[$i]++; }
}
END {
    for(j=1; j<=8 ;j++) {
        if(!label[j]) {
            print j "は出ませんでした...";
        }
    }
}
'
#👇出力
5は出ませんでした...
7は出ませんでした...

        

            1319,日経300F,東証
1390,ETFアジア太平洋株,東証
1391,ETFスイス株,東証
1419,タマホーム,東証Ｐ
1419,タマホーム,東証Ｐ
1580,日経平均ベア,東証
1674,ETFS白金,東証
1770,藤田エンジ,東証Ｓ
1826,佐田建,東証Ｓ
1835,東鉄工,東証Ｐ
1770,藤田エンジ,東証Ｓ
2032,ハンセンベア,東証
2109,三井糖,東証Ｐ
2838,米国国債投信（ヘッジなし）,東証
2136,ヒップ,東証Ｓ
2433,博報堂ＤＹ,東証Ｐ
2032,ハンセンベア,東証
2109,三井糖,東証Ｐ
2648,ブルームバーグ米国債（為替ヘッジあり）,東証
2838,米国国債投信（ヘッジなし）,東証
2904,一正蒲鉾,東証Ｐ
3063,ジェイグループ,東証Ｇ
3261,グランディ,東証Ｇ
3261,グランディ,東証Ｇ
3329,東和フード,東証Ｓ
3492,タカラレーペン,東証
3865,北越コーポ,東証Ｐ
3492,タカラレーペン,東証
3063,ジェイグループ,東証Ｇ
4428,リンク,東証Ｇ
4031,チッカリン,東証Ｓ
4428,リンク,東証Ｇ
4544,ＨUグループ,東証Ｐ
4832,ＪＦＥシス,東証Ｓ
4928,ノエビアＨ,東証Ｐ
5020,ＪＸホール,東証Ｐ
4544,ＨUグループ,東証Ｐ
5194,相模ゴ,東証Ｓ
5757,サンエツ,東証Ｐ
4544,ＨUグループ,東証Ｐ
6200,インソース,東証Ｐ
6474,不二越,東証Ｐ
6958,日本ＣＭＫ,東証Ｐ
7226,極東開発,東証Ｐ
7559,ジーエフシー,東証Ｓ
8093,極東貿易,東証Ｐ
8801,三井不,東証Ｐ
8093,極東貿易,東証Ｐ
6200,インソース,東証Ｐ
9240,デリバリーコンサル,東証Ｇ
9533,邦ガス,東証Ｐ
9735,セコム,東証Ｐ
9533,邦ガス,東証Ｐ
9984,ソフトバンク,東証Ｐ

        

            $ awk -F"," '!col[$1]++{ print $0 }' stocks.csv | \
sort -k 1 -t ','
#👇出力結果
1319,日経300F,東証
1390,ETFアジア太平洋株,東証
1391,ETFスイス株,東証
1419,タマホーム,東証Ｐ
1580,日経平均ベア,東証
1674,ETFS白金,東証
1770,藤田エンジ,東証Ｓ
1826,佐田建,東証Ｓ
1835,東鉄工,東証Ｐ
2032,ハンセンベア,東証
2109,三井糖,東証Ｐ
2136,ヒップ,東証Ｓ
2433,博報堂ＤＹ,東証Ｐ
2648,ブルームバーグ米国債（為替ヘッジあり）,東証
2838,米国国債投信（ヘッジなし）,東証
2904,一正蒲鉾,東証Ｐ
3063,ジェイグループ,東証Ｇ
3261,グランディ,東証Ｇ
3329,東和フード,東証Ｓ
3492,タカラレーペン,東証
3865,北越コーポ,東証Ｐ
4031,チッカリン,東証Ｓ
4428,リンク,東証Ｇ
4544,ＨUグループ,東証Ｐ
4832,ＪＦＥシス,東証Ｓ
4928,ノエビアＨ,東証Ｐ
5020,ＪＸホール,東証Ｐ
5194,相模ゴ,東証Ｓ
5757,サンエツ,東証Ｐ
6200,インソース,東証Ｐ
6474,不二越,東証Ｐ
6958,日本ＣＭＫ,東証Ｐ
7226,極東開発,東証Ｐ
7559,ジーエフシー,東証Ｓ
8093,極東貿易,東証Ｐ
8801,三井不,東証Ｐ
9240,デリバリーコンサル,東証Ｇ
9533,邦ガス,東証Ｐ
9735,セコム,東証Ｐ
9984,ソフトバンク,東証Ｐ

        

            #!/bin/bash

usage_exit() {
    echo "USAGE: $(basename $0) [-k key] [-h help] [input_file]" 1>&2
    exit 1
}

noarg_err() {
    echo "ERROR: must provide key!" 1>&2
    exit 1
}

noinputfile_err() {
    echo "ERROR: not allowed input file to be empty!" 1>&2
    exit 1
}

while getopts k: OPT; do
    case $OPT in
        k ) KEY="$OPTARG"
            ;;
        \? ) usage_exit
            ;;
    esac
done

shift $((OPTIND - 1))

if [ -z "$KEY" ]; then
    noarg_err
fi

if [ -z "$1" ]; then
    noinputfile_err
fi

echo "FILE: $1, KEY: ${KEY}"

awk -F"," '
    $1~/'"${KEY}"'/ && !col[$1]++ { print $0 }
' $1

        

            $ chmod +x stock_finder.sh
$ ./stock_finder.sh -k 44 stocks.csv
#👇以下、重複なしの検索結果を表示
FILE: stocks.csv, KEY: 44
4428,リンク,東証Ｇ
4544,ＨUグループ,東証Ｐ