Pythonのsetでリストの重複を一瞬で削除する方法と注意点

# 最短ワンライナー: list -> set -> list
# 注意: 出力の順序は変わります (順序は保持されません)
data = [1, 2, 2, 3, 1, 4]

unique = list(set(data))  # 重複が除去された新しいリスト
print(unique)
print(len(unique))  # 要素数の確認

# 「とにかく速く重複を削除」用の最小関数 (順序は保持されません)
def unique_fast(seq):
    # setで重複を削除して、listに戻す
    return list(set(seq))

print(unique_fast([3, 3, 1, 2, 2, 1]))

# 同じデータでも、setを経由すると順序が変わる例
data = ["b", "a", "b", "a", "c"]
print("元の順序:", data)
print("set経由:", list(set(data)))  # 並びが変わる

# 順序保持で重複削除: seenセット方式
data = ["b", "a", "b", "a", "c"]

seen = set()
unique_in_order = []  # 最初に出現した順を維持する出力用リスト

for x in data:
    if x not in seen:
        unique_in_order.append(x)  # まだ出ていないので採用
        seen.add(x)                # 出現済みに登録

print(unique_in_order)

# 代替: dict.fromkeysで順序保持の重複削除 (Python 3.7+)
data = ["b", "a", "b", "a", "c"]
unique_in_order = list(dict.fromkeys(data))
print(unique_in_order)

# リストのリストをsetに入れようとするとTypeError
data = [[1, 2], [1, 2], [3, 4]]

try:
    unique = list(set(data))
except TypeError as e:
    print(type(e).__name__, e)  # 例外の種類とメッセージを表示

# 順序不要なら: タプル化 → set → リスト化
data = [[1, 2], [1, 2], [3, 4]]
unique = [list(t) for t in {tuple(x) for x in data}]  # 並びは変わる可能性あり
print(unique)

# 順序保持なら: seen + キーをタプルにして比較
data = [[1, 2], [1, 2], [3, 4]]

seen = set()
unique_in_order = []
for item in data:
    key = tuple(item)  # 比較キーとしてタプルを使う
    if key not in seen:
        unique_in_order.append(item)
        seen.add(key)

print(unique_in_order)

data = [1, True, 0, False, True, 1]
print(list(set(data)))  # 例: [0, 1] あるいは [False, True]

# 型と値の組をキーにして区別する
def unique_by_type_and_value(seq):
    out, seen = [], set()
    for x in seq:
        key = (type(x), x)  # 型と値で一意にする
        if key not in seen:
            out.append(x)
            seen.add(key)
    return out

print(unique_by_type_and_value([1, True, 0, False, True, 1]))

data = ["1", 1, "01", 1.0]  # ここで1と1.0は等価、"1"は別物
print(list(set(data)))

# 大文字小文字を無視しつつ、最初に出た元の表記を残す
def unique_ignore_case(strings):
    out, seen = [], set()
    for s in strings:
        key = s.casefold()  # 正規化して比較
        if key not in seen:
            out.append(s)   # 元の表記を保持
            seen.add(key)
    return out

data = ["Alice", "alice", "ALICE", "Bob", "bob", "ボブ"]
print(unique_ignore_case(data))

# 前後の空白を無視し、最初の出現表記を残す
def unique_strip(strings):
    out, seen = [], set()
    for s in strings:
        key = s.strip()  # 前後の空白を削除した形で比較
        if key not in seen:
            out.append(s)  # 元の文字列を保持(内部ではstripした値をキーに使う)
            seen.add(key)
    return out

data = ["  apple", "apple  ", "banana", " banana ", "APPLE"]
print(unique_strip(data))