Pythonの文字とバイトの違いを基礎から解説(encode/decode)

# str は Unicode テキスト
s = "こんにちは"  # 日本語の文字列

# bytes はバイト列。b'' リテラルで書ける
b = b"ABC"  # ASCII 範囲のバイトはそのまま書ける

# エスケープで任意のバイトを表現
b_utf8_fragment = b"\xe3\x81\x82"  # UTF-8 で「あ」に相当するバイト断片

# bytearray は変更可能なバイト配列
ba = bytearray(b"ABC")
ba[0] = 0x61  # 'A'(0x41) を 'a'(0x61) に変更

print(type(s), type(b), type(ba))
print(ba)

s = "あ"  # 1 文字
print(len(s))  # 文字数

b_utf8 = s.encode("utf-8")   # UTF-8 では「あ」は 3 バイト
b_cp932 = s.encode("cp932")  # CP932(Shift_JIS) では 2 バイト

print(len(b_utf8))  # バイト数
print(len(b_cp932))  # バイト数

text = "Pythonで文字化けを防ぐ"
data = text.encode("utf-8")  # 文字 → バイト
print(type(data), data[:10])  # 先頭10バイトだけ確認

data = b'Python\xe3\x81\xa7\xe6\x96\x87\xe5\xad\x97'
text = data.decode("utf-8")  # バイト → 文字
print(type(text), text)

# CP932 に存在しない文字の例: "𝄞"(U+1D11E, 楽譜のト音記号)
s = "音符𝄞"

# strict: 例外
try:
    s.encode("cp932", errors="strict")
except UnicodeEncodeError as e:
    print("strict:", e)

# ignore: 失われる(消える)
print("ignore:", s.encode("cp932", errors="ignore"))

# replace: 置換(通常 '?')
print("replace:", s.encode("cp932", errors="replace"))

# backslashreplace: \uXXXX などのエスケープに
print("backslashreplace:", s.encode("cp932", errors="backslashreplace"))

s = "日本語"
b_cp932 = s.encode("cp932")     # CP932 でエンコード
# 間違って別の文字コードでデコードすると…
try:
    print(b_cp932.decode("utf-8"))  # 多くの場合はエラー
except UnicodeDecodeError as e:
    print("UTF-8 ではデコードできません:", e)

# 無理やり latin-1 でデコードすると、エラーは出ないが文字化けした表示になる
print("latin-1 で無理やり読むと:", b_cp932.decode("latin-1"))

# UTF-8 でファイルに書く
text = "こんにちは、世界"
with open("hello.txt", "w", encoding="utf-8") as f:
    f.write(text)

# UTF-8 で読み戻す
with open("hello.txt", "r", encoding="utf-8") as f:
    loaded = f.read()

print(loaded)

# バイナリモードで任意バイトを書き込み
data = bytes([0x41, 0x42, 0x43])  # b"ABC"
with open("out.bin", "wb") as f:
    f.write(data)

# 読み戻すと bytes が得られる
with open("out.bin", "rb") as f:
    raw = f.read()

print(raw, type(raw))

import socket

# HTTP でヘッダは ASCII 範囲のみ想定。安全のため ASCII でエンコード
with socket.create_connection(("example.com", 80), timeout=5) as sock:
    request = "GET / HTTP/1.0\r\nHost: example.com\r\n\r\n"
    sock.sendall(request.encode("ascii"))  # str → bytes
    chunk = sock.recv(100)  # bytes が返る
    print(type(chunk), len(chunk))

import sys, locale

print("stdout encoding:", sys.stdout.encoding)
print("preferred encoding:", locale.getpreferredencoding(False))

try:
    result = b"Hello, " + "世界"  # 型が違う
except TypeError as e:
    print("TypeError:", e)

# 正しい方法: str 同士で連結し、最後に encode する
text = "Hello, " + "世界"
data = text.encode("utf-8")
print(type(data), data)

s = "あ"
b = s.encode("utf-8")  # OK: str → bytes

# 間違い1: str に decode は存在しない
try:
    s.decode("utf-8")
except AttributeError as e:
    print("誤用(1):", e)

# 間違い2: bytes に encode は不要(多くの場面で誤用の合図)
try:
    b2 = b.encode("utf-8")  # Python の実装では AttributeError になることがあります
except AttributeError as e:
    print("誤用(2):", e)

# 正しい往復
s2 = b.decode("utf-8")  # OK: bytes → str
print(s2)

text = "先頭にBOMを付けたい"

# 書き込み時に BOM を付与
with open("bom.txt", "w", encoding="utf-8-sig") as f:
    f.write(text)

# 読み込み時、utf-8 だと先頭に不可視文字(\ufeff)が残る場合がある
with open("bom.txt", "r", encoding="utf-8") as f:
    raw = f.read()
print("utf-8 で読むと:", repr(raw))  # '\ufeff' が見える

# utf-8-sig なら BOM を除去してくれる
with open("bom.txt", "r", encoding="utf-8-sig") as f:
    clean = f.read()
print("utf-8-sig で読むと:", repr(clean))

from pathlib import Path

p = Path("日本語ファイル.txt")
p.write_text("内容です", encoding="utf-8")
print(p.read_text(encoding="utf-8"))