PythonのCSV入出力で失敗しないためのnewline=”の正しい使い方

# write_csv_correct.py
# 正しい書き込み例: newline='' を必ず指定する

import csv
from pathlib import Path

p = Path("correct.csv")

rows = [
    ["id", "name", "note"],
    [1, "Alice", "Hello"],
    [2, "Bob", "Line1\nLine2"],  # セル内の改行(引用符で適切にエスケープされる)
]

# 最重要: newline='' を指定する
with p.open("w", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)  # lineterminator は既定で '\r\n'
    writer.writerows(rows)

# バイト列を確認して、余分な '\r' が入っていないことを見る
raw = p.read_bytes()
print(raw)

# write_csv_lf.py
# レコード区切りを LF にしたい場合: lineterminator='\n' を使う

import csv
from pathlib import Path

p = Path("correct_lf.csv")

rows = [
    ["id", "os", "remark"],
    [1, "Linux", "LF only"],
    [2, "macOS", "LF only"],
]

with p.open("w", encoding="utf-8", newline="") as f:
    # レコード区切りのみ LF に変更する
    writer = csv.writer(f, lineterminator="\n")
    writer.writerows(rows)

print(p.read_bytes())

# append_csv.py
# 追記時も newline='' を忘れない

import csv
from pathlib import Path

p = Path("append.csv")

# 初回作成
with p.open("w", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)
    writer.writerow(["id", "value"])

# 追記1
with p.open("a", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)
    writer.writerow([1, "first"])

# 追記2
with p.open("a", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)
    writer.writerow([2, "second"])

print(p.read_text(encoding="utf-8"))

# read_csv_correct.py
# 正しい読み込み例: newline='' を必ず指定する

import csv
from pathlib import Path

# 混在する改行とセル内改行を含むCSVを準備(テスト用)
p = Path("mixed_newlines.csv")
p.write_bytes(
    b"name,comment\r\n"
    b"Alice,Hello\n"
    b'Bob,"Line1\r\nLine2"\n'
    b"Carol,No issue\r\n"
)

# newline='' を指定して読み込む
with p.open("r", encoding="utf-8", newline="") as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

# read_csv_dont_split.py
# 悪い例: 行分割を自前でやると、引用符内改行で壊れることがある

import csv
from pathlib import Path

p = Path("bad_split.csv")
p.write_bytes(b'name,comment\r\nBob,"A\r\nB"\r\n')

# 悪い: splitlines() で分割してしまう
lines = p.read_text(encoding="utf-8").splitlines()
print("lines:", lines)

try:
    # これは2行に分割された文字列列を reader に渡すため、引用符内改行が行境界と衝突しうる
    reader = csv.reader(lines)
    print(list(reader))
except Exception as e:
    print("パースエラー:", e)

# 良い: newline='' で開いて reader に生データを渡す
with p.open("r", encoding="utf-8", newline="") as f:
    reader2 = csv.reader(f)
    print("正しい読み:", list(reader2))

# reproduce_double_newline.py
# Windowsでの「空行が増える」現象を簡単に比較するスクリプト
# (他OSでも確認できることがあります)

import csv
from pathlib import Path
import sys

def write_csv(path: Path, use_newline_empty: bool):
    kwargs = {"encoding": "utf-8"}
    if use_newline_empty:
        kwargs["newline"] = ""     # 正しい
    else:
        kwargs["newline"] = None   # 省略時の既定(ダメな例)
    with path.open("w", **kwargs) as f:
        w = csv.writer(f)  # 既定 lineterminator は '\r\n'
        w.writerow(["id", "v"])
        w.writerow([1, "x"])
        w.writerow([2, "y"])

def show_effect(path: Path):
    print("-----", path.name, "-----")
    raw = path.read_bytes()
    print("raw bytes:", raw)  # 改行が \r\r\n になっていないかを観察
    # テキストとして読みだした際の行分割結果
    txt = path.read_text(encoding="utf-8")
    print("text splitlines:", txt.splitlines())

p_bad = Path("bad.csv")
p_ok  = Path("ok.csv")

write_csv(p_bad, use_newline_empty=False)
write_csv(p_ok,  use_newline_empty=True)

show_effect(p_bad)
show_effect(p_ok)

# validate_row_count.py
# 書き込んだ行数と読み戻した行数を比較する簡易検証

import csv
from pathlib import Path

p = Path("validate.csv")

rows = [
    ["id", "name"],
    [1, "Alice"],
    [2, "Bob"],
]

# 正しい書き込み
with p.open("w", encoding="utf-8", newline="") as f:
    csv.writer(f).writerows(rows)

# 読み戻して行数を数える
with p.open("r", encoding="utf-8", newline="") as f:
    reader = csv.reader(f)
    loaded = list(reader)

expected, actual = len(rows), len(loaded)
print(f"expected={expected}, actual={actual}")
print("loaded:", loaded)