pandas入門 CSVとExcelの読み込み・整形・結合の基本と実例

# 仮想環境を使うことを推奨します(任意)
python -m venv .venv
. .venv/bin/activate  # Windowsは .venv\Scripts\activate

# pandasとExcelエンジン(openpyxl)のインストール
pip install -U pandas openpyxl

# pandasの基本的なインポートとバージョン確認
import pandas as pd

print(pd.__version__)

import pandas as pd

# 辞書からDataFrameを作成
df = pd.DataFrame({
    "id": [1, 2, 3],
    "product": ["P001", "P002", "P003"],
    "price": [1200, 550, 980]
})

print(df)
print("\n列の型:")
print(df.dtypes)
print("\n形状(行数, 列数):", df.shape)

import pandas as pd
from datetime import date

# サンプルの売上CSVを作成して保存
sales = pd.DataFrame({
    "order_id": [1001, 1002, 1003, 1004, 1005],
    "date": [date(2024,4,1), date(2024,4,1), date(2024,4,2), date(2024,4,3), date(2024,4,3)],
    "product_id": ["P001", "P002", "P001", "P003", "P002"],
    "qty": [2, 1, 3, 5, 2],
    "unit_price": [1200, 550, 1200, 980, 550],
    "customer": ["佐藤", "田中", "鈴木", "山本", "佐藤"],
    "prefecture": ["東京都", "大阪府", "神奈川県", "愛知県", "東京都"]
})
sales.to_csv("sales.csv", index=False, encoding="utf-8-sig")

print("sales.csv を保存しました")

order_id,date,product_id,qty,unit_price,customer,prefecture
1001,2024-04-01,P001,2,1200,佐藤,東京都
1002,2024-04-01,P002,1,550,田中,大阪府
1003,2024-04-02,P001,3,1200,鈴木,神奈川県
1004,2024-04-03,P003,5,980,山本,愛知県
1005,2024-04-03,P002,2,550,佐藤,東京都

import pandas as pd

# UTF-8(推奨)で読み込み
df = pd.read_csv("sales.csv", encoding="utf-8")

print(df.head(3))

# セミコロン区切りや桁区切り・小数点記号の調整例
df_eu = pd.read_csv("eu_sales.csv", sep=";", decimal=",", thousands=".")

import pandas as pd

df = pd.read_csv(
    "sales.csv",
    # customerとprefecture列は読み込まない
    usecols=["order_id", "date", "product_id", "qty", "unit_price"],
    # 各列のデータ型を明示的に指定
    dtype={
        "order_id": "Int64",      # 欠損(NaN)を許容できる整数型
        "product_id": "string",   # Pandas推奨の効率的な文字列型
        "qty": "Int64",
        "unit_price": "float64"   # 浮動小数点数
    },
    # date列を日付型として解析
    parse_dates=["date"]
)

print(df.dtypes)

# 1行目に列名がない場合
# namesで自分で列名を定義
df_no_header = pd.read_csv("noheader.csv", header=None, names=["c1", "c2", "c3"])

# 2行目が列名の場合(0始まりでheader=1)
df_header_row2 = pd.read_csv("header_on_2nd_row.csv", header=1)

# "", "NA", "N/A", "-" を欠損値として読み込む
df = pd.read_csv("sales.csv", na_values=["", "NA", "N/A", "-"])

import pandas as pd

df = pd.read_csv("sales.csv", parse_dates=["date"])

# 単一列（qty）を選択 → Series
print("--- 単一列 (Series) ---")
print(df["qty"].head())

# 複数列を選択 → DataFrame
print("\n--- 複数列 (DataFrame) ---")
print(df[["date", "qty", "unit_price"]].head())

# loc: ラベルベースで「インデックスが0」の行の「product_id」列を選択
print(f"locの結果: {df.loc[0, 'product_id']}")

# iloc: 位置ベースで「先頭から3行 (0,1,2)」×「先頭から2列 (0,1)」を選択
print("\nilocの結果:")
print(df.iloc[0:3, 0:2])

# 「prefectureが東京都」かつ「qtyが2以上」の行を抽出
mask = (df["prefecture"] == "東京都") & (df["qty"] >= 2)
tokyo_orders = df[mask]

print(tokyo_orders)

# prefecture(昇順) → date(昇順) → qty(降順) の優先順位で並び替え
sorted_df = df.sort_values(
    by=["prefecture", "date", "qty"],
    ascending=[True, True, False]
)
print(sorted_df.head())

import numpy as np

# 動作確認のため、意図的に欠損(NaN)を作成
df.loc[1, "unit_price"] = np.nan

# isna()で欠損を判定し、sum()で列ごとに集計
print("--- 列ごとの欠損数 ---")
print(df.isna().sum())

# fillna()でunit_price列の欠損を中央値で補完
df_filled = df.fillna({"unit_price": df["unit_price"].median()})

# dropna()でunit_price列に欠損を含む行を削除する場合(参考)
df_dropped = df.dropna(subset=["unit_price"])

# indexを付けず、Excelで文字化けしないように保存
df.to_csv("sales_clean.csv", index=False, encoding="utf-8-sig")

# 価格の小数点以下を2桁に揃えて保存したい場合
df.to_csv("sales_price2.csv", index=False, float_format="%.2f")

print("CSVを保存しました")

import pandas as pd

# 製品マスタのDataFrameを作成
products = pd.DataFrame({
    "product_id": ["P001", "P002", "P003"],
    "product_name": ["ノートPC", "マウス", "キーボード"],
    "category": ["PC", "周辺機器", "周辺機器"]
})

# ExcelWriterを使い、複数のシートを持つExcelブックを作成
with pd.ExcelWriter("workbook.xlsx", engine="openpyxl") as writer:
    products.to_excel(writer, sheet_name="products", index=False)
    # 先ほど作ったsales.csvも読み込んで、別のシートに保存
    pd.read_csv("sales.csv").to_excel(writer, sheet_name="sales", index=False)

# Excelファイルを読み込み (デフォルトでは先頭のシート"products"が対象)
df_xl = pd.read_excel("workbook.xlsx")
print(df_xl)

# "sales"シートを名前で指定して読み込み
# CSVと同様に、日付として解析したい列も指定可能
df_sales = pd.read_excel("workbook.xlsx", sheet_name="sales", parse_dates=["date"])

# "sales"と"products"の2シートをまとめて読み込み
# 戻り値は {"sales": DataFrame, "products": DataFrame} という形式の辞書
dfs = pd.read_excel("workbook.xlsx", sheet_name=["sales", "products"])

# 戻り値の型と、辞書のキーを確認
print(type(dfs), list(dfs.keys()))

# sheet_name=None ですべてのシートを読み込む
all_sheets = pd.read_excel("workbook.xlsx", sheet_name=None)
print([k for k in all_sheets.keys()])

# 例：2行目が列名、1行目はタイトル行などの場合
df2 = pd.read_excel("report.xlsx", header=1)

# 例：先頭の不要な2行をスキップして読み込む場合
df3 = pd.read_excel("report.xlsx", skiprows=2)

# "products" DataFrameだけを単一シートのExcelファイルとして保存
products.to_excel("products_only.xlsx", index=False)

# 複数のDataFrameを1つのブック内の異なるシートに保存
with pd.ExcelWriter("outputs.xlsx", engine="openpyxl") as writer:
    df_sales.to_excel(writer, sheet_name="Sales", index=False)
    products.to_excel(writer, sheet_name="Products", index=False)

print("Excelを保存しました")

import pandas as pd

sales = pd.read_csv("sales.csv", parse_dates=["date"])

# assignを使って、金額(=数量×単価)を計算するamount列を追加
sales = sales.assign(amount=sales["qty"] * sales["unit_price"])

# renameを使って、列名をより分かりやすい英語に変更
sales = sales.rename(columns={"qty": "quantity", "unit_price": "unit_price_jpy"})

# dropを使って、分析に不要な列(例: 顧客名)を削除
sales_drop = sales.drop(columns=["customer"])

print("--- 処理後のDataFrame ---")
print(sales.head(2))
print("\n--- 列削除後の列名リスト ---")
print(sales_drop.columns.tolist())

# .strアクセサで、product_idの前後の空白を除去し、大文字に統一
sales["product_id"] = sales["product_id"].str.strip().str.upper()

# pd.to_numericで、unit_price_jpyを数値型に安全に変換
sales["unit_price_jpy"] = pd.to_numeric(sales["unit_price_jpy"], errors="coerce")

# pd.to_datetimeで、dateを日付型に変換
sales["date"] = pd.to_datetime(sales["date"], format="%Y-%m-%d", errors="coerce")

# .dtアクセサで、日付から年月(YYYY-MM)の文字列を派生させる
sales["year_month"] = sales["date"].dt.to_period("M").astype(str)

print(sales[["product_id", "unit_price_jpy", "date", "year_month"]].head(3))

import pandas as pd

sales = pd.read_csv("sales.csv")
products = pd.read_excel("workbook.xlsx", sheet_name="products")

# salesを左側(left)、productsを右側として、product_idをキーに結合
merged = pd.merge(
    sales, products,
    on="product_id",        # 結合キー
    how="left",             # 結合方法: salesの全行を残す左外部結合
    validate="m:1",         # sales(多):products(1)の関係を検証
    indicator=True,         # 結合状態を示す列(_merge)を追加
    suffixes=("", "_prod")   # 重複列名があった場合の接尾辞
)

print(merged[["product_id", "qty", "unit_price", "product_name", "_merge"]].head())

import pandas as pd

apr = pd.read_csv("sales.csv")
# 5月分のデータとして、4月データの一部をサンプリングして作成
may = apr.sample(frac=0.6, random_state=0)
may["date"] = "2024-05-01"

# 2つのDataFrameをリストで渡し、縦方向(axis=0)に連結
all_sales = pd.concat([apr, may], axis=0, ignore_index=True)

print(all_sales[["date", "product_id", "qty"]].head(7))
print("合計行数:", len(all_sales))

import pandas as pd

sales = pd.read_csv("sales.csv")

# 事前に金額列を計算しておく
sales["amount"] = sales["qty"] * sales["unit_price"]

# 「都道府県」と「商品ID」でグループ化し、それぞれの集計値を計算
agg_df = sales.groupby(["prefecture", "product_id"], as_index=False).agg(
    total_qty=("qty", "sum"),
    total_amount=("amount", "sum"),
    avg_unit_price=("unit_price", "mean")
)

print(agg_df)

# 行に「都道府県」、列に「商品ID」、値に「金額の合計」を配置したピボットテーブルを作成
pivot = sales.pivot_table(
    index="prefecture",
    columns="product_id",
    values="amount",
    aggfunc="sum",
    fill_value=0  # 該当なしのセルは0で埋める
)

print(pivot)

# 悪い例(警告が出やすい)
tmp = sales[sales["qty"] >= 2]
tmp["flag"] = 1  # ← SettingWithCopyWarningの可能性

# 良い例
tmp = sales.loc[sales["qty"] >= 2].copy()
tmp.loc[:, "flag"] = 1

# 大きなCSVを分割して処理する例
import pandas as pd

total = 0
for chunk in pd.read_csv("huge.csv", usecols=["qty", "unit_price"], chunksize=100_000):
    chunk["amount"] = chunk["qty"] * chunk["unit_price"]
    total += chunk["amount"].sum()

print("合計金額:", total)