tqdmの使い方まとめ(Pythonで長い処理の進捗表示)

# インストール
python -m pip install -U tqdm

# バージョン確認
python -c "import tqdm, sys; print(tqdm.__version__)"

# 基本: ループをtqdmで包む
from time import sleep
from tqdm import tqdm  # 端末向けの基本版

for i in tqdm(range(50)):  # 0〜49の50回ループ
    # ここに時間のかかる処理を書く
    sleep(0.05)  # デモ用に50ms待つ

100%|████████████████████████████████████████| 50/50 [00:02<00:00, 19.99it/s]

# trangeはrangeのtqdm版ショートカット
from time import sleep
from tqdm import trange

for i in trange(30):  # range(30) と同じ個数
    sleep(0.05)

from time import sleep
from tqdm import tqdm

# descで説明、unitで単位(件、ファイル、Bなど)を指定
for _ in tqdm(range(100), desc="画像をリサイズ中", unit="枚"):
    sleep(0.02)

# バイト単位のときはunit="B"とunit_scale=Trueで自動スケール(KB/MB)
for _ in tqdm(range(200), desc="ダウンロード中", unit="B", unit_scale=True):
    sleep(0.01)

# 件数が分かるが、イテラブルのlenが取れないケース
from time import sleep
from tqdm import tqdm

def generate_items(n):
    for i in range(n):
        sleep(0.01)
        yield i

N = 120
for _ in tqdm(generate_items(N), total=N, desc="前処理", unit="件"):
    pass

# 手動でupdateする例(可変ステップ)
from time import sleep
from tqdm import tqdm

sizes = [5, 2, 3, 10]  # 合計進捗量をtotalに
with tqdm(total=sum(sizes), desc="可変ステップ", unit="step") as pbar:
    for s in sizes:
        sleep(0.2)     # 何らかの処理
        pbar.update(s) # sだけ進める

from time import sleep
from tqdm import tqdm

for _ in tqdm(range(80), desc="一時的な処理", leave=False, dynamic_ncols=True, ascii=True):
    sleep(0.01)

# どの環境でも最適表示にしたい場合
from time import sleep
from tqdm.auto import tqdm, trange

for i in trange(100, desc="auto"):
    sleep(0.01)

python -m pip install -U ipywidgets

# Jupyter Notebook/Lab での推奨
from time import sleep
from tqdm.notebook import tqdm

for _ in tqdm(range(50), desc="Notebookバー", unit="it"):
    sleep(0.02)

from time import sleep
from tqdm import tqdm

for i in tqdm(range(5), desc="処理"):
    sleep(0.2)
    # printの代わりにtqdm.writeを使う
    from datetime import datetime
    tqdm.write(f"[{datetime.now().isoformat(timespec='seconds')}] {i}件目が完了")

from time import sleep
from tqdm import tqdm

items = ["a", "b", "c", "d"]
for idx, item in enumerate(tqdm(items, total=len(items), desc="処理", unit="件")):
    # ここでitemを処理
    sleep(0.1)

from time import sleep
from tqdm import tqdm

def slow_square(x):
    sleep(0.02)
    return x * x

data = list(range(100))
# list(...)で具象化すると全件処理しつつ進捗が見える
squares = [slow_square(x) for x in tqdm(data, desc="二乗", unit="件")]

from time import sleep
from pathlib import Path
from tqdm import tqdm

folder = Path(".")
files = list(folder.rglob("*.txt"))  # 先に一覧化して総数を把握
for p in tqdm(files, desc="テキスト処理", unit="ファイル"):
    # 各ファイルに対して何らかの処理
    sleep(0.01)

import requests
from tqdm import tqdm

# 100KBのファイルをダウンロードして進捗を表示
url = "https://httpbin.org/bytes/102400"
dest = "download.bin"

chunk_size = 8192 # 任意のチャンクサイズ

with requests.get(url, stream=True) as r:
    r.raise_for_status()
    total = int(r.headers.get("content-length", 0))

    with tqdm.wrapattr(r.raw, "read", total=total, desc="DL", unit="B", unit_scale=True) as f_in:
        with open(dest, "wb") as f_out:
            while chunk := f_in.read(chunk_size):
                f_out.write(chunk)

import time
import pandas as pd
from tqdm.auto import tqdm

tqdm.pandas(desc="行処理中")  # 1回呼び出して登録

df = pd.DataFrame({"x": range(50)})
def slow_op(v):
    time.sleep(0.02)
    return v * 2

# 通常のapplyの代わりにprogress_applyを使う
df["y"] = df["x"].progress_apply(slow_op)
print(df.head())

from time import sleep
from tqdm import tqdm

outer = range(3)
inner = range(5)

outer_bar = tqdm(outer, desc="エポック", position=0)
for i in outer_bar:
    # 内側バーは毎エポックごとに新しく作成し、終わったら消す
    for j in tqdm(inner, desc=f"バッチ", position=1, leave=False):
        sleep(0.05)
        # 指標を動的に表示
        outer_bar.set_postfix(epoch=i, batch=j)
# 明示的に閉じてもOK: outer_bar.close()

エポック:  67%|████████████████████████      | 2/3 [00:00<00:00,  8.9it/s, epoch=1, batch=4]

# 変動が大きい処理のETAを見やすくする
import random
from time import sleep
from tqdm import tqdm

N = 100
for i in tqdm(range(N), desc="推定", unit="件", mininterval=0.3, smoothing=0.1):
    # 0.0〜0.1秒のランダムな処理
    sleep(random.random() * 0.1)

from time import sleep
from tqdm import trange

for i in trange(20, desc="学習", unit="it"):
    loss = 1.0 / (i + 1)
    sleep(0.05)
    # 小数点桁数などは辞書で渡せば自動整形
    trange.set_postfix = None  # 型ヒント対策(実行時は不要)

# 正しい使い方の例(インスタンスに対して呼ぶ)
from time import sleep
from tqdm import trange

bar = trange(20, desc="学習", unit="it")
for i in bar:
    sleep(0.05)
    loss = 1.0 / (i + 1)
    bar.set_postfix(loss=f"{loss:.3f}")