【Python】requestsでWebページのHTMLを取得する方法と注意点

# Windowsの場合
py -m venv .venv              # 任意(仮想環境を作る場合)
.venv\Scripts\activate        # 任意(仮想環境を有効化)
py -m pip install -U requests # requestsをインストール/更新

# macOS / Linuxの場合
python3 -m venv .venv             # 任意(仮想環境を作る場合)
source .venv/bin/activate         # 任意(仮想環境を有効化)
python3 -m pip install -U requests

# importできるか確認し、バージョンと簡単なメッセージを出力します
import requests

print(requests.__version__)      # requestsのバージョン確認
print("requests is ready!")      # シンプルな動作確認

# 最短でHTMLを取得して先頭だけ表示する例
import requests

url = "https://example.com"  # 学習用のサンプルサイト
res = requests.get(url)      # GETリクエストを送信

# 取得したHTMLの先頭200文字だけ表示(全文は長いので一部に限定)
print(res.text[:200])

# ステータスコードと簡易なOK判定を確認します
import requests

url = "https://example.com"
res = requests.get(url)

print("status_code:", res.status_code)  # 例: 200
print("ok:", res.ok)                    # Trueなら成功(200〜399あたりが目安)
print("reason:", res.reason)            # 例: OK

# エンコーディングを確認・補正してからテキスト化する例
import requests

url = "https://www.example.com"  # 実際には日本語サイトで試すと違いが分かりやすいです
res = requests.get(url)

print("encoding(before):", res.encoding)  # サーバーから推定されたエンコーディング
# 必要に応じて補正(誤検出の可能性もあるため、条件付きで設定するのがおすすめ)
if not res.encoding or res.encoding.lower() in ("iso-8859-1", "ascii"):
    res.encoding = res.apparent_encoding

print("encoding(after):", res.encoding)
print(res.text[:200])  # 補正後のテキストの先頭を確認

# 接続(3.05秒)・読み取り(10秒)のタイムアウトを設定する例
import requests

url = "https://httpbin.org/delay/2"  # 2秒遅延して返答するテストAPI
try:
    res = requests.get(url, timeout=(3.05, 10))  # (connect, read)
    print("OK:", res.status_code)
except requests.exceptions.Timeout:
    print("Timeout!")

# 一般的なブラウザ風のUser-Agentを付ける例
import requests

url = "https://httpbin.org/headers"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/122.0.0.0 Safari/537.36"
}
res = requests.get(url, headers=headers, timeout=10)

# サーバーが受け取ったヘッダーを確認(学習用API)
print(res.json()["headers"]["User-Agent"])

# ?key=value形式のパラメータを付ける例
import requests

url = "https://httpbin.org/get"
params = {
    "q": "python requests",
    "page": 1
}
res = requests.get(url, params=params, timeout=10)

print("Final URL:", res.url)            # エンコード後の最終URLを確認
print("args:", res.json()["args"])      # サーバー側で受け取られたクエリ

# リダイレクトを追う/追わないを比較する例
import requests

url = "https://httpbin.org/redirect/1"

# 追従する(デフォルト)
res1 = requests.get(url, timeout=10)
print("follow: status", res1.status_code)
print("follow: history length", len(res1.history))  # どれだけリダイレクトしたか

# 追従しない
res2 = requests.get(url, allow_redirects=False, timeout=10)
print("no follow: status", res2.status_code)
print("no follow: Location", res2.headers.get("Location"))  # 次のURLが分かる

# HTTPステータスがエラーのときに例外を起こす例
import requests

url = "https://httpbin.org/status/404"  # 404を返すテストURL
res = requests.get(url, timeout=10)

try:
    res.raise_for_status()  # 4xx/5xxの場合にHTTPErrorを投げる
    print("Success:", res.status_code)
except requests.exceptions.HTTPError as e:
    print("HTTPError:", e)

# 例外を適切に捕捉して原因をログに出すテンプレート
import requests

url = "https://httpbin.org/delay/5"  # 5秒遅延
try:
    res = requests.get(url, timeout=(2, 2))  # あえて短いtimeoutでエラーに
    res.raise_for_status()                   # HTTPエラー検出
    print("OK:", res.status_code)
except requests.exceptions.Timeout:
    print("Timeout(接続または読み取りが時間切れ)")
except requests.exceptions.ConnectionError:
    print("ConnectionError(名前解決/接続が失敗)")
except requests.exceptions.HTTPError as e:
    print("HTTPError:", e)
except requests.exceptions.TooManyRedirects:
    print("TooManyRedirects(リダイレクトが多すぎ)")
except requests.exceptions.RequestException as e:
    # 上記以外のrequests系例外の最終受け皿
    print("RequestException:", e)

# レスポンスの内容タイプとサイズ、先頭を確認し、HTMLなら保存する例
import requests
from pathlib import Path

url = "https://example.com"
res = requests.get(url, timeout=10)

content_type = res.headers.get("Content-Type", "")
print("Content-Type:", content_type)
print("Length(bytes):", len(res.content))
print("Head(100):", res.text[:100].replace("\n", " "))

# HTMLらしければ保存
if "text/html" in content_type.lower():
    # エンコーディングを必要に応じて補正
    if not res.encoding or res.encoding.lower() in ("iso-8859-1", "ascii"):
        res.encoding = res.apparent_encoding

    out = Path("page.html")
    out.write_text(res.text, encoding=res.encoding or "utf-8")
    print(f"Saved to {out.resolve()}")
else:
    print("HTMLではない可能性があります。処理を見直してください。")