【Python】requests-htmlの使い方超入門｜インストールからJS対応スクレイピングまで

pip install requests-html

pip3 install requests-html

from requests_html import HTMLSession

session = HTMLSession()
print("OK")

python -m venv venv
venv\Scripts\activate
pip install -U pip
pip install requests-html

brew install python
python3 -m venv venv
source venv/bin/activate
pip install -U pip
pip install requests-html

xcode-select --install

# basic_get.py
from requests_html import HTMLSession

# セッションオブジェクトを作成
session = HTMLSession()

# シンプルなGETリクエスト
url = "https://httpbin.org/get"
r = session.get(url)

# レスポンスの一部を表示
print("URL:", r.url)
print("ステータスコード:", r.status_code)

# 生のレスポンスボディ(文字列)
print("レスポンス本文(先頭200文字):")
print(r.text[:200])

# status_and_encoding.py
from requests_html import HTMLSession

session = HTMLSession()
url = "https://www.example.com"
r = session.get(url)

print("ステータスコード:", r.status_code)

# エラーなら例外を投げて止める
try:
    r.raise_for_status()
    print("リクエスト成功")
except Exception as e:
    print("エラーが発生しました:", e)

# 推定されたエンコーディング
print("推定エンコーディング:", r.encoding)

# 必要に応じて手動でエンコーディングを指定
r.encoding = "utf-8"  # 例えばUTF-8に固定したい場合

# 文字コードを反映したテキスト
print("本文(先頭100文字):", r.text[:100])

# css_select.py
from requests_html import HTMLSession

html = """
<ul class="news-list">
  <li class="news-item">
    <a href="/news/1" class="title">Pythonの記事</a>
    <span class="date">2025-01-01</span>
  </li>
  <li class="news-item">
    <a href="/news/2" class="title">スクレイピング入門</a>
    <span class="date">2025-01-02</span>
  </li>
</ul>
"""

session = HTMLSession()
r = session.post("https://httpbin.org/post", data={"html": html})  # ダミー送信(例示用)

# 実際には自前のHTMLをHTMLクラスに変換して使う
from requests_html import HTML
doc = HTML(html=html)

# li.news-item をすべて取得
items = doc.find("li.news-item")

for item in items:
    title_el = item.find("a.title", first=True)  # 先頭1件だけ欲しいのでfirst=True
    date_el = item.find("span.date", first=True)

    print("タイトル:", title_el.text)
    print("日付:", date_el.text)
    print("---")

# xpath_select.py
from requests_html import HTML

html = """
<div id="content">
  <h1>ニュース一覧</h1>
  <ul class="news-list">
    <li class="news-item">
      <a href="/news/1" class="title">Pythonの記事</a>
      <span class="date">2025-01-01</span>
    </li>
  </ul>
</div>
"""

doc = HTML(html=html)

# XPathでh1要素を取得
h1 = doc.xpath("//div[@id='content']/h1", first=True)
print("見出し:", h1.text)

# XPathでニュースのタイトルを取得
title = doc.xpath("//ul[@class='news-list']/li/a[@class='title']", first=True)
print("タイトル:", title.text)
print("URL:", title.attrs.get("href"))

# text_and_attrs.py
from requests_html import HTML

html = """
<a href="/news/1" class="title" title="Python入門記事">
  Pythonの記事
</a>
"""

doc = HTML(html=html)
a = doc.find("a.title", first=True)

# テキスト部分(タグに挟まれた文字)
print("テキスト:", a.text.strip())

# 属性値(辞書形式)
print("href属性:", a.attrs.get("href"))
print("class属性:", a.attrs.get("class"))
print("title属性:", a.attrs.get("title"))

# js_render_basic.py
from requests_html import HTMLSession

session = HTMLSession()
url = "https://httpbin.org/html"  # 実際にはJSで動くサイトに変える

r = session.get(url)

print("レンダリング前のHTML(先頭200文字):")
print(r.html.html[:200])

# JavaScriptを実行してレンダリング
r.html.render()  # ここで時間がかかる場合があります

print("\nレンダリング後のHTML(先頭200文字):")
print(r.html.html[:200])

# render_options.py
from requests_html import HTMLSession

session = HTMLSession()
url = "https://example.com"

r = session.get(url)

# renderのオプション例
r.html.render(
    timeout=20,      # JS実行のタイムアウト(秒)
    sleep=3,         # JS実行後、何秒待ってからHTMLを取得するか
    keep_page=False, # レンダリング後にブラウザタブを閉じるかどうか
    scrolldown=2     # 何回スクロールするか(遅延ロード対策)
)

print(r.html.html[:500])

# spa_scraping_example.py
from requests_html import HTMLSession

session = HTMLSession()
url = "https://example.com/spa-page"

# 1. ページ取得
r = session.get(url)

# 2. JS実行
r.html.render(timeout=30, sleep=3, scrolldown=1)

# 3. 要素をCSSセレクタで取得(例: 商品カード)
items = r.html.find("div.product-card")

results = []

# 4. データ抽出
for item in items:
    name_el = item.find(".product-name", first=True)
    price_el = item.find(".product-price", first=True)

    name = name_el.text if name_el else ""
    price = price_el.text if price_el else ""

    results.append({"name": name, "price": price})

# 結果表示
for r in results:
    print(r)

# session_and_cookies.py
from requests_html import HTMLSession

session = HTMLSession()

# 1. ログインページやトップページにアクセス(サーバからCookieが渡される)
resp1 = session.get("https://example.com/")
print("初回Cookie:", session.cookies)

# 2. 何度か別ページにアクセスしても、同じセッションなのでCookieは維持される
resp2 = session.get("https://example.com/mypage")
print("マイページステータス:", resp2.status_code)
print("現在のCookie:", session.cookies)

# login_example.py
from requests_html import HTMLSession

session = HTMLSession()

login_page_url = "https://example.com/login"
login_url = "https://example.com/login/post"

# 1. ログインページにアクセスしてCSRFトークンなどを取得
r = session.get(login_page_url)

# ここでは例として、input[name='csrf_token']から値を取る想定
token_el = r.html.find("input[name='csrf_token']", first=True)
csrf_token = token_el.attrs.get("value") if token_el else ""

# 2. ログイン情報を組み立ててPOST
payload = {
    "username": "your_username",
    "password": "your_password",
    "csrf_token": csrf_token,
}

r2 = session.post(login_url, data=payload)

# 3. ログイン成功かを簡易チェック(例: URLや本文に特定の文字があるか)
if "マイページ" in r2.text or r2.url.endswith("/mypage"):
    print("ログイン成功")
else:
    print("ログイン失敗の可能性があります")

# 4. 同じセッションでマイページにアクセス
mypage = session.get("https://example.com/mypage")
print("マイページステータス:", mypage.status_code)

# news_scraping_example.py
from requests_html import HTMLSession
from urllib.parse import urljoin

session = HTMLSession()
BASE_URL = "https://example.com"
NEWS_URL = "https://example.com/news"

r = session.get(NEWS_URL)
r.raise_for_status()  # エラーなら例外

# 各ニュース記事のブロックを取得(例: li.news-item)
items = r.html.find("li.news-item")

news_list = []

for item in items:
    title_el = item.find("a.title", first=True)
    date_el = item.find(".date", first=True)

    if not title_el:
        continue

    title = title_el.text.strip()
    # 相対パスを絶対URLに変換
    link = urljoin(BASE_URL, title_el.attrs.get("href", ""))
    date = date_el.text.strip() if date_el else ""

    news_list.append({
        "title": title,
        "url": link,
        "date": date,
    })

# 結果表示
for n in news_list:
    print(n["date"], "-", n["title"], "=>", n["url"])

# js_product_list_example.py
from requests_html import HTMLSession

session = HTMLSession()
url = "https://example.com/products"

# 1. ページ取得
r = session.get(url)

# 2. JS実行して商品リストが描画されるまで待つ
r.html.render(timeout=30, sleep=5, scrolldown=2)

# 3. 商品カードを取得
items = r.html.find("div.product-card")

products = []

for item in items:
    name_el = item.find(".product-name", first=True)
    price_el = item.find(".product-price", first=True)
    link_el = item.find("a", first=True)

    name = name_el.text.strip() if name_el else ""
    price = price_el.text.strip() if price_el else ""
    url = link_el.attrs.get("href") if link_el else ""

    products.append({
        "name": name,
        "price": price,
        "url": url,
    })

# 4. 結果表示
for p in products:
    print(p["name"], p["price"], p["url"])

# headers_example.py
from requests_html import HTMLSession

session = HTMLSession()

headers = {
    "User-Agent": (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/120.0.0.0 Safari/537.36"
    )
}

r = session.get("https://example.com", headers=headers, timeout=15)
print(r.status_code)

# save_html_for_debug.py
from requests_html import HTMLSession

session = HTMLSession()
url = "https://example.com"

r = session.get(url)

# JS実行前のHTMLを保存
with open("before_render.html", "w", encoding="utf-8") as f:
    f.write(r.html.html)

# JS実行
r.html.render(timeout=30, sleep=3)

# JS実行後のHTMLを保存
with open("after_render.html", "w", encoding="utf-8") as f:
    f.write(r.html.html)

print("HTMLを保存しました。エディタやブラウザで開いて確認してください。")