Python requestsとBeautiful Soupで実現するログイン後スクレイピングの手順

2026年5月28日

HTML解析

ウェブサイトからデータを自動で取得するスクレイピングにおいて、大きな壁となるのが「ログイン認証」の存在です。

会員限定の情報を取得したり、自分専用のダッシュボードからデータを抽出したりするためには、単にURLへアクセスするだけでは不十分です。

Pythonの強力なライブラリであるrequestsとBeautiful Soupを組み合わせることで、プログラム上でブラウザのような振る舞いを再現し、ログイン後の世界へアクセスすることが可能になります。

本記事では、セッション管理の仕組みから具体的な実装手順まで、実務で使えるテクニックを詳しく解説します。

目次 [ close ]

ログイン後スクレイピングに必要なセッション管理の仕組み

ウェブサイトでログイン状態を維持するためには、「セッション（Session）」という仕組みを理解することが不可欠です。

通常、HTTP通信は「ステートレス」と呼ばれ、一度の通信が終わるとサーバーとの接続情報は破棄されてしまいます。

しかし、ログインが必要なサイトでは、サーバーから発行される「クッキー（Cookie）」という情報をブラウザが保持することで、継続的なアクセスを実現しています。

Pythonのrequestsライブラリには、このクッキー管理を自動化してくれるrequests.Session()という機能が備わっています。

このセッションオブジェクトを使用することで、ログイン時に取得したクッキーをその後のリクエストに自動で引き継ぐことができます。

通常のrequests.get()を繰り返すだけでは、毎回「初めまして」の状態でアクセスすることになり、ログインが必要なページから追い出されてしまうため注意が必要です。

通常の通信とセッション通信の違い

ログイン状態を維持できるかどうかの違いを、以下の表にまとめました。

機能	requests.get() (通常)	requests.Session()
クッキーの自動保持	なし	あり
ログイン状態の維持	不可	可能
接続の効率化	毎回コネクションを張る	同じ接続を再利用する
主な用途	公開ページの単発取得	ログインや複数ページの巡回

開発環境の準備とライブラリのインストール

まずは、今回使用するライブラリをインストールしましょう。

Pythonがインストールされている環境であれば、以下のコマンドを実行するだけで準備は完了します。

Shell

pip install requests beautifulsoup4

requestsはHTTP通信を行うためのライブラリで、beautifulsoup4は取得したHTMLを解析するためのライブラリです。

これら2つはPythonスクレイピングにおける黄金コンビと呼ばれており、2026年現在でも非常に高いシェアと信頼性を誇っています。

ログインスクレイピングの基本的な流れ

ログインを伴うスクレイピングは、大きく分けて以下の5つのステップで進行します。

ログインページのHTMLを解析し、送信先のURLと入力項目を確認する。
セッションオブジェクト（requests.Session()）を作成する。
ログイン情報を辞書形式で用意し、POSTメソッドで送信する。
ログインに成功したセッションを使い、目的のページへアクセスする。
Beautiful Soupを使用して、HTMLから必要なデータを抽出する。

特に重要なのは、「ブラウザがどのような情報を送信しているか」を正確に把握することです。

ブラウザの開発者ツール（F12キー）の「Network」タブを使い、実際にログインボタンを押した際の通信内容を確認する習慣をつけましょう。

ステップ1：ログインフォームの解析

ログインページには、ユーザーIDやパスワードを入力するための<input>タグが存在します。

これらのタグにあるname属性の値が、プログラムから送信する際のキー（Key）となります。

例えば、<input name="user_login">となっていれば、プログラム側でも"user_login"という名前でデータを送る必要があります。

ステップ2：CSRF対策への対応

現代の多くのウェブサイトには、セキュリティ対策として「CSRFトークン」が導入されています。

これは、ログインフォームの中に隠し要素（type="hidden"）として埋め込まれたワンタイムトークンです。

このトークンを一緒に送信しないと、サーバー側で不正なリクエストとみなされ、ログインが拒否されてしまいます。

そのため、一度ログインページにgetでアクセスし、Beautiful Soupでトークンを抽出してから、ログイン処理を行う必要があります。

実践：ログイン後スクレイピングの実装コード

ここでは、一般的なログインサイトを想定した具体的なコード例を紹介します。

このコードでは、まずログインページから隠しトークンを取得し、その後にログインを実行しています。

Python

import requests
from bs4 import BeautifulSoup

# 1. セッションの開始
session = requests.Session()

# 2. ログインページへアクセスしてCSRFトークン等を取得
login_url = "https://example.com/login"
response = session.get(login_url)
soup = BeautifulSoup(response.text, "html.parser")

# hidden属性のトークンを探す（サイトによって名称は異なる）
csrf_token = soup.find("input", attrs={"name": "csrf_token"})["value"]

# 3. ログイン情報の構築
login_data = {
    "username": "your_username",
    "password": "your_password",
    "csrf_token": csrf_token  # 取得したトークンをセット
}

# 4. ログイン実行（POSTリクエスト）
# ログイン処理を行うURL（action属性に記載されているURL）を指定
post_url = "https://example.com/login_process"
login_response = session.post(post_url, data=login_data)

# ログインが成功したか確認（ステータスコードやURL遷移で判定）
if login_response.ok:
    print("ログインに成功しました。")
    
    # 5. ログイン後のマイページなどにアクセス
    mypage_url = "https://example.com/mypage"
    target_response = session.get(mypage_url)
    
    # 6. Beautiful Soupでデータを抽出
    target_soup = BeautifulSoup(target_response.text, "html.parser")
    user_name = target_soup.find("span", class_="user-profile-name").text
    print(f"取得したユーザー名: {user_name}")
else:
    print("ログインに失敗しました。ステータスコード:", login_response.status_code)

実行結果

ログインに成功しました。
取得したユーザー名: テクニカル太郎

Beautiful Soupによるデータの抽出と加工

ログインに成功した後は、Beautiful Soupの出番です。

session.get()で取得したレスポンスのHTMLを解析し、必要な情報をピンポイントで抜き出します。

よく使われるメソッドはfind()とfind_all()ですが、より複雑な指定にはselect()（CSSセレクター）が便利です。

CSSセレクターを活用した抽出

HTML構造が複雑な場合、クラス名やIDを組み合わせて指定できるCSSセレクターが威力を発揮します。

例えば、特定のテーブル内にある特定のクラスを持つリンクだけを取得したい場合は、以下のように記述します。

Python

# ログイン後のページからお知らせ一覧を取得する例
news_items = target_soup.select("div.news-container ul > li.item a")
for item in news_items:
    print(item.text, item.get("href"))

このように、requestsでログイン状態を保ちつつ、Beautiful Soupで柔軟に要素を指定するのが一連の流れとなります。

スクレイピングにおける注意点とエチケット

スクレイピングは便利な技術ですが、法的および倫理的な責任が伴います。

特にログインが必要なサービスの場合、利用規約で「自動プログラムによるアクセス」を明確に禁止しているケースが多いです。

規約違反はアカウントの停止だけでなく、法的なトラブルに発展する可能性もあるため、必ず事前に規約を確認してください。

サーバーへの負荷軽減

プログラムによるアクセスは、人間が手動で行うよりもはるかに高速です。

短時間に大量のリクエストを送信すると、相手のサーバーをダウンさせてしまう恐れがあります。

リクエストの間隔には必ずtime.sleep(1)などを用いて、最低でも1秒以上の待機時間を設けるのがマナーです。

ユーザーエージェントの設定

デフォルトのrequestsの設定では、送信されるユーザーエージェント（ブラウザの種類を示す情報）が「python-requests/x.x.x」となります。

サイトによっては、このユーザーエージェントを見てスクレイピングを遮断することがあります。

可能な限り、実際のブラウザ（ChromeやEdgeなど）に近いユーザーエージェントをヘッダーに設定するようにしましょう。

Python

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
session.headers.update(headers)

ログインがうまくいかない時のチェックリスト

ログインスクレイピングは、一筋縄ではいかないことがよくあります。

もしログインに失敗する場合は、以下の項目を確認してみてください。

リファラ（Referer）の不足： ログイン処理の際、直前のページのURLをリファラとして要求するサイトがあります。
複雑なJavaScriptの実行： ログインボタンを押した際にJavaScriptで動的にデータを生成している場合、requestsだけでは対応できません。
二要素認証（2FA）： ワンタイムパスワードが求められる場合は、手動での介入や特別なAPIが必要になります。
非表示フィールド： input type="hidden"に、毎回変わる値が埋め込まれていないか再確認してください。
Cookieの有効期限： セッションを開始してからログインするまでの時間が空きすぎると、クッキーが無効になることがあります。

JavaScriptが多用されているサイトの場合、SeleniumやPlaywrightといったブラウザ自動操作ツールへの切り替えを検討するのも一つの手です。

しかし、動作の軽快さやリソース消費の少なさにおいては、requestsとBeautiful Soupの組み合わせに勝るものはありません。

まとめ

Pythonのrequests.Session()とBeautiful Soupを活用すれば、ログインが必要なウェブサイトからも効率的にデータを収集できます。

セッション機能によってクッキーを適切に管理し、CSRFトークンなどのセキュリティ対策を一つずつクリアしていくことが成功の鍵です。

まずは開発者ツールでサイトの構造をじっくり観察し、ブラウザの動きを忠実に再現することから始めてみましょう。

同時に、スクレイピングを行う際は常に相手サーバーへの配慮を忘れず、利用規約とマナーを遵守した運用を心がけてください。

この技術をマスターすることで、インターネット上の膨大なデータをあなたのビジネスや研究に活かせるようになるはずです。