閉じる

PythonのBeautifulSoupでfindを使いこなす！基本から属性指定まで具体例で解説

広告

Pythonを使用したWebスクレイピングにおいて、目的のデータを正確に抽出するスキルは非常に重要です。

膨大なHTMLソースの中から特定の要素を効率的に特定するために、ライブラリ「BeautifulSoup」のfindメソッドは欠かせない存在です。

この記事では、find()の基本的な使い方から、属性指定、正規表現の活用、実戦的なエラー回避策まで、具体的なサンプルコードを交えて詳しく解説します。

これからスクレイピングを始める初心者の方から、より柔軟なコードを書きたい中級者の方まで、幅広く役立つ内容となっています。

目次 [ close ]
  1. BeautifulSoupの準備と基本設定
    1. 必要なライブラリのインストール
    2. Soupオブジェクトの作成
  2. findメソッドの基本操作
    1. タグ名で検索する
  3. 属性を指定して絞り込む
    1. id属性で検索する
    2. class属性で検索する
    3. 複数のクラスを指定する場合
    4. その他の属性（attrs）を使用する
  4. テキスト内容で検索する
  5. 正規表現を活用した柔軟な検索
  6. 階層構造を利用した絞り込み
    1. ネストされた検索
  7. findとfind_allの違いと使い分け
  8. 実戦で役立つエラー回避策
    1. 安全にテキストを取得するパターン
  9. findメソッドの引数まとめ
  10. まとめ

BeautifulSoupの準備と基本設定

Pythonでスクレイピングを行う際、標準的な構成となるのが「Requests」でHTMLを取得し、「BeautifulSoup」で解析する流れです。

まずは環境を整え、解析の対象となるSoupオブジェクトを作成する準備を行いましょう。

必要なライブラリのインストール

以下のコマンドを使用して、BeautifulSoup4と解析エンジンであるlxmlをインストールします。

lxmlは高速で柔軟なパーサーとして推奨されています。

Shell
pip install beautifulsoup4 lxml

Soupオブジェクトの作成

スクレイピングを開始するには、取得したHTML文字列をBeautifulSoupに渡す必要があります。

Python
from bs4 import BeautifulSoup

# サンプルHTML
html_content = """
<html>
    <body>
        <h1 id="title">スクレイピング入門</h1>
        <p class="description">BeautifulSoupの使い方を学びましょう。</p>
        <div class="content">
            <p>この記事ではfindメソッドを詳しく解説します。</p>
        </div>
    </body>
</html>
"""

# Soupオブジェクトの作成（lxmlパーサーを使用）
soup = BeautifulSoup(html_content, "lxml")

# 確認用出力
print(soup.h1.text)
実行結果
スクレイピング入門

これで準備は完了です。

このsoup変数に対して、様々な検索メソッドを適用していきます。

findメソッドの基本操作

find()は、HTMLツリーの中から条件に一致する最初の要素を1つだけ取得するメソッドです。

複数ヒットする場合でも、最初に見つかったものだけを返すという性質を理解しておくことが重要です。

タグ名で検索する

最もシンプルな使い方は、タグ名を文字列で指定する方法です。

Python
# pタグの最初の要素を取得
first_p = soup.find("p")

print(f"取得したタグ: {first_p}")
print(f"テキスト内容: {first_p.text}")
実行結果
取得したタグ: <p class="description">BeautifulSoupの使い方を学びましょう。</p>
テキスト内容: BeautifulSoupの使い方を学びましょう。

もし、HTML内に該当するタグが存在しない場合、find()はNoneを返します。

この挙動は後のエラーハンドリングで重要になります。

属性を指定して絞り込む

タグ名だけでは、目的のデータにたどり着けないことが多々あります。

その場合は、id属性やclass属性を組み合わせて検索を行います。

id属性で検索する

HTMLにおいてidは一意であることが期待されるため、最も確実に要素を特定できる手段です。

Python
# idが"title"の要素を取得
title_element = soup.find(id="title")

print(title_element.text)
実行結果
スクレイピング入門

class属性で検索する

class属性で絞り込む際には注意が必要です。

Pythonにおいてclassは予約語（クラス定義に使用する単語）であるため、BeautifulSoupではclass_という引数名を使用します。

Python
# classが"description"のpタグを取得
desc_element = soup.find("p", class_="description")

print(desc_element.text)
実行結果
BeautifulSoupの使い方を学びましょう。

この末尾のアンダースコアを忘れると構文エラー（SyntaxError）になるため、常に意識しておきましょう。

複数のクラスを指定する場合

要素が複数のクラスを持っている場合、そのうちの1つを指定するだけでヒットします。

あるいは、完全に一致する文字列を指定することも可能です。

その他の属性（attrs）を使用する

data-idやaria-labelといった、ハイフンを含むカスタム属性を検索したい場合は、キーワード引数として直接記述できません。

その場合は、attrs引数に辞書形式で渡します。

Python
# カスタム属性を持つHTMLの例
html_with_custom = '<div data-role="main-content">こんにちは</div>'
soup_custom = BeautifulSoup(html_with_custom, "lxml")

# attrsを使用して検索
element = soup_custom.find(attrs={"data-role": "main-content"})

print(element.text)
実行結果
こんにちは

テキスト内容で検索する

タグの属性ではなく、表示されているテキストそのものを条件に要素を探したい場合があります。

この場合は、string引数を利用します。

Python
# 「findメソッド」という文字列を含む要素を探す
target = soup.find(string="この記事ではfindメソッドを詳しく解説します。")

# 注意：stringで見つかるのはNavigableStringオブジェクト
# その親タグを取得したい場合は .parent を使う
parent_tag = target.parent
print(f"親タグ名: {parent_tag.name}")
実行結果
親タグ名: p

なお、以前のバージョンではtext引数が使われていましたが、現在のBeautifulSoup4（4.11.0以降など）ではstringに統一するよう推奨されています。

正規表現を活用した柔軟な検索

特定の文字列を「含む」場合や、複雑なパターンのクラス名を検索したいときは、Pythonの標準ライブラリであるreモジュールと組み合わせるのが効果的です。

Python
import re

# 「スクレイピング」という文字が含まれるタグを検索
regex_element = soup.find(string=re.compile("スクレイピング"))

print(f"マッチしたテキスト: {regex_element}")

# クラス名が "desc" で始まる要素を検索
class_regex = soup.find(class_=re.compile("^desc"))
print(f"マッチしたクラス名: {class_regex['class']}")
実行結果
マッチしたテキスト: スクレイピング入門
マッチしたクラス名: ['description']

正規表現を使うことで、部分一致や前方一致での検索が可能になり、サイトの仕様変更にも強いスクレイピングコードが書けるようになります。

階層構造を利用した絞り込み

複雑なHTML構造では、目的の要素が深い階層にあることがあります。

いきなりfind()で探すと意図しない箇所がヒットしてしまう可能性があるため、ステップを分けて検索するのが定石です。

ネストされた検索

まず大きな枠組み（親要素）を見つけ、その結果に対してさらにfind()を実行します。

Python
# まずコンテンツエリアを特定
content_area = soup.find("div", class_="content")

# その中にあるpタグを探す
inner_p = content_area.find("p")

print(inner_p.text)

このように段階を踏むことで、検索範囲を限定し、データの誤取得を防ぐことができます。

findとfind_allの違いと使い分け

BeautifulSoupには、よく似たメソッドとしてfind_all()が存在します。

これらの違いを理解しておくことは、実装ミスを減らすために不可欠です。

特徴find()find_all()
取得数最初の1つのみ条件に合うすべて
戻り値の型Tag オブジェクト (または None)ResultSet (リスト形式)
主な用途タイトル、メイン画像、特定のID要素記事一覧、リンク集、テーブルの行

find_all()は該当する要素がない場合に空のリスト []を返しますが、find()はNoneを返すという違いがあります。

実戦で役立つエラー回避策

スクレイピングにおいて最も頻発するエラーは、要素が見つからなかった（Noneが返ってきた）場合に、そのままプロパティにアクセスしようとして発生するAttributeErrorです。

安全にテキストを取得するパターン

以下のように、要素の存在を確認してから処理を行うのがプロフェッショナルな書き方です。

Python
target_element = soup.find("span", class_="non-existent")

# 安全なチェック方法
if target_element:
    print(target_element.text)
else:
    print("要素が見つかりませんでした。")

もし、if文を使わずに1行で記述したい場合は、Pythonのセイフティナビゲーション的な処理（または三項演算子）を検討しましょう。

Python
# get_text()を使ってデフォルト値を設定する例
text = target_element.get_text() if target_element else "デフォルト値"

findメソッドの引数まとめ

find()に渡せる主要な引数を整理します。

これらを組み合わせることで、精度の高い抽出が可能になります。

  • name: タグ名の指定（’div’, ‘a’ など）。
  • attrs: 属性の辞書（{‘id’: ‘main’} など）。
  • recursive: True（デフォルト）なら子孫すべてを検索。Falseなら直下の子要素のみ。
  • string: タグ内のテキストを検索。
  • **kwargs: class_ や id などのキーワード引数。

まとめ

PythonのBeautifulSoupにおけるfind()メソッドは、スクレイピングの基本にして最も強力な武器の一つです。

  1. タグ名だけでなく、idやclass_を活用して絞り込む。
  2. ハイフンを含む属性にはattrs引数を使用する。
  3. 柔軟な検索には正規表現（re.compile）を組み合わせる。
  4. Noneが返る可能性を考慮し、必ず存在確認を行う。

これらのポイントを押さえることで、ターゲットとなるデータを確実、かつ安全に抽出できるようになります。

Webサイトの構造は日々変化するため、まずは基本に忠実なコードを書き、その後にメンテナンスしやすい構造へとブラッシュアップしていくことをおすすめします。

スクレイピングの実装を進める中で迷ったときは、ぜひこの記事のサンプルコードを振り返ってみてください。

クラウドSSLサイトシールは安心の証です。

URLをコピーしました！