Python BeautifulSoupで正規表現を活用した検索を効率化する実装手順と解説

2026年5月16日

要素取得

Webスクレイピングにおいて、目的のデータを正確かつ効率的に抽出することは最も重要な工程の一つです。

PythonのBeautifulSoupライブラリは、HTMLの構造を解析するための標準的なツールとして広く普及しています。

しかし、単純なタグ名や属性値の完全一致検索だけでは、動的に変化するIDや複雑なパターンを持つテキストを捉えきれない場面が多々あります。

そこで力を発揮するのが、Python標準の正規表現モジュールである「re」との組み合わせです。

正規表現を活用することで、曖昧な検索条件を厳密なルールに基づいて記述し、スクレイピングの柔軟性を飛躍的に高めることが可能になります。

本記事では、BeautifulSoupで正規表現を利用するための具体的な実装手順から、実務で役立つ応用テクニックまでを詳しく解説します。

目次 [ close ]

BeautifulSoupと正規表現を併用するメリット

BeautifulSoupの標準的な検索メソッドであるfindやfind_allは、通常は文字列の完全一致を基準に動作します。

しかし、実際のウェブサイトでは「item_101」「item_102」のように、IDの一部が動的に生成されるケースが少なくありません。

このような場合、正規表現を使用すれば「item_から始まるすべてのID」という条件で一括抽出が可能になります。

また、テキストの中から特定のパターン（電話番号、メールアドレス、価格表記など）のみを抽出したい場合にも非常に有効です。

検索ロジックを簡潔に記述できるため、コードの可読性が向上し、メンテナンスコストの削減にも繋がります。

特定のキーワードを含むリンクのみを取得するといった高度なフィルタリングも、正規表現ひとつで完結します。

スクレイピングにおける「データの取りこぼし」を防ぐためにも、正規表現の習得は必須と言えるでしょう。

環境構築と基本的な準備

まずは、今回使用するライブラリのインストールとインポートについて確認しておきましょう。

Pythonがインストールされている環境であれば、pipコマンドを使用して簡単に準備が整います。

Shell

pip install beautifulsoup4 lxml

次に、Pythonスクリプト内で必要なモジュールを読み込みます。

BeautifulSoupだけでなく、正規表現を扱うための「re」モジュールを必ずインポートしてください。

Python

import re
from bs4 import BeautifulSoup

# サンプルHTMLデータの定義
html_content = """
<div>
    <p id="product_101" class="item-high-priority">高級カメラ - 150,000円</p>
    <p id="product_102" class="item-low-priority">格安三脚 - 3,000円</p>
    <p id="service_201" class="service-common">修理サポート</p>
    <a href="https://example.com/items/p_001">商品詳細ページ</a>
    <a href="https://example.com/blog/article_01">関連記事</a>
</div>
"""

# BeautifulSoupオブジェクトの作成
soup = BeautifulSoup(html_content, "lxml")

これで、正規表現を用いた検索を行うための準備が完了しました。

正規表現によるタグ検索の基本構文

BeautifulSoupの検索引数に正規表現を渡す際は、re.compile()関数を使用します。

この関数で正規表現パターンをコンパイルし、それをfind_allなどの引数に代入するのが基本的な流れです。

属性値の部分一致検索

IDやクラス名の一部が特定のパターンに合致する要素を抽出する方法を見ていきましょう。

例えば、IDが「product_」で始まる要素だけを取得したい場合は以下のように記述します。

Python

# IDが "product_" で始まるpタグをすべて抽出
product_elements = soup.find_all("p", id=re.compile(r"^product_"))

for element in product_elements:
    print(f"見つかった要素: {element.text} (ID: {element.get('id')})")

実行結果

見つかった要素: 高級カメラ - 150,000円 (ID: product_101)
見つかった要素: 格安三脚 - 3,000円 (ID: product_102)

このように、r"^product_"という正規表現を用いることで、先頭一致の条件を簡単に指定できます。

クラス名のパターンマッチング

複数のクラスが設定されている場合や、複雑な命名規則を持つクラスをターゲットにする場合も同様です。

「priority」という文字列をクラス名に含む要素を抽出する例を挙げます。

Python

# クラス名に "priority" を含む要素を抽出
priority_items = soup.find_all(class_=re.compile(r"priority"))

for item in priority_items:
    print(f"優先度設定あり: {item.text}")

実行結果

優先度設定あり: 高級カメラ - 150,000円
優先度設定あり: 格安三脚 - 3,000円

属性値の指定に正規表現オブジェクトを渡すだけで、BeautifulSoupが内部的にマッチング判定を行ってくれます。

テキストコンテンツを対象とした正規表現検索

タグの属性だけでなく、タグに囲まれた「中身のテキスト」を対象に検索することも可能です。

これは、特定のキーワードや数値パターンを含む要素を探し出す際に非常に重宝します。

特定のキーワードを含む要素の抽出

例えば、価格情報が含まれているテキスト（「円」で終わる文字列）を持つ要素だけを抽出したい場合、以下のように記述します。

Python

# 「〇〇円」というパターンを含むテキストを持つ要素を抽出
price_elements = soup.find_all(string=re.compile(r"\d{1,3}(,\d{3})*円"))

for price in price_elements:
    # string引数で検索した場合、親タグへアクセスして全体を表示
    parent_tag = price.find_parent()
    print(f"価格情報を含むタグ: {parent_tag.text}")

実行結果

価格情報を含むタグ: 高級カメラ - 150,000円
価格情報を含むタグ: 格安三脚 - 3,000円

string引数（古いバージョンではtext引数）に正規表現を渡すことで、テキストノードを直接フィルタリングできます。

金額や日付、特定の記号を含むデータのみを効率的に収集できるため、データクリーニングの手間を大幅に削減できます。

URLのパターンによるリンク抽出

ウェブサイト内の特定のディレクトリ配下にあるリンクだけを集めたい場面も多いでしょう。

href属性に対して正規表現を適用することで、特定の構造を持つURLを狙い撃ちできます。

Python

# href属性に "/items/" を含むリンクのみを抽出
item_links = soup.find_all("a", href=re.compile(r"/items/"))

for link in item_links:
    print(f"商品URL: {link.get('href')}")

実行結果

商品URL: https://example.com/items/p_001

このように正規表現を使い分けることで、ノイズの多いHTMLから必要な情報だけを抽出する精度が劇的に向上します。

検索効率を最大化するテクニック

大規模なスクレイピングプロジェクトでは、検索速度やコードの汎用性も考慮する必要があります。

ここでは、一歩進んだ実装テクニックを紹介します。

正規表現フラグの活用

大文字と小文字を区別せずに検索したい場合は、re.IGNORECASEフラグを使用します。

これにより、「HTML」「html」「Html」といった表記の揺れを許容した検索が可能になります。

Python

# 大文字小文字を問わず "product" を含むIDを検索
case_insensitive_search = soup.find_all(id=re.compile(r"PRODUCT", re.IGNORECASE))

複数の条件を組み合わせる

正規表現とBeautifulSoupの他の機能を組み合わせることで、より複雑な抽出ロジックを構築できます。

例えば、「特定のクラスを持ち、かつテキストに特定のパターンを含む」要素を探す場合です。

Python

# クラス名に "item" を含み、かつテキストに "カメラ" を含む要素
camera_items = soup.find_all("p", 
                             class_=re.compile(r"item"), 
                             string=re.compile(r"カメラ"))

for camera in camera_items:
    print(f"合致したカメラ要素: {camera.text}")

抽出方法と比較

BeautifulSoupで利用可能な検索手法を以下の表にまとめました。

手法	特徴	主な用途
完全一致検索	文字列をそのまま指定する。高速。	IDやクラスが固定されている場合
正規表現検索	パターンの柔軟性が非常に高い。	動的なID、部分一致、パターン抽出
CSSセレクタ	select()メソッドを使用。直感的な記述が可能。	複雑な階層構造を指定する場合
ラムダ関数	独自の判定ロジックを関数で定義。	正規表現だけでは表現しきれない複雑な条件

実装時の注意点とパフォーマンス

正規表現は強力ですが、多用しすぎるとコードの可読性が低下したり、処理速度に影響を与えたりすることがあります。

特に数万行を超える巨大なHTMLファイルを解析する場合、コンパイル済みの正規表現オブジェクトを再利用することが推奨されます。

また、「意図しない要素までマッチしてしまう」というリスクも考慮しなければなりません。

例えば、r"item"というパターンは「item_list」だけでなく「system」にもマッチしてしまいます（末尾に”em”が含まれるためではありませんが、部分一致の罠に注意が必要です）。

境界を明示する^（先頭）や$（末尾）、あるいは\b（単語境界）を適切に使い分け、マッチ範囲を正確に制御しましょう。

エラーハンドリングについても、検索結果がNoneを返す可能性を考慮し、要素が存在するかどうかを確認する条件分岐を入れるのが安全です。

Python

target = soup.find("p", id=re.compile(r"unknown_\d+"))

if target:
    print(target.text)
else:
    print("対象の要素は見つかりませんでした。")

安全な実装を心がけることで、安定したスクレイピングツールを構築できます。

まとめ

PythonのBeautifulSoupと正規表現を組み合わせることで、HTML解析の自由度は飛躍的に向上します。

本記事では、基本的な属性検索からテキストパターンの抽出、さらには効率的な実装テクニックまでを解説しました。

「re.compile()」を介してパターンを渡すという一点を押さえるだけで、従来の完全一致検索では困難だった高度なデータ収集が可能になります。

特に、動的なIDやクラス名、複雑なテキスト構造を持つ現代のウェブサイトにおいて、正規表現は不可欠なスキルです。

まずはシンプルな部分一致検索から試し、徐々に複雑なメタ文字を活用したパターンマッチングに挑戦してみてください。

正確なデータ抽出は、質の高いデータ分析や業務自動化の第一歩となります。

今回紹介した実装手順を参考に、効率的で堅牢なスクレイピングの実装に取り組んでみましょう。