閉じる

Python BeautifulSoupのfindでNoneが返る原因と適切な判定方法

広告

PythonのBeautiful Soupライブラリは、Webスクレイピングにおいて非常に強力なツールです。

多くの開発者がHTML要素を抽出する際にfindメソッドを利用しますが、意図した要素が見つからない場合に発生する「None」の扱いに苦慮することがあります。

特に、取得した結果に対してそのまま.textや.get()を呼び出すと、プログラムが異常終了する原因となります。

本記事では、Beautiful SoupのfindメソッドがNoneを返す具体的な原因と、それを安全に処理するための実践的な判定方法について詳しく解説します。

目次 [ close ]
  1. findメソッドがNoneを返す主な原因
  2. NoneによるAttributeErrorを防ぐ基本的な判定
  3. Python 3.8以降で推奨されるセイウチ演算子の活用
  4. 複数の要素から安全に属性を取得するテクニック
  5. 例外処理（try-except）を用いた判定と回避
  6. None判定方法の比較まとめ
  7. Noneが返ってくるのを防ぐためのヒント
  8. まとめ

findメソッドがNoneを返す主な原因

Beautiful Soupのfindメソッドは、指定した条件に合致する最初の要素を返しますが、条件に合う要素がページ内に存在しない場合はNoneを返します。

スクレイピング対象のWebサイトで、HTML構造が動的に変更された場合、以前まで機能していたコードが突然Noneを返すようになることがあります。

また、クラス名やID名の指定にタイポ（入力ミス）がある場合も、当然ながら要素は見つからずNoneとなります。

JavaScriptを使用してコンテンツを動的に生成しているサイトでは、requestsなどで取得したHTMLソース内に目的のタグが含まれていないことが頻繁にあります。

ログインが必要なページや、アクセス制限によって想定外の読み込みエラーが発生しているときも、要素が取得できずNoneが返る原因となります。

これらの要因を理解しておくことは、エラーに強い堅牢なスクレイピングプログラムを構築するための第一歩です。

NoneによるAttributeErrorを防ぐ基本的な判定

最も基本的かつ重要な対策は、要素にアクセスする前に必ずNoneチェックを行うことです。

以下のコードは、findメソッドの結果を一度変数に格納し、if文で存在を確認する標準的な書き方です。

Python
from bs4 import BeautifulSoup

html_doc = "<div><p id='target'>こんにちは、Pythonスクレイピングです。</p></div>"
soup = BeautifulSoup(html_doc, 'html.parser')

# 存在する要素を探す
element = soup.find('p', id='target')

# None判定を行ってからテキストを取得する
if element is not None:
    print(element.text)
else:
    print("要素が見つかりませんでした。")

# 存在しない要素を探す
missing_element = soup.find('span', class_='nothing')

if missing_element is not None:
    print(missing_element.text)
else:
    print("span要素は見つかりませんでした。")
実行結果
こんにちは、Pythonスクレイピングです。
span要素は見つかりませんでした。

このように、変数がNoneでないことを確認してからプロパティにアクセスすることで、AttributeError: 'NoneType' object has no attribute 'text'という致命的なエラーを回避できます。

Python 3.8以降で推奨されるセイウチ演算子の活用

Python 3.8以降では、セイウチ演算子（:=）を使用することで、代入と判定を一行で記述できるようになりました。

この記述方法を採用すると、コードが簡潔になり、可読性が向上するというメリットがあります。

Python
# セイウチ演算子を使った効率的な書き方
if (element := soup.find('p', id='target')) is not None:
    print(element.text)
else:
    print("要素の抽出に失敗しました。")

スクレイピング対象の項目が多い場合、この書き方を用いることでネストが深くならず、スッキリとした構造を保つことができます。

複数の要素から安全に属性を取得するテクニック

要素から属性値を取得する際、element['href']のように辞書形式でアクセスすると、キーが存在しない場合にエラーが発生します。

要素が存在していることが前提であっても、さらに安全を期すならget()メソッドを組み合わせて使用するのが賢明です。

Python
# リンク要素を探す
link = soup.find('a')

if link is not None:
    # getメソッドなら属性がなくてもエラーにならずNoneを返す
    url = link.get('href', 'デフォルトURL')
    print(url)

属性値の有無についても考慮することで、より実行が安定するスクレイピングスクリプトになります。

例外処理（try-except）を用いた判定と回避

特定の要素が見つからないことを「例外的な状況」として扱う場合は、try-except構文を利用することもあります。

特に、大量のページをループで処理する際、一部のページにだけ特定のタグが存在しないというケースに有効です。

Python
try:
    # findの結果がNoneの場合、.textへのアクセスでAttributeErrorが発生する
    title_text = soup.find('h1').text
    print(f"タイトル: {title_text}")
except AttributeError:
    # Noneの場合の処理を記述
    print("エラー: 指定したタグが見つからないため、テキストを取得できません。")

ただし、乱用するとプログラムの制御フローが分かりにくくなるため、基本的にはif文による判定を優先し、補完的に例外処理を使うのが一般的です。

None判定方法の比較まとめ

これまでに紹介した判定方法の特徴を、以下の表にまとめました。

手法メリットデメリット
if is not None最も標準的で分かりやすい。コードの行数が増えやすい。
セイウチ演算子 (:=)コードが短く、効率的。Python 3.8以降が必要。
try-except予期せぬエラーも一括処理。処理が重くなる場合がある。
getattr()デフォルト値を指定しやすい。少し特殊な書き方になる。

プロジェクトの規模やPythonのバージョンに合わせて、最適な方法を選択してください。

Noneが返ってくるのを防ぐためのヒント

判定方法を工夫するだけでなく、そもそもNoneが返ってこないようにするための工夫も必要です。

まず、ブラウザのデベロッパーツールで確認している構造と、Pythonのrequestsなどで取得したHTMLが同一であるかを確認してください。

print(soup.prettify())を実行して、実際に読み込まれているHTMLを直接目で確認することが、解決の近道になることも少なくありません。

クラス名が動的に生成されている（例：class="css-1abc23"のようなハッシュ値）場合、部分一致検索を利用することで解決できる場合があります。

Python
# 部分一致による検索例
target = soup.find('div', class_=lambda x: x and 'partial-name' in x)

また、スクレイピング対象の要素が入れ子構造になっている場合は、親要素をfindしてから、その結果に対してさらにfindを行うことで、精度の高い抽出が可能になります。

まとめ

PythonのBeautiful Soupを使用したスクレイピングにおいて、findメソッドが返すNoneの扱いは非常に重要です。

要素が存在しない可能性を常に考慮し、if文やセイウチ演算子を用いて適切に判定を行うことで、エラーによるプログラムの停止を防ぐことができます。

HTMLの構造変化はWebスクレイピングにおいて避けて通れない課題ですが、丁寧なエラーハンドリングを実装しておくことで、メンテナンス性の高いコードを実現できます。

今回解説したテクニックを活用し、より安定したデータの自動収集を目指してください。

URLをコピーしました！