閉じる

BeautifulSoupのNavigableStringとTagの違いを理解する：DOM操作の基本と使い分け

広告

PythonでWebスクレイピングを行う際、Beautiful Soupは最も直感的で強力なライブラリの一つとして広く利用されています。

HTMLやXMLの構造を解析するプロセスにおいて、私たちが操作しているオブジェクトが何であるかを正確に理解することは、効率的なコーディングの第一歩です。

特に「Tag」と「NavigableString」という2つの主要なクラスの違いを把握していないと、予期せぬエラーやデータの取得漏れが発生する原因となります。

これらはBeautiful Soupにおけるドキュメントツリーを構成する最小単位であり、それぞれが異なる役割と属性を持っています。

本記事では、TagとNavigableStringの定義から具体的な使い分け、そして実務で役立つ操作方法までを詳しく解説します。

目次 [ close ]
  1. Beautiful Soupにおける基本オブジェクトの役割
  2. Tagオブジェクト：HTML要素の構造を保持する
    1. Tagオブジェクトの主な特徴
  3. NavigableStringオブジェクト：タグ内のテキストを保持する
    1. NavigableStringオブジェクトの主な特徴
  4. TagとNavigableStringの決定的な違い
  5. 実践：TagとNavigableStringを判別する方法
  6. 注意点：.stringと.textの使い分け
  7. まとめ

Beautiful Soupにおける基本オブジェクトの役割

Beautiful SoupでHTMLソースコードを解析（パース）すると、ドキュメント全体は入れ子状のオブジェクト構造へと変換されます。

この構造を「DOM（Document Object Model）ツリー」と呼びますが、Beautiful Soupでは主に4種類のオブジェクトを用いてこれを表現します。

その中でも日常的な開発で頻繁に触れることになるのが、TagとNavigableStringです。

簡単に言えば、TagはHTMLの「枠組み」を表し、NavigableStringはその枠組みの中に収められた「中身のテキスト」を表します。

これら2つの要素が組み合わさることで、複雑なウェブページの構造がPython上で再現される仕組みになっています。

Tagオブジェクト：HTML要素の構造を保持する

Tagオブジェクトは、HTMLドキュメントにおけるタグ（例：<div>、<a>、<p>など）そのものを指します。

このオブジェクトは、タグ名や属性（idやclassなど）といったメタ情報を保持し、さらに他のタグや文字列を子要素として含めることができます。

Tagオブジェクトの主な特徴

Tagオブジェクトの最大の特徴は、階層構造を自由に移動できるナビゲーション機能を持っている点にあります。

例えば、あるTagオブジェクトからその「親要素」「子要素」「兄弟要素」へ簡単にアクセスするためのメソッドが用意されています。

また、HTML属性を辞書形式（dict）のように操作できる点も、スクレイピング作業を簡略化する重要な機能です。

Python
from bs4 import BeautifulSoup

html_doc = '<a href="https://example.com" class="link" id="top">Example Link</a>'
soup = BeautifulSoup(html_doc, 'html.parser')

# aタグ全体を取得
tag = soup.a

print(f"オブジェクト型: {type(tag)}")
print(f"タグ名: {tag.name}")
print(f"href属性: {tag['href']}")
print(f"class属性: {tag['class']}")
実行結果
オブジェクト型: <class 'bs4.element.Tag'>
タグ名: a
href属性: https://example.com
class属性: ['link']

このように、Tagオブジェクトは属性へのアクセスや、タグの名称変更といった「HTML構造の操作」に適しています。

NavigableStringは、タグの間に挟まれた「テキスト部分」を表すオブジェクトです。

Python標準の文字列型（str）によく似ていますが、Beautiful Soup独自の機能を備えた特殊なクラスです。

NavigableStringの最大の特徴は、文字列でありながらツリー構造上の位置情報を持っているという点です。

通常の文字列とは異なり、そのテキストがどのタグに含まれているのか、あるいは前後にどの要素があるのかを知ることができます。

ただし、Tagとは異なり、独自の属性（attrs）を持ったり、子要素を保持したりすることはできません。

Python
from bs4 import BeautifulSoup

html_doc = '<p>こんにちは、Pythonの世界へ。</p>'
soup = BeautifulSoup(html_doc, 'html.parser')

# pタグ内のテキスト部分を取得
text_element = soup.p.string

print(f"オブジェクト型: {type(text_element)}")
print(f"内容: {text_element}")
print(f"親タグ名: {text_element.parent.name}")
実行結果
オブジェクト型: <class 'bs4.element.NavigableString'>
内容: こんにちは、Pythonの世界へ。
親タグ名: p

実行結果からわかる通り、NavigableStringオブジェクトからは.parentプロパティを通じて親のTagへと遡ることが可能です。

TagとNavigableStringの決定的な違い

開発を進める上で、これら2つのオブジェクトを混同しないように比較表で整理しましょう。

特徴TagNavigableString
表す対象HTMLタグ (<div>など)タグに囲まれたテキスト
子要素の有無あり (TagやStringを含める)なし (末端の要素)
属性(attrs)の保持可能 (id, class, href等)不可能
主な用途要素の抽出・構造解析情報の取得・文字列操作
メソッド例find(), select()replace_with()

最も重要な違いは、Tagは「容器」であり、NavigableStringは「中身」であるという点です。

このため、find()やfind_all()といった探索メソッドはTagに対してのみ有効であり、NavigableStringに対して呼び出すとエラーが発生します。

実践：TagとNavigableStringを判別する方法

スクレイピングの現場では、ループ処理の中で取得した要素がどちらの型であるかを判定しなければならない場面が多々あります。

特に、.contentsや.childrenを使用して要素を走査する場合、タグとタグの間の「改行」や「空白」もNavigableStringとして取得されてしまうからです。

Python
from bs4 import BeautifulSoup, Tag, NavigableString

html = """
<div id="container">
    <p>第一段落</p>
    <p>第二段落</p>
</div>
"""
soup = BeautifulSoup(html, 'html.parser')
container = soup.find(id="container")

for child in container.children:
    if isinstance(child, Tag):
        print(f"Tagを見つけました: {child.name}")
    elif isinstance(child, NavigableString):
        # 空白や改行のみの場合はスキップする処理が一般的
        if child.strip():
            print(f"文字列を見つけました: {child}")
実行結果
Tagを見つけました: p
Tagを見つけました: p

このコードでは、isinstance()関数を使用して、処理対象のオブジェクトがどちらのクラスに属しているかを確認しています。

実務においては、意図しない空白文字（改行コードなど）を排除するために、Tagオブジェクトのみをフィルタリングする手法が非常に有効です。

注意点：.stringと.textの使い分け

Beautiful Soupにおいて、テキストを抽出する方法には.stringと.get_text()（または.text）の2つがありますが、これらは動作が異なります。

.stringプロパティは、そのタグが単一の子要素（NavigableString）のみを持っている場合にのみ、その値を返します。

もしタグの中に別のタグ（Tag）が含まれている場合、.stringはNoneを返してしまうため注意が必要です。

一方で、.textや.get_text()は、そのタグ配下にあるすべてのテキストを再帰的に結合して取得します。

Python
html_complex = "<div>外側のテキスト<p>内側のテキスト</p></div>"
soup_complex = BeautifulSoup(html_complex, 'html.parser')
div_tag = soup_complex.div

print(f".stringの結果: {div_tag.string}")
print(f".get_text()の結果: {div_tag.get_text()}")
実行結果
.stringの結果: None
.get_text()の結果: 外側のテキスト内側のテキスト

このように、目的が「タグの直下にある文字列だけ」なのか「タグ以下の全テキスト」なのかによって、適切に使い分ける必要があります。

まとめ

Beautiful Soupを用いたWebスクレイピングにおいて、TagとNavigableStringの違いを正しく理解することは、堅牢なプログラムを作成するための鍵となります。

TagはHTMLの構造そのものを操作するためのオブジェクトであり、属性や子要素へのアクセスといった強力な機能を備えています。

一方、NavigableStringはテキスト情報に特化したオブジェクトであり、ツリー構造の中での位置を保持しつつ、最終的な抽出データとして機能します。

特に子要素をループ処理する際には、これらが混在することを想定し、isinstance()を用いた型判定を導入することをお勧めします。

本記事で紹介した特性や注意点を踏まえ、状況に応じた最適なメソッドを選択することで、スクレイピングの精度と効率を飛躍的に高めることができるでしょう。

URLをコピーしました！