閉じる

Python BeautifulSoupで不要なタグを削除する方法：decomposeの正しい使い方

広告

“`json { “title”: “Python BeautifulSoupで不要なタグを削除する方法：decomposeの正しい使い方”, “body_recommended_chars”: 3500 } “`

Pythonを使用してWebスクレイピングを行う際、取得したHTMLデータから不要な要素を取り除きたい場面は多々あります。

例えば、記事本文だけを抽出したいのに、広告コードやサイドバーのナビゲーション、JavaScriptのタグが混入してしまうケースです。

こうした不要な情報を効率的に削除するために用意されているのが、Beautiful Soupのdecompose()メソッドです。

本記事では、特定のタグを完全に破棄してメモリからも解放する、decomposeメソッドの正しい使い方を詳しく解説します。

目次 [ close ]
  1. decompose()メソッドとは何か
  2. decompose()の基本的な使い方
  3. 複数の不要なタグを一括で削除する方法
  4. decompose()とextract()の違い
    1. extract()の使用例
  5. decompose()を使用する際の注意点
    1. 1. 削除後の変数アクセス
    2. 2. NavigableStringへの適用
    3. 3. DOM構造の変化
  6. 実践的なテクニック：クラス名による条件削除
  7. まとめ

decompose()メソッドとは何か

decompose()は、Beautiful Soupのオブジェクトツリーから特定の要素を完全に削除し、その内容を破棄するためのメソッドです。

このメソッドを実行すると、指定したタグだけでなく、その中に含まれている子要素やテキストもすべて削除されます。

単にHTMLの表示から消すだけでなく、Python上のオブジェクトとしても破壊されるため、処理の軽量化にも寄与します。

スクレイピングの初期段階で不要なタグを掃除しておくことで、その後のテキスト解析やデータ加工が非常にスムーズになります。

decompose()の基本的な使い方

まずは、特定のIDやクラスを持つタグを1つだけ削除する基本的なコードを確認しましょう。

以下の例では、広告用を模した<div>タグを削除しています。

Python
from bs4 import BeautifulSoup

# サンプルHTML
html_doc = """
<div>
    <h1>メインタイトル</h1>
    <div class="ad-container">ここに不要な広告が入ります</div>
    <p>ここが本当に必要な本文です。</p>
</div>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 削除したい要素を特定する
ad_tag = soup.find(class_="ad-container")

# decompose()で削除を実行
if ad_tag:
    ad_tag.decompose()

# 結果を出力
print(soup.prettify())
実行結果
<div>
 
 <p>
  ここが本当に必要な本文です。
 </p>
</div>

実行結果を見ると、class="ad-container"を持っていた要素が跡形もなく消えていることがわかります。

if ad_tag:という条件文を入れているのは、要素が見つからなかった場合にNoneに対してdecomposeを実行してエラーになるのを防ぐためです。

複数の不要なタグを一括で削除する方法

実際のスクレイピングでは、<script>タグや<style>タグなど、特定の種類のタグをすべて消し去りたい場合が多いでしょう。

その場合は、find_all()メソッドとforループを組み合わせて処理を行います。

Python
from bs4 import BeautifulSoup

html_content = """
<html>
    <head>
        <style>body { color: red; }</style>
        <script>alert('Hello');</script>
    </head>
    <body>
        <p>重要なコンテンツです。</p>
        <script>console.log('Test');</script>
    </body>
</html>
"""

soup = BeautifulSoup(html_content, 'html.parser')

# scriptタグとstyleタグをすべて抽出してループで削除
for target in soup(["script", "style"]):
    target.decompose()

print(soup)
実行結果
<html>
<head>
</head>
<body>
<p>重要なコンテンツです。</p>
</body>
</html>

このように、リスト形式でタグ名を渡すことで、複数の種類のタグを一度にターゲットにすることが可能です。

本文抽出の前処理として、この「scriptとstyleの削除」は定石とも言えるテクニックです。

decompose()とextract()の違い

Beautiful Soupには要素を削除するメソッドとして、もう一つextract()が存在します。

これら二つは「ツリーから要素を取り除く」という点では共通していますが、その後の挙動が異なります。

特徴decompose()extract()
動作要素を完全に破棄する要素をツリーから切り離す
返り値None（何も返さない）切り離された要素自身を返す
主な用途不要なデータの完全消去特定の場所へ要素を移動させる場合など
メモリ効率高い（再利用不可）普通（オブジェクトが残る）

もし、削除した要素を後で別の場所で使いたい場合はextract()を使用してください。

二度と使わないゴミ箱行きのようなデータであれば、decompose()を使うのが正解です。

extract()の使用例

違いを理解するために、extract()の挙動も見ておきましょう。

Python
soup = BeautifulSoup("<p>Hello <b>World</b></p>", "html.parser")
tag = soup.b
extracted_tag = tag.extract()

print("元のsoup:", soup)
print("返り値:", extracted_tag)
実行結果
元のsoup: <p>Hello </p>
返り値: <b>World</b>

extract()は切り取った部分を戻り値として保持しているのに対し、decompose()はこれを保持せず破棄します。

decompose()を使用する際の注意点

decompose()を使用する際には、いくつかの重要な注意点があります。

1. 削除後の変数アクセス

一度decompose()を呼び出した変数は、中身が空になり、その要素の属性や子要素にアクセスしようとするとエラーが発生します。

複雑なループ処理の中で同じ要素を何度も参照するような設計になっている場合は注意が必要です。

2. NavigableStringへの適用

decompose()はタグ（Tagオブジェクト）に対して機能します。

タグに囲まれていない純粋な文字列（NavigableString）を直接削除したい場合は、注意深く要素を指定する必要があります。

3. DOM構造の変化

ループ内で要素を削除すると、DOMのインデックス（順番）が動的に変化することがあります。

ただし、Beautiful Soupのfind_all()で取得したリストに対してループを回す分には、リスト作成時点で要素が固定されているため、安全に削除を行えます。

実践的なテクニック：クラス名による条件削除

より実戦に近い例として、特定のキーワードを含むクラスを持つ要素をすべて削除する方法を紹介します。

正規表現（reモジュール）を組み合わせることで、柔軟なクレンジングが可能になります。

Python
import re
from bs4 import BeautifulSoup

html = """
<div>
    <div class="content">メイン記事</div>
    <div class="side-ad-1">広告1</div>
    <div class="side-ad-2">広告2</div>
    <div class="footer-nav">フッターリンク</div>
</div>
"""

soup = BeautifulSoup(html, 'html.parser')

# クラス名に "ad" または "footer" を含む要素をすべて削除
for div in soup.find_all("div", class_=re.compile(r"ad|footer")):
    div.decompose()

print(soup)
実行結果
<div>
<div class="content">メイン記事</div>
</div>

このように正規表現を活用すれば、「広告（ad）」に関連する多様なクラス名を一網打尽に削除することができます。

まとめ

Beautiful Soupのdecompose()メソッドは、スクレイピングにおけるデータの「お掃除」を担う非常に重要なツールです。

不要なタグを早期に排除することで、取得データのノイズを減らし、解析精度を劇的に向上させることができます。

単に要素を切り離すextract()との違いを正しく理解し、メモリ効率の良いコードを書くことを心がけましょう。

特に<script>や<style>、広告エリアといった定型的な不要要素に対しては、今回紹介した一括削除のテクニックをぜひ活用してください。

適切な前処理こそが、安定したスクレイピングプログラムを構築するための第一歩となります。

URLをコピーしました！