はじめてのPyAutoGUI: PythonでGUI操作を自動化する方法を解説

# 基本
pip install pyautogui

# 画像認識でconfidenceを使うなら
pip install opencv-python

# (Linuxで必要になることがある追加パッケージの例)
# Debian/Ubuntu:
# sudo apt-get install -y python3-xlib scrot

# 動作確認: 画面サイズと現在のマウス座標を表示
import pyautogui
print("Screen size:", pyautogui.size())
print("Current position:", pyautogui.position())

# 画面の幅と高さを取得して表示します
import pyautogui

w, h = pyautogui.size()
print(f"Width: {w}, Height: {h}")

# マウスをゆっくり移動してクリックします
import time
import pyautogui

pyautogui.FAILSAFE = True       # 左上で緊急停止
pyautogui.PAUSE = 0.3           # 各操作の後に0.3秒待機

# 例: 画面中央へ移動してクリック
screen_w, screen_h = pyautogui.size()
center_x, center_y = screen_w // 2, screen_h // 2

print("3秒後にマウスを中央に移動してクリックします。準備してください。")
time.sleep(3)
pyautogui.moveTo(center_x, center_y, duration=1.5)  # 1.5秒かけて中央へ
pyautogui.click()                                   # 左クリック
print("完了")

# 簡単なドラッグとスクロールの例
import time
import pyautogui

pyautogui.PAUSE = 0.2

# ドラッグ: 現在位置から右に200px、下に100pxドラッグ
print("2秒後にドラッグします。")
time.sleep(2)
pyautogui.dragRel(200, 100, duration=1.0, button="left")  # 相対ドラッグ

# スクロール: 上方向に500単位スクロール
# もし逆方向になる場合は値の符号を逆にしてください
pyautogui.scroll(500)
print("ドラッグとスクロールのデモ完了")

# キー入力: 文字列入力とショートカット送信
import platform
import pyautogui
import time

pyautogui.PAUSE = 0.2

# 1) テキスト入力
time.sleep(1)
pyautogui.write("Hello, PyAutoGUI!", interval=0.05)  # 1文字ごとに0.05秒待つ
pyautogui.press("enter")

# 2) CtrlまたはCommandとのショートカット
is_mac = platform.system() == "Darwin"
modifier = "command" if is_mac else "ctrl"
pyautogui.hotkey(modifier, "a")  # 全選択
pyautogui.hotkey(modifier, "c")  # コピー
print("入力とショートカット送信が完了しました")

# 画像が出るまで最大10秒待つ関数の例
import time
import pyautogui

def wait_for_image(path, timeout=10, confidence=0.9):
    start = time.time()
    while time.time() - start < timeout:
        pos = pyautogui.locateCenterOnScreen(path, confidence=confidence)
        if pos:
            return pos
        time.sleep(0.3)
    return None

print("ボタン画像を待機中...")
p = wait_for_image("button.png", timeout=10)
print("見つかった座標:", p)

# 相対移動(moveRel)と絶対座標(moveTo)の違いを体感します
import time
import pyautogui

print("絶対座標へ移動→クリック")
pyautogui.moveTo(100, 100, duration=1.0)
pyautogui.click()

print("相対座標へ移動→クリック(今の位置から右へ50, 下へ20)")
pyautogui.moveRel(50, 20, duration=0.5)
pyautogui.click()
print("完了")

# 画面全体と一部領域のスクリーンショットを保存します
import pyautogui

# 全体
img = pyautogui.screenshot()
img.save("full.png")  # カレントディレクトリに保存

# 領域(x, y, width, height)を指定して保存
region_img = pyautogui.screenshot(region=(100, 100, 300, 200))
region_img.save("region.png")
print("スクリーンショットを保存しました")

# 画像(button.png)が画面上にある位置を探してクリックします
# 事前に探したいボタンのスクリーンショットを"button.png"として用意してください
import pyautogui
import time

pyautogui.PAUSE = 0.3

print("2秒後に検索開始")
time.sleep(2)
pos = pyautogui.locateCenterOnScreen("button.png")  # OpenCVなしでは完全一致
if pos:
    print("見つかりました:", pos)
    pyautogui.moveTo(pos.x, pos.y, duration=0.8)
    pyautogui.click()
else:
    print("画像が見つかりませんでした")

# OpenCV導入済みであれば、類似度マッチングが可能
import pyautogui

pos = pyautogui.locateCenterOnScreen("button.png", confidence=0.88)
print("検出結果:", pos)

# メモ帳(TextEdit, gedit)を起動して文字を入力する例
import platform
import subprocess
import time
import pyautogui

pyautogui.FAILSAFE = True
pyautogui.PAUSE = 0.2

system = platform.system()

print("エディタを起動します...")
if system == "Windows":
    # Windowsのメモ帳
    subprocess.Popen(["notepad"])
elif system == "Darwin":
    # macOSのTextEdit
    subprocess.Popen(["open", "-a", "TextEdit"])
else:
    # Linux: geditがない場合はインストールや別エディタを利用してください
    subprocess.Popen(["gedit"])

time.sleep(1.5)  # 起動待ち(環境に応じて調整)

# 文字入力
pyautogui.write("これはPyAutoGUIの入力テストです。", interval=0.05)
pyautogui.press("enter")
pyautogui.write("複数行の入力も可能です。", interval=0.05)

# 保存ショートカット
modifier = "command" if system == "Darwin" else "ctrl"
pyautogui.hotkey(modifier, "s")
time.sleep(0.5)
pyautogui.write("pyautogui_demo.txt")
pyautogui.press("enter")
print("入力と保存を実行しました")

# 画像(button.png)を探してクリック。見つからない場合はタイムアウトで終了
import time
import pyautogui

def click_image(path, timeout=8, confidence=0.9):
    start = time.time()
    while time.time() - start < timeout:
        pos = pyautogui.locateCenterOnScreen(path, confidence=confidence)
        if pos:
            pyautogui.moveTo(pos.x, pos.y, duration=0.4)
            pyautogui.click()
            return True
        time.sleep(0.3)
    return False

print("ボタン探索を開始します")
ok = click_image("button.png", timeout=8, confidence=0.88)
print("クリック成功:", ok)

# 失敗しにくい安全クリックのヘルパー
import time
import pyautogui

def safe_click(target=None, x=None, y=None, retries=3, delay=0.4):
    """
    target: 画像パス(画像クリック)
    x, y  : 座標指定(座標クリック)
    どちらか一方を指定します
    """
    assert (target is None) != (x is None or y is None), "targetまたはx,yのどちらかを指定"

    for attempt in range(1, retries + 1):
        try:
            if target:
                pos = pyautogui.locateCenterOnScreen(target, confidence=0.9)
                if not pos:
                    print(f"[{attempt}/{retries}] 画像が見つかりません。リトライします")
                    time.sleep(delay)
                    continue
                x, y = pos.x, pos.y

            pyautogui.moveTo(x, y, duration=0.3)
            pyautogui.click()
            print("クリック成功:", x, y)
            return True
        except pyautogui.FailSafeException:
            print("FailSafeで停止しました")
            raise
        except Exception as e:
            print(f"[{attempt}/{retries}] 例外が発生: {e}")
            time.sleep(delay)

    print("クリック失敗: リトライ回数を超えました")
    return False

# 使用例
# safe_click(target="ok_button.png")
# safe_click(x=200, y=300)

# 緊急停止の基本と安全な動作速度
import pyautogui
import time

# 1) 左上でFailSafe例外を投げる(デフォルトTrue)
pyautogui.FAILSAFE = True

# 2) すべての操作の後に0.5秒休止
pyautogui.PAUSE = 0.5

# 3) 実行前の確認(OKで続行/Cancelで中止)
resp = pyautogui.confirm(text="自動化を開始します。準備はよろしいですか", title="PyAutoGUI", buttons=["OK", "Cancel"])
if resp != "OK":
    print("キャンセルされました")
else:
    print("5秒後に開始します。左上に移動で緊急停止できます")
    time.sleep(5)
    pyautogui.moveTo(200, 200, duration=2.0)
    pyautogui.click()
    print("完了")