Scrapling

適応型Webスクレイピングフレームワーク

単一リクエストから大規模クローリングまで対応する適応型Webスクレイピングフレームワーク。Playwrightを使用した動的スクレイピング、ステルス機能、複数選択方式（CSS/XPath）対応。

Author: D4Vinci

Stars: 36,406

GitHub

Install: pip install Scrapling

主な機能

• Playwrightによる動的コンテンツのスクレイピング対応
• CSS/XPath/正規表現による柔軟なセレクタ対応
• 単一リクエストから大規模クローリングまでスケール対応
• ステルス機能でbot検知を回避
• 同期/非同期スクレイピング方式に対応

想定ユースケース

• 価格比較サイト構築 — 複数のEコマースサイトから商品情報を自動収集し、価格比較ページを生成します。
• JavaScriptレンダリング必須サイト対応 — SPAやJavaScriptで動的に生成されるコンテンツをPlaywrightで処理して抽出します。
• 大規模データ収集パイプライン — 数千～数万ページの効率的なクローリングと非同期処理で、データを大量収集します。