Webマーケティングにおいて競合サイト分析は必須の業務となりますが、手作業でページ情報を取得/活用するのは根気のいる作業です。そこで自動でページ情報を取得するスクレイピングの実施が考えられますが、不正アクセス禁止法に抵触する恐れがあるなど、初めてスクレイピングを実施するWeb担当者にはハードルが高いのも事実でしょう。
不正アクセス禁止法に抵触しないためにも、まずはスクレイピングがどのように対象ページの情報を取得しているのかを把握する必要がありますが、自動化する業務の内容によってはRPAツールの活用で事足りる可能性があります。今回の記事でスクレイピングの概要やメリット・デメリット、利用時の注意点を把握した後は、自動化させたい業務がRPAツールで実施できるかどうかも検討してみてください。
RPAとスクレイピングの違い
RPAとスクレイピングはいずれも自社が分析や加工をしやすいようにWebサイトの情報を抽出することを指しますが、抽出方法の違いによって両者を区別することが可能です。
・ RPA：クリック＆ペーストなど、実際の画面操作を記憶してページ情報を抽出
・ スクレイピング：ページのHTML構造を解析してページ情報を抽出
RPAは、対象ページ上での操作を記憶して自動再現する仕組みとなっています。したがって、ページのHTML構造を解析する必要がないため、プログラミング知識のない初心者でも容易にパソコン操作を自動化することが可能です。
RPAの中には、操作対象をソースコードの解析によって認識するタイプもあり、クリック＆ペーストの画面操作と組み合わせて自動化を図ることもできます。操作対象をソースコードで認識することで、操作対象ページのデザイン変更による「ロボットの動作停止」を回避できるメリットがあります。
スクレイピングとAPIの違い
ページのHTML構造を解析してページ情報を抽出するスクレイピングとは異なり、APIはソフトウェアの機能を共有する仕組みです。予めソフトウェア開発者から外部の第三者向けに機能の一部または全てが公開されているため、公開されている機能・情報を自由に取得できます。
スクレイピングは対象ページのサイト運営者の許可が事前に必要となりますが、APIは事前に許可された状態であるため許可の手続きを取る手間がかからないのが特徴です。
スクレイピングの活用例
対象ページのHTML構造を解析してページ情報を取得するスクレイピングは、企業の「競合サイト分析」などに活用できます。
サイト運営において競合サイトの掲載情報を定期的に取得することはマーケティングとして必須の業務となりますが、競合サイトの情報を手作業で取得・解析していては時間がいくらあっても足りません。そこでスクレイピングを利用することで、必要なページ情報（最新の掲載状況など）を毎日決まった時間に取得することが可能となります。
スクレイピングのメリット
競合サイト分析などの業務を効率化するスクレイピングには、以下の2つのメリットがあります。
・ APIで取得できない情報が取得可能
・ 膨大なデータを効率的に収集できる
スクレイピングを利用するメリットはAPIで取得できない情報を取得できることです。APIでは事前に許可された機能ないし情報を取得・活用することはできますが、公開されていない機能・情報は取得することができません。こうしたAPIの問題を解決するのがスクレイピングとなります。
APIで取得できない情報が取得可能
APIは外部のソフトウェア開発者などに向けて機能・情報の一部または全てを公開する仕組みのことを指します。逆にいえば、公開されていない機能・情報は取得できないことを意味しているため、スクレイピングを利用してページ情報を取得する必要があるのです。スクレイピングはページのHTML構造に変更が生じない限り、定期的にページ情報の取得を行うのが特徴となります。
膨大なデータを効率的に収集できる
スクレイピングでページ情報を自動取得することで、一度に大量の競合サイト情報を取得することが可能となります。1つ1つ手作業でページ情報を取得する必要がないため、効率的にデータ収集を行えるのがメリットとなります。
スクレイピングのデメリット
競合サイト分析を効率化するスクレイピングですが、以下のようなデメリットも抱えています。
・ WebサイトのHTML構造に影響を受ける
・ 不正アクセス禁止法に抵触する可能性がある
スクレイピングで最も注意しなければならないのが、不正アクセス禁止法に抵触する可能性があることです。ページ情報を取得するサイトによっては、利用規約の中でスクレイピングを禁止しているサイトもあるため注意が必要です。
WebサイトのHTML構造に影響を受ける
スクレイピングのデータ取得方法は「ページのHTML構造解析」となります。したがって、WebサイトやページのHTML構造に変更が生じた場合、スクレイピングを実施できなくなってしまいます。スクレイピングでページ情報を取得しているだけであれば問題ありませんが、スクレイピングで収集した情報をもとに自社サービスを展開している場合はスクレイピングの停止が「サービスの停止」となる可能性もあるため、スクレイピング先ページの情報を随時チェックする必要があります。
不正アクセス禁止法に抵触する可能性がある
スクレイピングを行うことで、APIではアクセスできない機能・情報にアクセスすることが可能となりますが、スクレイピングを禁止しているサイトもあるため注意が必要です。サイトの利用規約などをよく確認せずにスクレイピングを行うことで、最悪の場合「不正アクセス禁止法」に抵触してしまう可能性があります。
利用規約でスクレイピングが禁止されていない場合でも、スクレイピング先のサイトにアクセス負荷をかけないことを意識しましょう。大きなアクセス負荷をかけてしまったり、頻繁にスクレイピングを実施したりすることでスクレイピング先のサイト運営者から監視対象となり、アクセス拒否となる可能性もあります。
スクレイピング時の注意点
スクレイピングを実施する際にはスクレイピング先のサイトに迷惑をかけてしまうデメリットを把握した上で、以下の2つに気を付ける必要があります。
・ アクセス負荷をかけない
・ Webサイトの利用規約を確認する
スクレイピングはページのHTML構造を解析することでページ情報を取得できます。したがって、アクセス負荷をかけてしまうことに留意し、スクレイピング先のサイトに迷惑のかからない範囲でスクレイピングを実施することが重要となります。
アクセス負荷をかけない
スクレイピングによってスクレイピング先のサイトにアクセス負荷をかけてしまう可能性があります。スクレイピングを行う範囲によっては大きな負荷がかかってしまい、他のサイト訪問者の閲覧を妨げてしまう原因となり得るのです。
Webサイトの利用規約を確認する
スクレイピングを実施すること自体は問題ありませんが、スクレイピング先の利用規約でスクレイピングが禁止されている場合にスクレイピングを実施することで、不正アクセス禁止法に抵触する可能性があります。スクレイピングを実施する際にはスクレイピング先のサイトに迷惑をかけないことを前提に、最低限のスクレイピングで済むような実施計画を立てましょう。
RPAツールで取得可能なデータかを検討する
スクレイピングはAPIで取得できない機能・情報にアクセスする上で有効な手段となります。しかし、不正アクセス禁止法に抵触してしまう恐れもあるため、データ収集先の利用規約・運営方針に左右される形でしか操作を実行できません。
仮にスクレイピングを実施する目的が「競合サイト分析」であれば、実際の画面操作によってページ情報を取得するRPAツールの利用がおすすめです。スクレイピングの実施を検討している場合は、実施する業務がRPAツールで代行可能かどうかも事前に調べると良いでしょう。
コボットはディップ株式会社が提供するRPA（ロボティック・プロセス・オートメーション）サービスです。自動化できる単純作業は、社員（人）に代わってロボット（コボット）に任せることで、貴重な人材がそれまで割いていた工数を、より高度な仕事に集中する為の時間とすることが可能になりました。
ディップはRPAの導入相談から実際のRPA導入、導入後の運用に至るまでトータルでサポートします。「RPAを導入したい」「RPAを導入したが、活用しきれていない」「RPAの導入に踏み切ったが失敗した」など、導入における課題が多いいRPAですが、安心して導入いただけるサポート体制をご用意しています。
さらに、スケジュールの自動調整・WEB面談など採用現場の業務効率化を可能にする「面接コボット」や、人材派遣業界に特化した「HRコボット」、不動産業界の業務フローに沿ったテンプレート型RPA「不動産コボット」などの業界・業務特化型のRPAをご用意しています。
RPAについて悩んでいる企業のご担当者の方は、今すぐディップ株式会社までご相談ください。