JP7146210B2 - 情報処理装置、制御方法及びプログラム - Google Patents

Description

本発明は、ウェブブラウザを備える情報処理装置、制御方法及びプログラムに関するものである。

近年、インターネットを介してサーバにアクセスし、ウェブページを表示して様々な情報を取得することが可能となった。これらのウェブページはHTML（Hyper Text Markup Language）、XHTML（Extensible Hyper Text Markup Language）といった構造化言語（マークアップ言語）で記述された構造化文書で表現される。この構造化文書は、ウェブブラウザと呼ばれるソフトウエアにより解析され、ディスプレイに表示される。また、ウェブページ内の一部の領域をマウス等で範囲選択することで、要素単位又は任意の領域のデータをコピーしたり、画像として印刷したりすることができる（例えば、特許文献１参照）。

ところで、ＲＰＡソフトウエアと呼ばれる、コンピュータ等の情報処理装置が実行可能なコマンドを定められた実行順に従って情報処理装置に実行させるソフトウエアが知られている（例えば非特許文献１参照）。

ウェブページは、このＲＰＡソフトウエア等のような外部プログラムによって、データ処理や操作が自動化されることがある。この自動化の必須条件として、ウェブページ内の自動化対象の要素の識別子が、外部プログラムに事前に登録されている必要がある。このため、情報処理装置のオペレータ等が自動化の事前作業として対象の要素を探し、その要素のデータ形式を把握し、その識別子をウェブブラウザから抽出し、外部プログラムに転記する必要がある。

しかしながら、ウェブページは文字、画像、ボタン、表、記入欄など、様々な要素から構成され、それぞれの要素には様々なデータ形式や識別子 が存在する。例えば、データ形式としては「文字列」、「URL」、「表」等が挙げられ、識別子としては「ID」、「XPATH」、「Name」等が挙げられる。このため、要素のデータ形式を把握し、その識別子を構造化文書から抽出し、外部プログラムに転記して連係させることは、外部プログラムでの動作検証等も含め、作業に多大な手間がかかっていた。

"RPAソリューション Windows操作ロボット「WinActor」｜ＮＴＴデータ"，［online］，［平成30年10月10日検索］，インターネット＜URL：http://www.nttdata.com/jp/ja/lineup/winactor/index.html＞

特開２０１０－２８６９０３号公報

そこで、本発明は、ウェブページの各要素を構成する、あらゆるデータ形式や識別子を簡易的に確認及び抽出し、外部プログラムとの容易な連携を実現することが可能な情報処理装置、制御方法及びプログラムを提供することを目的としている。

前記目的を達成するために、本発明の情報処理装置は、構造化文書に含まれる複数の要素が配置されたウェブページを表示するウェブブラウザを備えた情報処理装置であって、前記ウェブブラウザは、前記ウェブページ上でユーザにより指定された前記要素を解析し、抽出可能な識別子を取得する識別子取得部と、取得した前記識別子の一覧を前記ウェブページ上に重畳して表示する識別子一覧表示部と、前記一覧の中から前記ユーザにより選択された前記識別子に対応する前記要素のデータをクリップボードに保存するデータ保存部と、を備えたことを特徴とする。

このように構成された本発明の情報処理装置では、識別子取得部が、ウェブブラウザの構造化文書を解析して、ウェブページ上でユーザにより指定された要素を抽出し、抽出可能な識別子を取得する。識別子一覧表示部が、取得した識別子の一覧をウェブページ上に重畳して表示する。よって、ユーザは選択可能な識別子を容易に把握できる。そして、一覧の中からユーザが識別子を選択すると、データ保存部が、選択された識別子に対応する要素のデータを、様々なアプリケーションが共有できるクリップボードに保存する。このクリップボードに保存されたデータを、外部プログラムが利用できる。

このようにすることで、ウェブページの各要素を構成する、あらゆるデータ形式や識別子を簡易的に確認及び抽出し、外部プログラムとの容易な連携を実現することが可能となる。

本発明の実施の形態である、ウェブブラウザを備えた情報処理装置の概略構成を示すブロック図である。 ウェブブラウザにより表示装置に表示される画面の一例であり、初期画面が表示された状態を示す。 ウェブブラウザにより表示装置に表示される画面の一例であり、指定されたウェブページが表示された状態を示す。 ウェブブラウザにより表示装置に表示される画面の一例であり、クリックによりエレメント調査モードボタンが選択された状態を示す。 ウェブブラウザにより表示装置に表示される画面の一例であり、ウェブページ上に、カーソル位置の識別子が重畳して表示された状態を示す。 ウェブブラウザにより表示装置に表示される画面の一例であり、ウェブページに識別子抽出メニューが重畳して表示された状態を示す。 ウェブブラウザにより表示装置に表示される画面の一例であり、識別子抽出メニューで「XPATH」が選択された状態を示す。 ウェブブラウザがクリップボードにコピーしたデータを、シナリオソフトウエアに転記した状態を示すイメージ図である。 実施の形態である情報処理装置での動作の一例を示すフローチャートである。

以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である、ウェブブラウザを備えた情報処理装置の概略構成を示す機能ブロック図である。

本実施の形態である情報処理装置１は、パーソナルコンピュータ、サーバ、スマートフォン、タブレット端末等の情報処理可能な装置である。情報処理装置１は、制御部１００、記憶部１１０、通信部１４０、入力Ｉ／Ｆ（インタフェース）１５０及び出力Ｉ／Ｆ１６０を有する。

制御部１００は、情報処理装置１全体の制御を行う。制御部１００はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

記憶部１１０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体記憶媒体などの記憶媒体を有する。記憶部１１０には、制御部１００における各種動作の際に用いられる各種データが一時的または非一時的に格納される。

記憶部１１０は、クリップボード１１１を備える。このクリップボード１１１は、制御部１００が利用可能な共有メモリの領域からなる。クリップボード１１１には、種々のアプリケーションで利用されるデータが記憶される。

また、記憶部１１０には、オペレーティングシステム１１２、ウェブブラウザソフトウエア１１３、シナリオソフトウエア１１４、アプリケーションソフトウエア１１５が格納されている。この他にも、記憶部１１０には各ソフトウエアが参照するパラメータ、シナリオソフトウエア１１４が使用するシナリオデータ（ロボット動作及びコマンドの組が情報処理装置１の実行順に配列されたデータ）等の各種データも格納されている。

オペレーティングシステム１１２は、情報処理装置１全体の動作を制御し、また、情報処理装置１に対する入出力制御を行うソフトウエアである。また、オペレーティングシステム１１２には、異なるアプリケーションの間でデータの受け渡しを可能にするクリップボードと呼ばれる機能が備わっている。

ウェブブラウザソフトウエア１１３は、HTML、XHTMLといった構造化言語（マークアップ言語）で記述された構造化文書を解析して、複数の要素が配置されたウェブページの表示や操作を可能とするソフトウエアである。ウェブブラウザソフトウエア１１３は、情報処理装置１により実行されることで、後述のウェブブラウザ１２０として機能する。

シナリオソフトウエア１１４は、ＲＰＡソフトウエアであり、ロボット動作及びコマンドの組を、実行順に配列したシナリオデータを作成し、このシナリオデータに基づいて、実行順に配列されたコマンドを情報処理装置１において実行させるソフトウエアである。シナリオソフトウエア１１４は、情報処理装置１により実行されることで、後述のシナリオ処理部１３０として機能する。アプリケーションソフトウエア１１５としては、例えば、ワードプロセッシングソフトウエア、表計算ソフトウエア等が挙げられる。

オペレーティングシステム１１２は、情報処理装置１の起動時に制御部１００により実行される。オペレーティングシステム１１２が実行された状態で、情報処理装置１を操作するユーザがウェブブラウザソフトウエア１１３やシナリオソフトウエア１１４の実行を指示することで、これらのソフトウエアが実行される。これにより、情報処理装置１は図１に示すような機能構成を備えたものとなる。なお、ウェブブラウザソフトウエア１１３やシナリオソフトウエア１１４はオペレーティングシステム１１２の起動後に自動的に実行されるように設定してもよい。

通信部１４０は、ＣＰＵやチップセットが有する通信制御機能、及びＬＡＮチップ等からなる。通信部１４０は、インターネット等の通信ネットワーク４を介してサーバ５に接続されている。情報処理装置１は、通信部１４０の制御によりサーバ５にアクセスし、このサーバ５から構造化文書を取得する。

入力装置２は、例えばキーボード、ポインティングデバイス等からなる。ポインティングデバイスとしては、例えば、マウス、タッチパネル、ペンタブレット、タッチパッド、トラックパッド、トラックボール、ジョイスティック等が挙げられる。入力装置２は、情報処理装置１のユーザからの操作入力に基づいて、操作入力信号を情報処理装置１に送出する。入力Ｉ／Ｆ１５０は、ＣＰＵやチップセットが有するインタフェース機能、及びインタフェース用チップ等からなり、入力装置２からの操作入力信号を制御部１００に送出する。

表示装置３は、例えば液晶ディスプレイ等からなる。表示装置３は、ウェブブラウザ１２０やシナリオ処理部１３０からの表示制御信号に基づいて、所定の表示画面を表示する。出力Ｉ／Ｆ１６０は、ＣＰＵやチップセットが有するインタフェース機能、及びインタフェース用チップ等からなり、ウェブブラウザ１２０やシナリオ処理部１３０からの表示制御信号を表示装置３に出力する。

以下、図１に基づいて、制御部１００の機能を説明する。制御部１００は、ウェブブラウザ１２０、シナリオ処理部１３０を備える。

ウェブブラウザ１２０は、HTMLページやXTMLページといったウェブページの表示や操作を実行する。本実施の形態では、ウェブブラウザ１２０によって表示されるウェブページのデータ処理や操作が、ＲＰＡソフトウエアであるシナリオ処理部１３０によって自動化されるようになっている。

自動化対象の操作としては、主に、「入力操作」と「ページ出力の抽出」がある。「入力操作」としては、例えば、リンク（URL）のクリック、文字入力、ドロップダウン選択等が挙げられる。「ページ出力の抽出」としては、文字列抽出、表形式データ抽出、画像データ抽出、リンク先URL抽出等が挙げられる。

いずれの操作も、シナリオ処理部１３０等の外部プログラムで自動化する場合、ウェブページの自動化対象の要素の「識別子」を知る必要がある。そして、自動化の必須条件として、ウェブページ内の自動化対象の要素の識別子を、外部プログラムに事前に登録する必要がある。従来は、自動化の事前作業として、ユーザが対象の要素を探し、その要素のデータ形式を把握し、その識別子を構造化文書から抽出し、外部プログラムに転記するのに多大な手間がかかっていた。公知のウェブブラウザには、識別子を調べる機能が内蔵されてはいるが、抽出できる識別子が限られていた。

このため、本実施の形態のウェブブラウザ１２０は、構造化文書の要素を解析して識別子を抽出し、識別子の一覧を表示し、ワンクリックによる識別子の選択、さらには表や画像などの出力データをワンクリックで模擬的に抽出することを可能とし、シナリオ処理部１３０との連携を円滑に行うことを可能とした。

すなわち、本実施の形態のウェブブラウザ１２０は、構造化文書取得部１２１、ウェブページ表示部１２２、識別子取得部１２３、識別子一覧表示部１２４、データ保存部１２５として機能する。

構造化文書取得部１２１は、ユーザによる入力装置２からのURLの入力に従って、通信部１４０を介してサーバ５にアクセスし、指定されたウェブページの構造化文書を取得する。ウェブページ表示部１２２は、取得した構造化文書を解析して、ウェブページを表示装置３に表示させる。

ウェブページは、文字、画像、ボタン、表、記入欄など、様々な要素から構成される。それぞれの要素には様々なデータ形式や識別子が存在する。データ形式としては、例えば、「文字列」、「URL」、「表」等が挙げられるが、これらに限定されるものではない。識別子としては、例えば、「ID」、「XPATH」、「Name」、「CSS」、「URL」等が挙げられるが、これらに限定されるものではない。また、構造化文書に含まれる要素の表示スタイルを指定する「CSS」（Cascading Style Sheet）が、構造化文書内に指定されている。この「CSS」も、識別子として抽出対象となる。

例えば、ウェブページ表示部１２２は、図２、図３に示すような画面を表示装置３に表示する。図２はウェブブラウザ１２０が起動したときの初期画面であり、図３は選択された所定のウェブページが表示された画面である。これらの画面には、ウェブページが表示される表示領域１０、ウェブページ切り替え用の戻るボタン１１、進むボタン１２、更新ボタン１３、アドレス入力領域１４、ウィンドウの最小化ボタン１５、最大化ボタン１６、閉じボタン１７が配置されている。さらには印刷ボタンや印刷プレビューボタン等、一般的なウェブブラウザが有するボタン、メニュー、アイコン等が配置されていてもよい。

さらに、各画面には、本実施の形態のウェブブラウザ１２０は、ウェブページの各要素（エレメント）を解析して識別子を取得するモード（以下、「エレメント調査モード」という。）に切り替えるためのエレメント調査モードボタン１８が配置されている。このエレメント調査モードボタン１８が操作されると、識別子取得部１２３、識別子一覧表示部１２４及びデータ保存部１２５による処理が実行される。これに対して、エレメント調査モードボタン１８が未操作のとき、又はエレメント調査モード中に再度操作されたときは、要素の解析や識別子の取得を行わず、通常のウェブページの表示や操作のみを行う。このようなモードを、以下、「通常モード」という。

識別子取得部１２３は、ウェブページ上でユーザにより指定された要素を解析し、抽出可能な識別子を取得する。具体的には、ウェブページ上でユーザが所望の要素の位置にマウスカーソルを移動させると、識別子取得部１２３は、このマウスカーソルのウェブページ上での位置座標を取得し、この位置座標に基づいて、構造化文書を解析して対応する要素を検出し、この要素を解析して、識別子を取得する。このとき、ウェブページ表示部１２２は、識別子取得部１２３で抽出した識別子（要素）のデータを記載した識別子表示欄２０を、ウェブページに重畳して表示する（図５参照）。

このように、本実施の形態では、ウェブページ上でユーザがマウスカーソルを移動させるだけで、マウスカーソルが位置する要素を取得し、表示可能となっているが、これに限定されることはない。例えば、ユーザがウェブページ上で左クリック操作をしたときに、クリックされた位置の座標を取得して、対応する要素を取得し、表示するようにしてもよい。

識別子一覧表示部１２４は、識別子取得部１２３で取得した、データを抽出し得る識別子の一覧（以下、「識別子抽出メニュー」という。)をウェブページ上に重畳して表示する。具体的には、ウェブページの所定の要素上で、マウスの右クリックがされたときに識別子抽出メニュー２１（図６参照）を表示する。

データ保存部１２５は、識別子抽出メニュー２１上で、例えばユーザがマウスの左クリックすることにより選択された識別子のデータを、クリップボード１１１にコピー（保存）する。このため、クリップボード１１１のデータを、所定の領域にペーストするだけで簡単に、ＲＰＡソフトウエア等の外部プログラムに転記することができる。

ところで、特許文献１のような従来技術では、要素を指定してコピー等するときには、ウェブページ上の抽出対象の文字列、表、図形等の要素を、マウスのドラッグ＆ドロップ機能等によって領域指定し、コピーする必要があり、作業に手間がかかっていた。

これに対して、本実施の形態では、構造文書を解析して要素を抽出し、抽出した要素を解析して、当該要素から抽出し得る識別子を取得しているため、領域指定等を行う必要がない。ユーザが識別子抽出メニュー２１上で識別子を選択するだけで、データ保存部１２５によって当該識別子に係るデータをすべてクリップボード１１１にコピーすることができる。

また、ＲＰＡソフトウエアでは、HTMLページから表のデータをまるごとCSV形式でコピーし、表計算ソフトウエアに一括転記する場合もある。このような操作の自動化用のシナリオデータを作成する際に、実際に抽出されるCSVの形式を事前に確認する必要もある。

このため、本実施の形態では、選択された要素のデータ形式が「表」である場合、データ保存部１２５は、表のデータをすべて取得しＣＳＶ形式に変換して、クリップボード１１１にコピーする。よって、クリップボード１１１にコピーされたデータを表計算ソフトウエア上等でペーストすることで、表の内容を簡易に確認することができる。

次に、シナリオ処理部１３０の機能の概略を説明する。シナリオ処理部１３０は、入力装置２を介してユーザ入力したロボット動作及びコマンドの入力を、入力Ｉ／Ｆ１５０を介して受け入れる。

そして、シナリオ処理部１３０は、受け入れたロボット動作及びコマンドの組を、情報処理装置１の実行順に配列したシナリオデータを作成し、記憶部１１０へ格納する。また、シナリオ処理部１３０は、作成したシナリオデータに基づいて、実行順に配列されたコマンドを情報処理装置１において実行させる。このとき、シナリオ処理部１３０は、コマンドに応じて、当該コマンドをオペレーティングシステム１１２又は所定のアプリケーションソフトウエア１１５において実行させる。

また、シナリオ処理部１３０は、ウェブブラウザ１２０によるウェブページの表示、操作を自動化する機能も備えており、ユーザによるロボット動作及びコマンドの入力に応じて、自動化のためのシナリオデータを作成する。例えば、シナリオデータに「ページ内の識別子が『//*[@ asrblogo”]/a/img』の要素をクリック」とのコマンド（命令）を設定すれば、シナリオ処理部１３０は、シナリオデータ実行の際に、この条件に該当する要素をクリックする。また、シナリオデータに、「ドロップダウンメニューアイテムのNameが『default』の要素を選択」とのコマンドを設定すれば、シナリオ処理部１３０は、シナリオデータ実行の際に、この要素を選択する。

この自動化用のシナリオ作成の際に、シナリオ処理部１３０は、ユーザによる手入力等に代えて、ユーザの指定に応じてウェブブラウザ１２０のデータ保存部１２５がクリップボード１１１にコピーしたデータ（要素）を、ロボット動作又はコマンドとして受け入れる。具体的には、ロボット動作又はコマンドの設定画面（図８の「コマンド設定画面３０」参照）で、コマンドの入力領域（図８の「コマンド入力領域３１」参照）に、クリップボード１１１のデータをペーストする。この操作により、ウェブブラウザ１２０での操作を、コマンドとしてシナリオデータに設定することができる。

次に、本実施の形態である情報処理装置１の動作の一例を図９のフローチャート及び図２～図８の画面の例を参照して説明する。以下では、ウェブページがHTMLページであるものとして説明する。

図９のフローチャートに示す動作は、情報処理装置１を操作するユーザにより、入力装置２からウェブブラウザ１２０の起動が指示されることにより開始する。この起動の指示を受け入れると、ステップＳ１で、情報処理装置１は、ウェブブラウザ１２０を起動する。

すると、ステップＳ２で、ウェブブラウザ１２０のウェブページ表示部１２２は、図２に示すような初期画面を表示する。そして、ウェブブラウザ１２０は、入力装置２を介して、初期画面のアドレス入力領域１４に対するにユーザからのURLの入力操作を待つ。URLの入力及びマウスのクリック操作があったら、プログラムはステップＳ３に進む。

ステップＳ３では、ウェブブラウザ１２０は、通信部１４０を介してアドレス入力領域１４に入力されたURLへ移動する。次いで、ステップＳ４で、構造化文書取得部１２１が、当該URLのサーバ５から、構造化文書をダウンロードし、この構造化文書を解析し、この解析結果に基づいて、ウェブページ表示部１２２が、例えば、図３に示すようなウェブページを表示装置３に表示させる。その後、ウェブブラウザ１２０は、ステップＳ５に進み、ウェブページのエレメント調査モードボタン１８のクリック操作を待つ。

ステップＳ５で、図４に示すように、エレメント調査モードボタン１８のクリックがあったら(ステップＳ５の判定がYES)、ステップＳ６に進み、ウェブブラウザ１２０は、モードを「エレメント調査モード」に切り替える。次のステップ７では、識別子取得部１２３が、ウェブページ上を移動するマウスカーソルの位置座標に基づいて、構造化文書から対応する要素を取得し、この要素を解析して、抽出し得る識別子を取得し、図５に示すように、マウスカーソルの位置に識別子表示欄２０を重畳して表示する。これに対して、ステップＳ５の判定がNOの場合は、ステップＳ５に戻ってエレメント調査モードボタン１８のクリック操作を待つ。

また、「エレメント調査モード」中に、再度エレメント調査モードボタン１８がクリック操作されたら（ステップＳ８の判定がYES）、ステップＳ９に進む。ステップＳ９では、ウェブブラウザ１２０は「エレメント調査モード」を解除、すなわち、モードを「通常モード」に切り替える。その後、プログラムはステップＳ５に戻って、エレメント調査モードボタン１８のクリック操作を待つ。

これに対して、再度のエレメント調査モードボタン１８のクリック操作がされなかった場合（ステップＳ８の判定がNO）、プログラムはステップＳ１０に進む。ステップＳ１０では、ウェブブラウザ１２０は、ウェブページ上でのHTMLエレメント（要素）に対する右クリック操作を待つ。

そして、何らかのHTMLエレメントに対する右クリック操作があったら（ステップＳ１０の判定がYES）、識別子抽出メニュー２１を生成するべく、プログラムはステップＳ１１～ステップＳ２３の処理を順次実行する。すなわち、識別子一覧表示部１２４は、ステップＳ１１で識別子抽出メニュー２１に「XPATH抽出」項目（図６では「XPATH」）を追加し、次いで、ステップＳ１２で「CSS抽出」（図６では「CSS」）項目を追加する。

そして、クリック対象の要素にHTML IDの識別子がある場合は（ステップＳ１３の判定がYES）、識別子抽出メニュー２１に「ID抽出」（図６では「ID」）項目を追加し（ステップＳ１４）、HTML Nameの識別子がある場合は（ステップＳ１５の判定がYES）、識別子抽出メニュー２１に「Name抽出」（図６では「Name」）項目を追加する（ステップＳ１６）。また、HTML画像の識別子がある場合は（ステップＳ１７の判定がYES）、識別子抽出メニュー２１に「画像URL抽出」（図６では「Image URL」）項目を追加する（ステップＳ１８）。

また、HTMLリンクの識別子がある場合は（ステップＳ１９の判定がYES）、識別子抽出メニュー２１に「リンクURL抽出」（図６では「Link URL」）項目を追加し（ステップＳ２０）、さらに「リンクテキスト抽出」（図６では「Link Text」）項目を追加する（ステップＳ２１）。また、HTMLテーブルの識別子がある場合は（ステップＳ２２の判定がYES）、識別子抽出メニュー２１に「テーブルCSV抽出」（図６では「Table to CSV」）項目を追加する（ステップＳ２３）。

次いで、プログラムはステップＳ２４へ進み、図６に示すように、ウェブページに重畳して、生成された識別子抽出メニュー２１を表示し、識別子の選択の操作入力を待つ。そして、この識別子抽出メニュー２１で、左クリック等で選択の操作がされたら、ステップＳ２５に進む。ステップＳ２５では、データ保存部１２５が、選択された項目（識別子）の要素のデータを、クリップボード１１１にコピー（保存）する。

このようにしてクリップボード１１１にコピーされたデータを、図８に示すように、ＲＰＡソフトウエア（シナリオ処理部１３０）のコマンド設定画面３０において、コマンド入力領域３１にペーストする。これにより、ウェブブラウザ１２０と、ＲＰＡソフトウエアとを容易に連携させることができる。

その後、ステップＳ５に戻ることで、ウェブブラウザ１２０において、ウェブページ上で選択された別の要素に対する解析、識別子の抽出、一覧表示、クリップボード１１１への保存等を繰り返すことができる。

以上のように構成された本実施の形態である情報処理装置１では、構造化文書に含まれる複数の要素が配置されたウェブページを表示するウェブブラウザ１２０を備える。このウェブブラウザ１２０の識別子取得部１２３が、ウェブページ上で指定された要素を解析し、抽出可能な識別子を取得する。識別子一覧表示部１２４が、取得した識別子の一覧をウェブページ上に重畳して表示する。そして、データ保存部１２５が、一覧の中からユーザにより選択された識別子に対応する要素のデータをクリップボード１１１に保存する。また、本実施の形態であるプログラムは、コンピュータを、上記識別子取得部１２３と、識別子一覧表示部１２４と、データ保存部１２５として機能させるプログラムである。

また、本実施の形態である制御方法は、識別子取得工程で、ウェブページ上でユーザにより指定された要素を解析し、抽出可能な識別子を取得する。識別子一覧表示工程で、取得した識別子の一覧をウェブページ上に重畳して表示する。データ保存工程で、一覧の中からユーザにより選択された識別子に対応する要素のデータをクリップボード１１１に保存する。

このような構成により、ウェブページの各要素を構成する、あらゆるデータ形式や識別子を簡易的に確認及び抽出し、外部プログラムとの容易な連携を実現することが可能となる。

また、本実施の形態である情報処理装置１では、ユーザからの識別子の取得指示（例えば、「エレメント調査モード」に切り替える指示）があったときに、識別子取得部１２３、識別子一覧表示部１２４及びデータ保存部１２５による処理が実行される。よって、取得指示がない場合（「通常モード」）は、識別子取得部１２３、識別子一覧表示部１２４及びデータ保存部１２５による処理が実行されることがなく、ウェブブラウザ１２０を、ウェブページの表示や操作が可能な通常のウェブブラウザとして機能させることもできる。

また、本実施の形態では、ユーザからの指示が入力される入力装置２としてのポインティングデバイスを備えている。識別子取得部１２３は、ウェブページ上でのポインティングデバイスの位置座標を取得し、取得した位置座標に対応する要素のデータをウェブページに重畳して表示している。これにより、ユーザは、クリック操作等しなくても要素の内容を簡易に確認することができる。

また、本実施の形態では、要素のデータ形式が表である場合、データ保存部１２５は、表のデータをすべて取得しCSV形式に変換して、クリップボード１１１に保存している。このため、ユーザがドロップ＆ドラッグ操作等によって領域を選択して表のデータを取得する必要がなく、また、コピーした内容をペーストすることで、表の内容を簡易に確認することができる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

一例として、ウェブページ表示部１２２、又は識別子一覧表示部１２４等による表示装置３の表示画面への表示態様は図示例に限定されず、種々の変形が可能である。

また、上述の実施の形態において、クリップボード１１１を介して、ウェブブラウザ１２０とＲＰＡソフトウエアであるシナリオ処理部１３０とを連携させていたが、これに限定されることはない。例えば、ワードプロセッシングソフトウエア、表計算ソフトウエア等、他のアプリケーションソフトウエアと連携させることができる。

また、上記実施の形態では、情報処理装置１を動作させるプログラムは記憶部１１０に格納されて提供されていたが、不図示の光学ディスクドライブ、ＵＳＢインタフェース等を用いて、プログラムが格納された光ディスク、ＵＳＢフラッシュメモリ装置、メモリーカード等を接続し、このＤＶＤ等からプログラムを情報処理装置１に読み込んで動作させてもよい。また、サーバ５内にプログラムを格納しておき、通信ネットワーク４及び通信部１４０を介してこのプログラムを情報処理装置１に読み込んで動作させてもよい。さらに、上述の各実施形態において、情報処理装置１は複数のハードウェア要素により構成されていたが、これらハードウェア要素の一部の動作をＣＰＵ等がプログラムの動作により実現することも可能である。

１：情報処理装置 ２：入力装置 ３：表示装置
１２０：ウェブブラウザ １２３：識別子取得部
１２４：識別子一覧表示部 １２５：データ保存部
１３０：シナリオ処理部

Claims (7)

1. 構造化文書に含まれる複数の要素が配置されたウェブページを表示するウェブブラウザを備え、ロボット動作及びコマンドの組が実行順に配列されたシナリオデータに基づいて、ＲＰＡを実行するための情報処理装置であって、
   前記ロボット動作及び前記コマンドの入力をそれぞれ受け入れ、前記ロボット動作及び前記コマンドの組を、実行順に配列したシナリオデータを作成するシナリオ処理部を備え、
   前記ウェブブラウザは、
   ポインティングデバイスに対するユーザの操作に応じて前記ウェブページ上で移動するカーソルの位置座標を取得し、取得した前記位置座標に対応する前記要素をリアルタイムで解析し、抽出可能な識別子を取得する識別子取得部と、
   前記ウェブページを表示するとともに前記識別子取得部が取得した前記位置座標に対応する前記要素のデータを、前記カーソルの位置にリアルタイムで前記ウェブページに重畳して表示するウェブページ表示部と、
   前記ユーザによる前記ポインティングデバイスのワンクリック操作の入力を受けて、取得した前記識別子の一覧を前記ウェブページ上に重畳して表示する識別子一覧表示部と、
   前記一覧の中から前記ユーザによる前記ポインティングデバイスのワンクリック操作により選択された前記識別子に対応する前記要素のデータをクリップボードに保存するデータ保存部と、を備え、
   前記シナリオ処理部は、前記データ保存部により前記クリップボードに保存された前記データを、前記ロボット動作又は前記コマンドとして受け入れ、前記シナリオデータを作成する
   ことを特徴とする情報処理装置。
2. 前記ウェブページは、前記要素を解析して前記識別子を取得するモードに切り替えるためのボタンを有し、前記ボタンの操作の入力を受けたときに、前記ユーザからの前記識別子の取得指示があったとして、前記識別子取得部が、前記ウェブページ上で移動するカーソルの位置座標を取得し、取得した前記位置座標に対応する前記要素をリアルタイムで解析し、抽出可能な前記識別子を取得し、前記ウェブページ表示部が、前記要素のデータを、前記カーソルの位置にリアルタイムで前記ウェブページに重畳して表示し、前記識別子一覧表示部が、取得した前記識別子の前記一覧を前記ウェブページ上に重畳して表示し、前記データ保存部が、前記一覧の中から前記ユーザにより選択された前記識別子に対応する前記要素のデータをクリップボードに保存することを特徴とする請求項１に記載の情報処理装置。
3. 前記要素のデータ形式は、文字列、URLリンク、画像及び表の少なくとも何れかを含み、前記識別子は、ID、XPATH、Name及びCSSの少なくとも何れかを含むことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記要素のデータ形式が表である場合、前記データ保存部は、前記ユーザによる前記ポインティングデバイスのワンクリック操作の入力を受けて前記表のデータをすべて取得しCSV形式に変換して、前記クリップボードに保存することを特徴とする請求項１～３のいずれか一項に記載の情報処理装置。
5. 前記シナリオ処理部は、作成した前記シナリオデータに基づいて、実行順に配列された前記コマンドを前記情報処理装置において実行させることを特徴とする請求項１～４のいずれか一項に記載の情報処理装置。
6. 構造化文書に含まれる複数の要素が配置されたウェブページを表示するウェブブラウザを備え、ロボット動作及びコマンドの組が実行順に配列されたシナリオデータに基づいて、ＲＰＡを実行する情報処理装置の制御方法であって、
   ポインティングデバイスに対するユーザの操作に応じて前記ウェブページ上で移動するカーソルの位置座標を取得し、取得した前記位置座標に対応する前記要素を解析し、抽出可能な識別子を取得する識別子取得工程と、
   前記ウェブページを表示するとともに前記識別子取得工程で取得した前記位置座標に対応する前記要素のデータを、前記カーソルの位置にリアルタイムで前記ウェブページに重畳して表示するウェブページ表示工程と、
   前記ユーザによる前記ポインティングデバイスのワンクリック操作の入力を受けて、取得した前記識別子の一覧を前記ウェブページ上に重畳して表示する識別子一覧表示工程と、
   前記一覧の中から前記ユーザによる前記ポインティングデバイスのワンクリック操作により選択された前記識別子に対応する前記要素のデータをクリップボードに保存するデータ保存工程と、
   前記ロボット動作及び前記コマンドの入力をそれぞれ受け入れ、前記ロボット動作及び前記コマンドの組を、実行順に配列したシナリオデータを作成するシナリオ処理工程と、
   を有し、
   前記シナリオ処理工程では、前記データ保存工程により前記クリップボードに保存された前記データを、前記ロボット動作又は前記コマンドとして受け入れ、前記シナリオデータを作成する工程を含む
   ことを特徴とする制御方法。
7. 請求項６に記載の制御方法を、コンピュータに実行させるためのプログラム。

Images