JP5746300B2 - ユーザ操作自動化装置 - Google Patents

Description

本発明は、コンピュータ等の画面上に表示されるインターフェースに対するユーザ操作を自動化するユーザ操作自動化装置において、ユーザ操作手順をコンピュータが自動化できる形式で記録する技術に関する。

自動化ソフトでの操作手順の記録方法として、ユーザによる操作の例示がある。ユーザが日常的に行っている操作をそのまま実行することで、自動化手順が記録できるため、ソフトウェア開発に習熟していない者にとっても手軽でわかりやすい方法である。

また、ユーザ操作の記録時には、画面上の座標だけでなく、操作対象のウィンドウおよびＧＵＩ部品（ボタン等）を認識して特定することで、自動実行時の信頼性や汎用性を向上させる技術がある。

前述の方法では、一連の操作手順を記録するには、少なくとも１回は実際の操作を行う必要がある。その結果、システム上のデータの更新を伴う操作手順においては、本来必要ない更新データがシステム上に反映されてしまう可能性があった。また、試行錯誤しながら手順を作成する場合には、多くの不要な更新が行われることがあり、データの削除を伴うものもある。こうした不要なデータを後で削除して復帰する、あるいは予め壊れてもよいデータを登録しておくなどの手間が生じていた。さらに、誤って更新してはいけないデータを、書き換えてしまう危険性もある。

また、作成済みの操作手順の途中に後から操作を追加したい場合に、前述の方法では、記録したい操作ができるインターフェース表示に至るまでの操作を行う必要があり、ユーザの負担となっていた。

作成した自動化操作手順が意図したとおりに動作するものかを検証する際にも、記録時と同様に、本来必要ないシステム上のデータ更新及び削除が行われる可能性があった。余分なデータの削除及び復旧の手間と、意図しないデータの書き換えの危険性も記録時同様に存在する。

「ＵＷＳＣ」ｈｔｔｐ：／／ｗｗｗ．ｕｗｓｃ．ｉｎｆｏ／ 「ＲｏｃｋｅｔＭｏｕｓｅ Ｐｒｏ」ｈｔｔｐ：／／ｍｏｊｏｓｏｆｔ．ｂｉｚ／ｐｒｏｄｕｃｔｓ／ｒｏｃｋｅｔｍｏｕｓｅｐｒｏ／

本発明は、自動化ソフトでの操作手順の記録の際に自動化する対象となる実データが破損する危険を回避することを目的とする。

上記目的を達成するために、本願発明は、自動化ソフトでの例示操作による記録および動作検証の際に、本物の対象画面の代わりにハードコピー画像で代替することで、システム上の実データへの不要な書き換え及び削除を抑制する。

具体的には、本発明のユーザ操作自動化装置は、
自動化対象の画面表示を前記自動化対象から取得して画像に変換し、当該画像を画面に表示するスクリーン部と、
前記スクリーン部の表示した画像と共に当該画像を表示した状態で行われた操作内容を記録する記録部と、
前記記録部の記録した操作内容を前記自動化対象に対して実行する実行部と、
を備える。

本発明のユーザ操作自動化装置では、
前記記録部に記録されている操作内容の動作検証を行うための動作検証モードを有し、
前記動作検証モードにおいては、
前記スクリーン部は、前記記録部に記録されている操作内容を前記実行部が実行する際に、当該操作内容と共に記録されていた画像を画面に表示し、
前記実行部は、前記スクリーン部の表示した画面に対して、前記記録部に記録されている操作内容を実行してもよい。

本発明のユーザ操作自動化装置では、
前記スクリーン部は、前記記録部に記録されている操作内容を読み出して当該操作内容と共に記録されていた画像を画面に表示し、
前記記録部は、当該画像と共に記録されていた操作内容に代えて、前記スクリーン部の表示した画像を表示した状態で行われた操作内容を、当該画像と共に記録してもよい。

本発明のユーザ操作自動化装置では、前記スクリーン部は、前記自動化対象の画面表示に含まれるＧＵＩ部品を前記自動化対象からさらに取得し、当該画面表示の画像上でありかつ当該画面表示において表示されている位置に、取得したＧＵＩ部品を表示してもよい。

具体的には、本発明のユーザ操作記録プログラムは、
自動化対象の画面表示を前記自動化対象から取得して画像に変換し、当該画像を画面に表示する画像表示ステップと、
表示されている画像と共に画像を表示した状態で行われた操作内容を記録部に記録する記録ステップと、
を順にコンピュータに実行させる。

本発明のユーザ操作記録プログラムでは、
前記画像表示ステップにおいて、前記自動化対象の画面表示に含まれるＧＵＩ部品を前記自動化対象からさらに取得し、当該画面表示の画像上でありかつ当該画面表示において表示されている位置に、取得したＧＵＩ部品を表示し、
前記記録ステップにおいて、表示した画像と共に当該画像に含まれているＧＵＩ部品を記録部に記録してもよい。

具体的には、本発明の動作検証プログラムは、
記録部に記録されている操作内容を実行部が実行する際に、当該操作内容と共に記録部に記録されていた画像を画面に表示する記録表示ステップと、
表示された画像に対して、記録部に記録されている操作内容を実行する実行ステップと、
を順にコンピュータに実行させる。

具体的には、本発明の操作変更プログラムは、
記録部に記録されている操作内容及び画像を読み出し、画像を画面に表示する記録表示ステップと、
当該画像と共に記録されていた操作内容に代えて、画像を表示した状態で行われた操作内容を、当該画像と共に記録する記録変更ステップと、
を順にコンピュータに実行させる。

なお、上記各発明は、可能な限り組み合わせることができる。

本発明によれば、自動化ソフトでの操作手順の記録の際に自動化する対象となる実データが破損する危険を回避することができる。

本発明の実施形態に係る自動操作装置の一例を示す。 本実施形態に係る操作記録方法の一例を示す。 本実施形態に係る動作検証方法の一例を示す。 本実施形態に係る操作変更手順の一例を示す。

添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施の例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

図１は本願発明の自動操作装置を示す。自動操作装置９１は、自動化ソフトでの例示操作による記録および動作検証の際に、自動化対象９２における本物の画面の代わりにハードコピー画像で代替する。自動化対象９２は、自動的に動作を行う任意の装置であり、例えば、コンピュータである。自動化対象９２は、ＯＳやアプリケーションであってもよい。

自動操作装置９１は、記録部１１と実行部１２とスクリーン部１３を備える。記録部１１は、ユーザが自動化対象９２に対して行った操作を記録する機能を有する。実行部１２は、記録に従い自動化対象９２を自動操作する機能を有する。スクリーン部１３は、記録部１１および実行部１２に対して自動化対象９２を模擬する機能を有する。

（実施形態１）
図２に、本実施形態に係る操作記録方法の一例を示す。
ユーザが記録すべき自動化対象９２を指定すると（Ｓ１０１）、スクリーン部１３が指定された自動化対象９２の画面情報（画面のハードコピー、管理情報）を、自動化対象９２から取得し（Ｓ１０２）、記録部１１に記録する（Ｓ１０３）。次に、スクリーン部１３は、記録部１１に記録された画面のハードコピー画像を表示する（Ｓ１０４）。ユーザが表示されたハードコピー画像に対して操作をすると（Ｓ１０５）、記録部１１はユーザの操作内容を記録して保存する（Ｓ１０６）。操作は、例えば、キーボードのキー押下、マウスの移動又はマウスのクリックである。

例えば、ユーザがＧＵＩボタンの画像上でマウスのクリック操作を行ったとする。画面に表示されているのは単なるハードコピー画像でしかないため、ボタンは押下されず、システム上のデータ更新も行われない。一方で、クリック時のマウスカーソルの画面上での座標位置は、本来ボタンがある位置と一致する。このため、実行部１２の自動操作の実行時には、自動化対象９２においてボタンが押下されることになる。

自動操作装置９１は、ユーザ操作記録プログラムをコンピュータに実行させることで、画像表示ステップと、記録ステップと、を順にコンピュータに実行させることで、スクリーン部１３を実現してもよい。
画像表示ステップでは、自動化対象９２の画面表示を自動化対象９２から取得して画像に変換し、当該画像を画面に表示する。
記録ステップでは、表示されている画像と共に画像を表示した状態で行われた操作内容を記録部１１に記録する。

（実施形態２）
実施形態１に加えて、スクリーン部１３が、ハードコピー画像上でのクリック座標から、自動化対象９２の画面上の同一座標上にどのようなＧＵＩ部品が配置されているかを認識する。記録部１１は、単に座標でのクリックではなく、スクリーン部１３の認識したボタンのクリックとして記録する。これにより、実行部１２の自動実行時の信頼性・汎用性を維持したまま、効率化・安全性向上が可能となる。

（実施形態３）
これまで述べた本発明の実施形態において、自動操作装置９１が記録部１１の記録した操作の自動実行の動作検証を行う動作検証モードを有する。このモードにおいては、実行部１２が自動実行する際に、スクリーン部１３の取得したハードコピー画像を、自動化対象９２の画面の代替として表示する。

図３に、本実施形態に係る動作検証方法の一例を示す。
記録部１１が保持している操作内容の１操作毎に（Ｓ２０２）、スクリーン部１３は実際の画面のハードコピー画像を表示する（Ｓ２０３）。実行部１２は、表示されたハードコピー画像に対して自動操作を行う（Ｓ２０４）。

本実施形態では、操作対象のウィンドウを特定するために用いる複数の情報を、本来のウィンドウと同一にすることで、記録した操作には手を加えずに代替の画面を対象として自動操作されるようにする。

自動操作装置９１は、動作検証プログラムをコンピュータに実行させることで、記録表示ステップと、実行ステップと、を順にコンピュータに実行させることで、スクリーン部１３及び実行部１２を実現してもよい。
記録表示ステップでは、記録部１１に記録されている操作内容を実行部が実行する際に、当該操作内容と共に記録部１１に記録されていた画像を画面に表示する。
実行ステップでは、表示された画像に対して、記録部１１に記録されている操作内容を実行する。

（実施形態４）
これまで述べた本発明の実施形態において、自動操作装置９１が記録部１１の記録した操作の自動実行の動作検証を行う動作検証モードを有する。このモードにおいては、実行部１２が自動実行する際に、スクリーン部１３の取得したＧＵＩ部品の特定情報から、スクリーン部１３の取得したハードコピー画像上にＧＵＩ部品を配置して表示する。ウィンドウを特定するための情報だけでなく、操作対象のＧＵＩ部品を特定するための情報も、本来のＧＵＩ部品と同一にすることで、記録した操作に手を加えずに代替画面での動作検証を可能とする。

（実施形態５）
これまで述べた本発明の実施形態において、スクリーン部１３の取得したハードコピー画像を、操作とともに記録部１１に保持する。これにより、後から同画面に対する操作を、自動化対象９２に画面を再度表示させることなく、ハードコピー画像上での例示により簡易に追加可能とする。

（実施形態６）
これまで述べた本発明の実施形態において、スクリーン部１３は、記録しようとする操作に用いるＧＵＩ部品だけでなく、自動化対象９２のウィンドウ上のすべてのＧＵＩ部品の位置、種別等のＧＵＩ部品を特定するための情報を取得してもよい。そして記録部１１は、これらのＧＵＩ部品を特定するための情報を記録してもよい。各ＧＵＩ部品をハードコピー画像上に配置して表示することにより、後から同画面に対する操作を、自動化対象９２の画面を表示させることなく、画像上のコピーに対して例示操作することで簡易に追加可能とする。

（実施形態７）
これまで述べた本発明の実施形態において、元の画面のＧＵＩ部品を特定するための情報として、自動化対象９２からウィンドウおよびＧＵＩの管理情報を取得することで、正確に画面の複製を生成する。

（実施形態８）
これまで述べた本発明の実施形態において、自動化対象９２から十分な管理情報が取得できない場合には、ハードコピー画像内の特徴的な形状からＧＵＩ部品を特定してもよい。これにより、対応可能な範囲を拡大する。

（実施形態９）
本実施形態では、これまで述べた本発明の実施形態において、記録部１１に保持されている操作内容を変更する操作変更手順を実行する。図４に、本実施形態に係る操作変更手順の一例を示す。ユーザが記録すべき自動化対象９２を指定すると（Ｓ３０１）、記録部１１が保持している操作内容の中からユーザが指定したものについて、スクリーン部１３は実際の画面をコピーしたハードコピー画像を画面に表示する（Ｓ３０２）。ユーザが画面に表示されたハードコピー画像に対して操作を行うと（Ｓ３０３）、記録部１１が保持されている操作内容を変更する（Ｓ３０４）。

自動操作装置９１は、操作変更プログラムをコンピュータに実行させることで、記録表示ステップと、記録変更ステップと、を順にコンピュータに実行させることで、スクリーン部１３を実現してもよい。
記録表示ステップでは、記録部１１に記録されている操作内容及び画像を読み出し、画像を画面に表示する。
記録変更ステップでは、当該画像と共に記録されていた操作内容に代えて、画像を表示した状態で行われた操作内容を、当該画像と共に記録する。

以上説明したように、本発明は、自動化手順の記録時および動作検証時に、自動化対象９２のシステム上にある重要な情報を書き換えたり削除したりする危険を冒すことなく、ユーザによる例示操作での記録が可能となる。従来からある、例示操作による利便性、対象特定による信頼性・汎用性を維持したまま、記録および動作検証時の安全性を向上する。

本発明は情報通信産業に適用することができる。

１１：記録部
１２：実行部
１３：スクリーン部
９１：自動操作装置
９２：自動化対象

Claims (8)

1. 自動化対象の画面表示を前記自動化対象から取得して画像に変換し、当該画像を画面に表示するスクリーン部と、
   前記スクリーン部の表示した画像と共に当該画像を表示した状態で行われた操作内容を記録する記録部と、
   前記記録部の記録した操作内容を前記自動化対象に対して実行する実行部と、
   を備えるユーザ操作自動化装置。
2. 前記記録部に記録されている操作内容の動作検証を行うための動作検証モードを有し、
   前記動作検証モードにおいては、
   前記スクリーン部は、前記記録部に記録されている操作内容を前記実行部が実行する際に、当該操作内容と共に記録されていた画像を画面に表示し、
   前記実行部は、前記スクリーン部の表示した画面に対して、前記記録部に記録されている操作内容を実行する
   請求項１に記載のユーザ操作自動化装置。
3. 前記スクリーン部は、前記記録部に記録されている操作内容を読み出して当該操作内容と共に記録されていた画像を画面に表示し、
   前記記録部は、当該画像と共に記録されていた操作内容に代えて、前記スクリーン部の表示した画像を表示した状態で行われた操作内容を、当該画像と共に記録する
   請求項１又は２に記載のユーザ操作自動化装置。
4. 前記スクリーン部は、前記自動化対象の画面表示に含まれるＧＵＩ部品を前記自動化対象からさらに取得し、当該画面表示の画像上でありかつ当該画面表示において表示されている位置に、取得したＧＵＩ部品を表示する
   請求項１から３のいずれかに記載のユーザ操作自動化装置。
5. 自動化対象の画面表示を前記自動化対象から取得して画像に変換し、当該画像を画面に表示する画像表示ステップと、
   表示されている画像と共に画像を表示した状態で行われた操作内容を記録部に記録する記録ステップと、
   を順にコンピュータに実行させるユーザ操作記録プログラム。
6. 前記画像表示ステップにおいて、前記自動化対象の画面表示に含まれるＧＵＩ部品を前記自動化対象からさらに取得し、当該画面表示の画像上でありかつ当該画面表示において表示されている位置に、取得したＧＵＩ部品を表示し、
   前記記録ステップにおいて、表示した画像と共に当該画像に含まれているＧＵＩ部品を記録部に記録する
   請求項５に記載のユーザ操作記録プログラム。
7. 自動化対象の画面表示を前記自動化対象から取得して画像に変換し、当該画像を画面に表示する画像表示ステップと、
   前記画像表示ステップの表示した画像と共に当該画像を表示した状態で行われた操作内容を記録する記録ステップと、
   前記記録ステップで記録した操作内容を前記自動化対象に対して実行する実行ステップと、を順にコンピュータに実行させる動作検証プログラムであって、
   前記記録ステップで記録した操作内容の動作検証を行うための動作検証モードの実行においては、
   前記画像表示ステップでは、前記記録ステップが記録した操作内容を前記実行ステップで実行する際に、当該操作内容と共に記録されていた画像を画面に表示し、
   前記実行ステップは、前記画像表示ステップで表示した画面に対して、前記記録ステップが記録した操作内容を
   を順にコンピュータに実行させる動作検証プログラム。
8. 記録部に記録されている操作内容及び画像を読み出し、画像を画面に表示する記録表示ステップと、
   当該画像と共に記録されていた操作内容に代えて、画像を表示した状態で行われた操作内容を、当該画像と共に記録する記録変更ステップと、
   を順にコンピュータに実行させる操作変更プログラム。

Images