JP6025176B2 - 自動操作システム及び方法、並びに自動操作プログラム - Google Patents

Description

本発明は、ＧＵＩ（Graphical User Interface）を備えたコンピュータ上で動作するアプリケーションに対して、スクリプトを実行することにより前記アプリケーションを自動操作する自動操作システムに関する。

コンピュータを用いた業務において定型的・半定型的な業務の増加に伴い、業務の自動化が求められている。特に運用保守業務において、人手による定型的な繰り返し作業は依然として数多く存在する。業務の効率化、省力化、高度化を実現するためには、業務の場面に合わせて、業務の様々な粒度で定型的な繰り返し作業を素早く自動化することが求められている。

また、オペレーションミスを防止するために、複雑な業務の一部を少しでも自動化することによって人の業務の作業ステップの量を減らしたい、もしくは作業の纏まりを細かく規定し定型化することによって業務の正確性を向上させたい、という需要が管理者側に存在する。これは、オペレーションミスの原因は人の認識違いによるところも多く、人の判断が介在する操作の回数をできる限り少なくすることによる効果が期待されているためである。

自動化を行うために新しくアプリケーションを立ち上げるコストや時間を割いてでも、自動化したい業務は存在する。しかし大多数の業務は自動化すべきかどうか判断が分かれるような半定型的な業務であり、業務において共通的な部分の自動化がなされるケースは多いが、個人業務の半定型的な業務の中で自動化が行われるケースは少ない。自動化のためのスクリプトを動かすためにユーザの時間を確保するということ、また業務と並行して自動化のスクリプトを構成することが難しいこと、プログラムを理解しないユーザが自動化のためのスクリプトを走らせることが難しいこと、がその要因として挙げられる。

自動操作を行うアプローチは数多く検討されている。ユーザが実際の業務と連動させた操作イベントのログをエージェントに対して教示することにより、自動操作のスクリプトを構成し、ユーザが操作画面の現在のステータスと自動操作を関連付けるためのイニシアティブを持ち、ユーザが高度な業務知識と自動操作の知識を持って、自動操作のためのスクリプトを実行するアプローチが大多数である。

非特許文献１では、ユーザとエージェントによって操作の主導権を柔軟に変更可能な環境の提案を行っている。クライアント自律操作エージェント（Client Autonomous Manipulation Agent：ＣＡＭＡ）では、自動化のバッチ環境とは異なり、自動化対象のＡＰとユーザ操作によって操作の主体を適宜変更することが可能になる対話利用環境を提案している。このアプローチでは、自動操作スクリプトをロバストに実行するための実行開始時点、ユーザの介入による自動操作の一時中止などの例外的なシナリオを含んだアーキテクチャ検討によって対話環境の実現性の検討を行っている。

非特許文献２では、ユーザの操作シナリオをブラウザで（Ｆｉｒｅｆｏｘ（登録商標）のアドオンとして）実現しており、ブラウザ内で詳細な操作イベント列を記録、自動再生することが可能なユーザとの協調スクリプティング環境を提案している。

非特許文献３では、シナリオ作成でオペレータのプログラム作成に課題があるとしており、自動化手順をフローチャート図で示すことによってユーザが直観的にスクリプトを作成できることに関して、既存の自動化ツールよりも優位性があると主張している。

増田 健、他４名、"クライアント自律操作エージェントの対話利用環境の検討"、２００９年電子情報通信学会通信ソサエティ大会通信講演論文集２、ＩＥＩＣＥ、２００９年、Ｂ−１４−１５ G. Leshed、他３名、"CoScripter: Automating & Sharing How-To Knowledge in the Enterprise"、CHI 2008、 p.1719？1728、 New York、 NY、 USA、 2008、ACM 横瀬 史拓、他５名、"端末操作自動化ソフトUMSの概要と適用事例"、信学技法、ＩＥＩＣＥ、２０１２年、p.149-154

しかし、非特許文献１に記載のものでは、汎用的なアプローチとして高信頼化・高効率化シナリオを管理する手法に関してのアーキテクチャ検討がなされている一方で、自律的な動作を可能とするシナリオの検討に課題があるとしている。

また非特許文献２に記載のものでは、ユーザの自動操作の詳細なスクリプティングが可能であるが、ブラウザベースのシステムでしか使用できないことから、汎用性に課題がある。

さらに非特許文献３に記載のものでは、自動化スクリプトの量が膨大になるにつれ、フローチャートによって模式的に自動操作のためのスクリプトを定義しているため、スクリプト内で自動操作を実際の操作と照らし合わせて定義することが難しくなるという点、また、端末操作自動化ソフトＵＭＳ（Unified Management Support System）のシナリオ自動記録機能においては、ＵＭＳを一旦起動し、記録状態にすることにより、実際の操作画面で自動操作のスクリプトを覚えこませ、フローチャート図によってそのスクリプトの扱いを逐次定義しなくてはならないという点、実際の操作画面内で自動操作が開始される契機となる開始ポイントが通知されないという点、細かいレベルでの自動化を促したいケースにおいて、自動操作ソフトＵＭＳを対象としてスクリプト構築するので大きな負荷がかかり、ユーザが自動操作スクリプトを新たに定義することが難しい点、自動操作のスクリプトが実際の業務システムと別個に存在しているため、管理が難しく、操作対象のアプリケーションとの繋がりを直観的に把握することが難しい点、という問題点がある。

すなわち既存手法には、（１）操作対象のシステム画面と自動操作スクリプトを汎用的に関連付けることが難しく、時系列毎に必要なスクリプトを必要となる該当の場面で明示的に提示することが難しい、（２）自動操作を行った結果を事前に把握出来ないため、ユーザは適切な自動操作スクリプトを選択することが難しい、という課題があった。

上記課題を達成するために、本願発明は、ＧＵＩ（Graphical User Interface）を有するコンピュータ上で動作するアプリケーションをユーザに替わって自動操作する自動操作システムにおいて、アプリケーション状態を遷移させるスクリプトを記憶するスクリプト記憶手段と、スクリプトの実行開始が可能なアプリケーション状態の情報を記憶するスクリプト開始状態情報記憶手段と、現在のアプリケーション状態を監視する状態監視手段と、スクリプト開始状態情報に基づき現在のアプリケーション状態で実行可能なスクリプトが存在する場合に該スクリプトが実行開始可能である旨を示すシンボルを現在のアプリケーションの表示画面にオーバーレイ表示する表示制御手段と、前記シンボルに対してスクリプトの実行開始の指示がユーザから入力操作されると該シンボルに対応するスクリプトをスクリプト記憶手段から取得して実行する操作制御手段とを備え、前記表示制御手段は、アプリケーション状態が遷移する操作起点となる現在のアプリケーションのインタフェイス部品又はアプリケーション状態の遷移に影響を与える現在のアプリケーションのインタフェイス部品と重なる位置或いはその近傍に前記シンボルを表示することを特徴とする。

本発明によれば、ユーザが操作するアプリケーションにおいて、現在のアプリケーション状態から実行開始可能なスクリプトが存在することを示すシンボルが表示されるので、ユーザが該シンボルに対してスクリプトの実行開始の指示を行うだけ当該スクリプトが実行される、ユーザにとって利便性が高いものとなる。

本発明の好適な態様の一例としては、上記自動操作システムにおいて、スクリプトの実行により状態遷移した後のアプリケーションの画面イメージ及びスクリプトの処理フローの画面イメージの何れか一方或いは双方が含まれるコンテンツを該スクリプトと関連づけて記憶するコンテンツ記憶手段を備え、前記表示制御手段は、前記シンボルに対してユーザから所定の操作入力があると該シンボルに対応するスクリプトに係るコンテンツをコンテンツ記憶手段から取得して表示することを特徴とするものが挙げられる。

本発明によれば、シンボルに対して所定の操作を行うことにより、該シンボルに対応するスクリプトの実行により状態遷移した後の画面イメージ又は該スクリプトの処理フローの画面イメージが表示されるので、ユーザが適切なスクリプトの選択を行うことができ、更に利便性が高いのものとなる。

本発明の好適な他の態様の一例としては、上記自動操作システムにおいて、過去又は現在の操作対象のアプリケーション状態におけるユーザの操作状態に基づき前記シンボルの表示、前記コンテンツ記憶手段から取得するコンテンツ、或いはコンテンツの表示内容を変更することを特徴とするものが挙げられる。

本発明によれば、過去又は現在のアプリケーション状態におけるユーザの操作状態、例えば、入力されたテキスト情報や項目の選択情報などに基づき、シンボルの表示、コンテンツ記憶手段から取得するコンテンツ、或いはコンテンツの表示内容を変更できるので、スクリプトに関するより適切且つ直感的な情報提示をユーザに提供できる。

本発明の好適な他の態様の一例としては、上記自動操作システムにおいて、スクリプトの実行ログを記憶する実行ログ記憶手段を備え、前記操作制御手段は、前記実行ログ記憶手段に記憶されている実行ログに基づきスクリプトの実行順位を決定し、該実行順位に基づきスクリプトを実行することを特徴とするものが挙げられる。

本発明によれば、過去に実行されたスクリプトの実行ログに基づきスクリプトを決定・実行するので、現在のアプリケーション状態に適した自動操作を行うことができる。

本発明の好適な他の態様の一例としては、上記自動操作システムにおいて、ユーザのプロパティ情報を記憶するユーザプロパティ記憶手段を備え、前記操作制御手段は、前記ユーザプロパティ記憶手段に記憶されている現在のユーザのユーザプロパティに基づきスクリプトの実行順位を決定し、該実行順位に基づきスクリプトを実行することを特徴とするものが挙げられる。

本発明によれば、現在の操作中のユーザのプロパティ情報、例えば熟練度情報などに基づきスクリプトを決定・実行するので、ユーザに適した自動操作を行うことができる。

本発明の好適な他の態様の一例としては、ユーザの操作履歴及び該ユーザ操作によるアプリケーション状態の遷移情報を含む履歴情報を記憶する操作履歴記憶手段と、履歴情報に基づきスクリプトを生成して前記スクリプト記憶手段に保存するスクリプト生成手段とを備えたことを特徴とするものが挙げられる。

本発明によれば、スクリプトの生成をユーザや管理者などの人手ではなくシステムが自動的に行うので、より利便性の高いものとなる。

以上詳述したように、本発明によれば、ユーザが操作するアプリケーションにおいて、現在のアプリケーション状態から実行開始可能なスクリプトが存在することを示すシンボルが表示されるので、ユーザが該シンボルに対してスクリプトの実行開始の指示を行うだけ当該スクリプトが実行されるので、ユーザにとって利便性が高いものとなる。

第１の実施の形態に係る自動操作システムの構成図 第１の実施の形態に係る自動操作システムの動作を説明する画面イメージの一例 第１の実施の形態に係る自動操作システムの動作を説明するフローチャート 第１の実施の形態に係る自動操作システムの動作による状態遷移の一例を説明する図 第１の実施の形態に係る自動操作システムの動作によるコンテンツ表示の一例を説明する図 第２の実施の形態に係る自動操作システムの動作によるコンテンツ表示の一例を説明する図 第３の実施の形態に係る自動操作システムの構成図 第３の実施の形態に係る自動操作システムの動作による状態遷移の一例を説明する図

本発明に係る自動操作システムは、自律的な動作環境を構築するため、ユーザの操作画面の状態とユーザの選択インタフェイスの状態と選択インタフェイスの基礎的なログから、自律的な自動操作のシナリオを操作画面上に直接提示するアプローチによって、シナリオの都度作成を可能にしている。

また本発明に係る自動操作システムは、ユーザの選択インタフェイスの基礎的な操作ログを収集し、操作ログから必要な自動操作のスクリプトを選別することにより、非定型の業務の中で自動操作すべきシナリオの汎用的な構築を行う。

また本発明に係る自動操作システムは、ユーザの操作対象のアプリケーションの操作画面上に直接的に自動操作のためのスクリプトを埋め込むことを可能とし、ユーザが自動操作の開始地点を容易に判別・設定でき、かつ自動操作を走らせるタイミングを選択することができ、かつ細かいレベルでの自動操作の負荷を最小限にするためのＧＵＩの表示部を有する。また、アプリケーションに対するユーザの選択インタフェイスの基礎的な操作ログと、ユーザの現在の選択インタフェイスと操作対象のアプリケーションにｉｎｐｕｔされた入力項目によって自動操作のためのシンボルや埋込型自動操作スクリプトの内容をダイナミックに変更することができることを特徴とする。なお、基礎的な操作ログとはＷＩＮ３２を始めとして、あらゆるデバイス上のディスプレイ環境にて発生するクリックイベントやキーボードイベント、タッチパネル操作のことを指す。

また本発明に係る自動操作システムは、上記課題（１）に対しては、アノテーション技術の適用によって操作画面上に自動操作スクリプトが存在することを示すシンボルを操作画面にオーバーレイ表示し、業務システム上に埋め込む形で直接ユーザに対し提示する。時系列毎に生成される操作対象のシステム画面上に自動操作スクリプトのシンボルを都度で直接マッピングし、ユーザが所望のシンボルを選択することによって場面毎の逐次自動操作を可能とする。

また、本発明に係る自動操作システムは、アノテーション技術で提示されるシンボルに対してユーザがマウスカーソルを載せると、自動操作スクリプトＤＢからユーザが到達する自動操作後の操作画面や、操作のフローチャートの図のポップアップ表示を行い、自動操作の結果到達する先の画面状態や、場面毎に候補となるスクリプトに限定したフローを操作画面上に表現する。

以下に本発明に係る自動操作システムの実施形態について詳述する。

（第１の実施の形態）
本発明の第１の実施の形態に係る自動操作システムについて図１を参照して説明する。図１は自動動作システムの構成図である。図１に示すように、自動操作システム１００は、コンピュータ１０のＯＳ（Operating System）１１上で動作する自動操作プログラム１１０及び各種データベースを有する記憶装置１２０を備えている。なお、自動操作システム１００は、コンピュータ１０にプログラムを導入することによって実現でき、該プログラムを記録媒体に記録したり、ネットワークを介して提供したりすることも可能である。

コンピュータ１０のＯＳ１１はＧＵＩ（Graphical User Interface）を有している。該ＯＳ１１では前記自動操作プログラムの他にユーザによって操作されるアプリケーションプログラム２０が動作する。該アプリケーションプログラム２０の出力画面はＯＳ１１を介してディスプレイ１５に表示される。ユーザからの操作や入力はマウスやトラックボールなどのポインティングデバイス、キーボード、タッチパネル等の入力デバイス１６によってＯＳ１１を介してアプリケーションプログラム２０により入力される。本発明にかかる自動操作システム１００は、後述するスクリプトの実行によりアプリケーションプログラム２０の操作をユーザに替わって自動操作するものである。

なお、操作対象であるアプリケーションプログラム２０は、当該アプリケーションプログラム２０自体がユーザにアプリケーションを提供するものだけでなく、アプリケーションの機能は他のコンピュータ上にありアプリケーションプログラム２０は前記機能のインタフェイスとして動作するようなものも含まれる。前者の例に係るアプリケーションプログラム２０としては、ＯＳ１１上で動作する業務専用アプリケーションそのものが挙げられる。後者の例に係るアプリケーション２０としては、業務システムがＷｅｂアプリケーション構成となっている場合のフロントエンド或いはクライアントとしてのＷｅｂブラウザなどが挙げられる。

図１に示すように、自動操作プログラム１１０は、アプリケーションプログラム２０の状態（以下「アプリケーション状態」と言う）を遷移せるためのスクリプトを自動生成するスクリプト生成部１１１と、アプリケーション状態を監視する状態監視部１１２と、アプリケーションプログラム２０からディスプレイ１５に表示される表示内容を制御する表示制御部１１３と、スクリプトの実行によりアプリケーションプログラム２０を操作制御する操作制御部１１４とを備えている。また記憶装置１２０は、スクリプトを記憶するスクリプトＤＢ１２１と、スクリプト対応する後述するシンボルの情報を記憶するシンボルＤＢ１２２と、各種履歴（ログ）を記憶するログＤＢ１２３とを備えている。

スクリプト生成部１１１は、ログＤＢ１２３に記憶されている、ユーザによるアプリケーションプログラム２０の操作履歴及びユーザ操作によりアプリケーション状態の遷移情報を含む履歴情報に基づき、アプリケーション状態を動的に自動生成し、スクリプトＤＢ１２１に格納する。ここで、スクリプト生成部１１１は、スクリプト自体だけでなく、該スクリプトの処理内容を分かりやすくユーザに提示するためのコンテンツを生成し、スクリプトとともにスクリプトＤＢ１２１に記憶する。コンテンツとしては、スクリプトの実行により状態遷移した後のアプリケーションの画面イメージ及びスクリプトの処理フローの模式的な画面イメージの何れか一方或いは双方が含まれる。

また、スクリプト生成部１１１は、スクリプトＤＢ１２１に記憶する各スクリプトについて、該スクリプトの実行開始が可能なアプリケーション状態の情報と、該アプリケーション状態に係る表示画面においてシンボルを表示する位置情報とをシンボルＤＢ１２２に記憶する。シンボルを表示する位置は、アプリケーション状態が遷移する操作起点となるインタフェイス部品（典型的にはボタン）や、アプリケーション状態の遷移に影響を与えるインタフェイス部品（例えばテキストボックスやラジオボタン）と重なる位置或いはその近傍とすると好適である。このような位置情報は、ユーザの操作ログの蓄積・解析により算出すればよい。

状態監視部１１２は、アプリケーション状態やユーザによる操作状態（入力情報を含む）を監視し、必要な情報をログＤＢ１２３に記憶する。アプリケーション状態やユーザによる操作状態はＯＳ１１が提供する機能を利用すればよい。

表示制御部１１３は、状態監視部１１２によって監視されている現在のアプリケーション状態に対応するスクリプトのシンボル情報がシンボルＤＢ１２２に記憶されている場合には、該シンボル情報をシンボルＤＢ１２２から取得し、該シンボル情報に含まれる位置情報に基づきアプリケーションプログラム２０の表示画面に、シンボルをオーバーレイ表示させる。ここでシンボルとは、現在のアプリケーション状態で実行可能なスクリプトが存在することをユーザに提示するための画像である。シンボルの形状は四角や丸など、表現形態は不問である。

また、表示制御部１１３は、シンボルに対してユーザから所定の操作があると、該シンボルに対応するスクリプトのコンテンツをスクリプトＤＢ１２１から取得し、該コンテンツを表示させる。ここで所定の操作とは、ポインティングデバイスに係るポインタをシンボルの描画領域に位置させること（所謂「マウスオーバー」）や、タッチスクリーンにおいてシンボルの描画領域を長押しすること、などが挙げられる。コンテンツの表示方法は種々のものが採用できるが、アプリケーションプログラム２０からポップアップ表示させると好適である。

操作制御部１１４は、シンボルに対して該シンボルに対応するスクリプトの実行開始の指示がユーザから入力操作されると、該シンボルに対応するスクリプトをスクリプトＤＢ１２１から取得し、該スクリプトの実行を開始する。ユーザからの入力操作の典型的な例としてはポインティングデバイスに係るポインタがシンボルの描画領域にある場合におけるクリック操作や、タッチパネル環境におけるシンボルのタップ操作である。

本実施の形態に係る自動操作システムによる画面イメージについて図２を参照して説明する。図２ではアプリケーションプログラム２０のある状態における操作画面５０を示す。該操作画面５０には、２つのシンボル６１，６２がオーバーレイ表示されている。シンボル６１にポインタを重ねる等の所定の操作を行うと、該シンボル６１に対応するスクリプトの実行後の画面イメージ７１が表示される。一方、シンボル６２にポインタを重ねる等の所定の操作を行うと、該シンボル６２に対応するスクリプトのフローチャートの画面イメージ７２が表示される。

次に本実施の形態に係る自動操作システムの動作について図３のフローチャートを参照して説明する。まず、状態監視部１１２がアプリケーションプログラム２０の操作画面の状態を取得し、表示制御部１１３が自動操作のシンボルＤＢ１２２から自動操作の契機となる自動操作のためのシンボルを操作画面上のＧＵＩのある場所に表示する（ステップＳ１）。ここでは、図４の例に示すように、自動操作のためのシンボル６３，６４が円形であっても四角形であっても構わず、シンボルの表現の仕方は自由である。表示制御部１１３は、図４の例に示すように、自動操作後の画面を生成する起点となる現在の画面のＧＵＩ部品の近傍にシンボル６３，６４を表示する。図４の例で示す通り、円形のシンボル６３に関しては＜遷移画面１＿円形シンボルが起点＞までの自動操作のシンボルであり、四角形のシンボル６４に関しては＜遷移画面２＿四角形シンボルが起点＞までの自動操作のシンボルである。なおこのとき、図５の例で示すように、シンボル６３，６４にポインタを重ねる等の所定の操作が行われると、表示制御部１１３は、該シンボル６３，６４に対応するスクリプトの実行後の画面イメージ７４やフローチャートの模式的な画面イメージ７３を表示する。

次に、ユーザが自動操作のシンボルに対してクリック等の所定の操作を行うと（ステップＳ２）、操作制御部１１４は、自動操作のスクリプトＤＢ１２１から自動操作のためのスクリプトを取得し（ステップＳ３）、該スクリプトの実行を行う（ステップＳ４）。なおスクリプト生成部１１１は、この時点でスクリプトの構築・再構築を行ってもよい。そして実際に自動操作を行うと、再び自動操作後の画面に対して同様に自動操作のシンボルＤＢ１２２から該当するシンボルがないかをサーチし、操作画面上に自動操作のシンボルの表示を行う（ステップＳ５）。自動操作のシンボルが見つからない場合にはシンボル表示を行わず、アプリケーションプログラム２０の監視を継続して行う（ステップＳ６）。

（第２の実施の形態）
本発明の第２の実施の形態に係る自動操作システムについて説明する。本実施の形態が第１の実施の形態と異なる点は表示制御部１１３の動作にある。他の点については第１の実施の形態と同様なのでここでは相違点のみを説明する。

本実施の形態に係る自動操作システムの表示制御部１１３は、次にユーザが操作する候補の自動操作のためのシンボル又は埋込型自動操作スクリプトの表示、又はコンテンツ（遷移後の画面状態、フローチャート図等）を動的に変更する点にある。具体的には、表示制御部１１３は、過去・現在の操作対象のアプリケーション、又はアプリケーションと選択インタフェイスの入力状態、ポインティングデバイスの座標など種々の情報に基づき、前述した表示の動的変更を行う。例えば、図６に示すように、”現在の操作対象のアプリケーションの状態”で何かしらの文字列”＊＊＊＊”が入力された場合には、その変化を検出し、シンボル６３の表示を変更したり、提示している自動操作のコンテンツ７３を変更したりする。

（第３の実施の形態）
本発明の第３の実施の形態に係る自動操作システムについて説明する。本実施の形態に係る自動操作システム１００は、図７に示すように、図１の自動操作システム１００に更にユーザプロファイルＤＢ１２４を備えている。また、本実施の形態に係る自動操作システム１００が上記各実施の形態と異なる点は、ログＤＢ１２３の記憶事項及び表示制御部１１３の動作にある。他の点については第１の実施の形態と同様なのでここでは相違点のみを説明する。

本実施の形態に係る自動操作システムでは、図８の例に示すように、ログＤＢ１２３に過去に行われた自動操作の頻度、時間、実行アプリケーションにおけるログを記憶しておき、過去のユーザが自動操作を行った経路から、最も多く自動操作された頻出ログや最近、自動操作されたログの順番から自動操作を行う。スクリプトが複数の操作画面上で登録され、自動操作スクリプトをマージして再構成ができる環境においては、図８の例において、画面Ａの過去の状態から自動操作によって画面Ｂの現在の状態に到達しているケースにおいて、星印のシンボル６５から画面Ｄへの自動操作ではなく、四角形のシンボル６６から画面Ｃの状態へと自動操作を提示、または自動操作が直接画面Ａ→画面Ｂに到達したタイミングでさらに自動的に画面Ｃの未来の状態へ到達する。さらに現在のユーザのプロパティ情報からユーザが担当している業務情報、熟練者のユーザか初心者のユーザかといった種別によって、異なるユーザプロパティ情報からなるコンテキストアウェアなＤＢであるユーザプロファイルＤＢ１２４によって、自動操作の順序を変化させ、自動操作の提案、直接的な自動操作を行う。

以上のように本発明に係る自動操作システムによれば、ユーザが操作するアプリケーションにおいて、現在のアプリケーション状態から実行開始可能なスクリプトが存在することを示すシンボルが表示されるので、ユーザが該シンボルに対してスクリプトの実行開始の指示を行うだけ当該スクリプトが実行され、ユーザにとって利便性が高いものとなる。また、本発明に係る自動操作システムによれば、シンボルに対して所定の操作を行うことにより、該シンボルに対応するスクリプトの実行により状態遷移した後の画面イメージ又は該スクリプトの処理フローの画面イメージが表示されるので、ユーザが適切なスクリプトの選択を行うことができ、更に利便性が高いものとなる。

また、本発明に係る自動操作システムよって、自動化の裾野（半定型的な業務における自動化、Ｐｒｉｖａｔｅ自動化など）を広げることができる。また、本発明に係る自動操作システムよって、ユーザがアプリケーションの入力項目、ＧＵＩの構成状態によって、都度で自動化のスクリプトを走らせることができる。また、本発明に係る自動操作システムよって、アプリケーション上の過去の選択インタフェイスにおけるイベントのログのデータベースを参照して、自動操作のスクリプトとのダイナミックな再構成を可能にし、ユーザの操作状態に合わせ大規模なスクリプトを構成することが可能になる。

このように本発明に係る自動操作システムでは、自動操作ツールに関連する既存技術で実現できていなかったユーザとのインタラクションの課題と、汎用性を持ったログを組み立てることによる逐次的な自動操作を実現し、アプリケーション操作に関する作業ステップの削減と作業の纏まりの定型化を簡易に実現できる。

以上、本発明の実施形態について詳述したが本発明はこれに限定されるものではない。例えば、上記各実施の形態ではスクリプトを動的に自動生成していたが、予めユーザや管理者等の人手より作成するようにしてもよい。

また、上記実施の形態では１つのコンピュータに自動操作システムの各部を実装していたが、各部を複数のコンピュータに分散して実装するようにしてもよい。

１００…自動操作システム、１１０…自動操作プログラム、１１１…スクリプト生成部、１１２…状態監視部、１１３…表示制御部、１１４…操作制御部、１２０…記憶装置、１２１…スクリプトＤＢ、１２２…シンボルＤＢ、１２３…ログＤＢ、１２４…ユーザプロファイルＤＢ

Claims (8)

1. ＧＵＩ（Graphical User Interface）を有するコンピュータ上で動作するアプリケーションをユーザに替わって自動操作する自動操作システムにおいて、
   アプリケーション状態を遷移させるスクリプトを記憶するスクリプト記憶手段と、
   スクリプトの実行開始が可能なアプリケーション状態の情報を記憶するスクリプト開始状態情報記憶手段と、
   現在のアプリケーション状態を監視する状態監視手段と、
   スクリプト開始状態情報に基づき現在のアプリケーション状態で実行可能なスクリプトが存在する場合に該スクリプトが実行開始可能である旨を示すシンボルを現在のアプリケーションの表示画面にオーバーレイ表示する表示制御手段と、
   前記シンボルに対してスクリプトの実行開始の指示がユーザから入力操作されると該シンボルに対応するスクリプトをスクリプト記憶手段から取得して実行する操作制御手段とを備え、
   前記表示制御手段は、アプリケーション状態が遷移する操作起点となる現在のアプリケーションのインタフェイス部品又はアプリケーション状態の遷移に影響を与える現在のアプリケーションのインタフェイス部品と重なる位置或いはその近傍に前記シンボルを表示する
   ことを特徴とする自動操作システム。
2. スクリプトの実行により状態遷移した後のアプリケーションの画面イメージ及びスクリプトの処理フローの画面イメージの何れか一方或いは双方が含まれるコンテンツを該スクリプトと関連づけて記憶するコンテンツ記憶手段を備え、
   前記表示制御手段は、前記シンボルに対してユーザから所定の操作があると該シンボルに対応するスクリプトに係るコンテンツをコンテンツ記憶手段から取得して表示する
   ことを特徴とする請求項１記載の自動操作システム。
3. 前記表示制御手段は、過去又は現在の操作対象のアプリケーション状態におけるユーザの操作状態に基づき前記シンボルの表示、前記コンテンツ記憶手段から取得するコンテンツ、或いはコンテンツの表示内容を変更する
   ことを特徴とする請求項２記載の自動操作システム。
4. スクリプトの実行ログを記憶する実行ログ記憶手段を備え、
   前記操作制御手段は、前記実行ログ記憶手段に記憶されている実行ログに基づきスクリプトの実行順位を決定し、該実行順位に基づきスクリプトを実行する
   ことを特徴とする請求項１乃至３何れか１項記載の自動操作システム。
5. ユーザのプロパティ情報を記憶するユーザプロパティ記憶手段を備え、
   前記操作制御手段は、前記ユーザプロパティ記憶手段に記憶されている現在のユーザのユーザプロパティに基づきスクリプトの実行順位を決定し、該実行順位に基づきスクリプトを実行する
   ことを特徴とする請求項１乃至３何れか１項記載の自動操作システム。
6. ユーザの操作履歴及び該ユーザ操作によるアプリケーション状態の遷移情報を含む履歴情報を記憶する操作履歴記憶手段と、
   履歴情報に基づきスクリプトを生成して前記スクリプト記憶手段に保存するスクリプト生成手段とを備えた
   ことを特徴とする請求項１乃至５何れか１項記載の自動操作システム。
7. ＧＵＩ（Graphical User Interface）を有するコンピュータ上で動作するアプリケーションをユーザに替わって自動操作する自動操作方法であって、
   アプリケーション状態を遷移させるスクリプトをスクリプト記憶手段に記憶するステップと、
   スクリプトの実行開始が可能なアプリケーション状態の情報をスクリプト開始状態情報記憶手段に記憶するステップと、
   状態監視手段が現在のアプリケーション状態を監視するステップと、
   表示制御手段がスクリプト開始状態情報に基づき現在のアプリケーション状態で実行可能なスクリプトが存在する場合に該スクリプトが実行開始可能である旨を示すシンボルを現在のアプリケーションの表示画面にオーバーレイ表示するステップと、
   操作制御手段が前記シンボルに対してスクリプトの実行開始の指示がユーザから入力操作されると該シンボルに対応するスクリプトをスクリプト記憶手段から取得して実行するステップとを備え、
   前記シンボルの表示ステップでは、前記表示制御手段は、アプリケーション状態が遷移する操作起点となる現在のアプリケーションのインタフェイス部品又はアプリケーション状態の遷移に影響を与える現在のアプリケーションのインタフェイス部品と重なる位置或いはその近傍に前記シンボルを表示する
   ことを特徴とする自動操作方法。
8. コンピュータを請求項１に記載の各手段として機能させる
   ことを特徴とする自動操作プログラム。

Images