JP6247182B2 - 操作手順記録装置、操作手順記録方法及び操作手順記録プログラム - Google Patents

Description

本発明は、操作自動化や操作マニュアルのための操作手順記録方法、装置及び操作手順記録プログラムに関する。

端末上の操作の流れを記録する操作手順記録方法は様々な用途で必要とされる。例えば、端末上で操作を自動化する場合（操作自動化ソフト）では、自動化したい操作手順を事前に記録しておく必要がある。他には、操作マニュアルを作成する場合においても、操作手順記録方法が必要となる。

例えば、市中の操作自動化ソフトでは、自動化したい操作手順を操作手順データ（スクリプトやそれに類する形のデータ）で用意する必要がある。このデータはユーザが直接入力することにより作成することもできるが、多くの場合には煩雑な作業となるため、多くの操作自動化ソフトには自動記録機能が用意されている。

自動記録機能を動作させた状態でユーザが例示操作（自動化したい操作を実際に行うこと）を行うと、操作自動化ソフトはその操作を検出し操作手順データを自動生成する。例えば、端末の画面に表示されたボタンをクリックすると、「該当のボタンをクリックする」という命令が操作手順データ内に生成される。関連技術に係るソフトウェアでは、マウス及びキーボードの操作を自動記録する機能が搭載されている。

操作マニュアル作成ソフトにおいても、全てを手動で作成することもできるが、自動記録機能を利用することで、例示操作を行うだけでマニュアルを自動生成できる。

操作手順記録方法としては、例示操作による自動記録以外に、マウスアクションによる方法が関連技術で開示されている。下記の関連技術では、自動化ソフトウェアの変数と操作対象のＧＵＩコンポーネントとの間の値入出力操作をマウスアクションにより記録する方法が開示されている（例えば、特許文献１、参照。）。

特開２０１１−１３７６８号公報

例示操作による自動記録は、手動操作を通常通りそのまま行えば自動的に操作手順データが生成されるため、ユーザにとって直感的で理解しやすい機能である。しかしながら、操作手順を完全に自動記録することは困難である。これは、端末上で行われるユーザ操作を検出するだけでは、ユーザの操作意図を完全に把握できないためである。例を２つ上げる。

第１の例では、チェックボックス（オン／オフを切り替えられるＧＵＩコンポーネント）への操作では、ユーザがチェックボックスの「オフ」の状態から「オン」の状態へ切り替えた場合、ユーザの真の意図が「チェック状態を反転させたい」のか「チェックをオンにしたい」のか、明確に特定できない。

第２の例では、ウィンドウの切り替え操作は、ユーザの真の意図がそのウィンドウをアクティブにする必要があったのか、他のウィンドウを探す際にたまたま関係のないウィンドウをアクティブにしただけなのか、明確に特定できない。

また、画面上の表示内容にしたがって操作手順を分岐させたい場合、ユーザが画面上の表示を見て認識する働きは例示操作として現れないため記録できない。また、例示操作は順次行われるため、ある操作段階で分岐が必要となることを例示操作から検出することも困難である。

このように、自動記録機能は不完全な記録しか行うことができない。これは、マニュアル作成の場合にも問題となる。例えば、チェックボックスに対する操作を解説する場合に、「チェックボックスをクリックする」と解説するか「チェックボックスをオンにする」と解説するかは大きな違いがある。また、上述の関連技術のマウスアクションによる操作記録方法では、変数とＧＵＩコンポーネントの間の入出力しか記録できず、限定的な操作しか取り扱えなかった。

自動化用途のための操作手順データを記録するには、次の４つの情報を特定する必要がある。１つ目は「（１）操作意図」であり、２つ目は「（２）操作対象」であり、３つ目は「（３）操作方法」であり、４つ目は「（４）詳細な操作内容を指定するオプション情報」である。

例示操作による自動記録機能では、操作方法に合わせた自動記録のモードを選択した状態で、ユーザが操作対象を手動操作することで自動的に操作手順が記録される。そのため、（２）操作対象、（３）操作方法、（４）詳細な操作内容を指定するオプション情報は特定することができる。しかし、課題でも示したように（１）操作意図を完全に特定することは困難である。

操作方法には様々な方法が存在する。例えば、ウィンドウ上のボタンを押下したい場合は、「画面上の特定座標（画面に対する絶対座標）をクリックする」「ウィンドウ上の特定座標（ウィンドウに対する相対座標）をクリックする」「ウィンドウ上のボタンに直接メッセージを送信して押下状態にする」「ボタンの画像を検索してクリックする」などの方法がある。

例示操作による自動記録機能ではこれを自動記録する前に選択しておく必要がある。間違ったモードで記録した場合は正しく記録することができない。例えば、ＧＵＩ上でやり取りされるメッセージを検出しそれを再現することで自動実行する記録方式では、その端末上で直接実行されているアプリケーションであれば記録が可能である。

しかし、リモートデスクトップの様な機能により別の端末上で実行されているアプリケーションを転送表示しているような間接的な場合は、ＧＵＩメッセージを検出できないため記録が失敗する。また、端末上で直接実行されているアプリケーションでもＧＵＩが利用しているＧＵＩライブラリが変わると記録方法を変える必要がある。

前記課題を解決するために、本発明は、ユーザに（１）操作意図を選択させ、次に（２）操作対象を指定させる。（３）操作方法は（１）操作意図と（２）操作対象から自動的に選定される。完全に選定できない場合は、最も可能性が高い方法を選定するか、候補の中からユーザに選ばせることを目的とする。

上記目的を達成するため、本発明では、ユーザの意図を反映させることができる技術的な仕組みを提供する。

具体的には、本発明に係る操作手順記録装置は、
アプリケーションに対する操作を表す複数のノードを画面に一覧表示させる画面表示部と、
前記複数のノードのいずれかがアプリケーションウィンドウ内のＧＵＩ要素にドラッグアンドドロップ処理されたことを検出するユーザ入力検出部と、
前記複数のノードの表す操作をＧＵＩ要素ごとに固有な具体的操作に変換する規則情報を保持するアクション検出ルール保持部と、
前記ドラッグアンドドロップ処理された対象のアプリケーション及びＧＵＩ要素の情報を収集するアプリケーション情報収集部と、
前記ユーザ入力検出部が検出したノードの情報と前記アプリケーション情報収集部が収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報に従って、前記具体的操作を検出するアクション検出部と、
前記アクション検出部が検出した前記具体的操作を検出順に記録する検出アクション蓄積部と、
を備え、
前記アクション検出部は、
前記ユーザ入力検出部が検出したノードの情報と前記アプリケーション情報収集部が収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報が前記アクション検出ルール保持部に複数保持されている場合、予め付与された優先順位が最も高い規則情報に従って、または当該複数の規則情報を前記画面に表示させることによりユーザに選択させた規則情報に従って、前記具体的操作を検出する。

本発明に係る操作手順記録装置では、
前記アクション検出部は、
前記画面表示部に予め表示された前記複数のノードのうち、ユーザが選択的に前記ノードをドラッグ処理した場合、文字入力又は一覧表示の選択が可能な吹き出しを前記アプリケーションウィンドウに表示させてもよい。

本発明に係る操作手順記録装置では、前記具体的操作の記録中に、端末内のアプリケーションの操作を制限することで、記録対象外の操作の混入による記録漏れを防止する端末内操作制限部をさらに備えてもよい。

具体的には、本発明に係る操作手順記録方法は、
画面表示部が、アプリケーションに対する操作を表す複数のノードを画面に一覧表示させる画面表示手順と、
ユーザ入力検出部が、前記複数のノードのいずれかがアプリケーションウィンドウ内のＧＵＩ要素にドラッグアンドドロップ処理されたことを検出するユーザ入力検出手順と、
アプリケーション情報収集部が、前記ドラッグアンドドロップ処理された対象のアプリケーション及びＧＵＩ要素の情報を収集するアプリケーション情報収集手順と、
アクション検出部が、前記複数のノードの表す操作をＧＵＩ要素ごとに固有な具体的操作に変換する規則情報を保持するアクション検出ルール保持部を参照し、前記ユーザ入力検出手順で検出したノードの情報と前記アプリケーション情報収集手順で収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報に従って、前記具体的操作を検出するアクション検出手順と、
検出アクション蓄積部が、前記アクション検出手順で検出した前記具体的操作を検出順に記録する検出アクション蓄積手順と、
を順に実行し、
前記アクション検出手順では、前記アクション検出部が、
前記ユーザ入力検出手順で検出したノードの情報と前記アプリケーション情報収集手順で収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報が前記アクション検出ルール保持部に複数保持されている場合、予め付与された優先順位が最も高い規則情報に従って、または当該複数の規則情報を前記画面に表示させることによりユーザに選択させた規則情報に従って、前記具体的操作を検出する。

具体的には、本発明に係る操作手順記録プログラムは、
コンピュータを上述に記載の操作手順記録装置が備える前記画面表示部、前記ユーザ入力検出部、前記アクション検出ルール保持部、前記アプリケーション情報収集部、前記アクション検出部、及び前記検出アクション蓄積部として機能させる。

なお、上記各発明は、可能な限り組み合わせることができる。

本発明によれば、操作手順記録の中で推定が難しいユーザの操作意図を正確に記録することができる。また、ユーザに操作手順の細部まで明確に意識させる効果がある。

本実施形態に係る操作手順記録装置の構成図の一例を示す。 本実施形態に係る画面表示部の画面表示の一例を示す 本実施形態に係るテキスト設定の記録処理の一例を示す。 本実施形態に係るオプション入力用ウィンドウの表示の一例を示す。 本実施形態に係るテキスト設定の記録結果の一例を示す。 本実施形態に係るリスト選択の自動記録処理の一例を示す。 本実施形態に係るオプション情報設定用ウィンドウの表示の一例を示す。 本実施形態に係る記録結果の一例を示す。 本実施形態に係る分岐の記録処理の一例を示す。 本実施形態に係る判定式の入力の一例を示す。 本実施形態に係るフローチャート上におけるノードの生成の一例を示す。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

（実施形態１）
図１が本発明の操作手順記録装置における構成図である。端末１０は、操作手順記録装置１１を有する。本発明に係る操作手順記録装置１１では、端末１０上のアプリケーションとして動作させるため、「ユーザ入力検出部１２」「アクション検出部１３」「アプリケーション自動操作部１４」「アプリケーション情報収集部１６」「検出アクション蓄積部１７」「アクション検出ルール保持部１８」「画面表示部１９」「端末内操作制限部２０」の８つの部分で構成され、さらに操作対象アプリケーション１５を備える。

また、本実施形態に係る操作手順記録方法は、画面表示手順と、ユーザ入力検出手順と、アプリケーション情報収集手順と、アクション検出ルール保持手順と、アクション検出手順と、検出アクション蓄積手順と、を順に行う。

ここで、「アクション」とは本発明では操作手順の基本的な構成要素のことを示す。検出アクション蓄積部１７では、ユーザのマウス操作のアクションにより、ユーザ入力検出部１２及びアクション検出部１３を介して当該アクションを蓄積することにより操作手順が構成される。画面表示部１９がユーザに対する画面表示を生成し端末１０の表示機能を通してユーザに表示される。そして、マウスやキーボードにより端末１０へ入力された操作はユーザ入力検出部１２で検出される。

アクション検出部１３はユーザ入力検出部１２で検出されたマウス・キーボード操作とアプリケーション情報収集部１６が収集したアプリケーションの情報を元に、アクション検出ルール保持部１８の持つルールによってアクションを検出する。アクション検出部１３は検出したアクションを検出アクション蓄積部１７に通知し、検出アクション蓄積部１７は通知された順序でアクションを記録していく。また、アクション検出部１３は必要に応じてアプリケーション自動操作部１４に検出したアクションを実行させる。

図２に端末１０における画面表示部１９の画面表示の一例を示す。図２では、画面表示部１９によって表示された「フローチャート２１」と「操作一覧２２」と「表示ウィンドウ２３」が表示されている。さらに、同じ端末１０内で実行されているアプリケーション（リモートデスクトップの様な仕組みで実行されている場合も含む）も合わせて表示されている。

ユーザは「操作一覧２２」ウィンドウ内に表示された操作ノードの中から目的の操作を選び出しその操作をドラッグし対象のアプリケーション上の操作対象である表示ウィンドウ２３のＧＵＩコンポーネントに対してドロップする。操作一覧２２のウィンドウ内に表示された操作ノードはアクション検出ルール保持部１８の持つルールを元に表示されており、アクション検出ルール保持部１８の情報を増やすことで記録可能なアクションの種類を増やすことができる。

操作一覧２２のウィンドウ内に表示された操作ノードの種類が多いと目的の操作を探すのが難しくなるため、「検索機能」「カテゴリに分けて表示する機能」「使用頻度別に表示する機能」など備えてもよい。また、ノードの形状ではなくアイコンとして表示してもよい。

テキスト設定を記録する流れを図３に示す。ユーザは操作一覧２２のウィンドウ内の「テキスト設定」ノードをドラッグし対象アプリケーション上の「名前」テキストボックス上にドロップする。図３ではドロップ中のノードを小さく表示しているが、ドロップ中の表示は様々な表示効果が利用できる。例えば、その時点でマウスボタンを離すとどのＧＵＩコンポーネントにドロップされるかを示すために、ハイライトを表示ウィンドウ２３上のＧＵＩコンポーネントの周囲に表示させておけば、ドロップ対象を間違えることを防止できる。

ノードがドロップされると、アクション検出部１３はドロップされた直下にあるＧＵＩオブジェクトの情報収集をアプリケーション情報収集部１６に依頼する。ドロップ位置については、ドロップした瞬間のマウスカーソルの位置としてもよいし、もしくはドロップした瞬間のノード中央の位置としてもよい。

また、ノードの図形を塗りつぶす色の影響で、対象の表示ウィンドウ２３上のＧＵＩコンポーネントが隠れてしまうことを避けるために、ノードの図形を塗りつぶす色を半透明にしておくと便利である。アプリケーション情報収集部１６はオブジェクトの情報を収集しアクション検出部１３に通知する。図３の場合では、ドロップされたＧＵＩオブジェクトは標準テキストボックスオブジェクトだったため、その情報が通知される。

アクション検出ルール保持部１８には、ノードごとに複数のルールが関連付けられており、この場合は「標準テキストボックスオブジェクトに対するテキスト設定操作はＧＵＩメッセージ（テキスト設定メッセージ）送信により自動操作する」というルールが登録されているため、「ＧＵＩメッセージ送信によるテキスト設定」アクションと判定される。

なお、アクション検出部１３でのオブジェクトの情報取得方法は関連技術で用いられている。具体的には、第１の具体例は、アプリケーション情報収集部１６でＷｉｎｄｏｗ標準ＧＵＩのＧＵＩコンポーネント情報をＷｉｎｄｏｗｓ（登録商標）＿ＡＰＩを利用して取得する。ドロップされた位置は、Ｗｉｎｄｏｗ（登録商標）＿ＡＰＩ「ＧｅｔＣｕｒｓｏｒＰｏｓ」を使ったり、フック機能でマウスの動作を監視することで取得することができる。（操作記録アプリケーションがＮｅｔフレームワーク等を利用していれば、フレームワーク機能を利用して取得することも可能）

第２の具体例は、アクセシビリティ機能を利用する。アクセシビリティ機能を使うことで、アクセシビリティ機能に応じたアプリケーションのＧＵＩコンポーネント情報（位置、サイズ、種類、設定されている値、等）を取得できる。

なお、Ｊａｖａ（登録商標）等の独自ライブラリの場合、Ｗｉｎｄｏｗｓ（登録商標）＿ＡＰＩではそのウィンドウがＪａｖａ（登録商標）アプリケーションであることしか識別できず、表示されたＧＵＩコンポーネントの詳細は取得できない場合も多い。そこで、ＶＭ内部を解析してＧＵＩの情報を収集するか、（独自ライブラリ毎に個別の解析方法を用意する必要がある。）又は画面表示の画像を解析してＧＵＩコンポーネントを推定する。又は、位置情報のみを利用する。クリックなどの場合は位置情報だけでも十分なためである。

アクション検出ルール保持部１８にはその検出されたアクションの必要とするオプション情報に関する情報も含まれ、「ＧＵＩメッセージ送信によるテキスト設定」ではオプションとして設定文字列を必要としているため、アクション検出部１３から画面表示部１９への指示で、図４のようにその情報を収集するためのオプション入力用のウィンドウが表示される。

図４では、ユーザがテキストを入力し「ＯＫ」ボタンを押下すると、「ＧＵＩメッセージ送信によるテキスト設定」アクションに必要な全ての情報がそろい、その情報がアクション検出部１３から検出アクション蓄積部１７に通知され、アクションが記録される。

オプション情報はこの例ではユーザに入力させるが、既に入力されている内容をアプリケーション情報収集部１６で収集するなどして、自動的に設定することも可能である。また、ドラッグ＆ドロップによる記録時にはオプション情報の設定を省き、後でフローチャート２１を編集する際にまとめてオプション情報を設定する方法でもよい。

さらに、検出アクション蓄積部１７の内容を表示しているフローチャート２１のウィンドウの表示が更新される。テキスト設定の記録結果を図５に示す。図３及び図４の操作で記録されたアクションを表現するノードは、図５の例ではフローチャート２１のウィンドウ上では操作一覧２２と同じノードとして表記されている。しかし、別のノード図形で表示しても良いし、記録された内容に合わせてラベルを書き換えてもよい。

図３の例では標準テキストボックスオブジェクトに対する操作であった。しかし、対象アプリケーションがリモートデスクトップの様な仕組みで実行されている場合、アプリケーション情報収集部１６はテキストボックスオブジェクトにアクセスすることができない。

そのため、アプリケーション情報収集部１６はアクション検出部１３に対してリモートデスクトップ類の機能により実行されているＧＵＩであるという情報を返す。アクション検出部１３は、テキスト設定ノードに関連付けられた別のルールである「リモートデスクトップ類の機能により実行されているＧＵＩに対するテキスト設定は、マウス・キーボード操作を再現して自動操作する」というルールにより、「マウス・キーボード操作によるテキスト設定」アクションと判定される。どのルールにも該当しなかった場合はエラーとなる。複数のルールに該当する場合は、ルールの優先順位を設けておきそれによって決定するか、ユーザに選択肢を表示しどちらかを選択させる。

続けて、生年月日の「年」要素のリスト選択を自動記録するために、「値でリスト選択」ノードをドラッグし「年」コンボボックス上にドロップしている状態が図６である。このコンボボックスは標準コンボボックスであるため、「標準コンボボックスに対する値でリスト選択操作はＧＵＩメッセージ（リスト選択メッセージ）送信により自動操作する」と言うルールにより、「ＧＵＩメッセージ送信による値でリスト選択」アクションと判定される。

そして、「ＧＵＩメッセージ送信による値でリスト選択」アクションでは、選択する値をオプション情報として含める必要があるため、図７の様にオプション情報設定用のウィンドウが表示される。図７では、アプリケーション情報収集部１６が収集したリスト要素情報の中から選択したい値を選ぶことができる。オプション情報を選択後、確定したアクションが検出アクション蓄積部１７に蓄積される。図８に記録結果の表示を示す。

同様に、ボタンへの操作は「クリック」操作、ラジオボタンへの操作は「クリック」「チェックＯＮ」操作で、チェックボックスへの操作は「クリック」「チェックＯＮ」「チェックＯＦＦ」操作で記録することができる。このとき、チェックボックスに対する「クリック」操作はチェック状態を反転させる操作となるため、「クリック」操作を行った後にチェックボックスがどのような状態になるかは実行時の状態に依存してしまう。しかし、ユーザが「チェックＯＮ」や「チェックＯＦＦ」アクションとして記録することで、実行時の状態に依存しない記録ができる。

対象アプリケーションにおける表示ウィンドウ２３上のテキストボックスの値を元に分岐したい場合は、「テキストボックスの値で分岐」操作をテキストボックスに対してドロップすると、自動的にテキストボックスから値を取得する操作と、その値を使って分岐する制御構造が自動的に記録される。図９に「テキストボックスの値で分岐」を記録する流れを示す。「テキストボックスの値で分岐」ノードを対象アプリケーション上の「サービス名」テキストボックスへドロップする。

このテキストボックスはＧＵＩ標準テキストボックスオブジェクトのため、「標準テキストボックスに対する”テキストボックスの値で分岐”操作はＧＵＩメッセージ取得により自動操作し、取得結果と判定式を比較してフローチャート分岐させる」と言うルールにより「ＧＵＩメッセージ取得による”テキストボックスの値で分岐”」アクションと判定される。

そして、テキストボックスの値で分岐では判定式をオプション情報として含める必要があるため、図１０の様にオプション情報設定用のウィンドウが表示され、ユーザは分岐させるための判定式を入力する。「ＯＫボタン」を押下すると、図１１の様にフローチャート上に「テキストボックスの値取得」と「分岐」ノードが生成される。

「テキストボックスの値で分岐」の他にも「チェックボックスのＯＮ／ＯＦＦで分岐」や「リストボックスの値で分岐」も考えられる。また「分岐」だけでなく、取得結果による「多分岐」や「繰り返し」（取得結果によって繰り返すか否かを判定する）などの制御ノードも考えらえる。

操作意図をユーザに事前に選ばせることで、ユーザが自動化させようとしている操作の流れを明確に意識させる効果もある。「端末内操作制限部２０」は端末内で発生する対象アプリケーションに対する操作を無効化する機能である。そして、「アプリケーション自動操作部１４」は「アクション検出部１３」で検出されたアクションを実行する機能である。これら２つの機能を有効化することで、ユーザに対し操作の流れを明確に意識させる効果がより顕著になる。

例えば、「ウィンドウ内のＡタブにあるＢボタンを押し、次にＣタブにあるＤボタンを押す」操作手順を考えている場合は、ユーザは「Ｂボタンを押す」操作の次に「Ｄボタンを押す」操作を行えば良いと考えるが、実際にはその間に「Ｃタブへ切り替える」操作が必要になる。

例示操作による自動記録においても、「ウィンドウ内のＡタブにあるＢボタンを押し、次にＣタブにあるＤボタンを押す」例示操作を「Ｂボタンを押す」⇒「Ｃタブへ切り替える」⇒「Ｄボタンを押す」のアクションの流れとして記録できるが、「Ｂボタンを押した後にＤボタンを押す」と強く思い込んでいると、「Ｃタブへ切り替える」操作の必要性が意識されにくい。

本発明で端末内操作制限部２０とアプリケーション自動操作部１４を有効化した場合は次のようになる。まず、ユーザはＡタブのＢボタン上に「クリック」ノードをドロップし、「クリック」アクションが記録され、それと同時にＢボタンがクリックされる。次に、「Ｂボタンを押した後にＤボタンを押す」と強く思い込んでいるユーザは、Ｄボタン上に「クリック」ノードをドロップしようとするが、ドロップ対象のＤボタンが表示されないため操作できないことに気付く。

また、通常のマウスクリック操作でタブを切り替えようとしても、「端末内操作制限部２０」で対象アプリケーションの操作が禁止されているためこれもできない。ユーザはこの状況で、「タブ切り替え」操作が必要なことに気付くことで操作手順が明確に意識される。そして、「タブ切り替え」ノードをＣタブにドロップすると、「タブ切り替え」アクションが記録されるとともに、自動的にＣタブに切り替えられる。最後に、Ｄボタン上に「クリック」ノードをドロップし、「クリック」アクションが記録されるとともにＤボタンのクリックが自動実行される。

上述の操作を実行することで、操作手順を記録する際に、ユーザはまず操作意図を選び、それを表現するノードやアイコン等をドラッグし操作対象にドロップすることで記録を行うことができる。なお、操作手順記録装置１１は、コンピュータを、画面表示部１９と、ユーザ入力検出部１２と、アプリケーション情報収集部１６と、アクション検出ルール保持部１８と、アクション検出部１３と、検出アクション蓄積部１７として機能させることで実現してもよい。この場合、操作手順記録装置１１内のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、記憶部（不図示）に記憶されたコンピュータプログラムを実行することで、各構成を実現する。

本発明は情報通信産業に適用することができる。

１０：端末
１１：操作手順記録装置
１２：ユーザ入力検出部
１３：アクション検出部
１４：アプリケーション自動操作部
１５：操作対象アプリケーション
１６：アプリケーション情報収集部
１７：検出アクション蓄積部
１８：アクション検出ルール保持部
１９：画面表示部
２０：端末内操作制限部
２１：フローチャート
２２：操作一覧
２３：表示ウィンドウ

Claims (5)

1. アプリケーションに対する操作を表す複数のノードを画面に一覧表示させる画面表示部と、
   前記複数のノードのいずれかがアプリケーションウィンドウ内のＧＵＩ要素にドラッグアンドドロップ処理されたことを検出するユーザ入力検出部と、
   前記複数のノードの表す操作をＧＵＩ要素ごとに固有な具体的操作に変換する規則情報を保持するアクション検出ルール保持部と、
   前記ドラッグアンドドロップ処理された対象のアプリケーション及びＧＵＩ要素の情報を収集するアプリケーション情報収集部と、
   前記ユーザ入力検出部が検出したノードの情報と前記アプリケーション情報収集部が収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報に従って、前記具体的操作を検出するアクション検出部と、
   前記アクション検出部が検出した前記具体的操作を検出順に記録する検出アクション蓄積部と、
   を備え、
   前記アクション検出部は、
   前記ユーザ入力検出部が検出したノードの情報と前記アプリケーション情報収集部が収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報が前記アクション検出ルール保持部に複数保持されている場合、予め付与された優先順位が最も高い規則情報に従って、または当該複数の規則情報を前記画面に表示させることによりユーザに選択させた規則情報に従って、前記具体的操作を検出する、
   ことを特徴とする操作手順記録装置。
2. 前記アクション検出部は、
   前記画面表示部に予め表示された前記複数のノードのうち、ユーザが選択的に前記ノードをドラッグ処理した場合、文字入力又は一覧表示の選択が可能な吹き出しを前記アプリケーションウィンドウに表示させる
   ことを特徴とする請求項１に記載の操作手順記録装置。
3. 前記具体的操作の記録中に、端末内のアプリケーションの操作を制限することで、記録対象外の操作の混入による記録漏れを防止する端末内操作制限部をさらに備える
   ことを特徴とする請求項１又は２に記載の操作手順記録装置。
4. 画面表示部が、アプリケーションに対する操作を表す複数のノードを画面に一覧表示させる画面表示手順と、
   ユーザ入力検出部が、前記複数のノードのいずれかがアプリケーションウィンドウ内のＧＵＩ要素にドラッグアンドドロップ処理されたことを検出するユーザ入力検出手順と、
   アプリケーション情報収集部が、前記ドラッグアンドドロップ処理された対象のアプリケーション及びＧＵＩ要素の情報を収集するアプリケーション情報収集手順と、
   アクション検出部が、前記複数のノードの表す操作をＧＵＩ要素ごとに固有な具体的操作に変換する規則情報を保持するアクション検出ルール保持部を参照し、前記ユーザ入力検出手順で検出したノードの情報と前記アプリケーション情報収集手順で収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報に従って、前記具体的操作を検出するアクション検出手順と、
   検出アクション蓄積部が、前記アクション検出手順で検出した前記具体的操作を検出順に記録する検出アクション蓄積手順と、
   を順に実行し、
   前記アクション検出手順では、前記アクション検出部が、
   前記ユーザ入力検出手順で検出したノードの情報と前記アプリケーション情報収集手順で収集したアプリケーション及びＧＵＩ要素の情報に対応する前記規則情報が前記アクション検出ルール保持部に複数保持されている場合、予め付与された優先順位が最も高い規則情報に従って、または当該複数の規則情報を前記画面に表示させることによりユーザに選択させた規則情報に従って、前記具体的操作を検出する、
   ことを特徴とする操作手順記録方法。
5. コンピュータを請求項１から３のいずれかに記載の操作手順記録装置が備える前記画面表示部、前記ユーザ入力検出部、前記アクション検出ルール保持部、前記アプリケーション情報収集部、前記アクション検出部、及び前記検出アクション蓄積部として機能させるための操作手順記録プログラム。

Images