JP6514084B2 - 操作支援システム、操作支援方法、および、操作支援プログラム - Google Patents

Description

本発明は、操作支援システム、操作支援方法、および、操作支援プログラムに関する。

従来、ユーザの操作を制限したり、支援したりするために、ユーザの操作に適したＧＵＩ（Graphical User Interface）を備えるアプリケーションがある。ここで、アプリケーションのユーザや操作方法は様々であり、またこれらは時間の経過とともに変化する場合もある。

例えば、新たなサービスの開始によりアプリケーションに入力すべき内容が変更されたり、新たな入力制限が追加されたりすることがある。また、アプリケーションに不慣れな新たなスタッフがアプリケーションを操作しなければならない場合もある。このような場合、ユーザにアプリケーションの運用ルールを遵守させ、また操作ミスが発生しないよう、アプリケーション自体を改修する必要がある。

ＵＩ オートメーション、［平成27年9月10日検索］、インターネット＜URL：https://msdn.microsoft.com/ja-jp/library/ms747327(v=vs.110).aspx＞

しかし、アプリケーション自体の改修には、多額の費用や膨大な時間が必要な場合もある。特に、上記のアプリケーションが業務アプリケーションである場合、改修に要する費用や時間は膨大になる可能性が高い。そこで、本発明は、前記した問題を解決し、アプリケーション自体を改修することなく、当該アプリケーションのユーザの操作を支援することを課題とする。

前記した課題を解決するため、本発明は、操作対象アプリケーションを構成するＧＵＩ部品の情報を取得する情報取得部と、取得した前記ＧＵＩ部品の情報に基づき、前記ＧＵＩ部品の拡張部品を生成する拡張部品出力生成部と、前記生成した拡張部品を、画面上の前記ＧＵＩ部品にオーバーレイ表示する拡張部品表示部と、前記拡張部品への入力を検出する入力検出部と、前記拡張部品への入力情報を前記操作対象アプリケーションにおける前記ＧＵＩ部品に入力されたものとして、前記操作対象アプリケーションに反映させるアプリケーション自動操作部とを備えることを特徴とする。

本発明によれば、アプリケーション自体を改修することなく、当該アプリケーションのユーザの操作を支援することができる。

図１は、操作支援システムを含む端末の構成を示す図である。 図２は、操作支援システムにおける拡張部品の表示の処理手順を示すフローチャートである。 図３は、画面上における拡張部品の表示例を示す図である。 図４は、操作支援システムにおける拡張部品の入力ルールの判定および操作対象アプリケーションへの反映の処理手順を示すフローチャートである。 図５は、操作対象アプリケーションへの反映の画面例を示す図である。 図６は、拡張部品への入力内容が入力ルールに違反していた場合の画面例を示す図である。 図７は、操作支援システムの変換表の例を示す図である。 図８は、操作支援システムにおける拡張部品への入力内容の変換の例を示す図である。 図９は、入力様式が埋め込まれた拡張部品の例を示す図である。 図１０は、文字列の入力をプルダウンリストにより受け付ける拡張部品の例を示す図である。 図１１は、文字列の入力をラジオボタンにより受け付ける拡張部品の例を示す図である。 図１２は、チェックボックスの拡張部品の例を示す図である。 図１３は、入力内容を補完するボタンの拡張部品の例を示す図である。 図１４は、拡張部品の編集用ウィンドウから入力内容を受け付ける場合の画面例を示す図である。 図１５は、複数の拡張部品間で関連付けされた拡張部品ルール情報を説明するための図である。 図１６は、対象ＧＵＩ部品上の表示情報を変換して、拡張部品上に表示した画面例を示す図である。 図１７は、図１６の変換に用いられる変換表の例を示す図である。 図１８は、対象ＧＵＩ部品の表示情報を翻訳して、拡張部品上に表示した画面例を示す図である。 図１９は、操作対象アプリケーションの表示情報に基づく、拡張部品に適用される拡張部品ルール情報の切り替えを説明するための図である。 図２０は、操作支援プログラムを実行するコンピュータを示す図である。

以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は各実施形態に限定されない。なお、以下に説明する各実施形態における操作支援システム１０で想定される利用者は、例えば、以下の２種類の利用者である。第１の利用者は、操作対象アプリケーション３０上に表示する拡張部品およびその拡張部品への適用ルールを作成・編集する「拡張部品作成・編集者」である。第２の利用者は、実際に拡張部品を通して操作対象アプリケーション３０の操作を行う「アプリケーション操作者」である。

（第１の実施形態）
図１を用いて、第１の実施形態の操作支援システム１０を備える端末１を説明する。端末１は、上記の各利用者により操作される装置であり、操作支援システム１０と、ＯＳ２０と、操作対象アプリケーション３０とを備える。

操作支援システム１０は、操作対象アプリケーション３０を構成するＧＵＩの部品（ＧＵＩ部品）上に当該ＧＵＩ部品の拡張部品をオーバーレイ表示することにより、各利用者の操作対象アプリケーション３０の操作を支援する。

ＯＳ（Operating System）２０は、端末１のハードウェアを抽象化したインターフェースを、各利用者や操作対象アプリケーション３０に提供するプログラムである。

操作対象アプリケーション３０は、上記の各利用者の操作対象となるアプリケーションであり、例えば、業務アプリケーション等である。

操作対象アプリケーション３０は、拡張部品の作成・編集を行う定義部１１と、実行部１３の指示に基づき操作対象アプリケーション３０の操作を行ったり、定義部１１からの指示に基づき操作対象アプリケーション３０の情報の取得を行ったりする共通部１２と、拡張部品の表示や、当該拡張部品への入力ルールの判定を実行する実行部１３と、拡張部品を表示するための情報や拡張部品へ適用する入力ルールの情報（拡張部品ルール情報）を記憶する拡張部品情報保持部１４とを備える。

以下、それぞれの構成について詳細に説明する。

定義部１１は、拡張部品作成・編集部１１１を備える。この拡張部品作成・編集部１１１は、操作対象アプリケーション３０のＧＵＩ部品の拡張部品の作成や編集、拡張部品への適用ルールの作成や編集等を行う。例えば、拡張部品作成・編集部１１１は、拡張部品作成・編集者の拡張部品作成指示に基づき、拡張部品を作成したり、当該拡張部品への適用ルールの作成や編集を行ったりする。

また、拡張部品作成・編集部１１１は、対象ＧＵＩ部品の拡張部品を作成する際、アプリケーション情報取得部１２２（後記）から当該対象ＧＵＩ部品を特定するために必要な情報（ＧＵＩ部品特定情報）を取得する。この拡張部品作成・編集部１１１での拡張部品の作成方法は、様々な方法が考えられるが、例えば、公知のＧＵＩアプリケーション作成環境を拡張部品作成・編集部１１１として利用し、作成する方法が考えらえる。なお、拡張部品作成・編集部１１１は、アプリケーション自動操作部１２１（後記）と連携して、拡張部品の編集をしながら、実際に拡張部品の動作を確認できるようにしてもよい。このようにすることで、拡張部品の編集効率を向上させることができる。

また、拡張部品作成・編集部１１１は、作成した拡張部品の対象ＧＵＩ部品を特定するための「ＧＵＩ部品特定情報」と、当該拡張部品をどのように表示するかに関する「拡張部品表示情報」と、表示した拡張部品に対してどのような入力ルールを設けるかに関する「拡張部品ルール情報」とを対応付けて拡張部品情報保持部１４へ保存する。

拡張部品情報保持部１４は、拡張部品作成・編集部１１１で作成・編集された拡張部品に関する情報、つまり、拡張部品ごとに、当該拡張部品のＧＵＩ部品特定情報、拡張部品表示情報、拡張部品ルール情報を対応付けて記憶する。この拡張部品情報保持部１４は、端末１の備える記憶部（図示省略）の所定領域に形成される。

共通部１２は、アプリケーション情報取得部１２２と、アプリケーション自動操作部１２１とを備える。

アプリケーション情報取得部１２２は、操作対象アプリケーション３０から対象ＧＵＩ部品特定情報を取得する。対象ＧＵＩ部品特定情報は、例えば、操作対象アプリケーション３０上における対象ＧＵＩ部品の有無や、当該対象ＧＵＩ部品の表示位置、表示サイズ等を示す情報である。この対象ＧＵＩ部品特定情報は、例えば、拡張部品作成・編集部１１１が対象ＧＵＩ部品の拡張部品の作成・編集をしたり、表示をしたりする際に用いられる。

アプリケーション自動操作部１２１は、実行部１３または定義部１１により拡張部品に入力された内容を、操作対象アプリケーション３０へ反映する。このアプリケーション自動操作部１２１は、拡張部品作成・編集部１１１が拡張部品の動作確認を行う際にも利用される。

実行部１３は、拡張部品出力生成部１３１と、拡張部品表示部１３２と、拡張部品入力検出部１３３と、拡張部品入力判定部１３４と、判定結果表示部１３５とを備える。なお、操作制限部１３６は装備される場合と装備されない場合とがあり、装備される場合については後記する。

拡張部品出力生成部１３１は、アプリケーション情報取得部１２２で取得した対象ＧＵＩ部品特定情報と、拡張部品情報保持部１４で保持されている対象ＧＵＩ部品特定情報を基に対象ＧＵＩ部品の拡張部品を出力生成する。ここでの出力生成処理の詳細は後記する。

拡張部品表示部１３２は、拡張部品出力生成部１３１で出力生成された拡張部品を対象ＧＵＩ部品上に表示する。

拡張部品入力検出部１３３は、アプリケーション操作者による拡張部品への入力を検出し、拡張部品へ入力された情報を拡張部品入力判定部１３４へ渡す。

拡張部品入力判定部１３４は、拡張部品に入力された情報が、拡張部品情報保持部１４で保持されている、当該拡張部品の拡張部品ルール情報に示されるルールと整合するか否かを判定する。例えば、拡張部品入力判定部１３４は、拡張部品に入力された情報が、当該拡張部品の拡張部品ルール情報における入力ルールと整合するか否かを判定する。そして、拡張部品入力判定部１３４は、拡張部品に入力された情報が、当該拡張部品のルール（例えば、入力ルール）と整合すると判定した場合、アプリケーション自動操作部１２１へ、入力された情報を操作対象アプリケーション３０へ自動反映するよう依頼する。一方、拡張部品入力判定部１３４は、拡張部品に入力された情報が、当該拡張部品のルールと整合しないと判定した場合は、その結果と内容を判定結果表示部１３５へ通知する。

判定結果表示部１３５は、拡張部品入力判定部１３４による判定結果を表示する。例えば、判定結果表示部１３５は、拡張部品に入力された情報が、当該拡張部品の入力ルールと整合するか否かの判定結果およびその内容を操作対象アプリケーション３０上に表示する。

なお、上記のＧＵＩ部品特定情報は、ＧＵＩを特定する情報であれば様々な情報を用いることができる。例えば、操作対象アプリケーション３０がＨＴＭＬ（HyperText Markup Language）で記述されたアプリケーションであればタグやその属性等の内部情報を用いる。また、操作対象アプリケーション３０がＨＴＭＬ以外で記述されていた場合であっても、ＨＴＭＬと同様に内部情報が取得できる場合は、その内部情報をＧＵＩ部品特定情報として用いればよい。なお、公知の技術として多く存在するＵＩ（User Interface）自動操作技術は、操作対象アプリケーションからＧＵＩ部品等に関する内部情報を取得して、実行対象のＧＵＩ部品を決定している。

また、アプリケーション情報取得部１２２が操作対象アプリケーション３０の内部情報を取得できない場合においても、操作対象アプリケーション３０の表示する画像の情報を利用することでＧＵＩ部品を特定することができる。

例えば、アプリケーション情報取得部１２２が事前に操作対象アプリケーション３０上の拡張部品の対象ＧＵＩ部品やその周辺の文字列または図の画像をＧＵＩ部品特定情報として取得し、拡張部品情報保持部１４に保存しておく。そして、拡張部品作成・編集部１１１等は、当該ＧＵＩ部品特定情報を用いて、対象ウィンドウ画像に対してテンプレートマッチングすることにより対象ＧＵＩ部品を特定してもよい。

また、拡張部品情報保持部１４がＧＵＩ部品特定情報として表示対象のウィンドウを特定する情報を持っておけば、対象ＧＵＩ部品を探索する処理が簡略化できる。このウィンドウを特定する情報としては、例えば、操作対象アプリケーション３０の内部情報として保持されるウィンドウのウィンドウタイトル名や、当該ウィンドウ特有のＧＵＩの画像等を用いることができる。

（処理手順）
次に、操作支援システム１０の処理手順を説明する。まず、図２を用いて操作支援システム１０が対象ＧＵＩ部品の拡張部品を表示する処理手順を説明する。

なお、図２の示す処理手順は、既に拡張部品作成・編集者の操作に基づき拡張部品作成・編集部１１１で操作対象アプリケーション３０の拡張部品が作成されているものとする。つまり、拡張部品情報保持部１４には当該拡張部品のＧＵＩ部品特定情報（保持）と、拡張部品表示情報（保持）と拡張部品ルール情報（保持）とが保持されているものとする。

また、ここで「（保持）」と書いている情報は、当該情報が拡張部品情報保持部１４で保持されている情報であることを表している。逆に、拡張部品情報保持部１４で保持されておらず、実行時のみ操作対象アプリケーション３０等から取得される情報については、「（取得）」または「（）括弧書き」がないよう記載している。

操作支援システム１０は、以下の処理を所定期間ごとに繰り返す。すなわち、まず、操作支援システム１０のアプリケーション情報取得部１２２は、操作対象アプリケーション３０の対象ウィンドウの一つのＧＵＩ部品についてＧＵＩ部品特定情報（取得）を取得する（Ｓ１）。

Ｓ１の後、拡張部品出力生成部１３１は、拡張部品情報保持部１４から当該ＧＵＩ部品のすべての拡張部品についてのＧＵＩ部品特定情報（保持）を受取り、Ｓ１で取得したＧＵＩ部品特定情報（取得）と照会し（Ｓ２）、Ｓ１で取得したＧＵＩ部品特定情報（取得）と一致するＧＵＩ部品特定情報（保持）に対応付けられた拡張部品が存在するか否かを判定する（Ｓ３）。ここで拡張部品出力生成部１３１は、Ｓ１で取得したＧＵＩ部品特定情報（取得）と一致するＧＵＩ部品特定情報（保持）に対応付けられた拡張部品が存在すると判定した場合（Ｓ３でＹｅｓ）、拡張部品情報保持部１４から当該ＧＵＩ部品の拡張部品の拡張部品ルール情報、拡張部品表示情報を取得する（Ｓ４）。一方、拡張部品表示部１３２は、Ｓ１で取得したＧＵＩ部品特定情報（取得）と一致するＧＵＩ部品特定情報（保持）に対応付けられた拡張部品が存在しないと判定した場合（Ｓ３でＮｏ）、Ｓ４〜Ｓ６の処理をスキップしてＳ１へ戻る。

つまり、拡張部品出力生成部１３１は、操作対象アプリケーション３０上に表示されているＧＵＩ部品について、当該ＧＵＩ部品の拡張部品の拡張部品ルール情報、拡張部品表示情報が拡張部品情報保持部１４に保持されていれば、拡張部品情報保持部１４から当該ＧＵＩ部品の拡張部品の拡張部品表示情報を取得する。

Ｓ４の後、アプリケーション情報取得部１２２は、当該ＧＵＩ部品について、ＧＵＩ部品表示情報（取得）を取得し（Ｓ５）、拡張部品出力生成部１３１へ渡す。このＧＵＩ部品表示情報（取得）は、例えば、当該ＧＵＩ部品の表示位置やサイズ、色に関する情報であり、ＧＵＩ部品特定情報と同様に操作対象アプリケーション３０の内部情報や画像の情報から取得する。

Ｓ５の後、拡張部品出力生成部１３１は、Ｓ５で取得したＧＵＩ部品表示情報（取得）を基に、拡張部品を生成し、ＧＵＩ部品上に表示する（Ｓ６）。例えば、拡張部品出力生成部１３１は、Ｓ５で取得したＧＵＩ部品表示情報（取得）を基に、当該拡張部品の拡張部品表示情報および拡張部品ルール情報を参照して当該拡張部品の表示位置やサイズを調整し、表示する拡張部品を生成し、その情報を拡張部品表示部１３２へ渡す。そして、拡張部品表示部１３２は、対象ＧＵＩ部品上に当該拡張部品をオーバーレイ表示する。操作支援システム１０は、上記のＳ１〜Ｓ６の処理を対象ウィンドウ上の全ＧＵＩ部品について実施し、表示すべき拡張部品が複数ある場合は全て表示する。

このようにすることで操作支援システム１０は、操作対象アプリケーション３０の対象ウィンドウ上の各ＧＵＩ部品の拡張部品を表示することができる。また、操作支援システム１０が、上記の処理を所定期間ごとに繰り返し行うことで、ウィンドウの移動、画面遷移等のアプリケーション操作者の操作に合わせて、拡張部品を表示し続けることができる。なお、上記の説明では、拡張部品出力生成部１３１が、当該拡張部品の拡張部品表示情報および拡張部品ルール情報を参照して、拡張部品を生成し、ＧＵＩ部品上に表示するものとして説明したが、拡張部品表示情報のみを参照して拡張部品を生成し、ＧＵＩ部品上に表示してもよい。

例えば、操作支援システム１０は上記の処理を実行することで、図３に示すように、操作対象アプリケーション３０のＧＵＩ部品（名前の入力欄）上に当該ＧＵＩ部品への入力を支援する拡張部品をオーバーレイ表示する。

また、上記の説明では、操作支援システム１０が、操作対象アプリケーション３０から全てのＧＵＩ部品についてＧＵＩ部品特定情報（取得）を取得するようにしているが、拡張部品情報保持部１４のＧＵＩ部品特定情報（保持）から対象ＧＵＩ部品を直接見つけにいくことも可能である。例えば、ＧＵＩ部品特定情報(保持)がＨＴＭＬのタグ等の内部情報で作成されている場合、その内部情報から対象ＧＵＩ部品を探すことが可能である。

次に、図４を用いて、操作支援システム１０が拡張部品への入力を検知した場合の処理手順を説明する。

操作支援システム１０の拡張部品入力検出部１３３が拡張部品への入力を検知すると、拡張部品入力情報（当該拡張部品への入力情報）を取得し（Ｓ１１）、拡張部品入力判定部１３４へ渡す。つまり、拡張部品入力検出部１３３はアプリケーション操作者が拡張部品に対し入力したことを検知すると、当該拡張部品への入力情報を拡張部品入力判定部１３４へ渡す。なお、拡張部品への入力の検知は、例えば、所定期間ごとに拡張部品から拡張部品入力検出部１３３へ拡張部品内の入力情報を渡し、拡張部品入力検出部１３３は入力情報の差分を見ることにより行われる。また、例えば、実行部１３が、アプリケーション操作者のマウス操作や、タッチディスプレイのタッチ操作により、カーソルを拡張部品へ移動させる場合は、拡張部品入力検出部１３３は拡張部品へカーソルを移動させるイベントを取得することによって、拡張部品への入力が開始されていることを検知することができる。

Ｓ１１の後、拡張部品入力判定部１３４は、拡張部品情報保持部１４から当該拡張部品の拡張部品ルール情報を取得する（Ｓ１２）。具体的には、拡張部品入力判定部１３４は、拡張部品情報保持部１４から当該拡張部品の拡張部品ルール情報を取得する。

この拡張部品ルール情報は、例えば、拡張部品への入力ルールに関するものであり、半角、全角、英数字等の入力文字種別の制限や、入力文字数の制限等である。また、この拡張部品ルール情報は、入力可能な文字列の候補を記述したものでもよい。なお、拡張部品情報保持部１４において、拡張部品ルール情報を正規表現として編集できるようにしておけば、拡張部品作成・編集者が自由にルールを設定することができる。

Ｓ１２の後、拡張部品入力判定部１３４は、Ｓ１１で取得した拡張部品入力情報と、Ｓ１２で取得した拡張部品ルール情報（保持）が整合するかを判定する（Ｓ１３）。ここで、拡張部品入力判定部１３４が、拡張部品入力情報と拡張部品ルール情報（保持）が整合すると判定した場合（Ｓ１３でＹｅｓ）、拡張部品入力判定部１３４は、アプリケーション自動操作部１２１経由で、Ｓ１１で取得した拡張部品入力情報を操作対象アプリケーション３０へ反映させる（Ｓ１４）。

例えば、拡張部品入力判定部１３４が、上記の処理を実行することで、図５に示すように操作対象アプリケーション３０における対象ＧＵＩ部品（名前の入力欄）上に表示された拡張部品への拡張部品入力情報を、操作対象アプリケーション３０へ反映させる。つまり、操作対象アプリケーション３０上の対象ＧＵＩ部品（名前の入力欄）に拡張部品入力情報が入力されたものとして処理する。

一方、Ｓ１３で、拡張部品入力判定部１３４が、拡張部品入力情報と拡張部品ルール情報（保持）が整合しないと判定した場合（Ｓ１３でＮｏ）、判定結果表示部１３５は、操作対象アプリケーション３０上にアラートを表示する（Ｓ１５）。例えば、拡張部品入力判定部１３４は、判定結果表示部１３５により、入力内容に誤りがある旨を通知するアラートを表示する。そして、拡張部品入力判定部１３４は操作対象アプリケーション３０に入力内容を反映しない。

例えば、拡張部品入力判定部１３４が、Ｓ１１で入力された拡張部品入力情報は拡張部品ルール情報（保持）と整合しないと判定した場合（Ｓ１３でＮｏ）、判定結果表示部１３５は、図６に示すように、不整合となったこと（例えば、「入力ルール違反です。」）をアラートとして画面表示する。このとき、判定結果表示部１３５は、不整合となった理由を画面表示してもよい。

例えば、図６に示す画面の名前の入力欄に対する入力ルールが「全角文字での入力」である場合において、拡張部品入力判定部１３４が名前の入力欄に半角で文字入力がされたと判定したとき、判定結果表示部１３５は、この名前の入力欄の近傍に「入力ルール違反です。」という表示とともに「ルール：全角文字」という表示を行う。このようにすることで、アプリケーション操作者は、この名前の入力欄に対する入力内容がどのような入力ルールに違反しているか、また、入力内容をどのように修正すればよいかを知ることができる。なお、この図４のＳ１６の処理については後記する。

また、拡張部品入力判定部１３４が、拡張部品への入力情報（拡張部品入力情報）を、アプリケーション自動操作部１２１経由で操作対象アプリケーション３０へ反映する際（自動入力時）、実行部１３は、当該拡張部品を画面上に表示したままとしてもよいし、入力と同時に非表示としてもよい。

また、実行部１３が画面上に当該拡張部品を表示したままとする場合、当該拡張部品を半透明に表示してもよい。このようにすることで、アプリケーション操作者は、画面上で当該拡張部品への入力が当該拡張部品の下の対象ＧＵＩ部品に反映されていることを確認しやすくなる。

さらに、実行部１３は、拡張部品入力情報が対象ＧＵＩ部品に反映された後、当該対象ＧＵＩ部品から入力内容を取得し、拡張部品入力情報および拡張部品ルール情報を参照することで、当該入力内容が拡張部品ルール情報に則ったものか否かを確認するようにしてもよい。

また、拡張部品入力判定部１３４は、拡張部品入力情報と拡張部品ルール情報（保持）が整合しないと判定した場合、当該判定の結果を操作対象アプリケーション３０や操作支援システム１０の管理者の端末（図示省略）に通知してもよい。

以上説明した第１の実施形態の操作支援システム１０によれば、操作対象アプリケーション３０を改修することなく、操作対象アプリケーション３０のアプリケーション操作者の操作支援を行うことができる。

（第２の実施形態）
なお、操作支援システム１０の実行部１３は、図１に示す操作制限部１３６をさらに備えていてもよい。

この操作制限部１３６は、操作対象アプリケーション３０上のアプリケーション操作者の入力操作を制限する。例えば、拡張部品入力判定部１３４は、拡張部品への入力情報が、当該拡張部品の拡張部品ルール情報（入力ルール）に整合しないと判定し（図４のＳ１３でＮｏ）、判定結果表示部１３５は操作対象アプリケーション３０上にアラートを表示した後（Ｓ１５）、操作制限部１３６は、アプリケーション操作者が入力ルールに従った入力操作を行うよう、操作を制限する（Ｓ１６：ユーザ操作制限）。

一例を挙げると、操作制限部１３６は、拡張部品入力判定部１３４で拡張部品への入力情報が、当該拡張部品の拡張部品ルール情報（入力ルール）に整合しないと判定された場合、当該拡張部品へ入力ルールに従った入力操作が行われるまで操作対象アプリケーション３０上の他のＧＵＩ部品を選択できないよう操作を制限する。

また、操作制限部１３６は、操作対象アプリケーション３０上で、拡張部品が確実に選択（フォーカス）されるよう、アプリケーション操作者の操作を制限してもよい。

例えば、実行部１３は、アプリケーション操作者のマウスやタッチ操作以外に、ＴａｂキーやＥｎｔｅｒキー等のキーボード操作によりカーソルを移動させることがある。この場合、実行部１３は、拡張部品にカーソルがある状態でＴａｂキーやＥｎｔｅｒキー等のキーボード操作を検知すると、当該拡張部品の下の対象ＧＵＩ部品にカーソルを移動させてしまうときがある。このような事態を防止するため、操作制限部１３６は、拡張部品ではなく、当該拡張部品の対象ＧＵＩ部品へカーソルが移動したことを検知した場合、当該対象ＧＵＩ部品の拡張部品へ自動でカーソルを移動させる。そして、操作制限部１３６は、当該拡張部品にカーソルが移動した状態でＴａｂキーやＥｎｔｅｒキーが操作されると、対象ＧＵＩ部品の次のＧＵＩ部品へカーソルを移動させる。

操作制限部１３６が、このような操作制限を行うことで、本来、アプリケーション操作者が拡張部品に入力すべきところ、当該拡張部品の対象ＧＵＩ部品に入力してしまうことを防止できる。また、アプリケーション操作者は拡張部品を意識することなく、従来通りキーボード操作によるカーソルの移動を行うことができる。なお、どのＧＵＩ部品にカーソルが移動しているかは、アプリケーション情報取得部１２２が取得する操作対象アプリケーション３０の内部情報等から特定可能である。

なお、上記の操作制限は、例えば、アプリケーション操作者の操作に基づき、実行部１３が拡張部品にカーソルを移動させたとき、ＯＳ２０側がＴａｂキーやＥｎｔｅｒキーの使用を制限することで実現してもよい。

また、画面上における拡張部品は、ＧＵＩ部品表示情報（取得）に示される対象ＧＵＩ部品の色や枠、フォント種別やフォントサイズ等の情報に基づき、当該拡張部品をアプリケーション操作者に意識されないようにオーバーレイ表示してもよい。

逆に、拡張部品に、操作対象アプリケーション３０の対象ＧＵＩ部品とは対照的な色やフォントを設定することで、拡張部品を強調して表示してもよい。さらに、操作対象アプリケーション３０の対象ＧＵＩ部品とは別の位置、別のサイズで拡張部品を表示してもよい。このように拡張部品の表示位置を対象ＧＵＩ部品とは別の位置、別のサイズで拡張部品を表示することで、アプリケーション操作者は、操作対象アプリケーション３０の対象ＧＵＩ部品上に入力内容が反映されているかを確認しやすくなる。

（第３の実施形態）
また、操作支援システム１０は、拡張部品への入力情報を所定の変換表に基づき変換し、変換後の入力情報を操作対象アプリケーション３０に入力してもよい。

この変換表は、拡張部品への入力情報ごとに、当該入力情報をどのような情報に変換すべきかを示した情報である。例えば、この変換表は、当該拡張部品の拡張部品ルール情報として保持される。図７に例示する変換表は、操作対象アプリケーション３０の画面上の「利用サービス名」の拡張部品に入力された情報の変換表である。この変換表は、例えば、「利用サービス名」の入力情報（ユーザ入力）が「スーパーバリューパック」である場合、拡張部品入力判定部１３４は、「スーパーバリューパック」を「サービスＢ」に変換して操作対象アプリケーション３０に反映（システム入力）することを示す。例えば、図８に示す画面のように「利用サービス名」の拡張部品へ入力された「スーパーバリューパック」という文字列は、図７の変換表に基づいて、「サービスＢ」文字列へ変換され、操作対象アプリケーション３０に入力される。

なお、拡張部品への入力情報が変換表の「ユーザ入力」欄に示されるいずれの入力情報にも合致しない場合は、拡張部品入力判定部１３４は、判定結果表示部１３５により画面上にその旨を通知してもよい。

第３の実施形態の操作支援システム１０によれば、実際にアプリケーション操作者が常用している名称と、操作対象アプリケーション３０で利用される名称に差異がある場合に、アプリケーション操作者はその差異を意識することなく、操作対象アプリケーション３０を利用することができる。

（第４の実施形態）
また、拡張部品は、当該拡張部品に予め入力に必要な文字列を埋め込んだものであってもよい。

例えば、操作支援システム１０は、図９に示すように、操作対象アプリケーション３０の備考欄に、入力様式の文字列を埋め込んだ拡張部品を表示してもよい。このようにすることで、アプリケーション操作者は既存の文字列を少し編集するだけで備考欄の入力ができる。その結果、操作支援システム１０はアプリケーション操作者による入力ミスを防止したり、入力様式を統一したりすることができる。なお、当該拡張部品の入力に必要な文字列は、例えば、当該拡張部品の拡張部品表示情報に含めておけばよい。

（第５の実施形態）
また、拡張部品は、文字列の入力をプルダウンリストにより受け付けるものであってもよい。例えば、図１０に示す拡張部品は、操作対象アプリケーション３０の画面上の「性別」を、プルダウンリストから「男／女」を選択して入力させるものである。また、拡張部品は、文字列の入力をラジオボタンにより受け付けるものであってもよい。例えば、図１１に示す拡張部品は、操作対象アプリケーション３０の画面上の「性別」を、「男／女」をラジオボタンで選択して入力させるものである。

このようにすることで、例えば、操作対象アプリケーション３０への入力内容に有限の選択肢がある場合等に、アプリケーション操作者は一から文字列を入力する必要がなくなる。その結果、アプリケーション操作者は、操作対象アプリケーション３０に対し効率的に入力が行うことができ、また入力ミスを低減することができる。

（第６の実施形態）
また、拡張部部品は、チェックボックスであってもよい。例えば、操作支援システム１０は、チェックボックスの拡張部品を表示し、このチェックボックスへのチェックの有無によって当該拡張部品の表示・非表示を切り替える。例えば、操作支援システム１０は、図１２に示すように、操作対象アプリケーション３０のユーザ登録の画面上に入力された個人情報に誤りが無いか否かを確認する「個人情報に誤りが無いか確認しましたか？」というチェックボックスを示す拡張部品を表示する。また、操作支援システム１０は、アプリケーション操作者により、このチェックボックスへのチェックがされた場合、当該拡張部品を画面上で非表示とし、「登録」ボタンを押下可能としてもよい。

このようにすることで、例えば、操作対象アプリケーション３０の操作に必要なときには拡張部品を表示し、不要なときには当該拡張部品を非表示にする等の制御を行うことができる。その結果、アプリケーション操作者は、操作対象アプリケーション３０を操作しやすくなる。また、操作支援システム１０は、拡張部品の表示・非表示だけでなく、拡張部品の表示内容を切り替えたり、他の拡張部品のルールを切り替えたりしてもよい。

（第７の実施形態）
また、拡張部品は、入力内容を補完するボタンであってもよい。例えば、操作支援システム１０は、図１３に示すように、操作対象アプリケーション３０のユーザ登録の画面上に「郵便番号から住所を自動補完」するボタンの拡張部品を表示し、このボタンを押下することによって、郵便番号欄に入力された「郵便番号」から住所欄に入力すべき「住所」を自動入力してもよい。このようにすることで、操作支援システム１０は、アプリケーション操作者の入力を補助することができる。

上記の各実施形態にも操作対象アプリケーション３０で利用されているＧＵＩ部品は様々ある。それらも、用途に合わせて拡張部品として表示することでアプリケーション操作者を支援することが可能である。

（第８の実施形態）
また、拡張部品は、当該拡張部品への入力内容を編集する編集用ウィンドウを表示し、その編集用ウィンドウから入力内容を受け付けるものであってもよい。例えば、操作支援システム１０は、図１４に示すように、操作対象アプリケーション３０のユーザ登録画面上に備考欄の拡張部品を表示し、当該備考欄の拡張部品が選択されたことを検知すると、備考欄の編集用ウィンドウ（備考欄編集画面）を表示する。そして、操作支援システム１０は、当該編集用ウィンドウへの入力内容を当該拡張部品に入力されたものとして操作対象アプリケーション３０に反映する。

このようにすることで、操作支援システム１０が操作対象アプリケーション３０の画面上の備考欄等で複数の選択項目を設けなければならない場合でも、アプリケーション操作者の入力を支援することができる。また、操作対象アプリケーション３０の拡張部品に情報を入力するときに当該拡張部品を表示し、それ以外のときには非表示とすることで、操作対象アプリケーション３０の他の入力欄への入力等、他の操作を邪魔することはない。

（第９の実施形態）
また、操作支援システム１０は、拡張部品それぞれの拡張部品ルール情報を互いに関連付けてもよい。このように操作支援システム１０が拡張部品間で拡張部品ルール情報を関連付けることで、例えば、当該拡張部品への入力内容によってその後の拡張部品（連携拡張部品）へ適用する拡張部品ルール情報を場合分けすることができる。つまり、操作支援システム１０は、拡張部品への入力内容によって当該拡張部品の連携拡張部品に適用する拡張部品ルール情報を切り替えることができる。

例えば、操作支援システム１０は、図１５の符号１５０１に示す、操作対象アプリケーション３０のユーザ登録画面上の「利用サービス」の拡張部品への入力内容によって、その後の「付加サービス１」および「付加サービス２」の拡張部品への入力内容を制限する場合を考える。この場合、符号１５０２に示すように「利用サービス」、「付加サービス１」および「付加サービス２」それぞれの拡張部品入力ルールを条件分岐により連携させる。

符号１５０２に示す条件分岐において、「利用サービス」はＡ，Ｂ，Ｃのいずれかに限定される。そして、アプリケーション操作者が、「利用サービス」にＢを入力した場合、「付加サービス１」はＧに限定され、「付加サービス２」は空白に限定される。従って、操作支援システム１０は、「利用サービス」にＢが入力されると、「付加サービス１」にＧを自動で入力する。

さらに、アプリケーション操作者が「利用サービス」にＡを入力した場合、「付加サービス１」はＤまたはＦのいずれかに限定され、「付加サービス１」にＤが入力された場合、「付加サービス２」はＨ、Ｉのいずれかに限定される。一方、「付加サービス１」にＦが入力された場合、「付加サービス２」はＪに限定される。従って、操作支援システム１０は、「利用サービス」にＡが入力された場合、「付加サービス１」にＤまたはＦのみの入力制限を行い、「付加サービス１」にＤが入力された場合、「付加サービス２」はＨまたはＩのみの入力制限を行う。また、「付加サービス１」にＦが入力された場合、操作支援システム１０は、「付加サービス２」にＪを自動で入力する。

さらに、アプリケーション操作者が「利用サービス」にＣを入力した場合、「付加サービス１」、「付加サービス２」は空白に限定される。従って、操作支援システム１０は、「利用サービス」にＣが入力されると、「付加サービス１」、「付加サービス２」ともに空白のままとする。

このように、複数の拡張部品間での拡張部品ルール情報の関連付けをしておくことで、アプリケーション操作者は効率的に入力を行うことができる。もちろん、当該拡張部品の入力にいくつか選択肢がある場合は、前記したプルダウンリストやラジオボタン等を用いてもよい。

なお、これらの拡張部品間での拡張部品ルール情報の関連付けについては、拡張部品連携情報を用いる。この拡張部品連携情報は、拡張部品（例えば、上記の「利用サービス」）への入力情報ごとに、入力情報に応じた入力制限の対象となる拡張部品である連携拡張部品（例えば、上記の「付加サービス１」、「付加サービス２」）と、当該連携拡張部品への入力に関するルールとを対応付けた情報である。例えば、拡張部品連携情報は、拡張部品への入力情報、拡張部品ルール情報をそれぞれ変数としたスクリプトにより記述され、拡張部品情報保持部１４で保持される。そして、操作支援システム１０は、拡張部品への情報入力時に拡張部品連携情報を参照することで、上記の処理を実行する。また、スクリプト以外にも、フローチャートで視覚的に分岐処理等を記述できる技術が存在するので、こういった技術を利用することで、スクリプトが書けない拡張部品作成・編集者でも容易に拡張部品間の関連づけが可能となる。

（第１０の実施形態）
また、操作支援システム１０は、操作対象アプリケーション３０の対象ＧＵＩ部品上に表示されている情報を取得し、その情報を所定のルールに従って変換して、拡張部品上に表示してもよい。

例えば、操作支援システム１０は、図１７に示す操作対象アプリケーション３０の対象ＧＵＩ部品上の表示（システム表示）と、当該対象ＧＵＩ部品の拡張部品上の表示（ユーザ表示）とを対応付けた変換表を保持する。そして、操作支援システム１０は、図１７に示す変換表に基づいて、図１６に示すように、操作対象アプリケーション３０のユーザ登録画面上に表示されている現在利用サービス欄の「サービスＢ」を「スーパーバリューパック」に変換し、拡張部品上に表示する。このようにすることでアプリケーション操作者は、操作対象アプリケーション３０上における表示内容を理解しやすくなる。

また、操作支援システム１０は、例えば、図１８に示すように、操作対象アプリケーション３０のユーザ登録画面上の対象ＧＵＩ部品（例えば、「ユーザ名」、「現在利用サービス」、「追加申込サービス」等の各入力欄）の表示情報を取得し、その表示情報を所定の翻訳ルールに則って翻訳し、拡張部品として表示してもよい。翻訳ルールを実装する方法としては、公知の翻訳アプリケーションを利用してもよい。このようにすることでアプリケーション操作者が外国人等である場合も操作対象アプリケーション３０を操作しやすくなる。

（第１１の実施形態）
また、操作支援システム１０は、操作対象アプリケーション３０に表示されている情報を取得し、その情報を基に拡張部品に適用するルール（拡張部品ルール情報）を切り替えてもよい。

例えば、操作支援システム１０は、図１９の符号１９０１に示す操作対象アプリケーション３０のユーザ登録画面上から「現在利用サービス」の表示内容を取得し、符号１９０２に示す条件分岐に従い、拡張部品に適用するルールを切り替える場合を考える。

この場合、操作支援システム１０は、ユーザ登録画面上の「現在利用サービス」からの取得結果が「サービスＡ」の場合、符号１９０２に示すフローチャートに従い、「追加申込サービス」の拡張部品には、「サービス」という文字列が含まれる文字列であれば入力可能というルールを適用する（図１９の符号１９０３に示す画面参照）。

一方、操作支援システム１０は、ユーザ登録画面上の「現在利用サービス」からの取得結果が「サービスＢ」の場合、「追加申込サービス」の拡張部品には、「サービス２」、「サービス３」のみを選択可能なドロップダウンリストを表示するというルールを適用する（図１９の符号１９０４に示す画面参照）。

このように操作支援システム１０が操作対象アプリケーション３０上に表示されている情報によって、拡張部品や設定ルールを変更することで、アプリケーション操作者は、操作対象アプリケーション３０に対し効率的に入力を行うことができ、また入力ミスを低減することができる。

なお、上記のような操作対象アプリケーション３０に表示されている情報に基づく適用ルールの切り替えは、第９の実施形態で述べたとおり、操作対象アプリケーション３０の表示情報と拡張部品ルール情報を変数として記述したスクリプトを拡張部品連携情報として保持することで可能となる。

また、上記のような操作対象アプリケーション３０に表示されている情報に基づく適用ルールの切り替えを、第６の実施形態で述べた拡張部品間のルール設定と組み合わせてもよい。このようにすることで、操作対象アプリケーション３０上の拡張部品への入力に関し、複雑なルール設定が必要な場合でも対応可能である。

また、各実施形態で述べた操作支援システム１０は、上記の処理を実行する操作支援プログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記の操作支援プログラムを情報処理装置に実行させることにより、情報処理装置を操作支援システム１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）等のスレート端末等がその範疇に含まれる。また、操作支援システム１０を、Ｗｅｂサーバやクラウドとして実装し、ネットワーク経由でユーザの端末１の操作支援をするようにしてもよい。

（プログラム）
図２０は、操作支援プログラムを実行するコンピュータを示す図である。図２０に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図２０に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報、データは、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

また、操作支援プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、ハードディスクドライブ１０９０に記憶される。具体的には、上記実施形態で説明した操作支援システム１０が実行する各処理が記述されたプログラムモジュールが、ハードディスクドライブ１０９０に記憶される。

また、操作支援プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、操作支援プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、操作支援プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１ 端末
１０ 操作支援システム
１１ 定義部
１２ 共通部
１３ 実行部
１４ 拡張部品情報保持部
３０ 操作対象アプリケーション
１１１ 拡張部品作成・編集部
１２１ アプリケーション自動操作部
１２２ アプリケーション情報取得部
１３１ 拡張部品出力生成部
１３２ 拡張部品表示部
１３３ 拡張部品入力検出部
１３４ 拡張部品入力判定部
１３５ 判定結果表示部
１３６ 操作制限部

Claims (9)

1. 操作対象アプリケーションを構成するＧＵＩ部品の表示位置および表示サイズを示すＧＵＩ部品特定情報を取得する情報取得部と、
   取得した前記ＧＵＩ部品のＧＵＩ部品特定情報に基づき、前記ＧＵＩ部品の拡張部品を生成する拡張部品出力生成部と、
   前記生成した拡張部品を、画面上の前記ＧＵＩ部品上に重なるようにオーバーレイ表示する拡張部品表示部と、
   前記拡張部品への入力を検出する入力検出部と、
   前記拡張部品への入力に関するルールを記憶する記憶部と、
   前記拡張部品への入力が検出された場合、前記拡張部品への入力情報が、予め設定された前記拡張部品への入力に関するルールに合致するものか否かを判定し、前記入力情報が、予め設定された前記拡張部品への入力に関するルールに合致していると判定した場合、前記入力情報をアプリケーション自動操作部へ出力する判定部と、
   前記判定部により前記拡張部品への入力に関するルールに合致していると判定された入力情報を前記操作対象アプリケーションにおける前記ＧＵＩ部品に入力されたものとして、前記操作対象アプリケーションに反映させる前記アプリケーション自動操作部とを備えることを特徴とする操作支援システム。
2. 前記判定部により、前記入力情報が、前記拡張部品への入力に関するルールに合致していないと判定された場合、入力エラーを通知する判定結果表示部をさらに備えることを特徴とする請求項１に記載の操作支援システム。
3. 前記判定部により、前記入力情報が、前記拡張部品への入力に関するルールに合致していないと判定された場合、前記操作対象アプリケーションの他のＧＵＩ部品への入力操作を制限する操作制限部をさらに備えることを特徴とする請求項１に記載の操作支援システム。
4. 操作者の操作により、前記拡張部品の対象ＧＵＩ部品にカーソルが移動したことを検知した場合、前記カーソルを当該拡張部品に移動させる操作制限部をさらに備えることを特徴とする請求項１に記載の操作支援システム。
5. 前記判定部は、
   前記拡張部品への入力に関するルールに合致していると判定した入力情報を所定の変換表に基づき変換し、変換後の前記入力情報を前記アプリケーション自動操作部へ出力することを特徴とする請求項１に記載の操作支援システム。
6. 前記記憶部は、
   前記拡張部品への入力情報ごとに、前記入力情報に応じた入力制限の対象となる拡張部品である連携拡張部品と、当該連携拡張部品への入力に関するルールとを対応付けた拡張部品連携情報をさらに記憶し、
   前記判定部は、
   前記拡張部品への入力が検出された場合、前記拡張部品への入力情報および前記拡張部品連携情報に基づき、当該拡張部品の連携拡張部品への入力に関するルールを切り替え、当該拡張部品の連携拡張部品への入力情報が前記連携拡張部品への入力に関するルールに合致するものか否かをさらに判定することを特徴とする請求項１に記載の操作支援システム。
7. 前記拡張部品出力生成部は、
   取得した前記ＧＵＩ部品の情報に基づき、前記ＧＵＩ部品上に表示されている文字情報を所定のルールに従って変換した拡張部品を生成することを特徴とする請求項２に記載の操作支援システム。
8. 操作対象アプリケーションを構成するＧＵＩ部品の表示位置および表示サイズを示すＧＵＩ部品特定情報を取得するステップと、
   取得した前記ＧＵＩ部品のＧＵＩ部品特定情報に基づき、前記ＧＵＩ部品の拡張部品を生成するステップと、
   前記生成した拡張部品を、画面上の前記ＧＵＩ部品上に重なるようにオーバーレイ表示するステップと、
   前記拡張部品への入力を検出するステップと、
   前記拡張部品への入力が検出された場合、前記拡張部品への入力情報が、予め設定された前記拡張部品への入力に関するルールに合致するものか否かを判定するステップと、
   前記入力情報が、予め設定された前記拡張部品への入力に関するルールに合致していると判定された場合、前記入力情報を前記操作対象アプリケーションにおける前記ＧＵＩ部品に入力されたものとして、前記操作対象アプリケーションに反映させるステップと
   を含んだことを特徴とする操作支援方法。
9. 操作対象アプリケーションを構成するＧＵＩ部品の表示位置および表示サイズを示すＧＵＩ部品特定情報を取得するステップと、
   取得した前記ＧＵＩ部品のＧＵＩ部品特定情報に基づき、前記ＧＵＩ部品の拡張部品を生成するステップと、
   前記生成した拡張部品を、画面上の前記ＧＵＩ部品上に重なるようにオーバーレイ表示するステップと、
   前記拡張部品への入力を検出するステップと、
   前記拡張部品への入力が検出された場合、前記拡張部品への入力情報が、予め設定された前記拡張部品への入力に関するルールに合致するものか否かを判定するステップと、
   前記入力情報が、予め設定された前記拡張部品への入力に関するルールに合致していると判定された場合、前記入力情報を前記操作対象アプリケーションにおける前記ＧＵＩ部品に入力されたものとして、前記操作対象アプリケーションに反映させるステップと
   をコンピュータに実行させるための操作支援プログラム。

Images