JPWO2014002812A1 - 端末装置及びアノテーション方法並びにコンピュータシステム及びコンピュータプログラム - Google Patents

Abstract

アノテーション文章を表示するための計算量を低減することが可能である端末装置及びアノテーション方法並びにコンピュータシステム及びコンピュータプログラムを提供する。アノテーション文章の表示対象となるウィンドウ毎に作成した複数のアノテーションルールをアノテーションＤＢ２６に蓄積し、業務画面状態取得部２１によって操作画面１０に表示されているウィンドウのうちの何れがアクティブウィンドウであるかを常時監視し、ユーザによってアノテーション表示操作が行われたときに、アノテーション表示部２２によってユーザの操作に関連するアクティブウィンドウのアノテーションルールをアノテーションＤＢ２６から取得して該アノテーションルールに含まれるアノテーション文章を操作画面１０に表示する。

Description

本発明は、端末装置で動作する業務システムにおいて、業務を行っているユーザを直接サポートするためのエージェントとなって端末装置上で動作するシステムに関し、特に既存の業務システムを改造することなく様々なユーザが主体となって業務知識を操作画面上のユーザインターフェースに対して追記或いは共有することができる技術に関する。

元来、端末装置を操作して業務を行っているユーザが操作対象となる実際の業務システムのユーザインターフェースを対象として、業務知識をユーザが直接記述することは業務システムの改変を伴うため不可能である。仮に操作対象の業務システムのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）があったとしても業務知識を記述するためには様々な業務システムによって提供されているＡＰＩの実装をその都度把握し、業務システムのアーキテクチャに即した関数からアクセスするための個々のアダプターの設定が必要であるため汎用的でない。

そこでユーザが業務システムの業務知識を記述する場合は業務システムとは別にテキストやｗｉｋｉなどの知識共有のツールを使って業務知識を蓄積することが多い。しかしそのような知識共有のツール内に記述された文章の中に、ユーザが画面のウィンドウの変遷に対してどのようなタイミングで業務知識を参照するべきかを記述することは困難であり、業務知識がテキストという１次情報に変換されているために２Ｄ画面での実操作とリンクした形式で業務知識を提供することは困難である。

また、画面上に表示されているウィジット（画面上に表示されたボタンやテキストなど固有のコントロール）に対して業務知識を直接的にユーザに提供することは難しい。

さらに、他のユーザによって記述されたテキスト形式の業務知識に対して、あるユーザが新しい業務知識を付与する際には、他のユーザによって蓄積された業務知識の文脈や背景を理解していなければならず、また、画面上に表示されているユーザインターフェースと同期したフォーマットで記述されていないため、実操作画面を踏まえた知識をドキュメント化することには稼働がかかってしまい、かつ表現することが難しかった。

さらにまた、業務システムを管理するシステムの作成者や主管側の立場の人が業務システムを操作するためのマニュアルを参照し、実際業務中のユーザからフィードバックを直接得るための環境が用意されていないため、マニュアルを改良するための機会に恵まれておらず、また現場のオペレータ間で操作画面を通して業務知識を共有させるためのデータベース（以下、ＤＢと称する）、及び端末装置の環境や業務システムのアーキテクチャを意識せず業務知識の共有を行うための端末装置で動作する操作支援のツールが提供されていないという背景があった。

一方、端末装置上で動作する既存の業務システムを改造することなく、外部からアクセスするためのＡＰＩを業務システムが持っていない場合でも、自動操作や画面のウィジットに対してそれを説明するためのテキストを付与できるツールとしてＳｉｋｕｌｉが知られている（非特許文献１を参照）。

ＳｉｋｕｌｉはＯｐｅｎＣＶによる画像のテンプレートマッチングを使用しており、エンドユーザが操作画面の画像を直接Ｐｙｔｈｏｎのスクリプト中に埋め込むことで、従来の操作支援ツールと比較して操作支援のためのスクリプトが容易に書けるという点に優位性がある。Ｓｉｋｕｌｉでは画像のテンプレートマッチングの結果に対して対応するテキストを自動化スクリプト内へ記述することができ、実際に動いているシステムに対して画像マッチングによってテキストをオーバーレイ表示させる機能を追加した（非特許文献２を参照）。

"Ｓｉｋｕｌｉ： ｕｓｉｎｇ ＧＵＩ ｓｃｒｅｅｎｓｈｏｔｓ ｆｏｒ ｓｅａｒｃｈ ａｎｄ ａｕｔｏｍａｔｉｏｎ "（ＵＩＳＴ ’０９ ｐｒｏｃｅｅｄｉｎｇ） "Ｃｒｅａｔｉｎｇ ｃｏｎｔｅｘｔｕａｌ ｈｅｌｐ ｆｏｒ ＧＵＩｓ ｕｓｉｎｇ ｓｃｒｅｅｎｓｈｏｔｓ "（ＵＩＳＴ ’１１ ｐｒｏｃｅｅｄｉｎｇ）

しかしながら、非特許文献１、非特許文献２に開示されている技術ではデフォルトで操作画面上に表示されている画面全体の画像に対して貪欲に画像のテンプレートマッチングを行うため、計算量が増加するという問題点があった。
また、ユーザが所望するテキストを表示させるための操作画面内のイベントをユーザ自身が事前に決定しスクリプト化する必要があるという点があった。さらには、テキストの表示のための契機となるイベント自体が画像のテンプレートマッチングによるものであるということから、ウィンドウのアクティブ、非アクティブに関わらず画像マッチングを行うので、非アクティブ時の画面上の表示による変化から画像マッチングに失敗するパターンを想定し明確にスクリプト化しなくてはならないという点、現実の業務システムの操作と連携してテキストを付与する際には画像マッチング自体をイベントの契機とするため、常時監視による計算量が増大するという点、監視のための画像マッチングの契機をユーザ自身の判断に委ねることで、業務知識表示のためのタイミングをユーザがうまく捉えられないという点、ユーザが実際の業務システムの画面を見ながら幾つかのテキストの候補から選択的に見たいテキストを選ぶためのユーザインターフェースを具備していないという点、また表示させたいテキストを含むスクリプトを管理する場合に探索する箇所が画面に表示されるウィンドウの何れかであって特定のＤＢを持っていないため、テキスト表示の箇所と画像をまとめて整理してユーザが編集する環境を提供していないという点、ユーザ間でスクリプトを共有させるための編集用のＤＢが用意されていないため、他のユーザによってスクリプトを編集追記させるのが難しいという点等の問題点があった。

本発明の目的は上記の問題点に鑑み、ユーザの操作に追従して画面上に表示されるテキストとアイコン（アノテーション）を表示するために計算量を低減することが可能である端末装置及びアノテーション方法並びにコンピュータシステム及びコンピュータプログラムを提供することである。

本発明のさらなる目的は、任意のユーザがアノテーション文章を追加及び編集することが容易に可能である端末装置及びアノテーション方法並びにコンピュータシステム及びコンピュータプログラムを提供することである。

本発明は上記目的を達成するために、アノテーション文章の表示対象となるウィンドウ毎に作成された複数のアノテーションルールが蓄積されているアノテーションデータベースと、複数のウィンドウを表示可能な操作画面に表示されているウィンドウのうちの何れがアクティブウィンドウであるかを常時監視すると共に、前記アノテーションデータベースを検索して前記アノテーションデータベース内に前記アクティブウィンドウに対応するアノテーションルールが存在し且つ前記ユーザによってアノテーション表示操作が行われたときにアノテーション表示部に対してアノテーション文章の表示を要求する業務画面状態取得部と、前記業務画面状態取得部からの要求に応じてユーザの操作に関連するアノテーションルールを前記アノテーションデータベースから取得して該アノテーションルールに含まれるアノテーション文章を前記操作画面に表示する前記アノテーション表示部とを備えていることを特徴とする端末装置を提案する。

本発明の端末装置によれば、アノテーションデータベースはアノテーションルールが表示対象となるウィンドウ毎に分けて蓄積されており、アノテーションの表示対象となるアクティブウィンドウが何れであるかが常時監視されているので、アノテーション文章を表示する際にはアクティブウィンドウに対応して蓄積されているアノテーションルールに含まれるアノテーション文書のみが検索されて表示される。

また、本発明は上記の目的を達成するために、上記端末装置においてさらに、アノテーション付与対象となるウィンドウが指定されたときに該ウィンドウ画面の属性値を前記アノテーションルールとして前記アノテーションデータベースに登録するアクティブウィンドウ画面属性値取得部と、ユーザの操作に基づいて、所定の照合位置を基準としてアノテーション文章の表示位置及びテンプレート画像の探索領域が指定すると共にテンプレート画像をアクティブウィンドウ全体のキャプチャイメージであるアノテーションベース画像から指定するアノテーション表示位置編集部と、ユーザの操作に基づいて前記アノテーションデータベースに蓄積されているアノテーションルールとしてのアクティブウィンドウのテンプレート画像の編集及びアクティブウィンドウ画面の属性値の編集を行うためのアノテーションデータベース編集部とを備え、前記業務画面状態取得部は、前記操作画面上の前記アクティブウィンドウを検出し、該アクティブウィンドウ内にのみアノテーションアイコンとメッセージツールチップとアノテーション文章を表示するように前記アノテーション表示部に対してアクティブウィンドウの座標位置及びサイズを指示し、前記アノテーション表示部は、ユーザがアノテーションを参照する際に、前記業務画面状態取得部から指示を受けたアクティブウィンドウ内であり且つユーザが指定するテンプレート画像に一致する画像付近の所定位置にアノテーションアイコンとメッセージツールチップと前記アノテーションデータベースに登録されているアノテーション文章を表示する端末装置を提案する。

本発明の端末装置によれば、アクティブウィンドウ画面属性値取得部によって、アノテーション付与対象となるウィンドウが指定されたときに該ウィンドウ画面の属性値がアノテーションルールとしてアノテーションデータベースに登録され、アノテーション表示位置編集部によって、ユーザの操作に基づいて、所定の照合位置を基準としてアノテーション文章の表示位置及びテンプレート画像の探索領域が指定されると共にテンプレート画像がアクティブウィンドウ全体のキャプチャイメージであるアノテーションベース画像から指定される。さらに、アノテーションデータベース編集部によって、ユーザの操作に基づいてアノテーションデータベースに蓄積されているアノテーションルールとしてのアクティブウィンドウのテンプレート画像の編集及びアクティブウィンドウ画面の属性値の編集が行われ、業務画面状態取得部によって、操作画面上のアクティブウィンドウが検出され、該アクティブウィンドウ内にのみアノテーションアイコンとメッセージツールチップとアノテーション文章を表示するようにアノテーション表示部に対してアクティブウィンドウの座標位置及びサイズが指示される。さらにまた、アノテーション表示部によって、ユーザがアノテーションを参照する際に、業務画面状態取得部から指示を受けたアクティブウィンドウ内であり且つユーザが指定するテンプレート画像に一致する画像付近の所定位置にアノテーションアイコンとメッセージツールチップとアノテーションデータベースに登録されているアノテーション文章が表示される。

また、本発明は上記の目的を達成するために、上記端末装置においてさらに、前記業務画面状態取得部は、ユーザの操作をポーリング形式で常時監視することによってウィンドウサイズ及びウィンドウ座標位置を取得し、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーションの再描画を行う端末装置を提案する。

本発明の端末装置によれば、業務画面状態取得部により、ユーザの操作がポーリング形式で常時監視されてウィンドウサイズ及びウィンドウ座標位置が取得され、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分が計算され、該計算結果に基づいてアノテーションの再描画が行われる。

本発明は上記の目的を達成するために、アノテーション文章の表示対象となるウィンドウ毎に作成した複数のアノテーションルールを書き換え可能な記憶部に形成されたアノテーションデータベースに蓄積するデータ蓄積手順と、前記データ蓄積手順の後に、複数のウィンドウを表示可能な操作画面に表示されているウィンドウのうちの何れがアクティブウィンドウであるかを常時監視する監視手順と、前記アノテーションデータベースを検索して前記アノテーションデータベース内に前記アクティブウィンドウに対応するアノテーションルールが存在し且つ前記ユーザによってアノテーション表示操作が行われたときに、ユーザの操作に関連するアノテーションルールを前記アノテーションデータベースから取得して該アノテーションルールに含まれるアノテーション文章を前記操作画面に表示する表示手順と、を有し、前記監視手順及び前記表示手順を並行して実行するアノテーション方法を提案する。

本発明のアノテーション方法によれば、端末装置によって、アノテーション文章の表示対象となるウィンドウ毎に作成された複数のアノテーションルールがアノテーションデータベースに蓄積され、操作画面に表示されているアクティブウィンドウが常時監視されているので、そのウィンドウプロパティ情報によってアノテーションデータベースを検索し、アノテーションデータベース内にアクティブウィンドウに対応するアノテーションルールが存在し且つユーザによってアノテーション表示操作が行われたときに、ユーザの操作に関連するアノテーションルールがアノテーションデータベースから取得され、該アノテーション文章が操作画面に表示される。

また、本発明は上記の目的を達成するために、上記アノテーション方法において、前記端末装置は、さらに、前記データ蓄積手順において、アノテーション付与対象となるウィンドウが指定されたときに該ウィンドウ画面の属性値を前記アノテーションルールとして前記アノテーションデータベースに登録する属性値取得手順を実行するか、或いは、前記データ蓄積手順において、ユーザの操作に基づいて、所定の照合位置を基準としてアノテーション文章の表示位置及びテンプレート画像の探索領域を指定すると共にテンプレート画像をアクティブウィンドウ全体のキャプチャイメージであるアノテーションベース画像から指定する表示位置編集手順を実行するか、或いは、前記データ蓄積手順において、ユーザの操作に基づいて前記アノテーションデータベースに蓄積されているアノテーションルールとしてのアクティブウィンドウのテンプレート画像の編集及びアクティブウィンドウ画面の属性値の編集を行うためのデータベース編集手順を実行し、前記表示手順において、ユーザがアノテーションを参照する際に、前記アクティブウィンドウ内であり且つユーザが指定するテンプレート画像に一致する画像付近の所定位置にアノテーションアイコンとメッセージツールチップと前記アノテーションデータベースに登録されているアノテーション文章を表示するツール表示手順を実行する、アノテーション方法を提案する。

本発明のアノテーション方法によれば、端末装置によって、さらに、アノテーション付与対象となるウィンドウが指定されたときに該ウィンドウ画面の属性値がアノテーションルールとしてアノテーションデータベースに登録され、ユーザの操作に基づいて、所定の照合位置を基準としてアノテーション文章の表示位置及びテンプレート画像の探索領域が指定されると共にテンプレート画像がアクティブウィンドウ全体のキャプチャイメージであるアノテーションベース画像から指定される。さらに、ユーザの操作に基づいて、アノテーションデータベースに蓄積されているアノテーションルールとしてのアクティブウィンドウのテンプレート画像の編集及びアクティブウィンドウ画面の属性値の編集が行われ、ユーザがアノテーションを参照する際に、アクティブウィンドウ内であり且つユーザが指定するテンプレート画像に一致する画像付近の所定位置にアノテーションアイコンとメッセージツールチップとアノテーションデータベースに登録されているアノテーション文章が表示される。

また、本発明は上記の目的を達成するために、上記アノテーション方法において、前記端末装置は、さらに、前記表示手順において、ユーザの操作をポーリング形式で常時監視することによってウィンドウサイズ及びウィンドウ座標位置を取得し、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーション文章の再描画を行うアノテーション方法を提案する。

本発明のアノテーション方法によれば、ユーザの操作がポーリング形式で常時監視されてウィンドウサイズ及びウィンドウ座標位置が取得され、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分が計算され、該計算結果に基づいてアノテーション文章の再描画が行われる。

また、本発明は上記の目的を達成するために、上記端末装置をクライアント端末として有し、該クライアント端末が通信網を介してサーバに接続されているコンピュータシステムにおいて、前記サーバは、前記クライアント端末のアノテーションデータベースに蓄積されているアノテーションルールと同等のアノテーションルールが蓄積されているサーバサイドアノテーションデータベースを備え、前記クライアント端末のアノテーションデータベースは、自己が蓄積するアノテーションルールに加えられた変更に同期して該変更と同じ変更を前記サーバサイドアノテーションデータベースに指示するコンピュータシステムを提案する。

本発明のコンピュータシステムによれば、クライアント端末のアノテーションデータベースに蓄積されているアノテーションルールと同等のアノテーションルールが蓄積されているサーバサイドアノテーションデータベースは、クライアント端末のアノテーションデータベースが蓄積するアノテーションルールに加えられた変更に同期して変更される。

また、本発明は上記の目的を達成するために、コンピュータ装置からなる端末装置に上記のアノテーション方法を実行させるコンピュータプログラムを提案する。

本発明のコンピュータプログラムによれば、該プログラムが起動されたコンピュータ装置からなる端末装置によって上記アノテーション方法が実行される。

本発明によれば、アノテーション文章を表示する際に、アノテーションデータベースに登録されているアノテーションルールの中のアクティブウィンドウと同等のタイトル名を持つアノテーションルールを検索し、抽出されたもののみを処理すればよいのでアノテーション文章の表示にかかる計算量及び時間を従来よりも低減することができる。
また、ユーザが、アノテーション付与対象となる新たなウィンドウのアノテーションルールをアノテーションデータベースに登録することができると共に、アノテーションデータベースに蓄積されているアノテーションルールを追加及び編集することができる。同時に、アノテーション文章を表示する際に、テンプレートマッチングの探索領域を予めアクティブウィンドウ内に限定することで、探索の計算量を抑えた効率的なマッチングが可能となる。さらにまた、アノテーション文章の再描画時にはウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーションの再描画が行われるので、アノテーション文章の再描画にかかる計算量及び時間を従来よりも低減することができる。また、サーバサイドアノテーションデータベースに蓄積されているアノテーションルールがクライアントサイドアノテーションデータベースに蓄積されているアノテーションルールの変更に同期して変更されるので、他のクライアント端末を使用するユーザとアノテーションルールを共有することができる。

本発明の一実施形態におけるコンピュータシステムを示す構成図 本発明の一実施形態における業務画面状態取得部の動作を説明する図 本発明の一実施形態におけるアノテーションアイコンの表示形態を説明する図 本発明の一実施形態におけるアノテーション表示の仕組みを説明する図 本発明の一実施形態におけるアノテーション表示位置編集部の動作を説明する図 本発明の一実施形態におけるクライアントサイドアノテーションデータベースに蓄積されているアノテーションルールのファイル構造の一例を示す図 本発明の一実施形態におけるサーバサイドアノテーションデータベースに蓄積されているアノテーションルールのファイル構造の一例を示す図 本発明の一実施形態におけるアノテーションツールの起動を説明するフローチャート 本発明の一実施形態におけるアノテーション表示モードを説明するフローチャート 本発明の一実施形態におけるアノテーション編集モードを説明するフローチャート

本実施形態は、本発明における、クライアント端末（端末装置）の業務システムのアプリケーションを利用する様々なユーザが操作画面を通じて業務を行う際に、操作画面上に表示される画像を元に予め作成されたアノテーションデータベース（以下、アノテーションＤＢと称する）を参照し、操作対象となっているアクティブウィンドウに対して操作画面にオーバーレイさせる形でアノテーション文章を表示させるコンピュータシステム及び端末装置の一具体例を説明するものである。

以下、添付の図を参照して本発明の一実施形態を説明する。以下に説明する実施形態は本発明の一実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

図１は本実施形態におけるコンピュータシステムの構成を示すブロック図である。図において、１はクライアント端末、３はサーバである。なお、クライアント端末１とサーバ３はネットワーク（通信網）５によって接続され、互いに通信可能な状態になっている。

また、以下で述べるアノテーションＤＢとは、クライアント端末１に備わるクライアントサイドアノテーションＤＢとサーバ３に備わるサーバサイドアノテーションＤＢの２つのＤＢ（データベース）の総称である。ユーザがアノテーションＤＢを参照するということは、クライアントサイドアノテーションＤＢを参照する場合とサーバサイドアノテーションＤＢを参照する場合の２つを意味している。ユーザがクライアント端末１からネットワーク５を介して直接、サーバサイドアノテーションＤＢを参照することも可能である。クライアントサイドアノテーションＤＢとサーバサイドアノテーションＤＢは、図６及び図７で示しているとおり、データの持ち方（例えばＸＭＬの構造）は差異がないが、ＤＢのテーブルに関しては、図６に示すクライアントサイドアノテーションＤＢのテーブルに比べて図７に示すサーバサイドアノテーションＤＢのテーブルでは＜ｕｓｅｒ＞テーブルの下に＜ｗｉｎｄｏｗ＞テーブルがあるなど、サーバサイドアノテーションＤＢのテーブルはクライアントサイドアノテーションＤＢのテーブルを包含するようなデータの持ち方をしている。

図１に示すように、クライアント端末１は、周知のコンピュータ装置からなり、操作画面１０を表示するモニタと、業務画面状態取得部２１、アノテーション表示部２２、アクティブウィンドウ画面属性値取得部２３、アノテーション表示位置編集部２４、アノテーションＤＢ編集部２５、クライアントサイドアノテーションＤＢ（以下、アノテーションＤＢと称する）２６、操作部２７を備えている。

本実施形態に係るアノテーション方法は、クライアント端末１が操作に関するアノテーション文章を操作画面に表示するアノテーション方法であって、データ蓄積手順と、監視手順と、表示手順と、を有する。監視手順はデータ蓄積手順の後に実行する。監視手順を実行中に表示手順を実行する。

データ蓄積手順では、アノテーション文章の表示対象となるウィンドウ毎に作成した複数のアノテーションルールをアノテーションＤＢ２６及び３１に蓄積する。
監視手順では、操作画面に１０表示されているウィンドウのうちの何れがアクティブウィンドウであるかを常時監視する。監視手順では、後述する図９に示すＳＢ６を実行する。
表示手順では、アノテーションＤＢ２６を検索してアノテーションＤＢ２６内にアクティブウィンドウに対応するアノテーションルールが存在し且つユーザによってアノテーション表示操作が行われたときに、ユーザの操作に関連するアノテーションルールをアノテーションＤＢ２６から取得して該アノテーションルールに含まれるアノテーション文章を操作画面に表示する。表示手順では、後述する図９に示すＳＢ５を実行する。本手順においてアノテーションＤＢ２６内にアノテーションルールが存在しない場合、アノテーションＤＢ３１を検索してもよい。

データ蓄積手順において、属性値取得手順、表示位置編集手順、データベース編集手順のいずれかを有していてもよい。
属性値取得手順では、アノテーション付与対象となるウィンドウが指定されたときに該ウィンドウ画面の属性値をアノテーションルールとしてアノテーションＤＢ２６に登録する。
表示位置編集手順では、ユーザの操作に基づいて、所定の照合位置を基準としてアノテーション文章の表示位置及びテンプレート画像の探索領域を指定すると共にテンプレート画像をアクティブウィンドウ全体のキャプチャイメージであるアノテーションベース画像から指定する。
データベース編集手順では、ユーザの操作に基づいてアノテーションＤＢ２６に蓄積されているアノテーションルールとしてのアクティブウィンドウのテンプレート画像の編集及びアクティブウィンドウ画面の属性値の編集を行う。
これらの場合、表示手順においてツール表示手順を実行する。ツール表示手順では、後述する図９に示すＳＢ２を実行する。

表示手順では、ユーザの操作をポーリング形式で常時監視することによってウィンドウサイズ及びウィンドウ座標位置を取得し、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーション文章の再描画を行ってもよい。

業務画面状態取得部２１は、図２に示すように、ウィンドウ状態常時取得エージェント２１１によってポーリング形式の状態取得（ｓｅｎｄ，ｇｅｔ）を行い、アクティブウィンドウのウィンドウハンドルを常時取得した状態で監視を行い、アクティブウィンドウが切り替えられたタイミングで変更があったときにはその都度、アクティブウィンドウが持つウィンドウテーブルＷＴからウィンドウの実行ファイル名、ウィンドウのサイズ、ウィンドウの座標位置等を取得する。なお、図２において横軸は時間を表し、縦軸はＺ−ｏｒｄｅｒを表す。また、ウィンドウテーブルＷＴとは、各ウィンドウ毎に設けられており、アクティブウィンドウのウィンドウハンドルから取得できるウィンドウタイトルやウィンドウの座標位置、ウィンドウの実行ファイル名などを保持しているウィンドウコントロールのテーブルである。ウィンドウ状態常時取得エージェント２１１は常にアクティブウィンドウに対して動作する。

ウィンドウズ（登録商標）のアプリケーションのウィンドウはＺ−ｏｒｄｅｒと呼ばれる順番に累積される形で操作画面１０上に表示されておりアクティブウィンドウとはＺ−ｏｒｄｅｒの順序中最前列に表示されるウィンドウのことである。ユーザのクリックイベント操作や他のウィンドウへの切り替えイベント（Ａｌｔ＋ｔａｂ）などによって最前列に切り替わる際の変化を捉え、アノテーション表示部２２及びクライアントサイドアノテーションＤＢ２６にアクティブウィンドウの変化を通知する。

業務画面状態取得部２１は、ユーザの操作によってアクティブウィンドウを変更した際には、ウィンドウ状態常時取得エージェントによって常時取得されるアクティブウィンドウのタイトル名の存在の有無を、アノテーションＤＢ２６内に保存されたアノテーションルールの中のウィンドウタイトル名の中から調べるテキストマッチング検索を行う。この検索によりアノテーションＤＢ２６内に該当するウィンドウタイトルが存在する際には、業務画面状態取得部２１はアノテーション表示部２２に対して該当するＤＢの表示のクエリを送信し、ウィンドウのサイズ或いはウィンドウの座標位置が変更された際には、業務画面状態取得部２１はアノテーション表示部２２に対してアノテーションアイコン及びメッセージツールチップ１１３の表示位置をその変化に合わせて移動するクエリを送る。また、業務画面状態取得部は、クライアントサイドアノテーションＤＢ２６に対して、アクティブウィンドウが変化した時に、変化後のアクティブウィンドウのウィンドウタイトルのうち、アノテーションＤＢ２６内に含まれているものの有無を聞くクエリを送る。ウィンドウ状態常時取得エージェント２１１がアノテーション表示部２２に対してアクティブウィンドウの切り替えタイミングのクエリを送ることで、アノテーション表示部２２は操作画面１０でのアノテーションアイコン群の表示を常時更新する。

アノテーション表示部２２は、クライアントサイドアノテーションＤＢ２６内に蓄積されたアノテーションのテーブルを取得し、図３に示すように、アクティブウィンドウ１１０上のウィジット１１１の位置を基にアノテーションがあることを示すアノテーションアイコン１１２をアクティブウィンドウ１１０にオーバーレイ表示させる。また、アノテーション表示部２２は、業務画面状態取得部２１からの通知の通り、ウィンドウのサイズ変更やウィンドウの座標位置が変更された際には相対的な座標位置の差分値の分をずらして再表示することにより、アノテーション表示位置のリアルタイムなトラッキングを可能にする。すなわち、ユーザが実際にアノテーションを参照する際には図４に示すようにアノテーションアイコン１１２を発見した後にマウスを使用してマウスカーソル１１５をアノテーションアイコン１１２上にホバリングするかまたはアノテーションアイコン１１２をクリックすることでメッセージツールチップ１１３を表示することが可能になり、アノテーションの中身であるアノテーション文章をメッセージツールチップ１１３内に表記することでユーザはアノテーション文章を参照することが可能となる。

アクティブウィンドウ画面属性値取得部２３は、アノテーションの付与先であるウィンドウの属性値を取得してこれをアノテーションルールとしてアノテーションＤＢ２６に初期登録する。この際、操作画面１０のアクティブウィンドウ画面属性値の取得に関しては、業務画面状態取得部２１で自動的に監視しているものとは異なり、ユーザの操作を契機として業務画面状態取得部２１のウィンドウテーブル取得の関数を利用する。また、アクティブウィンドウ画面属性値取得部２３は、アクティブウィンドウ１１０に該当するウィンドウ画面のウィンドウタイトル名、ウィンドウの実行ファイル名、ウィンドウサイズ等の属性値と、アノテーション表示位置編集部２４のベース画像となるアクティブウィンドウ全体のキャプチャイメージ（アノテーションベース画像）をアノテーションＤＢ２６へ登録する。

アノテーション表示位置編集部２４は、アクティブウィンドウ画面属性値取得部２３からクライアントサイドアノテーションＤＢ２６に登録されたアノテーションルール内のアノテーションのテーブルを編集する機能部である。アノテーション表示位置編集部２４は、ユーザの操作に基づいて、図５に示すように、アクティブウィンドウ画面属性値取得部２３によって予め取得したアクティブウィンドウの画面全体のキャプチャイメージ画像であるアノテーションベース画像３００上で選択された任意の画像をテンプレート画像３１５としてクライアント端末１を操作するユーザが指定することにより選択する。

また、アノテーション表示位置編集部２４は、クライアントサイドアノテーションＤＢ２６内に蓄積されているアノテーションルールの中のアノテーション表示設定の項目が設定されているアノテーションルールを利用して、図５に示すようにアノテーションの表示位置の画像をクライアント端末１を操作するユーザがテンプレート画像３１５として、このテンプレート画像に該当した位置を基準としてアノテーションアイコン１１２を表示させる。この際、アノテーションアイコン１１２を表示させるために、アノテーション表示位置編集部２４は、予め取得していたアクティブウィンドウ全体のキャプチャイメージ画像をアノテーションベース画像３００とし、アクティブウィンドウの座標位置３１１を起点とするアノテーションアイコンの相対ｘ座標位置３１２とアノテーションアイコンの相対ｙ座標位置３１３を利用してアノテーションの表示位置を編集する。照合位置３１６は、予めユーザの操作によって指定されているテンプレートマッチングの探索領域３１４内においてテンプレートマッチングで設定した類似度以上で最大の類似度を記録した確率を有する画像のドットの座標位置を表している。また、アノテーションアイコン１１２を表示する際には、照合位置３１６から予めユーザが設定した任意のアノテーションアイコンの相対ｙ座標３１３、アノテーションアイコンの相対ｘ座標３１２を基準として操作画面１０に表示させる。なお、ユーザは、アノテーション表示位置編集部２４を介して、アノテーション文章の表示位置及びテンプレート画像３１５、テンプレート画像の探索領域３１４を指定する。

上記のように、テンプレートマッチングの探索領域３１４を予めアクティブウィンドウ内に限定することで、探索の計算量を抑えた効率的なテンプレート画像３１５のマッチングが可能となる。

アノテーションＤＢ編集部２５は、クライアントサイドアノテーションＤＢ２６内に蓄積されたアノテーションルールを用い、図１に示すように、ユーザに対して常時編集可能なＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用意する。ユーザは、アノテーションＤＢ編集部のウィンドウ１４０を用いて、随時表示されたメッセージツールチップ１１３内のアノテーション文章の内容を確認することができると共に、このアノテーション文章を追記及び編集することができる。アノテーションＤＢ編集部のウィンドウ１４０には、アノテーションＤＢの構造表示ボックス１５０とアノテーション文章編集のテキストボックス１６０が表示される。さらに、アノテーションＤＢの構造表示ボックス１５０内には、ウィンドウタイトル１５１毎に対象アプリケーションフォルダ１５２が表示され、対象アプリケーションフォルダ１５２毎にアノテーション文章１５３が表示される。

このように、アノテーションＤＢの構造表示ボックス１５０では、クライアントサイドアノテーションＤＢ２６に登録されたウィンドウタイトルを主キーとするＤＢのテーブルを可視化する。アノテーション文章編集のテキストボックスをアノテーションＤＢの構造表示ボックス１５０とリンクさせてその都度編集するＧＵＩを具備することによって、クライアントサイドアノテーションＤＢ２６の内部の構造をユーザに対して分かりやすく表示することが可能である。

上記のように、アノテーションＤＢ編集部２５は、アノテーション表示位置編集部２４と連携して、ユーザがアノテーション表示位置及び探索領域等を自由に編集可能とするＧＵＩを持ち、アノテーションＤＢ２６からのフィードバックをすぐに受け取ることでユーザと相互作用的にアノテーション文章を追記編集可能にしている。なお、アノテーションＤＢ編集部２５は、ユーザの操作に基づいて、アノテーションルールの一部としてアノテーションＤＢ２６に蓄積されているアノテーション文章の表示位置及びテンプレート画像３１５、テンプレート画像の探索領域３１４、アクティブウィンドウ画面の属性値を編集する。

さらに、アノテーションＤＢ編集部は、ユーザがアノテーションを付与したいアプリケーションを登録するため、アクティブウィンドウ画面属性値取得部に対して、クライアントサイドアノテーションＤＢへの登録をするためのＧＵＩを提供する。例えば、マウスの右ボタンクリックによるプルダウンメニュー等のＧＵＩ（図示せず）を提供する。アクティブウィンドウ画面属性値取得部２３で登録されたウィンドウタイトルを始めとするアノテーションテーブルはＧＵＩ上に随時更新され、アノテーションＤＢ編集部のウィンドウ１４０内にあるアノテーションＤＢの構造表示ボックス１５０に可視化される。

クライアントサイドアノテーションＤＢ２６は、アノテーションルールを蓄積するための書き換え可能な不揮発性の記録部を有し、アノテーション表示部２２とアノテーションＤＢ編集部２５からのＤＢ変更のクエリ、アノテーション表示位置編集部２４からのＤＢ変更のクエリ、アクティブウィンドウ画面属性値取得部２３からのＤＢ新規登録のクエリを受け取り、サーバサイドアノテーションＤＢ３１内のテーブルのうち、ユーザのクライアント端末で必要な運用ポリシーに基づいた条件テーブルを受け取ることにより、ユーザに有用なサーバサイドアノテーションＤＢ２６を選択するトランザクションを受け取る。

図６に示すように、クライアントサイドアノテーションＤＢ２６内のファイル構造の例ではアノテーションＤＢ２６のテーブルをＸＭＬ構造で表現しており、変更のクエリ毎にアノテーション情報の変更と追加を行うトランザクションを走らせるＤＢの形態である。このアノテーションＤＢ２６が保持するデータは、アクティブウィンドウ画面属性値取得部２３を介して業務画面状態取得部２１から得られる実行ファイルの名前、プロセスＩＤ、ウィンドウタイトル等であり、クライアントサイドアノテーションＤＢ２６に登録する際にはウィンドウタイトルの変更を加えることで、アノテーションＤＢ２６を参照する時にはウィンドウタイトルを始めとするテーブルから該当する属性値を参照することが可能である。

操作部２７は周知のキーボード及びマウス等を有し、ユーザがキーボードやマウスを操作することにより文字入力や位置入力を行うことができるようになっている。

また、サーバ３は、周知のコンピュータ装置からなり、サーバサイドアノテーションＤＢ３１を備えている。

サーバサイドアノテーションＤＢ３１は、クライアントサイドアノテーションＤＢ２６と同様にアノテーションルールを蓄積するための書き換え可能な不揮発性の記録部を有し、図１に示すようにクライアントサイドアノテーションＤＢ２６に接続され、クライアントサイドアノテーションＤＢ２６に変更が加わるとそのＤｉｆｆ毎にクライアントサイドアノテーションＤＢ２６からサーバサイドアノテーションＤＢ３１に対して変更内容を同期する形態でサーバサイドアノテーションＤＢ３１のデータが同期して変更されるデータ構造、例えば図７に示すようなＸＭＬを始めとするデータ構造で構成されている。

サーバサイドアノテーションＤＢ３１は、図１に示すようにサーバ３の側に設けられているので、シンクライアント環境で動作するコンピュータシステムにおいては、クライアント端末１毎に或いはユーザ毎にカスタマイズされたアノテーションを提供することが可能である。

サーバサイドアノテーションＤＢ３１の導入によって、ユーザ毎に固有のテーブルを図７のように保有することができる。クライアント端末１へのアノテーションツールの導入だけでは、個々のクライアント端末１によって使用環境が異なり、クライアント端末１を使用するユーザが異なる状況の中で、アノテーションルールの内容を共有することは困難である。そこで、サーバサイドアノテーションＤＢ３１を備えたサーバ３を用意することで、クライアントサイドアノテーションＤＢ２６に固有のアノテーションＤＢ内のテーブル（ＯＳなどのユーザの使用環境、クライアント端末１で扱っているシステムの種類）などを集約させることができるというメリットが得られる。

なお、サーバ３にシンクライアント環境を導入することで、画面イメージだけをクライアント端末１に導入してオペレーション操作を行なうことができる。その際にはクライアント端末１の環境をサーバ３に導入することが考えられる。

次に、本実施形態におけるアノテーション表示及びアノテーションルールの追加編集に関して詳細に説明する。

図８にアノテーションツールの起動処理の流れを示したフローチャートを示し、図９にアノテーション表示モードで実行される処理の流れを示したフローチャートを示し、図１０にアノテーションＤＢ編集モードで実行される処理の流れを示したフローチャートを示す。

クライアント端末１の起動と同時にアノテーションツールが起動されると、図８に示すように、ユーザによってアノテーション表示モードが選択されたか否かを監視し（ＳＡ１）、アノテーション表示モードが選択されたときには図９に示すアノテーション表示モードを実行する（ＳＡ２）。アノテーション表示モードが終了されると（ＳＡ３）、上記ＳＡ１の処理に移行する。

また、上記ＳＡ１の監視の結果、アノテーション表示モードが選択されないときは図１０に示すアノテーションＤＢ編集モードを実行し（ＳＡ４）、アノテーション表示モードが選択されたとき以外はアノテーションＤＢ編集モードを実行する。

アノテーション表示モードでは、クライアント端末１は、図９に示すように、業務画面状態取得部２１によるアクティブウィンドウのテキストマッチングを行う（ＳＢ１）。すなわち、業務画面状態取得部２１のポーリング形式による状態の取得（ｓｅｎｄ，ｇｅｔ）を行う。ウィンドウ状態常時取得エージェント２１１が取得するウィンドウタイトル名に対して、クライアントサイドアノテーションＤＢ２６及びサーバサイドアノテーションＤＢ３１に蓄積されているアノテーションルールの中に保存されたＸＭＬ構造のｗｉｎｄｏｗタグに格納されているｔｉｔｌｅ値の文字列が含まれているかどうかテキストマッチングを行うことによりアクティブウィンドウのアノテーションルールがアノテーションＤＢ２６，３１内にあるかどうかの照合を行う。

この結果、アクティブウィンドウのアノテーションルールがアノテーションＤＢ２６，３１内にある場合は、クライアント端末１は、アノテーション表示部２２を実行する（ＳＢ２）ことにより前述したようにアノテーション表示部２２が画像マッチングを行い、アクティブウィンドウ１１０に対してアノテーションアイコン１１２の表示を行い、ユーザの操作に応じてメッセージツールチップ１１３及びアノテーション文章を表示する。

次いで、クライアント端末１は、アノテーションＤＢ２６，３１内にテキストマッチングで該当するアノテーション文章が１つ以上存在するか否かを判定する（ＳＢ３）。この判定の結果、クライアントサイドアノテーションＤＢ２６やサーバサイドアノテーションＤＢ３１内にアノテーション文章が１つ以上、複数登録されている場合（テキストマッチングで該当するアノテーションが１つ以上存在する場合）には、アクティブウィンドウ内における画像の１対１でのテンプレートマッチングが成立するか否かを判定する（ＳＢ４）。すなわち、登録されたアノテーション文章の数だけ画像のマッチングを当該アクティブウィンドウに対して行い、画像マッチングが成功する場合（アクティブウィンドウ下での画像の１対１でのテンプレートマッチングが成立する場合）にはアノテーションアイコンの表示を行い（ＳＢ５）、この後、上記ＳＢ３の処理に移行する。また、アクティブウィンドウ下での画像の１対１でのテンプレートマッチングが成立する場合には、前記ＳＢ３の処理に移行する。なお、上記ＳＢ３，ＳＢ４の処理を繰り返すことにより、１つのアノテーションルールを１つのウィンドウに適用して複数箇所にアノテーションアイコン１１２やアノテーション文章を表示することも可能である。

また、上記ＳＢ１の判定の結果、アクティブウィンドウのアノテーションルールがアノテーションＤＢ２６，３１内に無い場合、及び上記ＳＢ３の判定の結果、クライアントサイドアノテーションＤＢ３１やサーバサイドアノテーションＤＢ３１内にアノテーション文章が一つ以上登録されてない場合は、業務画面状態取得部２１による監視を行い（ＳＢ６）、アクティブウィンドウの変更があるか否かを監視する（ＳＢ７）と共にウィンドウの座標位置の変更があるか否かを監視し（ＳＢ８）、このようにアクティブウィンドウを常時監視することで、アクティブウィンドウの変更があった場合には上記ＳＢ１のテキストマッチング結果による条件分岐を経て、ＳＢ２の処理に移行してアノテーション表示部２２の再度実行を行い、ウィンドウの座標位置の変更があった場合にはアノテーション表示座標位置の相対位置変更を行う（ＳＢ９）。

一方、アノテーション編集モードの実行では、アノテーションＤＢ編集部２５がユーザの操作によって４つの機能、すなわち「新規アノテーションの作成」（ＳＣ１）、「アノテーションの編集」（ＳＣ２）、「アノテーションの削除」（ＳＣ３）、「アノテーション文章の編集」（ＳＣ４）の機能を持ち、アノテーション編集モードの実行が開始されるとクライアント端末１はこれらの機能をユーザの操作に応じて実行する。

「新規アノテーションの作成」（ＳＣ１）では、アクティブウィンドウ画面属性値取得２３によってアクティブウィンドウ画面属性値の取得を行い（ＳＣ５）、クライアントサイドアノテーションＤＢ２６，３１においてＸＭＬ構造のアノテーションＤＢを新規で作成する。このとき、対象ウィンドウのプロセス名、タイトル、ウィンドウクラス、取得時間等を取得することにより、アノテーションルールを編集するための土台となるＤＢを構築する。さらに、アノテーションＤＢ編集部２５からクライアントサイドアノテーションＤＢ２６に対してアノテーションルールの新規登録のクエリを送信することにより、アノテーションＤＢ２６に対して上記処理を要求する。これにより、サーバサイドアノテーションＤＢ３１にも新規アノテーションが作成される。

「アノテーションの編集」（ＳＣ２）では、アノテーション表示位置編集部２４を実行し（ＳＣ６）アノテーションベース画像からアノテーションアイコンの相対ｘ座標、相対ｙ座標、テンプレート画像、テンプレートマッチングの探索領域、テンプレートマッチングの類似度閾値を決定すると共に、アノテーションＤＢ編集部２５からクライアントサイドアノテーションＤＢ２６に対してテンプレートマッチングの入力値として使用されるパラメータ値変更のクエリを送信する。これにより、クライアントサイドアノテーションＤＢ２６はアノテーションルールの変更を行い、この変更に応じてアノテーションＤＢ編集部ウィンドウ１４０の表示内容の変更が行われる（ＳＣ７）と共に、サーバサイドアノテーションＤＢ３１のアノテーションルールも変更される。

「アノテーションの削除」（ＳＣ３）では、削除対象となるアノテーション文章を削除するためのクエリをクライアントサイドアノテーションＤＢ２６に送信する。これにより、クライアントサイドアノテーションＤＢ２６は指定されたアノテーション文章の削除を行い、この削除に応じてアノテーションＤＢ編集部ウィンドウ１４０の表示内容の変更が行われる（ＳＣ７）と共に、サーバサイドアノテーションＤＢ３１内の対応するアノテーション文章も削除される。

「アノテーション文章の編集」（ＳＣ４）では、アノテーション文章編集のテキストボックス１６０に入力されたアノテーション文章を更新する。このとき、アノテーションＤＢ編集部２５からクライアントサイドアノテーションＤＢ２６に対して、アノテーション文章の変更のクエリを送信する。これにより、クライアントサイドアノテーションＤＢ２６は指定されたアノテーション文章の変更を行い、この変更に応じてアノテーションＤＢ編集部ウィンドウ１４０の表示内容の変更が行われる（ＳＣ７）と共に、サーバサイドアノテーションＤＢ３１内の対応するアノテーション文章も変更される。

以上の４つの機能において、クライアントサイドアノテーションＤＢ２６の内容が変更された場合には、アノテーションＤＢ編集部ウィンドウ１４０の表示内容の変更を行い、実際の画面上に更新処理を行うと共に、サーバサイドアノテーションＤＢ３１と定期的に同期処理を行う。クライアントサイドアノテーションＤＢ２６側からサーバサイドアノテーションＤＢ３１へはクライアントサイドアノテーションＤＢの内容変更通知を行い、サーバーサイドアノテーションＤＢ側からクライアントサイドアノテーションＤＢ２６へはサーバサイドアノテーションＤＢのポリシー変更によるＤＢ内容変更通知を行うことで、両アノテーションＤＢ２６，３１の内容の定期更新処理を行う。

上記のように本実施形態によれば、操作画面１０上にアノテーションＤＢ２６，３１に蓄積されているアノテーション文章をオーバーレイ表示しているので、ユーザはこのアノテーション文章を見ることにより実際の業務を通じた知識を得ることができるため、業務を容易に遂行することができる。また、本実施形態では操作画面１０の遷移に合わせ画面上に表示されているウィジットを画面に固有の特徴量として画像で認識させているので、直接ユーザに対してインタラクティブに様々なアノテーション文章を提供することができる。さらに、複数人の様々な立場のユーザを対象として業務知識を具体化したアノテーション文章を蓄積するためのアノテーションＤＢを保持することでアノテーション文章の積極的な追記編集を可能にすることができる。

さらに、本実施形態によれば、アノテーション対象のウィンドウ毎に管理されたアノテーションＤＢを作成することでアノテーションの管理を容易にし、アクティブウィンドウのウィンドウタイトルの文字列によってアノテーションルールを検索し絞り込むことで無意味なテンプレートマッチング処理を減らし，同時にテンプレートマッチングのための探索領域を１つのウィンドウ（すなわちアクティブウィンドウ）に限定することで個々のテンプレートマッチング処理の計算量を抑えることができる。また、ユーザに対してアノテーションアイコン、メッセージツールチップ、アノテーション文章を表示するときはアクティブウィンドウ表示時に限定しているので探索の計算量を抑えることができ、アノテーションアイコンの表示位置をウィンドウの表示位置やウィンドウのサイズの変化に合わせてその都度移動させる機能を具備しているので実際の操作を阻害しない程度の処理速度を実現することができる。

また、本実施形態によれば、アノテーション文章の追記及び編集を容易に行えるアノテーションＤＢ編集用のＧＵＩを具備しているのでアノテーション文章が表示されているアノテーションアイコン、メッセージツールチップ内でのリアルタイムな追記変更が可能である。その変更に関する結果はシステムを動作させることで即座にユーザが確認し操作画面を通してフィードバックを得ることができるので、ユーザによる対話的なアノテーション作成作業を可能にしており、操作画面にオーバーレイする形態でアノテーション文章を表示し、アノテーション文章がその都度追記編集されたアノテーションルールを蓄積するアノテーションＤＢを具備しているのでこのアノテーションルールを他のユーザと容易に共有することができる。

さらにまた、本実施形態によれば、アノテーション文章の再描画時にはウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーションの再描画が行われるので、アノテーション文章の再描画にかかる計算量及び時間を従来よりも低減することができる。また、サーバサイドアノテーションＤＢ３１に蓄積されているアノテーションルールがクライアントサイドアノテーションＤＢ２６に蓄積されているアノテーションルールの変更に同期して変更されるので、他のクライアント端末を使用するユーザとアノテーションルールを共有することができる。

なお、クライアント端末１において、アノテーションＤＢ２６のハードウェアとしての記憶部以外で行われる処理の全て或いは一部をハードウェアによって実現すること或いはコンピュータプログラムによって実現することが可能であることは言うまでもない。

端末装置上で動作する既存の業務システムを改造することなく、外部からアクセスするためのＡＰＩを業務システムが持っていない場合でも、自動操作や画面のウィジットに対してそれを説明するためのアノテーションを容易に付与すること及びアノテーションルールの追加編集を容易に行うことができると共に、アノテーション表示の際のデータベース検索に要する計算量を従来よりも低減することができる。

１…クライアント端末（端末装置）、１０…操作画面、１１０…アクティブウィンドウ、１１１…ウィジット、１１２…アノテーションアイコン、１１３…メッセージツールチップ、１１４…マウスカーソル、１２０，１３０…ウィンドウ、１４０…アノテーションＤＢ編集部のウィンドウ、１５０…アノテーションＤＢの構造表示ボックス、１５１…ウィンドウタイトル、１５２…対象アプリケーションフォルダ、１５３…アノテーション文章、１６０…アノテーション文章編集のテキストボックス、２１１…ウィンドウ状態常時取得エージェント、３００…アノテーションベース画像、３１１…アクティブウィンドウの座標位置、３１２…アノテーションアイコンの相対ｘ座標位置、３１３…アノテーションアイコンの相対ｙ座標位置３１３、３１４…テンプレートマッチングの探索領域、３１５…テンプレート画像、３１６…照合位置、２１…業務画面状態取得部、２２…アノテーション表示部、２３…アクティブウィンドウ画面属性値取得部、２４…アノテーション表示位置編集部、２５…アノテーションＤＢ編集部、２６…クライアントサイドアノテーションＤＢ、２７…操作部、３…サーバ、３１…サーバサイドアノテーションＤＢ。

本発明は上記目的を達成するために、テキスト又はアイコンを含むアノテーションの表示対象となるウィンドウ毎に作成されたアノテーションルールが蓄積されているアノテーションデータベースと、ウィンドウを表示可能な操作画面に表示されているウィンドウのうちの何れがアクティブウィンドウであるかを監視すると共に、前記アノテーションデータベースを検索して前記アノテーションデータベース内に前記アクティブウィンドウに対応するアノテーションルールが存在し且つユーザによって操作が行われたときにアノテーション表示部に対してアノテーションの表示を要求する業務画面状態取得部と、前記業務画面状態取得部からの要求に応じてユーザの操作に関連するアノテーションルールを前記アノテーションデータベースから取得して該アノテーションルールに含まれるアノテーションを前記操作画面に表示する前記アノテーション表示部とを備えていることを特徴とする端末装置を提案する。

また、本発明は上記の目的を達成するために、上記端末装置においてさらに、前記業務画面状態取得部は、ユーザの操作をポーリング形式で監視することによってウィンドウサイズ及びウィンドウ座標位置を取得し、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーションの再描画を行う端末装置を提案する。

本発明は上記の目的を達成するために、端末装置が実行するアノテーション方法であって、テキスト又はアイコンを含むアノテーションの表示対象となるウィンドウ毎に作成したアノテーションルールを書き換え可能な記憶部に形成されたアノテーションデータベースに蓄積するデータ蓄積手順と、前記データ蓄積手順の後に、ウィンドウを表示可能な操作画面に表示されているウィンドウのうちの何れがアクティブウィンドウであるかを監視する監視手順と、前記アノテーションデータベースを検索して前記アノテーションデータベース内に前記アクティブウィンドウに対応するアノテーションルールが存在し且つユーザによって操作が行われたときに、ユーザの操作に関連するアノテーションルールを前記アノテーションデータベースから取得して該アノテーションルールに含まれるアノテーションを前記操作画面に表示する表示手順と、を有する、アノテーション方法を提案する。

また、本発明は上記の目的を達成するために、上記アノテーション方法において、前記端末装置は、さらに、前記表示手順において、ユーザの操作をポーリング形式で監視することによってウィンドウサイズ及びウィンドウ座標位置を取得し、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーション文章の再描画を行うアノテーション方法を提案する。

また、本発明は上記の目的を達成するために、コンピュータを、本発明に係る端末装置の各手段として機能させるためのコンピュータプログラムを提案する。

Claims (8)

1. アノテーション文章の表示対象となるウィンドウ毎に作成された複数のアノテーションルールが蓄積されているアノテーションデータベースと、
   複数のウィンドウを表示可能な操作画面に表示されているウィンドウのうちの何れがアクティブウィンドウであるかを常時監視すると共に、前記アノテーションデータベースを検索して前記アノテーションデータベース内に前記アクティブウィンドウに対応するアノテーションルールが存在し且つ前記ユーザによってアノテーション表示操作が行われたときにアノテーション表示部に対してアノテーション文章の表示を要求する業務画面状態取得部と、
   前記業務画面状態取得部からの要求に応じてユーザの操作に関連するアノテーションルールを前記アノテーションデータベースから取得して該アノテーションルールに含まれるアノテーション文章を前記操作画面に表示する前記アノテーション表示部とを備えている
   ことを特徴とする端末装置。
2. アノテーション付与対象となるウィンドウが指定されたときに該ウィンドウ画面の属性値を前記アノテーションルールとして前記アノテーションデータベースに登録するアクティブウィンドウ画面属性値取得部と、
   ユーザの操作に基づいて、所定の照合位置を基準としてアノテーション文章の表示位置及びテンプレート画像の探索領域を指定すると共に、テンプレート画像をアクティブウィンドウ全体のキャプチャイメージであるアノテーションベース画像から指定するアノテーション表示位置編集部と、
   ユーザの操作に基づいて前記アノテーションデータベースに蓄積されているアノテーションルールとしてのアクティブウィンドウのテンプレート画像の編集及びアクティブウィンドウ画面の属性値の編集を行うためのアノテーションデータベース編集部とを備え、
   前記業務画面状態取得部は、前記操作画面上の前記アクティブウィンドウを検出し、該アクティブウィンドウ内にのみアノテーションアイコンとメッセージツールチップとアノテーション文章を表示するように前記アノテーション表示部に対してアクティブウィンドウの座標位置及びサイズを指示し、
   前記アノテーション表示部は、ユーザがアノテーションを参照する際に、前記業務画面状態取得部から指示を受けたアクティブウィンドウ内であり且つユーザが指定するテンプレート画像に一致する画像付近の所定位置にアノテーションアイコンとメッセージツールチップと前記アノテーションデータベースに登録されているアノテーション文章を表示する
   ことを特徴とする請求項１に記載の端末装置。
3. 前記業務画面状態取得部は、ユーザの操作をポーリング形式で常時監視することによってウィンドウサイズ及びウィンドウ座標位置を取得し、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーションの再描画を行うことを特徴とする請求項１又は２に記載の端末装置。
4. アノテーション文章の表示対象となるウィンドウ毎に作成した複数のアノテーションルールを書き換え可能な記憶部に形成されたアノテーションデータベースに蓄積するデータ蓄積手順と、
   前記データ蓄積手順の後に、複数のウィンドウを表示可能な操作画面に表示されているウィンドウのうちの何れがアクティブウィンドウであるかを常時監視する監視手順と、
   前記アノテーションデータベースを検索して前記アノテーションデータベース内に前記アクティブウィンドウに対応するアノテーションルールが存在し且つ前記ユーザによってアノテーション表示操作が行われたときに、ユーザの操作に関連するアノテーションルールを前記アノテーションデータベースから取得して該アノテーションルールに含まれるアノテーション文章を前記操作画面に表示する表示手順と、
   を有し、
   前記監視手順及び前記表示手順を並行して実行するアノテーション方法。
5. 前記端末装置は、さらに、
   前記データ蓄積手順において、アノテーション付与対象となるウィンドウが指定されたときに該ウィンドウ画面の属性値を前記アノテーションルールとして前記アノテーションデータベースに登録する属性値取得手順を実行するか、或いは、
   前記データ蓄積手順において、ユーザの操作に基づいて、所定の照合位置を基準としてアノテーション文章の表示位置及びテンプレート画像の探索領域を指定すると共にテンプレート画像をアクティブウィンドウ全体のキャプチャイメージであるアノテーションベース画像から指定する表示位置編集手順を実行するか、或いは、
   前記データ蓄積手順において、ユーザの操作に基づいて前記アノテーションデータベースに蓄積されているアノテーションルールとしてのアクティブウィンドウのテンプレート画像の編集及びアクティブウィンドウ画面の属性値の編集を行うためのデータベース編集手順を実行し、
   前記表示手順において、ユーザがアノテーションを参照する際に、前記アクティブウィンドウ内であり且つユーザが指定するテンプレート画像に一致する画像付近の所定位置にアノテーションアイコンとメッセージツールチップと前記アノテーションデータベースに登録されているアノテーション文章を表示するツール表示手順を実行する、
   請求項４に記載のアノテーション方法。
6. 前記端末装置は、さらに、
   前記表示手順において、ユーザの操作をポーリング形式で常時監視することによってウィンドウサイズ及びウィンドウ座標位置を取得し、該ウィンドウ座標位置に対するアノテーション表示対象となる座標位置の差分を計算し、該計算結果に基づいてアノテーション文章の再描画を行う、請求項４又は５に記載のアノテーション方法。
7. 前記請求項１乃至３の何れかに記載の端末装置をクライアント端末として有し、該クライアント端末が通信網を介してサーバに接続されているコンピュータシステムにおいて、
   前記サーバは、前記クライアント端末のアノテーションデータベースに蓄積されているアノテーションルールと同等のアノテーションルールが蓄積されているサーバサイドアノテーションデータベースを備え、
   前記クライアント端末のアノテーションデータベースは、自己が蓄積するアノテーションルールに加えられた変更に同期して該変更と同じ変更を前記サーバサイドアノテーションデータベースに指示する
   ことを特徴とするコンピュータシステム。
8. コンピュータ装置からなる端末装置に前記請求項４乃至６の何れかに記載のアノテーション方法を実行させるコンピュータプログラム。

Images