JP3989530B1 - 記録装置と記録装置のためのプログラム - Google Patents

Abstract

【課題】操作画面をキャプチャして得られるキャプチャ画像が入力されると共に、ユーザの目が再生時におけるマウスカーソルの動きに追従しやすいように記録する記録装置とそのような記録装置のためのプログラムを提供する。
【解決手段】キャプチャされたキャプチャ画像がキャプチャ画像格納部１０に記録される記録装置２は、操作画面上でのマウスカーソルの位置を示すマウスカーソル位置情報に基づいてマウスカーソルの移動距離を算定するマウスカーソル移動距離算定部１４と、移動距離に基づいて積算移動距離を計数する移動距離積算部１６と、積算移動距離が設定された目標移動距離に達する毎に抽出信号を出力する抽出信号出力部２０と、抽出信号を出力させたマウスカーソル位置情報に時間的に対応するキャプチャ画像を抽出してキャプチャ画像格納部１０に記録するキャプチャ画像抽出部２１を備える。
【選択図】図２

Description

本発明は、操作画面をキャプチャして得られるキャプチャ画像を記録する記録装置とそのような記録装置のためのプログラムに関する。

近年、イントラネットやローカルエリアネットワーク等のネットワークの普及と共に、ネットワークに接続されたコンピュータ端末の監視やネットワークを利用した授業等の目的として、遠隔にあるコンピュータ端末の操作状況を確認するケースが増加している。このような目的を達成する技術の一つとして、コンピュータ端末の操作画面をキャプチャし、そのキャプチャ画像を確認することにより、コンピュータ端末の操作状況を把握する技術がある（例えば、特許文献１）。この特許文献１に係る遠隔制御システムでは、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されており、遠隔制御サーバにおいてクライアント端末からのアクセス要求情報を受け付ける構成としている。クライアント端末ではモニタに表示されている画像データを遠隔制御サーバに送信し、遠隔制御サーバでは受信した画像データをモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末の画面をキャプチャ画像として、所定のインターバルで操作ログに記録し、この記録後に遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像の再生を行っている。しかしながら、この特許文献１に係る技術では、単にキャプチャ画像を再生するだけであり、例えば、再生画面内にマウスカーソルがあり、そのマウスカーソルが素早く移動した場合には、再生画面を見ている人がマウスカーソルを見失ってしまうといった問題があった。

特開２００６−１０８９４７号公報（段落番号００５１等）

本発明の目的は、上記問題に鑑み操作画面をキャプチャして得られるキャプチャ画像が入力される記録装置において、ユーザの目が再生時におけるマウスカーソルの動きに追従しやすいように記録する記録装置とそのような記録装置のためのプログラムを提供することである。

上記目的を達成するための本発明に係る、記録装置の特徴は、操作画面をキャプチャして得られるキャプチャ画像が入力され、前記操作画面上でのマウスカーソルの位置を示すマウスカーソル位置情報に基づいて前記マウスカーソルの移動距離を算定するマウスカーソル移動距離算定部と、前記移動距離に基づいて積算移動距離を計数する移動距離積算部と、前記積算移動距離が設定された目標移動距離に達する毎に抽出信号を出力する抽出信号出力部と、前記抽出信号を出力させたマウスカーソル位置情報に時間的に対応するキャプチャ画像を抽出してキャプチャ画像格納部に記録するキャプチャ画像抽出部と、を備える点にある。

このような構成とすれば、マウスカーソルが一定距離進む毎に抽出するため、所定時間内におけるマウスカーソルの移動距離を一定となるように記録して再生することが可能となる。したがって、キャプチャされた画像においてマウスカーソルの動きが不規則であっても、そのままキャプチャ画像格納部から読み出すだけでマウスカーソルの移動を一定にして再生できるため、マウスカーソルの視認が容易となり、マウスカーソルを見失うことなく目で追いかけやすくすることができる。

また、前記記録装置は、前記キャプチャ画像と前記マウスカーソル位置情報とが、別々に入力されると共に、共通のタイムスタンプに基づいて経時的にリンクされていると好適である。このような構成とすれば、キャプチャ画像とマウスカーソル位置情報とが、共通のタイムスタンプでリンクされているため、別々に入力されても経時的なマッチングをとって処理することが可能である。

また、前記記録装置は、前記マウスカーソル位置情報が、前記キャプチャ画像から画像処理によって算出されると好適である。このような構成とすれば、キャプチャ画像からマウスカーソルの位置情報を算出するため、マウスカーソル位置情報を取得する必要がなくなる。

また、前記記録装置は、前記マウスカーソル位置情報に対応するキャプチャ画像が存在しない場合に、対応する補完画面を生成する補完画面生成部が備えられていると好適である。このような構成とすれば、抽出信号を出力させたマウスカーソル位置情報に対応するキャプチャ画像がなくても、マウスカーソル位置情報に基づいてキャプチャされていない画像を補完生成することができるため、スムーズなマウスカーソルの動きを再現することが可能となる。

また、前記記録装置は、前記抽出信号が、前記マウスカーソルが前記操作画面における所定位置にある場合にも付加的に出力されると好適であるし、操作状況が記録される操作ログ情報を格納する操作ログ情報格納部を備えると共に、前記抽出信号が、前記操作ログ情報に特定の操作を示す操作ログが記録されている場合にも付加的に出力されると好適である。このような構成とすれば、操作画面の所定位置上にマウスカーソルがある場合や例えば、プログラムの起動等の特定の操作をした時点での操作画面も抽出して記録することができるため、再生時において見逃すことを防止することができる。

また、前記記録装置は、前記目標移動距離が、前記キャプチャ画像がキャプチャされた時刻に応じて変更可能であると好適である。このような構成とすれば、記録目的に応じて目標移動距離を変更することができる。例えば、記録対象となるキャプチャ時間が一日である場合には、休憩時間中には自動的に目標移動距離を大きくしたり、一週間である場合には、休日には自動的に目標移動距離を大きくしたりすることが可能となる。

更に、本発明では、操作画面をキャプチャして得られるキャプチャ画像がキャプチャ画像格納部に記録される記録装置のためのプログラムも権利範囲としており、そのコンピュータプログラムは、前記操作画面上でのマウスカーソルの位置を示すマウスカーソル位置情報に基づいて前記マウスカーソルの移動距離を算定するマウスカーソル移動距離算定機能と、前記移動距離に基づいて積算移動距離を計数する移動距離積算機能と、前記積算移動距離が設定された目標移動距離に達する毎に抽出信号を出力する抽出信号出力機能と、前記抽出信号を出力させたマウスカーソル位置情報に時間的に対応するキャプチャ画像を抽出して前記キャプチャ画像格納部に記録するキャプチャ画像抽出機能と、をコンピュータに実現させることが可能である。

このように構成された記録装置のためのプログラムも上述した本発明の対象としての記録装置と比べて、実質的な特徴構成には相違はなく、上述した作用効果を得ることが可能である。

〔本発明の第一実施形態〕
以下、本発明に係る記録装置を使用する場合の一例として、図１のように構成されたコンピュータネットワークシステムを用いて説明する。図１は、このコンピュータネットワークシステムを模式的に示した構成図であり、ユーザにより各種ファイルの作成、閲覧、複写、修正、削除、印刷等の操作が行われる端末１と、この端末１の操作状況を記録する記録装置２とからなる。端末１をユーザが使用している際に端末１のモニタ１Ａに表示される操作画面に基づくキャプチャ画像と、そのキャプチャ画像に表示される表示物の表示位置情報と、ユーザのマウス操作に基づいて記録されるマウスカーソル位置情報と、ユーザの操作に基づいて操作状況が記録される操作ログ情報と、が各端末１から記録装置２に送信される。したがって、各端末１のモニタ１Ａに表示される操作画面が記録装置２に記録されている状態にあると考えてよい。なお、キャプチャ画像は、端末１に備えられるキャプチャ画像生成部（図示しない）により生成される。また、本実施形態においては、キャプチャ画像と表示位置情報とマウスカーソル位置情報と操作ログ情報とは別々に送信されるものとしているが、これに限るものではない。これらのキャプチャ画像と表示位置情報とマウスカーソル位置情報と操作ログ情報とを含む操作情報が、一括して記録装置２に送信される構成とすることも当然に可能である。

図２は、記録装置２の構成を模式的に示すブロック図である。本記録装置２は、ネットワークに接続された端末１で取得されたキャプチャ画像をキャプチャ画像格納部１０に記録すると共に、マウスカーソル位置情報を格納するマウスカーソル位置情報格納部１１を備える。このマウスカーソル位置情報は、端末１におけるユーザのマウス操作に基づいて記録されるマウスカーソルＣｕの位置情報からなる。また、本記録装置２は、表示位置情報を格納する表示位置情報格納部１２も備える。この表示位置情報は、端末１が有するモニタ１Ａに表示されるアイコンの座標を表すアイコン情報や、スタートボタンを含むタスクバーの座標を表すタスクバー情報等からなる。なお、アイコンやタスクバー等はキャプチャ画像に表示される表示物として定義される。更に、本記録装置２は、操作ログ情報を格納する操作ログ情報格納部１３を備える。この操作ログ情報は、端末１を使用するユーザの操作に基づいて記録される操作ログからなる。したがって、この操作ログ情報からユーザの操作状況を認識することができる。

マウスカーソル位置情報には、端末１でのマウスカーソルＣｕの位置情報が記録されており、この位置情報が取得された取得時間とその取得時間におけるマウスカーソルＣｕのｘ座標とｙ座標とが記録されている。また、アイコン情報、タスクバー情報にも、夫々の座標が取得された取得時間とその取得時間におけるｘ座標とｙ座標とが記録される。なお、これらの座標はモニタ１Ａに表示される際の座標である。

マウスカーソル移動距離算定部１４は、マウスカーソル位置情報格納部１１に格納されたマウスカーソル位置情報からマウスカーソルＣｕが所定の移動時間に移動した移動距離の算定を行う。算定された移動距離は、移動距離算定結果として移動距離算定結果記録部１５に記録される。また、移動距離算定結果記録部１５に記録されている移動距離算定結果に基づいて、移動距離積算部１６はマウスカーソルＣｕの積算移動距離の計数を行う。

本記録装置２は、記録されたキャプチャ画像をモニタ２Ａで再生する際、再生画面に表示されるマウスカーソルＣｕの移動速度が一定となるように操作画面を記録する機能を備える。これは、マウスカーソルＣｕが所定距離（一定距離）移動する毎にその時の操作画面を記録することにより実現できる。この所定距離は、目標移動距離として予め目標移動距離設定部１７により設定可能である。また、ユーザにより目標移動距離入力部１８により入力された値を目標移動距離として設定することも可能である。このような構成であれば、記録目的に応じた目標移動距離の設定が可能となる。

移動距離比較部１９は、移動距離積算部１６が計数した積算移動距離と、目標移動距離設定部１７により設定された目標移動距離とを比較する。この比較結果に基づいて、抽出信号出力部２０は、キャプチャ画像抽出部２１がキャプチャ画像格納部１０からキャプチャ画像を抽出するタイミングを決定し、抽出信号を出力する。この抽出信号は、マウスカーソルが一定距離進む毎に出力される。具体的には、マウスカーソルＣｕの移動速度が速い場合には抽出信号が出力される時間間隔は短くなり、マウスカーソルＣｕの移動速度が遅い場合には抽出信号が出力される時間間隔は長くなる。この抽出信号を出力させたマウスカーソル位置情報に対応するキャプチャ画像を指定してキャプチャ画像格納部１０に記録することによりマウスカーソルＣｕの移動速度が一定となるように再生することが可能となる。

記録装置２が備える位置評価値算定部２２は、マウスカーソル位置情報と、アイコン情報やタスクバー情報等の表示位置情報に基づいてマウスカーソルＣｕの位置評価値の算定を行う。この位置評価値は、マウスカーソルＣｕのキャプチャ画像上での位置における重要度を規定するものである。この位置評価値に基づいてマウスカーソルＣｕがアイコン上、或いはタスクバー上にあるか否かを識別することが可能である。例えば、マウスカーソルＣｕがアイコン上にある場合にはアプリケーションの起動やフォルダを開く操作等の前段階である可能性が高く、タスクバー上にある場合にはアプリケーションの起動等の前段階である可能性が高い。したがって、位置評価値に基づいてこのような操作を事前に予測することが可能となる。一方、マウスカーソルＣｕが、アイコン上やタスクバー上の何れにも位置しない場合には、マウスカーソルＣｕが、それ以外の領域上で静止しているか、或いはそれ以外の領域上を移動しているかの何れかである可能性が高いことから、アプリケーションやファイルの操作等がされていないと予測することができる。

位置評価値算定部２２が算定した位置評価値に基づいて、抽出信号出力部２０が、マウスカーソルＣｕがアイコン上、或いはタスクバー上に位置すると判定した場合にも付加的に、積算移動距離に関わらず抽出信号をキャプチャ画像抽出部２１に出力する。また、操作ログ情報格納部１３に格納されている操作ログ情報は、操作ログ判定部２３に入力される。操作ログ判定部２３が、端末１においてアプリケーションの起動等の操作が行われたと判定した場合にも付加的に、抽出信号出力部２０は抽出信号をキャプチャ画像抽出部２１に出力する。

抽出信号が出力された場合に、抽出信号を出力させたマウスカーソル位置情報に対応する積算移動距離が、目標移動距離設定部１７で設定された目標移動距離よりも大きい場合には、マウスカーソルＣｕの移動距離が一定でないために、再生画面上でのマウスカーソルＣｕの動きが所定の位置から次の位置まで飛んで移動したように見えてしまうことになる。このような場合にも再生画面において、マウスカーソルＣｕの移動がスムーズに見えるように記録装置２には補完機能を備えている。抽出信号出力部２０が出力した抽出信号に対応するキャプチャ画像が目標移動距離に対応する画像でなければ、補完画面生成部２４が補完画面の生成を行う。この補完画面は、まず、マウスカーソル位置情報格納部１１に記録されているマウスカーソル位置情報からマウスカーソルＣｕの座標が決定される。次に、背景画像が、その対応する時間の前後いずれかの画像からマウスカーソルＣｕを画像処理により削除して生成される。そして、この背景画像に決定された座標に対応するようにマウスカーソルＣｕのイメージを合成することにより補完画面が生成される。この生成された補完画面は、キャプチャ画像抽出部２０が抽出したキャプチャ画像に適宜、挿入されるようにキャプチャ画像格納部１０に記録される。したがって、抽出信号に対応するキャプチャ画像が目標移動距離に対応する画像でない場合にも記録装置２は、マウスカーソルＣｕが飛ぶことなくスムーズに移動している画像として記録することが可能となる。

キャプチャ画像格納部１０に記録されたキャプチャ画像及び補完画面は、画像再生部２５に伝達され、ＶＲＡＭ（Video Random Access Memory）２６を介してモニタ２Ａに再生画面として再生される。また、本記録装置２は、ＣＰＵを中核部材として記録処理及びその再生に関する種々の動作を行うための機能部をハードウェア又はソフトウェア或いはその両方で構築されている。

次に、操作画面をキャプチャして得られたキャプチャ画像を用いて説明する。図３は、所定時間毎に端末１の操作に基づくモニタ１Ａの操作画面をキャプチャした画像の一例である。取得時間ｔ１からｔ４の間に取得された（ａ）の画面から（ｄ）の画面ではマウスカーソルＣｕの移動があるが、取得時間ｔ４からｔ５の間では、（ｄ）の画面から（ｅ）の画面に示されるようにマウスカーソルＣｕの移動が見られない。また、同様に、取得時間ｔ５からｔ１１の間は（ｅ）の画面から（ｋ）の画面に示されるようにマウスカーソルＣｕの移動があるが、取得時間ｔ１１からｔ１２にかけては、（ｋ）の画面から（ｌ）の画面に示されるようにマウスカーソルＣｕの移動が見られない。このようなキャプチャ画像が操作画面情報として、キャプチャ画像格納部１０に伝達される。

また、操作画面情報と共に、マウスカーソル位置情報がマウスカーソル位置情報格納部１１に格納される。このマウスカーソル位置情報の一例を図４に示す。マウスカーソル位置情報は、操作画面上でのマウスカーソルＣｕの位置を示す情報であり、マウスカーソルＣｕの位置情報を取得した取得時間と、その取得時間におけるｘ座標とｙ座標とからなる座標情報と共に、その取得時間に対応したキャプチャされた操作画面の画像データファイル名も記録される。図４の例では、取得時間はｔ１からｔ１２としている。その取得間隔は、キャプチャタイミングに合わせて２秒毎としているが、これに限らない。設定により２秒以下にすることも可能であるし、２秒以上にすることも当然に可能である。ｘ座標及びｙ座標については、操作画面の左下をｘ座標が０、ｙ座標が０として基準座標としているが、これに限らない。所定の箇所を基準座標として、マウスカーソルＣｕの座標を記録することは当然に可能である。

マウスカーソル位置情報格納部１１に格納されるマウスカーソル位置情報に基づいて、マウスカーソル移動距離算定部１４はマウスカーソルＣｕのｘ座標及びｙ座標の移動距離を算定する。これらの算定結果は、移動距離算定結果記録部１５に記録される。図４から算定された移動距離算定結果を図５に示す。取得時間ｔ１からｔ２までの間のｘ座標の移動距離「ｘ１−ｘ２」が算定され「−１６５」として記録される。以下同様に「ｘ２−ｘ３」以降も順次算定され記録される。更に、ｙ座標の移動距離もｘ座標の算定と同様に記録される。更に、これらのｘ座標の移動距離とｙ座標の移動距離とから操作画面上での移動距離が算定された結果が、移動距離として記録される。ただし、ここでは移動距離の算定結果は、見やすくするために小数点以下を四捨五入した結果を示している。

移動距離積算部１６は、移動距離算定結果記録部１５に記録される移動距離算定結果に基づいてマウスカーソルＣｕの積算移動距離の計数を行う。この積算移動距離と目標移動距離設定部１７において設定された目標移動距離とを、移動距離比較部１９が比較を行い、積算移動距離が目標移動距離に達する毎に抽出信号出力部２０は抽出信号（Ｈｉｇｈ信号）を出力する。図５の移動距離算定結果から計数された積算移動距離計数結果を図６に示す。図５の移動距離を積算したものが、図６の積算移動距離計数結果として記録される。ここで、座標情報はｄｏｔ単位で取得されていることから、移動距離や積算移動距離の単位も「ｄｏｔ」となる。なお、この単位は「ｄｏｔ」に限るものではなく、画面上の長さ（例えば、インチやｃｍ）等を使用することも可能である。

次に、抽出信号について説明する。図６の例では目標移動距離を「３００」ｄｏｔとしているが、取得時間ｔ１からｔ２までの間の積算移動距離は「１７０」ｄｏｔとなる。しかしながら、この段階では積算移動距離が目標移動距離に達していないため、抽出信号は出力されない。そして、この積算移動距離に取得時間ｔ２からｔ３までの間の移動距離「１３０」ｄｏｔを加えると、取得時間ｔ１からｔ３までの積算移動距離が「３００」ｄｏｔとして求められる。この場合（すなわち、ｔ３となった際）に積算移動距離が目標移動距離に達したため、抽出信号としてＨｉｇｈ信号が出力される。なお、この取得時間ｔ３の状態では、目標移動距離と積算移動距離が等しいことから、抽出信号出力部２０は取得時間ｔ３に取得されたキャプチャ画像が存在すると判断し、抽出信号をキャプチャ画像抽出部２１に出力する。この抽出信号の出力に合わせて移動距離積算部１６の積算移動距離をリセットする。したがって、取得時間ｔ３以降の積算移動距離計数は、「０」から始まることとなる。

取得時間ｔ３からｔ４までの間の積算移動距離は「３００」ｄｏｔとなる。この場合（すなわち、ｔ４となった際）に積算移動距離が目標移動距離に達したため、抽出信号としてＨｉｇｈ信号が出力される。なお、この取得時間ｔ４の状態も、上記と同様、目標移動距離と積算移動距離が等しいことから、抽出信号出力部２０は取得時間ｔ４に取得されたキャプチャ画像が存在すると判断し、抽出信号をキャプチャ画像抽出部２１に出力すると共に、移動距離積算部１６の積算移動距離をリセットする。

ここで、取得時間ｔ６の場合には、目標移動距離に達していないが抽出信号が出力されている。これは、マウスカーソルＣｕがアイコン上にあるために抽出信号が出力されたからである（図３（ｆ）参照）。このアイコンの位置は表示位置情報格納部１２に記録されている表示位置情報から判別可能であり、この表示位置情報とマウスカーソル位置情報格納部１１に記録されたマウスカーソル位置情報に基づいて、位置評価値算定部２２が判定することにより抽出信号出力部２０が抽出信号を出力する。

以下同様に処理が続けられ、抽出信号が出力されるまで積算移動距離計数が行われる。取得時間ｔ８からｔ９までの間に積算移動距離結果が「３０５」ｄｏｔとなっているが、この場合は、目標移動距離を越えるものの所定範囲内の差（本例では、「±１０」ｄｏｔを所定範囲としている）であるため取得時間ｔ９となった際に抽出信号が出力される。この所定範囲の設定は、予め設定することも可能であるし、変更することも可能である。一方、取得時間ｔ１０からｔ１１までの間に積算移動距離が「４５０」ｄｏｔとなり、目標移動距離「３００」ｄｏｔに対して所定範囲（「±１０」ｄｏｔ）を大きく超えている。したがって、このタイミング（取得時間ｔ１１）でキャプチャされたキャプチャ画像はないことになる。そのため、抽出信号は補完画面生成部２４に出力される。この抽出信号を受けて、補完画面生成部２４は補完画面を以下のように生成する。まず、マウスカーソル位置情報格納部１１に格納されているマウスカーソル位置情報からマウスカーソルＣｕの座標が決定される。次に、背景画像が、その対応する時間の前後いずれかの画像からマウスカーソルＣｕを画像処理により削除して生成される。そして、この背景画像に決定された座標に対応するようにマウスカーソルＣｕのイメージを合成することにより補完画面が生成される。また、補完画面生成部２４に抽出信号が出力された場合には、積算移動距離（ここでは、「４５０」ｄｏｔ）から目標移動距離（ここでは、「３００」ｄｏｔ）が減じられた値（「１５０」ｄｏｔ）が積算移動距離として残る。

次に、取得時間ｔ１１からｔ１２までの間の積算移動距離が計数されるが、目標移動時間に応じて、適宜、抽出信号出力部２０から抽出信号が出力される。以下、同様の処理が続けられる。なお、例えば、図６において取得時間がｔ１２で終了している場合には、積算移動距離が目標移動時間に達しなくても、最終画面として抽出信号を出力することにより記録するような構成とすることも可能である。

次に、抽出信号に基づいてキャプチャ画像格納部１０に記録された画像について説明する。図７は、図６の抽出信号に基づいてキャプチャ画像格納部１０に記録された画像である。図７（ａ）は、取得時間ｔ１における画像である。次に、抽出信号は取得時間ｔ３の時点で出力されているため、キャプチャ画像格納部１０には、取得時間ｔ３の画像が記録される（図７（ｂ）参照）。以下同様に、抽出信号の出力に応じた取得時間に取得されたキャプチャ画像がキャプチャ画像格納部１０に記録される。また、図７（ｄ）では、マウスカーソルＣｕがアイコン上にあることから位置評価値算定部２２の評価に応じて目標移動距離に達していないにも関わらず記録されている。図７（ｆ）には、補完画面生成部２４により生成された補完画面示され記録される。更に、取得時間ｔ１２は、目標移動距離に達していないが、キャプチャされた最終画面として記録される。ここで、図７（ｅ）のキャプチャ画面に関して、取得時間ｔ９において抽出信号の出力（図６参照）により記録されることとなっているが、マウスカーソルＣｕがアイコン上にあることから図７（ｄ）と同様に位置評価値算定部２２の評価に基づいて記録されるようにすることも当然に可能である。このようにして、マウスカーソルＣｕの移動距離が一定となるように操作画面を記録することができるため、再生時においてマウスカーソルＣｕを見失うことなく容易に再生画面を見ることが可能となる。本記録装置２によりマウスカーソルＣｕの移動距離を一定にして再生する場合には、再生速度の観点から見ると操作画面を早送り再生、若しくはスロー再生となっていることがある。このような場合には、図示はしないが、早送り再生、若しくはスロー再生となっている際に、モニタ２Ａを見ている人に対して、再生速度を変更しているか否かを認識可能となりように、その別をカウンタ表示やランプ表示等により明示することも可能である。

次に、本実施形態についてフローチャートを使用して説明する。図８は本記録装置２がマウスカーソルＣｕの移動が一定となるように操作画面を記録するためのフローチャートである。ここで、本フローチャートはキャプチャタイミング毎に各ステップが行われる。まず、目標移動距離設定部１７により目標移動距離が設定される（ステップ＃０１）。この際、目標移動距離入力部１８によりユーザが所望する目標移動距離を設定することも可能である。次に、マウスカーソル位置情報格納部１１に格納されているマウスカーソル位置情報を抽出し（ステップ＃０２）、マウスカーソルＣｕが操作画面に表示されるアイコンやタスクバー等の表示物上にあるか否かの確認を行う。この表示物の位置情報は、表示位置情報として表示位置情報格納部１２に格納されている。

これらの表示位置情報とマウスカーソル位置情報とから、位置評価値算定部２２が、マウスカーソルＣｕが表示物上にあるか否かの確認を行い、その位置評価値を抽出信号出力部２０に出力される。マウスカーソルＣｕが表示物等の所定位置上にあれば（ステップ＃０３：Ｎｏ）、抽出信号出力部２０は抽出信号をキャプチャ画像抽出部２１に出力する（ステップ＃１１）。一方、マウスカーソルＣｕが所定位置上になければ（ステップ＃０３：Ｙｅｓ）、操作ログ情報格納部１３に格納されている操作ログ情報を操作ログ判定部２３が抽出し（ステップ＃０４）、プログラムが起動されたか否かの確認を行い、その判定結果を抽出信号出力部２０に出力される。プログラムが起動されていれば（ステップ＃０５：Ｎｏ）、抽出信号出力部２０は抽出信号をキャプチャ画像抽出部２１に出力する（ステップ＃１１）。一方、プログラムが起動されていなければ（ステップ＃０５：Ｙｅｓ）、次の処理に移る。

上記の処理において、マウスカーソルＣｕが所定位置上になく、且つプログラムが起動されていなければ、マウスカーソル移動距離算定部１４が、マウスカーソル位置情報格納部１１に格納されているマウスカーソル位置情報に基づいて、マウスカーソルＣｕの移動距離の算定を行う（ステップ＃０６）。この移動距離の算定結果は、移動距離算定結果記録部１５に記録される（ステップ＃０７）。

次に、移動距離積算部１６が移動距離算定結果に基づいて積算移動距離の計数を行い（ステップ＃０８）、得られた積算移動距離と目標移動距離設定部１７により設定された目標移動距離とを移動距離比較部１９が比較を行う（ステップ＃０９）。目標移動距離と積算移動距離とが所定範囲内の差であれば（ステップ＃１０：Ｙｅｓ）、抽出信号出力部２０は抽出信号をキャプチャ画像抽出部２１に出力する（ステップ＃１１）。

抽出信号を出力させたマウスカーソル位置情報に対応するキャプチャ画像は、キャプチャ画像格納部１０に記録される（ステップ＃１２）。ステップ＃１０に戻り、目標移動距離より積算移動距離の方が小さい場合には（ステップ＃１４：Ｎｏ）、次のマウスカーソル位置情報を抽出し（ステップ＃０２）、上記同様の処理を継続する。

一方、目標移動距離より積算移動距離の方が大きい場合には（ステップ＃１４：Ｙｅｓ）、目標移動距離に対応する操作画面がキャプチャされていないことから補完生成する必要があるため、抽出信号出力部２０は補完画面生成部２４に抽出信号を出力する（ステップ＃１５）。この抽出信号に応じて、補完画面生成部２４は、マウスカーソル位置情報とその前後のキャプチャ画像とから補完画面の生成を行い（ステップ＃１６）、生成された補完画面はキャプチャ画像格納部１０に記録される(ステップ＃１２)。

マウスカーソル位置情報格納部１１に未評価のマウスカーソル位置情報がなければ（ステップ＃１３：Ｙｅｓ）、処理を終了する。この場合、最後に判定を行ったマウスカーソル位置情報に対応するキャプチャ画像は、積算移動距離が目標移動距離に達しているか否かに関わらず、キャプチャ画像格納部１０に記録するように構成してもよい。

ステップ＃１３に戻り、未処理のマウスカーソル位置情報があれば（ステップ１３：Ｎｏ）、「０」から計数を始めるために積算移動距離をリセットする（ステップ＃１７）。ここで、目標移動距離を変更しない場合には（ステップ＃１８：Ｙｅｓ）、ステップ＃０２から処理を継続する。一方、目標移動距離を変更する場合には（ステップ＃１８：Ｎｏ）、目標移動距離入力部１８によりユーザが所望する目標移動距離に変更し（ステップ＃１９）、ステップ＃０１から処理を継続する。上記フローにより、マウスカーソルＣｕの動きが一定となるように操作画面を記録することが可能となり、記録された操作画面を再生する際にマウスカーソルＣｕを見失うといった問題を生じないようにすることができる。

〔本発明の第二実施形態〕
上述の実施形態においては、表示位置情報やマウスカーソル位置情報は端末１から送信されるとして説明した。本発明に係る他の実施形態として、表示位置情報及びマウスカーソル位置情報の少なくともいずれか一方が端末１から送信されるキャプチャ画像を画像処理（画像評価）することにより位置座標が算出されるように構成することも好適である。このような構成とすれば、端末１から送信されたキャプチャ画像から表示位置情報若しくはマウスカーソル位置情報等を算出することができるため、これらの情報を取得する必要がなくなる。

〔その他の実施形態〕
上記実施形態では、マウスカーソルの移動距離に基づいてキャプチャ画像の抽出を行うとして説明したが、これに限らない。例えば、マウスカーソルでなくポインティングデバイスのカーソルの移動距離に基づいて抽出を行うことも本発明の権利範囲に含まれることは、当然である。

上記実施形態では、表示位置情報が、アイコンの座標を表すアイコン情報と、タスクバーの座標を表すタスクバー情報とからなるとして説明したが、これに限らない。これら以外にユーザが画面上の任意の場所を指定することも当然に可能である。このような構成であっても、指定された位置にマウスカーソルＣｕがある場合には位置評価値算定部２２の算定した位置評価値に応じて、抽出信号出力部２０が抽出信号を出力することは可能である。

上記実施形態では、目標移動距離は、目標移動距離設定部１７において設定されている、或いはユーザが所望する目標移動距離を目標移動距離入力部１８で入力することにより変更可能であるとして説明したが、これに限らない。例えば、キャプチャ画像がキャプチャされた時刻に応じて変更可能であると好適である。このような構成とすれば、例えば、記録対象となるキャプチャ時間が一日である場合には、休憩時間中には自動的に目標移動距離を大きくしたり、一週間である場合には、休日には自動的に目標移動距離を大きくしたりすることが可能となるため、適宜、記録目的に応じた設定が可能となる。

上記実施形態では、マウスカーソルＣｕの目標移動距離に基づいて、キャプチャ画像の抽出タイミングを変更するとして説明したが、これに限らない。例えば、希望する記録時間を入力し、その記録時間からマウスカーソルＣｕの移動距離を求め、その移動距離に基づいて記録することも可能である。このような場合には、入力された記録時間とマウスカーソルの移動距離とに基づいてマウスカーソルＣｕの目標移動距離を求め、その目標移動距離に応じて記録することにより希望する記録時間内での記録が可能となる。

上記実施形態では、操作ログ判定部２３が、操作ログ情報格納部１３から抽出された操作ログ情報にプログラムの起動を表す操作ログがあるか否かの確認を行い、該操作ログがあれば抽出信号を付加的に出力するとして説明したが、これに限らない。プログラムの起動以外にも、例えば、ファイルの削除や移動やコピー等のファイル操作等の特定の操作を示す操作ログがある場合にも付加的に抽出信号を出力することは当然に可能である。

上記の各実施形態では、ネットワークを介してキャプチャ画像と表示位置情報とマウスカーソル位置情報とが各端末１から記録装置２に送信されるとして説明したが、これに限らない。例えば、この記録装置２によるキャプチャ画像の記録機能、すなわち移動距離積算部１６や位置評価値算定部２２や移動距離比較部１９や抽出信号出力部２０やキャプチャ画像抽出部２１や補完画面生成部２４といった機能をモジュール化して端末１で実行可能なアプリケーションとし、各端末１にインストールすることで、端末１そのものをスタンドアローン型のキャプチャ画像記録機能付き端末にすることは当然に可能である。

上記の各実施形態では、記録装置２が単独のコンピュータにより構築されているとして説明したが、これに限らない。記録装置２の機能を区分けして、複数のコンピュータに分散させても良く、例えば、記録装置２におけるキャプチャ画像格納部１０をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から表示位置情報やマウスカーソル位置情報を読み出して種々の処理を行うことも当然に可能である。

上記実施形態では、キャプチャ画像とは、操作画面をキャプチャして得られた静止画ファイルや静止画ファイルの集合体として説明したが、これに限らない。端末１から送信されるキャプチャ画像は静止画であっても動画であっても良いことは当然である。キャプチャ画像が動画の場合でも、表示位置情報とマウスカーソル位置情報とから位置評価値を算出し、その位置評価値に応じて記録容量の低減化を行うことは当然に可能である。尚、動画の形式で端末１から記録装置２に送信される場合は、端末１のフォーマット部に静止画を動画化する機能が備えられることになる。また、端末１の操作画面（キャプチャ画面）をモニタ２Ａで表示する際も、静止画の連続表示（スライドショーのようなスタイル）でも良いし、動画表示でも良く、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。更に、キャプチャ画像格納部１５に記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合にはＪＰＥＧやＧＩＦ等が、動画の場合にはＭＰＥＧやＡＶＩ等が用いられる。

コンピュータネットワークシステムを模式的に示した図 記録装置の構成を模式的に示すブロック図 操作画面をキャプチャした画像の一例を示す図 マウスカーソル位置情報の一例を示す図 マウスカーソル位置情報に基づいて算出された移動距離算定結果を示す図 積算移動距離計数結果と抽出信号について示す図 抽出信号に基づいて記録された操作画面を示す図 マウスカーソルの移動距離に応じて記録するためのフローチャート図

符号の説明

２：記録装置
２Ａ：モニタ
１０：キャプチャ画像格納部
１１：マウスカーソル位置情報格納部
１２：表示位置情報格納部
１３：操作ログ情報格納部
１４：マウスカーソル移動距離算定部
１５：移動距離算定結果記録部
１６：移動距離積算部
１７：目標移動距離設定部
１８：目標移動距離設定部
１９：移動距離比較部
２０：抽出信号出力部
２１：キャプチャ画像抽出部
２２：位置評価値算定部
２３：操作ログ判定部
２４：補完画面生成部
２５：画像再生部
２６：ＶＲＡＭ

Claims (8)

1. 操作画面をキャプチャして得られるキャプチャ画像がキャプチャ画像格納部に記録される記録装置において、
   前記操作画面上でのマウスカーソルの位置を示すマウスカーソル位置情報に基づいて前記マウスカーソルの移動距離を算定するマウスカーソル移動距離算定部と、前記移動距離に基づいて積算移動距離を計数する移動距離積算部と、前記積算移動距離が設定された目標移動距離に達する毎に抽出信号を出力する抽出信号出力部と、前記抽出信号を出力させたマウスカーソル位置情報に時間的に対応するキャプチャ画像を抽出して前記キャプチャ画像格納部に記録するキャプチャ画像抽出部と、を備える記録装置。
2. 前記キャプチャ画像と前記マウスカーソル位置情報とが、別々に入力されると共に、共通のタイムスタンプに基づいて経時的にリンクされている請求項１に記載の記録装置。
3. 前記マウスカーソル位置情報が、前記キャプチャ画像から画像処理によって算出される請求項１に記載の記録装置。
4. 前記マウスカーソル位置情報に対応するキャプチャ画像が存在しない場合に、対応する補完画面を生成する補完画面生成部が備えられている請求項１から３のいずれか一項に記載の記録装置。
5. 前記抽出信号が、前記マウスカーソルが前記操作画面における所定位置にある場合にも付加的に出力される請求項１から４のいずれか一項に記載の記録装置。
6. 操作状況が記録される操作ログ情報を格納する操作ログ情報格納部を備えると共に、前記抽出信号が、前記操作ログ情報に特定の操作を示す操作ログが記録されている場合にも付加的に出力される請求項１から５のいずれか一項に記載の記録装置。
7. 前記目標移動距離が、前記キャプチャ画像がキャプチャされた時刻に応じて変更可能である請求項１から６のいずれか一項に記載の記録装置。
8. 操作画面をキャプチャして得られるキャプチャ画像がキャプチャ画像格納部に記録される記録装置のためのプログラムにおいて、
   前記操作画面上でのマウスカーソルの位置を示すマウスカーソル位置情報に基づいて前記マウスカーソルの移動距離を算定するマウスカーソル移動距離算定機能と、前記移動距離に基づいて積算移動距離を計数する移動距離積算機能と、前記積算移動距離が設定された目標移動距離に達する毎に抽出信号を出力する抽出信号出力機能と、前記抽出信号を出力させたマウスカーソル位置情報に時間的に対応するキャプチャ画像を抽出して前記キャプチャ画像格納部に記録するキャプチャ画像抽出機能と、をコンピュータに実現させる記録装置のためのプログラム。

Images