JP3997256B1

JP3997256B1 - 再生装置と再生装置のためのプログラム

Info

Publication number: JP3997256B1
Application number: JP2007049355A
Authority: JP
Inventors: 稔和仁; 直樹本永
Original assignee: Ｓｋｙ株式会社
Priority date: 2007-02-28
Filing date: 2007-02-28
Publication date: 2007-10-24
Anticipated expiration: 2027-02-28
Also published as: JP2008217059A

Abstract

【課題】キャプチャされた操作画面を再生すると共に、マウスカーソルの動きが一定となるように再生速度を変更する再生装置とそのような再生装置のためのプログラムを提供する。
【解決手段】キャプチャされた操作画面を再生する再生装置２は、操作画面を格納するキャプチャ画像格納部１０と、マウスカーソル位置情報を格納するマウスカーソル位置情報格納部１１と、マウスカーソル位置情報に基づいて、マウスカーソルの移動速度を算定するマウスカーソル移動速度算定部１５と、移動速度とマウスカーソルが再生画面上で移動する速度である目標移動速度とに基づいて操作画面の抽出タイミングを決定する抽出タイミング決定部１９と、抽出タイミングに基づいてキャプチャ画像格納部１０から操作画面を抽出して再生する画像再生部と、を備える。
【選択図】図２

Description

本発明は、キャプチャされた操作画面を再生する再生装置とそのような再生装置のためのプログラムに関する。

近年、イントラネットやローカルエリアネットワーク等のネットワークの普及と共に、ネットワークに接続されたコンピュータ端末の監視やネットワークを利用した授業等の目的として、遠隔にあるコンピュータ端末の操作状況を確認するケースが増加している。このような目的を達成する技術の一つとして、コンピュータ端末の操作画面をキャプチャし、そのキャプチャ画像を確認することにより、コンピュータ端末の操作状況を把握する技術がある（例えば、特許文献１）。この特許文献１に係る遠隔制御システムでは、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されており、遠隔制御サーバにおいてクライアント端末からのアクセス要求情報を受け付ける構成としている。クライアント端末ではモニタに表示されている画像データを遠隔制御サーバに送信し、遠隔制御サーバでは受信した画像データをモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末の画面をキャプチャ画像として、所定のインターバルで操作ログに記録し、この記録後に遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像の再生を行っている。しかしながら、この特許文献１に係る技術では、単にキャプチャ画像を再生するだけであり、例えば、再生画面内にマウスカーソルがあり、そのマウスカーソルが素早く移動した場合には、再生画面を見ている人がマウスカーソルを見失ってしまうといった問題があった。更に、処理を行わずにマウスカーソルが一定時間止まっている場合には、再生画面を見ている人もマウスカーソルが移動するまで待つ必要があるため、不便であった。

特開２００６−１０８９４７号公報（段落番号００５１等）

本発明の目的は、上記問題に鑑みキャプチャされた操作画面を再生する再生装置において、マウスカーソルの動きが一定となるように再生速度を変更する再生装置とそのような再生装置のためのプログラムを提供することである。

上記目的を達成するための本発明に係る、再生装置の特徴は、キャプチャされた操作画面を再生することによって再生画面を作り出し、前記操作画面を格納するキャプチャ画像格納部と、マウスカーソル位置情報を格納するマウスカーソル位置情報格納部と、前記マウスカーソル位置情報に基づいて、マウスカーソルの移動速度を算定するマウスカーソル移動速度算定部と、前記移動速度と前記マウスカーソルが前記再生画面上で移動する速度である目標移動速度とに基づいて前記操作画面の抽出タイミングを決定する抽出タイミング決定部と、前記抽出タイミングに基づいて前記キャプチャ画像格納部から前記操作画面を抽出するキャプチャ画像抽出部と、前記抽出された操作画面を再生する画像再生部と、を備える点にある。

このような構成とすれば、マウスカーソルのスピードを一定に保つように再生スピードを自動的に変更しながら再生することが可能となる。したがって、キャプチャされた画像においてマウスカーソルの動きが不規則であっても、マウスカーソルの移動速度を一定にできるため、マウスカーソルの視認が容易となり、目で追いかけやすくすることができる。

また、前記再生装置は、前記操作画面と前記マウスカーソル位置情報とが、別々に入力されると共に、共通のタイムスタンプに基づいて経時的にリンクされると好適である。このような構成とすれば、操作画面とマウスカーソル位置情報とが、タイムスタンプでリンクしているため、別々に入力されても経時的に処理することが可能である。

また、前記再生装置は、前記マウスカーソル位置情報が、前記操作画面から画像処理によって算出されると好適である。このような構成とすれば、操作画面からマウスカーソルの位置情報を算出するため、マウスカーソル位置情報を取得する必要がなくなる。

また、前記再生装置は、前記画像再生部が、前記目標移動速度に応じて前記マウスカーソルが一定速度で移動するように早送り再生、又はスロー再生を行う構成とすれば好適である。このような構成とすれば、マウスカーソルが常に動いている状態で再生されるため、例えば、操作が行われていないようなマウスカーソルが動いていない場合については、自動的に早送りをすることが可能となる。

また、前記再生装置は、前記操作画面からマウスカーソルを削除することにより背景画像を生成し、当該背景画像にマウスカーソルのイメージを決定された座標に対応させて合成して補完画面を生成する補完画面生成部が備えられており、前記決定された座標として、前記マウスカーソル位置情報格納部に格納されたマウスカーソル位置情報の座標が用いられると好適である。また、前記再生装置は、前記操作画面からマウスカーソルを削除することにより背景画像を生成し、当該背景画像にマウスカーソルのイメージを決定された座標に対応させて合成して補完画面を生成する補完画面生成部が備えられており、前記決定された座標として、前記マウスカーソル位置情報格納部に格納されたマウスカーソル位置情報から算定された移動距離と移動時間とに基づいて算出された座標が用いられると好適である。

このような構成とすれば、マウスカーソルの移動速度が速く、早送り再生、又はスロー再生を行う場合にマウスカーソル位置情報に基づいてキャプチャされていない画像を補完生成することができるため、スムーズなマウスカーソルの動きを再現することが可能となる。更には、対応するマウスカーソル位置情報が格納されていない場合にも、マウスカーソル位置情報から算定された移動距離と移動時間に基づいて、キャプチャされていない操作画面を補完生成することができるため、スムーズなマウスカーソルの動きを再現することが可能となる。

また、前記再生装置は、前記マウスカーソルの静止状態下においてキャプチャされた操作画面が、その再生時にスキップして表示されない構成であると好適である。このような構成とすれば、マウスカーソルが静止している状態でキャプチャされた操作画面はスキップして表示されないためにマウスカーソルの移動を待ちつづけることがなくなり、効率の良い再生が可能となる。

また、前記再生装置は、前記マウスカーソルが前記操作画面における所定位置にある場合には、実際の操作時の速度で再生する構成であると好適である。このような構成とすれば、マウスカーソルがアイコンの上にあるような場合にはプログラムを起動させる可能性があることから、録画された速度で再生することにより再生画面を注意深く確認することが可能となる。

また、前記再生装置は、前記目標移動速度が、目標移動速度設定部により変更可能であると好適である。このような構成とすれば、再生画面を見ながら、マウスカーソルの移動速度を遅く設定したり、或いは速く設定したりすることができるため、状況に即した再生画面の確認が可能となる。

また、前記再生装置は、前記操作画面の再生中に前記マウスカーソルを強調イメージで装飾する強調イメージ生成部が備えられている構成であると好適である。このような構成とすれば、再生中にマウスカーソルを見失うことなく、マウスカーソルの移動に合わせて目で追いかけやすくすることが可能となる。

更に、本発明では、キャプチャされた操作画面を再生することによって再生画面を作り出す再生装置のためのコンピュータプログラムも権利範囲としており、そのコンピュータプログラムは、前記操作画面をキャプチャ画像格納部に格納するキャプチャ画像格納機能と、マウスカーソル位置情報をマウスカーソル位置情報格納部に格納するマウスカーソル位置情報格納機能と、前記マウスカーソル位置情報に基づいて、マウスカーソルの移動速度を算定するマウスカーソル移動速度算定機能と、前記移動速度と前記マウスカーソルが前記再生画面上で移動する速度である目標移動速度とを比較して前記操作画面の抽出タイミングを決定する抽出タイミング決定機能と、前記抽出タイミングに基づいて前記キャプチャ画像格納部から前記操作画面を抽出するキャプチャ画像抽出機能と、前記抽出された操作画面を再生する画像再生機能と、をコンピュータに実現させることが可能である。

このように構成された再生装置のためのプログラムも上述した本発明の対象としての再生装置と比べて、実質的な特徴構成には相違はなく、上述した作用効果を得ることが可能である。

以下、本発明に係る再生装置の一例として、図１のように構成されたコンピュータネットワークシステムを用いて説明する。図１は、このコンピュータネットワークシステムを模式的に示した構成図であり、ユーザにより各種ファイルの作成、閲覧、複写、修正、削除、印刷等の操作が行われる端末１と、この端末１の操作状況を録画して再生する再生装置２とからなる。端末１をユーザが使用している際に端末１のモニタ１Ａに表示される操作画面に基づく操作画面情報と、マウス操作に基づいて記録されるマウスカーソル位置情報とが、各端末１から再生装置２に送信される。したがって、各端末１のモニタ１Ａに表示される操作画面が再生装置２に録画されている状態にあると考えてよい。

図２は、再生装置２の構成を模式的に示すブロック図である。再生装置２は、ネットワークに接続された端末１で取得されたキャプチャ画像を操作画面情報としてキャプチャ画像格納部１０に格納すると共に、マウスカーソル位置情報をマウスカーソル位置情報格納部１１に格納する。マウスカーソル位置情報には、端末１でのマウスカーソルＣｕの位置情報が所定時間間隔で記録されており、位置情報が取得された取得時間とモニタ１ＡにおけるマウスカーソルＣｕのｘ座標とｙ座標とが記録されている（詳細は後述する）。

マウスカーソル移動時間算定部１２は、マウスカーソル位置情報格納部１１に格納されたマウスカーソル位置情報から各取得時間の差を求め、この取得時間の差に基づいてマウスカーソルＣｕの移動時間の算出を行う。また、マウスカーソル移動距離算定部１３は各座標の差から移動した座標を求め、さらにその座標からマウスカーソルＣｕが所定の移動時間に移動した移動距離の算出を行う。算出された移動時間や移動距離は、位置情報算定結果として位置情報算定結果記録部１４に記録される。

位置情報算定結果記録部１４に記録されている位置情報算定結果に基づいて、マウスカーソル移動速度算定部１５はマウスカーソルＣｕの移動速度を算出し、この算出結果を移動速度算定結果記録部１６に記録する。

本再生装置２は、録画状態にある端末１のモニタ１Ａに表示される操作画面を再生装置２が備えるモニタ２Ａで再生する際、再生画面に表示されるマウスカーソルＣｕの移動速度が一定となるように適宜、再生速度を変更する機能を備える。この移動速度は、目標移動速度として再生装置２で再生画面を確認するユーザが目標移動速度設定部１７により設定可能である。また、一度設定した目標移動速度は、再生中に任意に変更することも可能である。

移動速度比較部１８は、移動速度算定結果記録部１６に記録された移動速度と、目標移動速度設定部１７により設定された目標移動速度とを比較する。この比較結果に基づいて、抽出タイミング決定部１９は、キャプチャ画像抽出部２０がキャプチャ画像格納部１０からキャプチャ画像を抽出するタイミングを決定し、抽出タイミングの指示を行う。ここで、この抽出タイミングは、上述の通り再生画面に表示されるマウスカーソルＣｕの移動速度が一定となるようなタイミングとなっている。具体的には、マウスカーソルＣｕの移動速度が速い場合には抽出タイミングの間隔は長くなり、マウスカーソルＣｕの移動速度が遅い場合には抽出タイミングの間隔は短くなる。すなわち、抽出タイミングの間隔が長い場合には表示経過時間が長いスロー再生となり、抽出タイミングの間隔が短い場合には表示経過時間が短い早送り再生となる。このように抽出タイミングを適宜、変更することによりマウスカーソルＣｕの移動速度が一定となるように再生速度が変更される。キャプチャ画像抽出部２０により抽出されたキャプチャ画像は、画像再生部２１に伝達され、ＶＲＡＭ（Video Random Access Memory）２２を介してモニタ２Ａに再生画面として再生される。

マウスカーソルの移動速度が遅い操作画面の再生時において、早送り再生を行う場合には再生画面上でのマウスカーソルＣｕの動きはスムーズに移動することになるが、マウスカーソルＣｕの移動速度が速い操作画面の再生時において、スロー再生を行う場合には取得したキャプチャ画像が不足していると、再生画面上でのマウスカーソルＣｕの動きは、所定の位置から次の位置まで飛んで移動したように見えてしまう場合がある。このような場合にも再生画面において、マウスカーソルＣｕの移動がスムーズに見えるように再生装置２には補完機能を備えている。抽出タイミング決定部１９が決定した抽出タイミングに対応するキャプチャ画像がキャプチャ画像格納部１０になければ、補完画面生成部２３が補完画面の生成を行う。この補完画面は、まず、位置情報算定結果記録部１４に記録されている位置情報算定結果からマウスカーソルＣｕの座標が決定される。次に、背景画像が、その対応する時間の前後いずれかの画像からマウスカーソルＣｕを画像処理により削除して生成される。そして、この背景画像に決定された座標に対応するようにマウスカーソルＣｕのイメージを合成することにより補完画面が生成される。この生成された補完画面は、キャプチャ画像抽出部２０が抽出したキャプチャ画像に適宜、挿入されるように画像再生部２１に伝達される。したがって、スロー再生時においてキャプチャ画像が不足した場合にも再生装置２は、マウスカーソルＣｕが飛ぶことなくスムーズに移動している画像を再生することが可能となる。

また、マウスカーソルＣｕの位置情報が、マウスカーソル位置情報格納部１１にない場合には、位置情報算定結果記録部１４に記録されているマウスカーソルＣｕの移動時間と移動距離とに基づいて、補完画面生成部２３によりマウスカーソルＣｕの座標が計算により求められる。上記と同様の方法で生成された背景画像に計算により求められた座標に対応するようにマウスカーソルＣｕのイメージを合成することにより、補完画面が生成される。この補完画面をキャプチャ画像抽出部２０が抽出したキャプチャ画像に適宜、挿入して再生することにより、マウスカーソルＣｕの移動がスムーズとなるような操作画面の再生を行うことが可能となる。

再生中にマウスカーソルＣｕをマーキングすることにより視認しやすくすることも好適である。このようなマーキングＭを行う場合には、マウスカーソルＣｕの強調イメージを強調イメージ生成部２４が生成する。マーキングＭを行うべきマウスカーソルＣｕの位置座標は、位置情報算定結果記録部１４に記録されている位置情報から認識可能である。強調イメージ生成部２４により生成されたマーキングＭは画像再生部２１に伝達され、キャプチャ画像、或いは補完画面と合成してＶＲＡＭ２２に送られ、モニタ２Ａに表示されることとなる（具体例は後述する）。また、この再生装置２は、ＣＰＵを中核部材として再生処理に関する種々の動作を行うための機能部をハードウェア又はソフトウェア或いはその両方で構築されている。

次に、キャプチャされた操作画像を用いて説明する。図３は、所定時間毎に端末１の操作に基づくモニタ１Ａの操作画面をキャプチャした画像の一例である。取得時間ｔ１からｔ３の間に取得された（ａ）の画面から（ｂ）の画面ではマウスカーソルＣｕの移動があるが、取得時間ｔ３からｔ９の間では、（ｂ）の画面から（ｅ）の画面に示されるようにマウスカーソルＣｕの移動が見られない。また、同様に、取得時間ｔ９からｔ１３の間は（ｅ）の画面から（ｇ）の画面に示されるようにマウスカーソルＣｕの移動があるが、取得時間ｔ１３からｔ１５にかけては、（ｇ）の画面から（ｈ）の画面に示されるようにマウスカーソルＣｕの移動が見られない。このようなキャプチャされた操作画面が操作画面情報としてキャプチャ画像格納部１０に格納される。

また、操作画面情報と共に、マウスカーソル位置情報がマウスカーソル位置情報格納部１１に格納される。このマウスカーソル位置情報の一例を図４に示す。マウスカーソル位置情報には、マウスカーソルＣｕの位置情報を取得した取得時間と、その取得時間におけるｘ座標とｙ座標とからなる座標情報と共に、その取得時間に対応したキャプチャされた操作画面の画像データファイル名も記録される。図４の例では、取得時間はｔ１からｔ１５としている。ここで１秒毎としているが、これに限らない。設定により１秒以下にすることも可能であるし、１秒以上にすることも当然に可能である。ｘ座標、及びｙ座標については、操作画面の左下をｘ座標が０、ｙ座標が０として基準座標としているが、これに限らない。所定の箇所を基準座標として、マウスカーソルＣｕの座標を記録することは当然に可能である。また、取得時間と画像データファイル名を比べると一対一に対応していないが、これは操作画面が２秒毎にキャプチャされていることを示し、図３の（ａ）から（ｈ）と対応して取得されている。したがって、例えば図３（ａ）から図３（ｂ）の間のマウスカーソルＣｕの座標情報も取得時間ｔ２として取得されていることとなる。このようにマウスカーソルＣｕの座標情報の取得タイミングと操作画面のキャプチャするタイミングとがずれていても可能であるし、座標情報の取得の都度、操作画面をキャプチャすることも当然に可能である。

マウスカーソル位置情報格納部１１に格納されるマウスカーソル位置情報に基づいて、マウスカーソル移動時間算定部１２はマウスカーソルＣｕの移動時間を算出し、マウスカーソル移動距離算定部１３はマウスカーソルＣｕのｘ座標及びｙ座標の移動距離を算出する。これらの算出結果は、位置情報算定結果記録部１４に記録される。図４から算出された位置情報算定結果を図５に示す。移動時間「ｔ１−ｔ２」は、取得時間ｔ１からｔ２までの時間差を算出した結果である「１秒」が記録され、以下同様に「ｔ２−ｔ３」以降も順次算出され記録されている。また、ｘ座標及びｙ座標の移動距離も移動時間と同様に、取得時間ｔ１からｔ２までの間のｘ座標の移動距離「ｘ１−ｘ２」が算出され「−３２０」として記録される。以下同様に「ｘ２−ｘ３」以降も順次算出され記録される。更に、ｙ座標の移動距離もｘ座標の算出と同様に記録される。更に、これらのｘ座標の移動距離とｙ座標の移動距離とから操作画面上での移動距離が算出された結果が、移動距離として記録される。ただし、ここでは移動距離の算出結果は、見やすくするために小数点以下を切捨てた結果を示している。

マウスカーソル移動速度算定部１５は、位置情報算定結果記録部１４に記録される位置情報算定結果に基づいてマウスカーソルＣｕの移動速度の算出を行い、移動速度算定結果として移動速度算定結果記録部１６に記録される。図５の位置情報算定結果から算出した移動速度算定結果を図６に示す。図５において、移動距離を移動時間で除した値が図６の移動速度として記録される。したがって、マウスカーソルＣｕの単位時間あたりの移動速度を算出することができる。ここで、座標情報は、ｄｏｔ単位で取得されていることから、移動速度の単位は「ｄｏｔ／秒」としている。なお、移動速度の単位は「ｄｏｔ／秒」に限るものではなく、画面上の長さ（例えば、インチやｃｍ）等を使用することも可能である。

次に、目標移動速度設定部１７において設定された目標移動速度に基づいて、マウスカーソルＣｕの移動が一定となるようにして再生装置２が備えるモニタ２Ａにて再生された画像について説明する。目標移動速度設定部１７で例えば、目標移動速度が２５０ｄｏｔ／秒として設定された場合の再生画面を図７に示す。図７（ａ）は、キャプチャ画像抽出部２０がキャプチャ画像格納部１０から抽出した取得時間ｔ１における画像である。次に、キャプチャされている画像は取得時間ｔ３で取得された画像であるが、目標移動速度に対応してキャプチャされた画像がキャプチャ画像格納部１０にないため、ｔ１からｔ３までのマウスカーソルＣｕの移動が目標移動速度での移動となるように補完画面生成部２３が補完画面の生成を行う。この生成は、位置情報算定結果記録部１４に記録されている位置情報算定結果に基づいて行われ、マウスカーソルＣｕの座標が計算により求められる。一方、背景画像はその前後いずれかの画像からマウスカーソルＣｕを画像処理により削除して生成される。この背景画像と座標計算により求められたマウスカーソルＣｕの画像を合成し、画像再生部２１に伝達される。この画像は、図７（ｂ）に示された画像となる。以降、目標移動速度に応じて同様に合成画像が生成される（図７（ｃ）参照）。また、キャプチャされた画像がキャプチャ画像格納部１０に格納されていれば、その画像が再生される（図７（ｄ）、図７（ｅ）等）。このようにして、マウスカーソルＣｕの移動が一定となるようにキャプチャ画像格納部１０から画像を抽出したり、補完画面を生成したりしながら再生される。また、アイコン上にマウスカーソルＣｕがあれば、目標移動速度に関わらず所定の操作が行われる可能性が高いことから、早送りをすることなく録画された速度で再生することも可能である。また、図７では目標移動速度が２５０ｄｏｔ／秒として設定された場合の再生画面を示すこととしたが、マウスカーソルＣｕの移動ベクトルが変わった時点においては、目標移動速度に関わらず録画速度で再生することも可能である（例えば、図７（ｅ）等）。また、図示はしないが、早送り再生、或いはスロー再生を行う際に、モニタ２Ａを見ている人に対して、再生速度を変更しているか否かを認識可能となりように、その別をカウンタ表示やランプ表示等により明示することも可能である。

モニタ２Ａを見ている人に対して、マウスカーソルＣｕの動きが容易に把握することができるようにマウスカーソルＣｕの周囲に強調イメージを付与することも可能である。強調イメージの一例を図８に示す。マウスカーソルＣｕの周囲にサークルで囲んだマーキングＭが強調イメージとなる。このようにすると、マウスカーソルＣｕの移動を目で追うことが容易となる。この強調イメージは、図８に示されるサークルに限らず、例えば四角形で囲んだり、点線のサークルで囲んだり、色を変更したりすることも当然に可能である。

次に、本実施形態についてフローチャートを使用して説明する。図９はマウスカーソルＣｕの動きが一定となるように再生するためのフローチャートである。まず、マウスカーソル位置情報格納部１１に格納されているマウスカーソル位置情報に基づいて、マウスカーソル移動時間算定部１２とマウスカーソル移動距離算定部１３とが、取得時間毎にマウスカーソルＣｕの移動時間と移動距離の算出を行う（ステップ＃０１）。算出された結果は、位置情報算定結果記録部１４に記録される（ステップ＃０２）。

次に、位置情報算定結果に基づいて、マウスカーソル移動速度算定部１５がマウスカーソルＣｕの単位時間毎の移動速度の算出を行う（ステップ＃０３）。この算出された移動速度は、移動速度算定結果記録部１６に記録される（ステップ＃０４）。予め設定された再生画面内でのマウスカーソルＣｕの移動速度となる目標移動速度と算出された移動速度とを移動速度比較部１８が比較を行う（ステップ＃０５）。

算出された移動速度が目標移動速度より速ければ（ステップ＃０６：Ｙｅｓ）、抽出タイミング決定部１９はスロー再生となるようなタイミングでキャプチャ画像抽出部２０に対し抽出タイミングの指示を行う。スロー再生に対応するキャプチャ画像がキャプチャ画像格納部１０にあれば、この指示にしたがって、キャプチャ画像抽出部２０は、キャプチャ画像格納部１０からキャプチャ画像の抽出を行う（ステップ＃０８）。一方、キャプチャ画像がなければ（ステップ＃０７：Ｎｏ）、補完画面生成部２３は位置情報算定結果記録部１４に記録されている位置情報算定結果に基づいて補完画面の生成を行う（ステップ＃０９）。

算出された移動速度が目標移動速度より遅い場合には（ステップ＃０６：Ｎｏ）、抽出タイミング決定部１９は早送り再生となるような抽出タイミングの指示を行う。ここで、早送り再生に対応するキャプチャ画像がキャプチャ画像格納部１０にあれば（ステップ＃１０：Ｙｅｓ）、キャプチャ画像抽出部２０は早送り再生のタイミングで対応するキャプチャ画像の抽出を行う（ステップ＃１１）。

早送り再生に対応するキャプチャ画像がキャプチャ画像格納部１０になければ（ステップ＃１０：Ｎｏ）、補完画面生成部２３は位置情報算定結果記録部１４に記録されている位置情報算定結果に基づいて補完画面の生成を行う（ステップ＃１２）。このようにキャプチャ画像の抽出や、補完画面の生成を行うことにより、マウスカーソルＣｕが一定の移動速度となるような再生を行うことが可能となる。

マウスカーソルＣｕに対し、強調イメージの生成を行う場合には（ステップ＃１３：Ｙｅｓ）、強調イメージ生成部２４が位置情報算定結果記録部１４に記録されているマウスカーソルＣｕの位置情報を参照して強調イメージの生成を行う（ステップ＃１４）。同様に、背景画面の生成を行い、強調イメージと合成を行う（ステップ＃１５）。この合成画像を画像再生部２１に伝達し、ＶＲＡＭ２２を介してモニタ２Ａに送られることにより再生される（ステップ＃１６）。一方、ステップ＃１１において、強調イメージの生成を行わない場合には（ステップ＃１３：Ｎｏ）、強調イメージとの合成を行うことなく画像再生部２１に伝達される。伝達された再生用の画像は、ＶＲＡＭ２２を介してモニタ２Ａに送られることにより再生される（ステップ１６）。

キャプチャ画像とマウスカーソル位置情報とが、共に残っていなければ（ステップ＃１７：Ｙｅｓ）、再生を終了する。一方、キャプチャ画像、或いはマウスカーソル位置情報のいずれか一方が残って入れば（ステップ＃１７：Ｎｏ）、処理が継続することとなるが、その際、再生速度を変更したい場合には（ステップ＃１８：Ｙｅｓ）、目標移動速度を変更し（ステップ＃１９）、ステップ＃０５から処理を継続する。また、再生速度を変更しなくて良い場合には（ステップ＃１８：Ｎｏ）、そのままステップ＃０５に戻り処理を継続する。このように処理を行うことにより、マウスカーソルＣｕの移動速度が一定となるようにキャプチャ画像を再生することが可能となる。
〔その他の実施形態〕

上記実施形態では、端末１から再生装置２には操作画面情報とマウスカーソル位置情報とが送信されるとして説明したが、これに限らない。例えば、操作画面情報とマウスカーソル位置情報と共に、ユーザ識別情報を取得し再生中にユーザ識別情報を表示しても良い。このような表示を行うことにより、再生画面がどのユーザのものかを理解することが容易となる。

上記実施形態では、端末１と再生装置２とがネットワークで接続されているとして説明したが、これに限らない。再生装置２はネットワークに接続されていなくても良く、再生装置を端末１に備えることにより、端末１自身で再生することも当然に可能である。

上記実施形態では、端末１と再生装置２とがネットワークで接続されているとして説明したが、これに限らない。例えば、操作画面情報やマウスカーソル位置情報が記録されたＣＤやＤＶＤ等のメディアによって再生装置２に伝達することも当然に可能である。このような構成とすれば、遠隔での授業等の実施も可能となる。

上記実施形態では、再生装置２が早送り再生を行うとして説明した。この早送り再生には、例えばマウスカーソルが一定時間動かない場合には、再生画面においてマウスカーソルＣｕの移動速度が一定となるように、マウスカーソルが一定時間動いていないキャプチャ画面を削除することが含まれることは当然である。

上記実施形態では、マウスカーソルＣｕの目標移動速度に基づいて、再生速度を変更するとして説明したが、これに限らない。例えば、希望する再生時間を入力し、その再生時間からマウスカーソルＣｕの移動速度を求め、その移動速度に基づいて再生することも可能である。このような場合には、入力された再生時間とマウスカーソルの移動距離とに基づいてマウスカーソルＣｕの移動速度を求め、その移動速度に応じて再生することにより希望する再生時間内での再生が可能となる。

上記の各実施形態では、再生装置２が単独のコンピュータにより構築されているとして説明したが、これに限らない。再生装置２の機能を区分けして、複数のコンピュータに分散させても良く、例えば、再生装置２におけるキャプチャ画像格納部１０をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から操作画面情報やマウスカーソル位置情報を読み出して種々の処理を行い、モニタ２Ａに表示させる独立した再生装置２を備えることも当然に可能である。

上記実施形態では、キャプチャ画像とは、操作画面をキャプチャして得られた静止画ファイルや静止画ファイルの集合体として説明したが、これに限らない。端末１から送信されるキャプチャ画像は静止画であっても動画であっても良いことは当然である。キャプチャ画像が動画の場合でも、マウスカーソルＣｕの移動速度をマウスカーソル位置情報から算出し、マウスカーソルＣｕの移動速度が一定となるように再生画面の再生速度を早送り再生にしたりスロー再生にしたりすることは当然に可能である。なお、動画の形式で端末１から再生装置２に送信される場合は、端末１のフォーマット部に静止画を動画化する機能が備えられることになる。また、端末１の操作画面（キャプチャ画面）をモニタ２Ａで表示する際も、静止画の連続表示（スライドショーのようなスタイル）でも良いし、動画表示でも良く、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。更に、キャプチャ画像格納部１０に格納される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合にはＪＰＥＧやＧＩＦ等が、動画の場合にはＭＰＥＧやＡＶＩ等が用いられる。

コンピュータネットワークシステムを模式的に示した図再生装置の構成を模式的に示すブロック図操作画面をキャプチャした画像の一例を示す図マウスカーソル位置情報の一例を示す図マウスカーソル位置情報に基づいて算出された位置情報算定結果を示す図位置情報算定結果に基づいて算出された移動速度算定結果を示す図目標移動速度に基づいて再生された再生画面を示す図マウスカーソルに強調イメージを付与した一例を示す図マウスカーソルの動きを一定となるように再生するためのフローチャート図

符号の説明

１：端末
２：再生装置
１０：キャプチャ画像格納部
１１：マウスカーソル位置情報格納部
１２：マウスカーソル移動時間算定部
１３：マウスカーソル移動距離算定部
１４：位置情報算定結果記録部
１５：マウスカーソル移動速度算定部
１６：移動速度算定結果記録部
１７：目標移動速度設定部
１８：移動速度比較部
１９：抽出タイミング決定部
２０：キャプチャ画像抽出部
２１：画像再生部
２２：ＶＲＡＭ
２３：補完画面生成部
２４：強調イメージ生成部
Ｃｕ：マウスカーソル
Ｍ：マーキング

Claims

キャプチャされた操作画面を再生することによって再生画面を作り出す再生装置において、
前記操作画面を格納するキャプチャ画像格納部と、マウスカーソル位置情報を格納するマウスカーソル位置情報格納部と、前記マウスカーソル位置情報に基づいて、マウスカーソルの移動速度を算定するマウスカーソル移動速度算定部と、前記移動速度と前記マウスカーソルが前記再生画面上で移動する速度である目標移動速度とに基づいて前記操作画面の抽出タイミングを決定する抽出タイミング決定部と、前記抽出タイミングに基づいて前記キャプチャ画像格納部から前記操作画面を抽出するキャプチャ画像抽出部と、前記抽出された操作画面を再生する画像再生部と、を備える再生装置。
前記操作画面と前記マウスカーソル位置情報とが、別々に入力されると共に、共通のタイムスタンプに基づいて経時的にリンクされることを特徴とする請求項１に記載の再生装置。
前記マウスカーソル位置情報が、前記操作画面から画像処理によって算出される請求項１に記載の再生装置。
前記画像再生部が、前記目標移動速度に応じて前記マウスカーソルが一定速度で移動するように早送り再生、又はスロー再生を行うことを特徴とする請求項１から３のいずれか一項に記載の再生装置。
前記操作画面からマウスカーソルを削除することにより背景画像を生成し、当該背景画像にマウスカーソルのイメージを決定された座標に対応させて合成して補完画面を生成する補完画面生成部が備えられており、
前記決定された座標として、前記マウスカーソル位置情報格納部に格納されたマウスカーソル位置情報の座標が用いられる請求項１から４のいずれか一項に記載の再生装置。
前記操作画面からマウスカーソルを削除することにより背景画像を生成し、当該背景画像にマウスカーソルのイメージを決定された座標に対応させて合成して補完画面を生成する補完画面生成部が備えられており、
前記決定された座標として、前記マウスカーソル位置情報格納部に格納されたマウスカーソル位置情報から算定された移動距離と移動時間とに基づいて算出された座標が用いられる請求項１から４のいずれか一項に記載の再生装置。
前記マウスカーソルの静止状態下においてキャプチャされた操作画面は、その再生時にスキップして表示されないことを特徴とする請求項１から６のいずれか一項に記載の再生装置。
前記マウスカーソルが前記操作画面における所定位置にある場合には、実際の操作時の速度で再生することを特徴とする請求項１から７のいずれか一項に記載の再生装置。
前記目標移動速度が、目標移動速度設定部により変更可能である請求項１から８のいずれか一項に記載の再生装置。
前記操作画面の再生中に前記マウスカーソルを強調イメージで装飾する強調イメージ生成部が備えられている請求項１から９のいずれか一項に記載の再生装置。
キャプチャされた操作画面を再生することによって再生画面を作り出す再生装置のためのプログラムにおいて、
前記操作画面をキャプチャ画像格納部に格納するキャプチャ画像格納機能と、マウスカーソル位置情報をマウスカーソル位置情報格納部に格納するマウスカーソル位置情報格納機能と、前記マウスカーソル位置情報に基づいて、マウスカーソルの移動速度を算定するマウスカーソル移動速度算定機能と、前記移動速度と前記マウスカーソルが前記再生画面上で移動する速度である目標移動速度とに基づいて前記操作画面の抽出タイミングを決定する抽出タイミング決定機能と、前記抽出タイミングに基づいて前記キャプチャ画像格納部から前記操作画面を抽出するキャプチャ画像抽出機能と、前記抽出された操作画面を再生する画像再生機能と、をコンピュータに実現させる再生装置のためのプログラム。