JP4096237B2 - 映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システム - Google Patents
映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システム Download PDFInfo
- Publication number
- JP4096237B2 JP4096237B2 JP2002278519A JP2002278519A JP4096237B2 JP 4096237 B2 JP4096237 B2 JP 4096237B2 JP 2002278519 A JP2002278519 A JP 2002278519A JP 2002278519 A JP2002278519 A JP 2002278519A JP 4096237 B2 JP4096237 B2 JP 4096237B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- time interval
- image
- display unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システムに関し、特に、各表示単位の静止画の時間的間隔を、ユーザが認識し易いように表示させることができるようにした映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システムに関する。
【０００２】
【従来の技術】
図１は、本出願人が、特許文献１に先に提案したストロボ表示装置の原理的な構成例を示している。このストロボ表示装置においては、入力された映像信号が外部のモニタ（図示せず）に、一定の時間間隔で出力される。
【０００３】
映像信号は、時間間隔決定部１１と静止画取得表示部１２にそれぞれ入力される。
【０００４】
時間間隔決定部１１は、時間間隔を決定し、対応する時間間隔情報を静止画取得表示部１２に出力する。静止画取得表示部１２は、時間間隔決定部１１から出力された時間間隔情報のタイミングで、入力された映像信号を静止画として取り込み、出力する。
【０００５】
時間間隔決定部１１は、図２に示されるように、時間間隔算出部２１を有している。
【０００６】
時間間隔算出部２１は、上述したように、予め所定の値に定められた時間間隔に従って、時間間隔情報を静止画取得表示部１２に出力する。この時間間隔は、例えば、装置のメーカなどにより予め設定された固定の値であったり、ユーザが装置に設定した固定の値である。
【０００７】
図３は、図１の静止画取得表示部１２の構成例を示している。
【０００８】
静止画保持部３１は、外部より入力された映像信号を、内蔵するメモリ（図示せず）に一時的に保持するとともに、その映像信号の所定のフレームの画像を、時間間隔算出部２１より入力された時間間隔情報に合わせて、静止画として取り込み、提示情報作成部３２に出力する。
【０００９】
提示情報作成部３２は、入力された静止画を、３×３個に分割された小画面のうちのいずれに配置するかを表す位置情報を作成し、その位置情報とともに静止画を出力する。
【００１０】
以上のような従来のストロボ表示装置は、時間の経過に伴って、静止画を小画面に順次表示させることが可能であり、複数の異なる時刻の静止画を、１個の画面上で同時に見ることが可能である。その特長を利用して、例えば、体操競技、ゴルフスイング、スノーボードなどのスポーツのフォーム分析などに幅広く利用される。
【００１１】
例えば、図４に示されるように、体操競技者が前転とび前方宙返りを行い、その映像を、上述した従来のストロボ表示装置を使用して取り込むものとする。なお、図４における画像４１−１乃至４１−１５は、体操競技者の動きを説明するものであり、ストロボ表示装置により実際取り込まれ、表示される画像を示すものではない。すなわち、各画像４１−１乃至４１−１５の時間間隔は一定ではない。
【００１２】
これに対して、図５は、図４に示されるような体操競技者の運動を、図１乃至図３に示される従来のストロボ表示装置を使用して取り込み、表示する例を示している。図５に示される例では、連続する複数のフレーム５１のうち、一定の時間間隔Ｔ1毎に、時刻ｔ1乃至ｔ9のフレーム５１−１乃至５１−９の画像が静止画として順次取り込まれ、９個の小画面に同時に表示されている。
【００１３】
また、従来のストロボ表示装置は、１つのモニタの、例えば、９個の小画面に表示する方法の他に、複数個並べて配置されたモニタに、静止画を順次表示させる方法などもある。
【００１４】
【特許文献１】
特許第２８０８６１２号公報
【００１５】
【発明が解決しようとする課題】
ところで、図４において、分析したい対象（注目対象）は、体操競技者であるが、画像４１−１３乃至４１−１５で示される注目対象の動作の変化（以下、動作速度と称する）は遅く、動きは、ゆっくりしている。一方、画像４１−１０乃至４１−１２で示される宙返りの動作速度は速い。
【００１６】
フォーム分析などを行う場合、動作速度の速い画像４１−１０乃至４１−１２で示される期間の動きについては、できるだけ時間的に細かい間隔の静止画が必要とされる。これに対して、動作速度の遅い画像４１−１３乃至４１−１５で示される期間の動きについては、静止画の枚数は少なくても構わない。
【００１７】
しかしながら、一定の時間間隔で画像を取り込むと、図５に示されるように、動作速度が速い動きを捉えた静止画を表示するのが困難となる。そこで、時間間隔を短い時間に設定することが考えられる。しかしながら、そのようにすると、動作速度が遅い部分の静止画が必要以上に多くなってしまう。
【００１８】
本発明は、このような状況に鑑みてなされたものであり、動作速度に拘らず、注目対象の動きを充分認識することが可能な数の静止画を出力することができるようにするものである。
【００１９】
また、複数のモニタが所定の間隔をおいて配置され、それぞれのモニタの分割された小画面に、順次、静止画が表示されるようなシステムにおいて、従来のように、一定の時間間隔で静止画が表示されると、ユーザは、表示される時間間隔と、表示されるモニタ間の距離との関係が、対応しないため、時間間隔を認識するのが難しかった。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、ユーザが認識し易いように、静止画を複数のモニタに表示させることができるようにするものである。
【００２１】
【課題を解決するための手段】
本発明の第 1 の映像信号処理装置は、入力された映像信号の注目対象の動作速度を推定する推定手段と、推定手段により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定手段と、入力された映像信号の表示単位の画像を、時間間隔決定手段により決定された時間間隔で取得し、保持する保持手段と、保持手段に保持された表示単位の画像を出力する出力手段とを備え、出力手段は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力することを特徴とする。
【００２２】
出力手段には、時間の経過に沿った順番に出力させるようにすることができる。
【００２７】
出力手段には、複数の表示単位の画像を、注目対象の動作の方向に対応して表示させるよう出力させるようにすることができる。
【００２８】
時間間隔決定手段により決定された時間間隔が、表示単位の時間間隔より短い場合、表示単位と次の表示単位の間の静止画を補間して生成する生成手段をさらに設けることができる。
【００２９】
出力手段により出力された静止画を表示する表示手段をさらに設けることができる。
【００３０】
本発明の第 1 の映像信号処理方法は、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力制御ステップの処理は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力することを特徴とする。
【００３１】
本発明の第 1 の記録媒体のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力制御ステップの処理は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力する処理を映像信号処理装置を制御するコンピュータに実行させることを特徴とする。
【００３２】
本発明の第1のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力制御ステップの処理は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力する処理コンピュータに実行させることを特徴とする。
本発明の第１の映像信号処理装置および方法、記録媒体、並びにプログラムにおいては、入力された映像信号の注目対象の動作速度が推定され、推定された動作速度に合わせて、時間間隔が決定され、入力された映像信号の表示単位の画像が、決定された時間間隔で取得され、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて出力される。
本発明の第２の映像信号処理装置は、入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置において、入力された映像信号の注目対象の動作速度を推定する推定手段と、推定手段により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定手段と、入力された映像信号の表示単位の画像を、時間間隔決定手段により決定された時間間隔で取得し、保持する保持手段と、保持手段に保持された表示単位の画像を出力する出力手段とを備え、出力手段は、次に出力する表示単位の画像までの時間間隔に対応する長さの矢印を、表示単位の画像に付加して出力することを特徴とする。
本発明の第２の映像信号処理方法は、入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置の信号処理方法において、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力ステップの処理は、次に出力する表示単位の画像までの時間間隔に対応する長さの矢印を、表示単位の画像に付加して出力することを特徴とする。
本発明の第２の映像信号処理装置および方法においては、入力された映像信号の注目対象の動作速度が推定され、推定された動作速度に合わせて、時間間隔が決定され、入力された映像信号の表示単位の画像が、決定された時間間隔で取得され、次に出力する表示単位の画像までの時間間隔に対応する長さの矢印を表示単位の画像に付加して出力される。
【００３３】
本発明の映像信号処理システムの映像信号処理装置は、入力された映像信号の注目対象の動作速度を推定する推定手段と、推定手段により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定手段と、入力された映像信号の表示単位の画像を、時間間隔決定手段により決定された時間間隔で取得し、保持する保持手段と、保持手段に保持された表示単位の画像を出力する出力手段とを備えることを特徴とする。
【００３４】
本発明の映像信号処理システムの映像信号処理装置の映像信号処理方法は、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含むことを特徴とする。
【００３５】
本発明の映像信号処理システムの映像信号処理装置の記録媒体のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを映像信号処理装置を制御するコンピュータに実行させることを特徴とする。
【００３６】
本発明の映像信号処理システムの映像信号処理装置のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。
【００３７】
本発明の映像信号処理システムの映像信号処理装置および方法、記録媒体、並びにプログラムにおいては、入力された映像信号について、注目対象の動作速度が推定され、動作速度と複数の表示装置間の距離に合わせて時間間隔が決定される。そして、その決められた時間間隔で表示単位の画像が取得され、出力される。
【００３８】
映像信号処理装置は、独立した装置であっても良いし、１つの装置の映像信号処理を行うブロックであっても良い。
【００３９】
【発明の実施の形態】
図６は、本発明を適用したストロボ表示装置の構成例を示している。
【００４０】
映像信号は、時間間隔決定部６１と静止画取得表示部６２にそれぞれ入力される。時間間隔決定部６１は、入力された映像信号から注目対象の動作速度を算出し、その動作速度に合わせた時間間隔を算出し、静止画取得表示部６２に出力する。静止画取得表示部６２は、時間間隔決定部６１から入力された時間間隔に従って、映像信号から静止画を取得し（サンプリングし）、出力する。
【００４１】
時間間隔決定部６１は、図７に示されるように構成されている。
【００４２】
動き検出部７１は、入力された画像信号から、例えば、ブロックマッチングにより、全画面、または、画面の一部における動きベクトルを算出し、領域抽出部７２に出力する。
【００４３】
動き検出部７１から領域抽出部７２に供給される動きベクトルには、ユーザが注目している注目対象の動作の動きベクトルの他に、背景の動作の動きベクトルも含まれている。そこで、領域抽出部７２は、動きベクトルに基づいて背景領域を検出し、背景領域の動きベクトルを取り除き、残ったものを、注目対象の動作の動きベクトルとして、動き量算出部７３に出力する。
【００４４】
動き量算出部７３は、領域抽出部７２より入力された注目対象の動作の動きベクトルから、注目対象の動作速度を推定し、時間間隔算出部７４に出力する。
【００４５】
時間間隔算出部７４は、動き量算出部７３より入力された動作速度に基づいて、静止画保持を行うタイミングの時間間隔を算出する。そして、時間間隔算出部７４は、算出した時間間隔の情報を静止画取得表示部６２に出力する。
【００４６】
静止画取得表示部６２は、例えば、図８に示されるように構成される。
【００４７】
画像創造部８１には、外部より映像信号が入力され、また、時間間隔算出部７４（図７）より、静止画保持を行うタイミングを表す時間間隔情報が入力される。静止画保持を行う時間間隔が、フィールド間隔（またはフレーム間隔でもよい）より短い場合、画像創造部８１は、図１９を参照して後述する画像創造処理によって、入力された時間間隔に対応する静止画を補間生成し、静止画保持部８２に出力する。それに対して、静止画保持を行う時間間隔が、フィールド間隔より長い場合、画像創造部８１は、該当する時刻の静止画をそのまま静止画保持部８２に出力する（スルーする）。
【００４８】
静止画保持部８２は、画像創造部８１より入力された各フィールドの画像を、内蔵するメモリ（図示せず）に一時的に保持し、時間間隔算出部７４より入力された時間間隔のタイミングで、提示情報作成部８３に順次出力する。
【００４９】
提示情報作成部８３は、静止画保持部８２より入力された静止画を、例えば、３×３個に分割された小画面のうちのいずれに配置するかを表す位置の情報を作成し、その位置情報とともに静止画を出力する。
【００５０】
次に、図９と図１０のフローチャートを参照して、時間間隔決定部６１が行う時間間隔決定処理について説明する。この処理は、例えば、ユーザが、ストロボ表示の開始を指示したとき開始される。
【００５１】
まず初めに、ステップＳ１で、動き検出部７１は、変数ｔとｋを０にリセットする初期化を行う。変数ｔは、処理したフィールドの数を表し、変数ｋは、その変数ｔで表される枚数のうちの、外部に出力されるフィールドの数を表している。また、変数ｔと変数ｋは、時間間隔決定部６１のどのブロックにおいても参照可能な変数である。
【００５２】
ステップＳ２で、動き検出部７１は、入力された映像信号から同期信号が検出されたか否かを判定する。動き検出部７１は、同期信号が検出されていないと判定した場合、同期信号が検出されたと判定するまで、ステップＳ２の処理を繰り返す。動き検出部７１は、同期信号が検出されたと判定した場合、処理をステップＳ３に進める。
【００５３】
最初の同期信号の直後のフィールドは、常に出力されるため、ステップＳ３で、動き検出部７１は、出力されるフィールドの数を表す変数ｋの値を１とし、ステップＳ４に処理を進める。
【００５４】
また、ステップＳ４においても同様に、動き検出部７１は、処理したフィールドの数を表す変数ｔを１つだけインクリメントして（いまの場合、ｔ＝１として）、処理をステップＳ５に進める。
【００５５】
ステップＳ５で、動き検出部７１は、次の同期信号が検出されたか否かを判定する。同期信号が検出されていないと判定された場合、動き検出部７１は、同期信号が検出されたと判定するまで、ステップＳ５の処理を繰り返す。同期信号が検出されたと判定された場合、動き検出部７１は、処理をステップＳ６に進める。
【００５６】
ステップＳ６で、動き検出部７１は、入力された映像信号の全画面、または、画面の一部における動きベクトルを算出し、領域抽出部７２に出力する。動きベクトルを算出する方法としては、例えば、ブロックマッチングなどを用いることが可能である。
【００５７】
ブロックマッチングの手法においては、注目画素とその周辺の画素で構成される注目ブロックの各画素と、近接フィールドのブロックを構成する対応する画素との画素値の差分の２乗和等の、いわゆる予測誤差が計算され、その予測誤差が最も小さくなる近接フィールドのブロックが求められる。そして、注目ブロックと、予測誤差が最小となるブロックとの位置関係から、注目画素の動きベクトルが求められる。注目フィールドのすべてのブロックが、順次、注目ブロックとされ、フィールド全体の各ブロックの動きベクトルが求められる。
【００５８】
例えば、図１１は、１つのフィールドにおいて上述の動きベクトルが算出された例を示している。図中のＲ1で示される図中、一様に右に向いている矢印は、背景部分の動きベクトルを示している。また、図中、人の図形の周辺の矢印が、注目対象の動きベクトルを示している。
【００５９】
すなわち、ステップＳ６で算出した動きベクトルの中には、注目対象の動作以外の動きベクトルが含まれている。領域抽出部７２は、このような背景の動きベクトルを排除する処理を行う。まず、ステップＳ７で、領域抽出部７２は、動き検出部７１より入力された動きベクトルに基づいて、ヒストグラムを作成する。例えば、図１２に示されるように、動きベクトルの水平成分と垂直成分により規定されるポイント毎にその度数がカウントされて、ヒストグラムが生成される。
【００６０】
次に、ステップＳ８において、領域抽出部７２は、ステップＳ７で算出したヒストグラムの極大値を度数の高い方から、予め決められた所定の数だけ抽出する。
【００６１】
さらに、ステップＳ９で、領域抽出部７２は、抽出したそれぞれのベクトルに対して、次式で定義される画像中心との平均距離Ｌを算出する。
【数１】
ここで、ｎは、ステップＳ８の処理で抽出された極大値に含まれる動きベクトルのサンプル数を表し、ｘi，ｙiは、動きベクトルの座標を表し、ｘc，ｙcは、画像中心の座標を表す。
【００６２】
そして、ステップＳ１０で、上述の平均距離Ｌが大きいものは、背景動きであるという考えに基づいて、領域抽出部７２は、平均距離の大きいものから予め決められた所定の数の動きベクトルを、背景領域の動きベクトルとして取り除く。例えば、図１２の領域Ｒ11の動きベクトルは、背景領域の動きベクトルとして取り除かれる。背景動きの動きベクトルが取り除かれた後の、注目対象の動作の動きベクトルが、動き量算出部７３に出力される。図１３は、このようにして背景領域の動きベクトルが除去された後のヒストグラムを示している。
【００６３】
ステップＳ１１で、動き量算出部７３は、注目対象の動作速度を推定し、時間間隔算出部７４に出力する。すなわち、動き量算出部７３は、図１３に示されるように、背景領域の成分が取り除かれた後の動きベクトルのヒストグラムの中から、度数が最大の動きベクトル（図１３で、Ｈ1で示される度数に含まれる動きベクトル）を注目対象の動作速度として推定する。なお、以下において、特に断りのない限り、動作速度とは、注目対象の動作速度を意味するものとする。
【００６４】
ステップＳ１２において、時間間隔算出部７４は、ステップＳ１１で算出された動作速度の大きさの総和lengthを算出する。lengthは、次式によって求めることができる。
【数２】
ここで、ｖx，ｖyは、それぞれ動きベクトルの水平成分と垂直成分を表す。従って、上式では動きベクトルの水平成分ｖxと垂直成分ｖyの２乗和の度数倍の値がlengthとされる。
【００６５】
ステップＳ１３で、動作速度の大きさの総和lengthが、閾値ＴＨ以上であるか否かが判定される。閾値ＴＨは、静止画として保持する時間間隔を規定するための値であり、任意の値に設定することが可能である。閾値ＴＨが大きい場合、動作速度が速くないと、静止画保持が行なわれないことになり（時間間隔が長くなり）、逆に、閾値ＴＨが小さい場合、わずかな動きに対しても静止画保持が行なわれるようになる（時間間隔が短くなる）。動作速度の大きさの総和lengthが、閾値ＴＨより小さいと判定された場合、時間間隔算出部７４は、処理をステップＳ４に戻し、それ以降の処理が繰り返される。動作速度の大きさの総和lengthが、閾値ＴＨ以上であると判定された場合、時間間隔算出部７４は、処理をステップＳ１４に進める。
【００６６】
ステップＳ１３において、動作速度の大きさの総和lengthが、閾値ＴＨ以上であると判定された場合、ステップＳ１４で、時間間隔算出部７４は、静止画保持数ｍ＝length／ＴＨを算出する。
【００６７】
例えば、図１９を参照して後述する画像創造部８１の処理で生成するフィールド数を２n−１枚とすると、ステップＳ１５で、時間間隔算出部７４は、静止画保持数ｍを２の累乗から１を減算した値（２n−１）に変換したときのｎ（ｎは、整数）を算出し、また、そのｎを使って時間間隔Ｔ＝１／２nを算出する。
【００６８】
ステップＳ１６で、時間間隔算出部７４は、ステップＳ１５において算出した時間間隔Ｔを静止画取得表示部６２に出力する。
【００６９】
ステップＳ１７で、時間間隔算出部７４は、出力されるフィールド数を表す変数ｋをｋ＝ｋ＋２nの計算式により更新する。
【００７０】
ステップＳ１８で、時間間隔算出部７４は、動作速度の大きさの総和lengthから、静止画として出力した分の動作速度の大きさを差し引く処理を行う。すなわち、length＝length−２n＊ＴＨが計算され、lengthが更新される。
【００７１】
ステップＳ１９で、出力したフィールド数を表す変数ｋが、モニタを分割して表示する小画面の数（例えば、３×３＝９画面）と等しいか否かが判定される。変数ｋと画面の数が等しくないと判定された場合、すなわち、まだ静止画を表示していない画面が存在する場合、時間間隔算出部７４は、処理をステップＳ４に戻し、それ以降の処理が繰り返される。一方、変数ｋと画面数が等しいと判定された場合、すなわち、表示画面の数と同じ数の静止画が出力された場合、時間間隔算出部７４は、時間間隔決定処理を終了する。
【００７２】
図１４は、上述の時間間隔決定処理による時間間隔で、入力された映像信号を静止画として出力する時間間隔の例を示す。図１４Ａは、時間経過と推定された動作速度の関係を示している。フィールドＦi（ｉ＝０，１，２，・・・）が、図１４Ｂに示されるようなタイミングで、動き検出部７１に入力されている。図１４Ｃは、従来のように、一定間隔Ｔ10でフィールドＦj（ｊ＝０，１，２，・・・）を出力した例を表し、図１４Ｄは、上述の時間間隔決定処理によって動作速度に応じた時間間隔でフィールドＦk（ｋ＝０，１，２，・・・）を出力した例を表している。図１４Ｄに示されるフィールドＤkでは、動作速度が遅い領域Ａ1に対応する時間帯では、出力されるフィールドの時間間隔が長くなり、部分動作速度が速い領域Ａ2に対応する時間帯では、出力されるフィールドの時間間隔が短くなっている。
【００７３】
画像創造部８１は、図１５に示されるように構成されている。
【００７４】
時間解像度創造判定部９１は、時間間隔決定部６１より入力された時間間隔Ｔに基づいて、静止画を補間生成する必要があるか、あるいは、そのままスルー出力すればよいのかを判定し、その判定結果を時間解像度創造部９２に出力する。
【００７５】
時間解像度創造部９２は、時間解像度創造判定部９１の判定結果に基づいて、外部より入力された映像信号を、静止画として静止画保持部８２（図８）にそのままスルー出力するか、または、映像信号から新たに静止画を補間、生成し、静止画保持部８２に出力する。
【００７６】
図１６は、図１５の時間解像度創造部９２の構成例を示している。この構成には、本出願人が先に提案した特開2000-324497のフィールド倍速処理の技術が用いられている。この技術は、例えば、フィールド周期が５０ＨｚのＳＤ（Standard Definition）画像に基づいて、フィールド周期が１００Ｈｚの画像信号を補間生成する技術である。
【００７７】
入力されたフィールド周期が５０Ｈｚの画像信号は、ＳＤ画像データとして領域切り出し部１０１および領域切り出し部１０５に供給される。領域切り出し部１０１は、供給されるＳＤ画像データから所定の画素領域をクラスタップとして切り出し、切り出したクラスタップのデータをＡＤＲＣ(Adaptive Dynamic Range Coding)部１０２に供給する。ＡＤＲＣ部１０２は、供給されるデータに、例えば、ＡＤＲＣ処理を施し、これによって生成したコード値をクラスコード発生部１０３に供給する。
【００７８】
クラスコード発生部１０３は、供給されるコード値に基づいて、時空間におけるパターンに応じたクラスを示すクラスコードを発生する。発生したクラスコードは、係数メモリ１０４に供給される。係数メモリ１０４には、予め決定された、予測演算に用いられる予測係数が、クラスコードに対応して記憶されている。
【００７９】
一方、領域切り出し部１０５は、供給される画像から所定の画素領域を予測タップとして切り出し、切り出した予測タップのデータを遅延部１０６に供給する。
【００８０】
遅延部１０６は、供給されるデータを一旦保持し、保持したデータを適切なタイミングで推定演算部１０７に供給する。これにより、予測タップのデータが推定演算部１０７に供給されるタイミングと、予測係数が係数メモリ１０４から推定演算部１０７に供給されるタイミングとが、合わされる。
【００８１】
推定演算部１０７は、遅延部１０６の出力と、係数メモリ１０４の出力とに基づく演算を行うことにより、フィールド倍速画像を生成する。生成された画像データは、静止画保持部８２（図８）に供給される。
【００８２】
上述の係数メモリ１０４に記憶される予測係数を決定する学習装置は、図１７に示されるように構成されている。
【００８３】
時間解像度創造部９２で生成されるべき画像と、同一の信号形式を有する画像（以下、教師画像と称する）内の画素を全て含む画像が供給される。例えば、時間解像度創造部９２において、フィールド周期が５０Ｈｚの画像から１００Ｈｚの画像が生成される場合、教師画像としての１００Ｈｚプログレッシブ画像が、垂直位相シフトフィルタ１２１および遅延部１２８に供給される。
【００８４】
垂直位相シフトフィルタ１２１は、供給される画像データの位相をずらす処理、または、そのまま出力する処理を行い、時間間引きフィルタ１２２に供給する。
【００８５】
時間間引きフィルタ１２２は、垂直位相シフトフィルタ１２１の出力に対して、時間方向に平滑化する処理を施すことにより、５０Ｈｚインターレース画素位置に画素を生成する。このようにして、ＳＤ画像と同一の信号形式（すなわち５０Ｈｚインターレース画像）を生成することができる。以下、この画像を生徒画像と称する。生徒画像が、領域切り出し部１２３と領域切り出し部１２６に供給される。
【００８６】
領域切り出し部１２３は、図１６の領域切り出し部１０１と同様の処理を行う。すなわち、領域切り出し部１２３は、供給される生徒画像から、領域切り出し部１０１によって切り出されるものと同一の画素領域をクラスタップとして切り出し、切り出したクラスタップのデータをＡＤＲＣ部１２４に供給する。ＡＤＲＣ部１２４は、供給されるデータに、図１６のＡＤＲＣ部１０２と同様の処理を施し、生成したコード値をクラスコード発生部１２５に供給する。
【００８７】
クラスコード発生部１２５は、図１６のクラスコード発生部１０３と同様の処理を行う。すなわち、クラスコード発生部１２５は、ＡＤＲＣ部１２４の出力に基づいてクラスコードを発生する。クラスコード発生部１２５の出力は、正規方程式加算部１２９に供給される。
【００８８】
一方、領域切り出部１２６は、図１６の領域切り出し部１０５と同様の処理を行う。すなわち、領域切り出し部１２６は、供給される画像信号から、領域切り出し部１０５によって切り出されるものと同一の画素領域を予測タップとして切り出し、切り出した予測タップのデータを遅延部１２７に供給する。遅延部１２７は、供給されるデータを一時的に保持し、その後、正規方程式加算部１２９に供給する。
【００８９】
遅延部１２８は、供給される教師画像を一時的に保持し、その後、正規方程式加算部１２９に供給する。遅延部１２７および１２８により、加算処理を行うために好適なタイミングで、予測タップのデータと、教師画像の画像データが、正規方程式加算部１２９に供給される。
【００９０】
正規方程式加算部１２９は、遅延部１２７から供給される予測タップのデータ、クラスコード発生部１２５から供給されるクラスコード、および遅延部１２８から供給される教師画像の画像データに基づいて、正規方程式のデータを算出し、予測係数決定部１３０に供給する。予測係数決定部１３０は、供給されるデータに基づいて正規方程式を解くための演算を行う。このような演算の結果として算出された予測係数が、メモリ１３１に供給され、記憶される。
【００９１】
以上のようにして、図１７のメモリ１３１に記憶された予測係数が、係数メモリ１０４に転送され、記憶される。その結果、フィールド周期が５０Ｈｚの入力画像信号から１００Ｈｚの画像信号を生成することが可能となる。また、教師画像のフィールド周期を１０００Ｈｚ，２０００Ｈｚと大きくすることで、任意の時間間隔の画像を生成することが可能となる。
【００９２】
次に、図１８のフローチャートを参照して、静止画取得表示部６２が行う静止画創造処理について説明する。
【００９３】
ステップＳ４１において、画像創造部８１は、図１９を参照して後述する画像創造処理を行う。時間間隔Ｔが、フィールド間隔より短い場合、上述のフィールド倍速処理が行われる。この処理により、画像創造部８１は、時間間隔決定部６１より入力された時間間隔情報に合わせた枚数の静止画を、静止画保持部８２に出力する。
【００９４】
ステップＳ４２において、静止画保持部８２は、画像創造部８１が出力した静止画を一時的に保持し、時間間隔決定部６１より入力された時間間隔に合わせて、順次、提示情報作成部８３に出力する。
【００９５】
ステップＳ４３において、提示情報作成部８３は、入力された静止画を、例えば、３×３個に分割された小画面のうちのいずれに表示するかを表す位置情報を作成する。そして、その位置情報と静止画が、後段のモニタ（図示せず）等に出力される。勿論、提示情報作成部８３において、各静止画を所定の小画面上に配置した１画面分の画像データを生成し、出力するようにしてもよい。
【００９６】
次に、図１９のフローチャートを参照して、図１８のステップＳ４１における画像創造処理について説明する。
【００９７】
初めに、ステップＳ５１で、時間解像度創造判定部９１は、時間間隔決定部６１が出力した時間間隔Ｔを受け取る。上述したように時間間隔Ｔは、Ｔ＝１／２nの形式で表されており、このとき、時間解像度創造部９２では、２n−１枚のフィールドを生成することになる。
【００９８】
ステップＳ５２で、時間解像度創造判定部９１は、取得した時間間隔Ｔが、０より大きく、かつ、１より小さい値の範囲内であるか否かの判定を行う。
【００９９】
ステップＳ５２において、時間間隔Ｔが１以上であると判定された場合、ステップＳ５３で、時間解像度創造判定部９１は、時間解像度創造部９２に対して画像を補間生成する必要がない旨の指令を出力する。そして、時間解像度創造部９２は、その指令に基づいて、入力された画像をスルー出力して、画像創造処理を終了する。
【０１００】
一方、ステップＳ５２において、時間間隔Ｔが、０より大きく、かつ、１より小さい値の範囲内であると判定された場合、時間解像度創造判定部９１は、フィールドとフィールドの間に、新たなフィールドを補間生成する必要があると判定し、ステップＳ５４で、時間解像度創造部９２に、時間間隔Ｔ（＝１／２n）を出力する。そして、時間解像度創造部９２は、時間間隔Ｔが入力されると、画像創造部８１の内部に有するカウンタｉ，ｊの値をゼロにリセットする。
【０１０１】
ステップＳ５５で、時間解像度創造部９２は、カウンタｉの値が、時間解像度創造判定部９１より入力されたｎより小さいか否かを判定する。カウンタｉの値が、ｎより小さいと判定された場合、時間解像度創造部９２は、処理をステップＳ５６に進める。例えば、ｎ＝２の場合、いまｉ＝０なので、処理はステップＳ５６に進められる。
【０１０２】
ステップＳ５６で、時間解像度創造部９２は、カウンタｊの値が２iより小さいか否かを判定する。カウンタｊの値が２iより小さいと判定された場合、時間解像度創造部９２は、処理をステップＳ５７に進める。いまｉ＝０なので、２i＝１となる。また、ｊ＝０なので、処理はステップＳ５７に進められる。
【０１０３】
ステップＳ５７で、時間解像度創造部９２は、時刻ｊ／２iと時刻（ｊ＋１）／２iの間の時刻（２ｊ＋１）／２i+1に、上述したフィールド倍速処理で新たな画像を生成する。いまの場合、ｉ＝０，ｊ＝０なので、ｊ／２i＝０の時刻のフィールド（図２０のフィールド１４１）と、（ｊ＋１）／２i＝１の時刻のフィールド（図２０のフィールド１４２）の間の、（２ｊ＋１）／２i+1＝１／２の時刻のフィールド（図２０のフィールド１４３）の画像が補間生成される。
【０１０４】
ステップＳ５８において、ステップＳ５７で生成された画像が、出力されるまでの間、時間解像度創造部９２内部のメモリ（図示せず）に一時的に保持される。
【０１０５】
ステップＳ５９で、時間解像度創造部９２は、カウンタｊの値を１つだけインクリメントし（いまの場合、ｊ＝１とし）、ステップＳ５６に処理を戻す。
【０１０６】
ステップＳ５６において、カウンタｊの値が２i以上と判定された場合、ステップＳ６０に進み、時間解像度創造部９２は、カウンタｉの値を１つだけインクリメントし、カウンタｊの値を、ゼロにリセットして、ステップＳ５５に処理を戻す。いまの場合、ｊ＝１，２i＝２0＝１なので、ステップＳ５６からステップＳ６０に進み、ｊ＝０，ｉ＝１とされる。
【０１０７】
いま、ｉ＝１，ｎ＝２なので、ステップＳ５５において、YESと判定され、ｊ＝０，２i＝２なので、ステップＳ５６において、YESと判定される。ステップＳ５７で、ｊ／２i＝０のフィールド（図２０のフィールド１４１）と、（ｊ＋１）／２i＝１／２のフィールド（図２０のフィールド１４３）の間の（２ｊ＋１）／２i+1＝１／２2＝１／４のフィールド（図２０のフィールド１４３）が補間生成される。
【０１０８】
ステップＳ５９で、ｊ＝１とされ、ｊ＝１＜21=２なので、ステップＳ５６でYESと判定される。ステップS57で、ｊ／２i＝１／２のフィールド（図２１のフィールド１４３）と、（ｊ＋１）／２i＝２／２＝１のフィールド（図２１のフィールド１４２）の間の（２ｊ＋１）／２i+1＝３／２2＝３／４のフィールド（図２１のフィールド１４５）が補間生成される。
【０１０９】
次のステップＳ５９で、ｊ＝２とされ、ステップＳ５６で、ｊ＝２＝21=２なので、NOと判定される。ステップＳ６０で、ｉ＝２，ｊ＝０とされる。
【０１１０】
ステップＳ５５において、カウンタｉの値がｎ以上であると判定された場合、ステップＳ６１に進み、時間解像度創造部９２は、内部で保持している生成した画像と原画像を、静止画保持部８２に出力する。いまの場合、ｉ＝２，ｎ＝２なので、ステップＳ５５でＮＯと判定され、ステップＳ６１の処理が実行される。
【０１１１】
以上の図１９に示されるフローチャートでは、時間間隔が、フィールド間隔より大きい場合には、そのまま該当する時刻の静止画をスルー出力するようにしたが、精度の細かいきれいな静止画を必要に応じて生成するようにしてもよい。
【０１１２】
図２２は、図１４に示した画像を出力する時間間隔のタイミングの例に、上述の画像創造処理によって画像が補間生成された場合を、図２２Ｄとして追加して示す図であり、図１４と同一のものについては、同一の符号が付されている。図２２Ｄに示されるように、推定動作速度が速い図中Ａ2の時間帯において、１フィールド単位より小さい単位の補間画像Ｆm1とＦm2が出力されており、注目対象の動作の詳細な分析が可能となる。
【０１１３】
図２３は、上述の本発明のストロボ表示装置を使用して、図５で示される体操競技の前転とび前方宙返りの動作を９分割のモニタ画面に出力した例を示している。図５では、表示されていなかった宙返りの動作が、図２３では、表示されている。すなわち、連続する複数のフィールド２０１のうち、時刻ｔ21のフィールド２０１−１が最初の静止画として取り込まれ、その後、動作速度に合わせた時刻ｔ22乃至ｔ29において、動作速度が速い時間帯ほど、時間間隔が狭くなるように、フィールド２０１−２乃至２０１−９が順次取り込まれ、９個の小画面に同時に表示されている。
【０１１４】
以上のように、注目対象の動作速度に応じて、時間間隔を変化させて静止画を抽出することで、効率的な分析を可能とする表示ができるようになる。
【０１１５】
以上においては、フィールドとフィールドの間に、（２n−１）枚のフィールドを補間挿入するようにしたが、１，２，３，４，５，・・・等の任意の数のフィールドを挿入するようにすることもできる。
【０１１６】
一方、時間間隔がストロボ表示装置により決定されるため、ユーザは、表示されている画像間の時間間隔を把握しにくいという問題が考えられる。そこで、ユーザが表示されている画像間の時間間隔を直感的に分かり易くするための実施の形態について、以下に述べる。
【０１１７】
図２４は、時間間隔を直感的に分かり易くするために、それぞれの静止画に、ストロボ表示開始時刻からの実経過時間を併せて表示させた場合の、静止画取得表示部６２の構成例を示している。この静止画取得表示部６２においては、図８の静止画保持部８２と提示情報作成部８３の間に、時間挿入部２１２が配置されている。時間挿入部２１２には、実時間算出部２１１が算出した実時間が供給されている。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１１８】
実時間算出部２１１は、時間間隔算出部７４（図７）より入力された時間間隔情報に基づいて、ストロボ表示開始時刻からの実時間を計算し、時間挿入部２１２に出力する。実時間は、例えば、フィールド周期が６０Ｈｚのインターレース映像ならば、１フィールドは、１／６０秒であるので、フィールドの枚数から計算される。
【０１１９】
時間挿入部２１２は、静止画保持部８２より入力された静止画に、実時間算出部２１１より入力された実時間を、重ねて表示されるように挿入し、提示情報作成部８３に出力する。
【０１２０】
図２５は、静止画にストロボ表示開始時刻からの実経過時間を表示した場合の画面出力の原理を示している。連続するフィールド２２１のうち、ストロボ表示開始時刻ｔ21の静止画２２１−１を０ｓ（秒）として、時刻ｔ22乃至ｔ29において取り込まれた静止画２２１−２乃至２２１−９の、それぞれの図中左下に、実経過時間が表示されている。すなわち、時刻ｔ22の静止画２２１−２は、静止画２２１−１から１２枚目であるので、０．２ｓ（＝（１／６０）×１２）と表示され、静止画２２１−３は、静止画２２１−１から１８枚目なので、０．３ｓ（＝（１／６０）×１８）と表示されている。以下、時刻ｔ24からｔ29の静止画２２１−４乃至２２１−９は、静止画２２１−１からそれぞれ、２４枚目、２７枚目、３０枚目、３３枚目、３８枚目、または、４８枚目なので、０．４ｓ，０．４５ｓ，０．５ｓ，０．５５ｓ，０．６３ｓ，０．８ｓと表示される。
【０１２１】
ただし、実際には、このような体操競技の時間はもっと長いので（時刻ｔ21乃至ｔ29までの実際の時間はもっと長いので）、その間のフィールドの数ももっと多くなり、表示される数字ももっと大きくなる。
【０１２２】
時間間隔を直感的に分かり易くするために、次の画面までの時間間隔を矢印の長さで表現することができる。この場合、静止画取得表示部６２は、図２６に示されるように構成される。この例の場合、図８の静止画保持部８２と提示情報作成部８３の間に、矢印挿入部２３２が配置されている。矢印挿入部２３２には、矢印長さ算出部２３１が算出した矢印の長さ情報が供給されている。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１２３】
矢印長さ算出部２３１は、時間間隔算出部７４より入力された時間間隔情報を矢印の長さに変換し、その矢印の長さ情報を矢印挿入部２３２に出力する。長さが長い矢印は、次の画面までの時間間隔が長いことを表し、反対に、長さが短い矢印は、次の画面までの時間間隔が短いことを表す。矢印長さ算出部２３１は、矢印の長さを、小画面の幅を矢印の長さの最大値の１としたとき、全ての矢印の長さの和が１になるように決定する。例えば、９画面の場合、矢印の長さlength(n,j)は、次式で求められる。
【数３】
ここで、ｎは小画面の番号を表し、ｊは静止画保持画像数を表し、Ｔnは次の画面までの時間間隔情報を表す。
【０１２４】
いま、上述の図２５に示される時間経過で、静止画が小画面に出力されるとすると、時間間隔情報Ｔiは、Ｔ0＝0.2(=0.2-0)，Ｔ1＝0.1(=0.3-0.2)，Ｔ2＝0.1(=0.4-0.3)，Ｔ3＝0.05(=0.45-0.4)，Ｔ4＝0.05(=0.5-0.45)，Ｔ5＝0.05(=0.55-0.5)，Ｔ6＝0.08(=0.63-0.55)，Ｔ7＝0.17(=0.8-0.63)となる。矢印の長さは、静止画保持画像数ｊが増加する毎（表示される小画面数が増加する毎）に改めて算出され、更新される。
【０１２５】
すなわち、最初に、１つの小画面（９分割された画面の左上）が表示される場合、ｎ＝０，ｊ＝０なので、その矢印の長さは、length(0,0)＝Ｔ0／Ｔ0＝0.2／0.2＝１となる。従って、最初の１つの小画面だけが表示されている状態の場合、矢印の長さは１（小画面の幅の長さ）とされる。
【０１２６】
次に、２つの小画面（９分割された画面の左上とその右隣）が表示される場合、矢印の長さは更新され、１つ目の小画面に表示する矢印長さは、length(0,1)＝Ｔ0／（Ｔ0＋Ｔ1）＝0.2／（0.2+0.1）＝2/3となり、２つ目の小画面に表示する矢印長さは、length(1,1)＝Ｔ1／（Ｔ0＋Ｔ1）＝0.1／（0.2+0.1）＝1/3となる。２つの矢印の長さの和は、2/3＋1/3＝１となっている。
【０１２７】
このようにして、矢印の長さは、静止画保持画像数が増加する毎（表示される小画面数が増加する毎）に更新されながら、９つの小画面に表示される。従って、同じ静止画であっても、表示される静止画の枚数が増える毎に、１枚当たりの時間間隔の比率は小さくなるので、矢印の長さは、次第に短くなる。
【０１２８】
矢印挿入部２３２は、矢印長さ算出部２３１より入力された矢印の長さ情報に基づいて、静止画保持部８２より入力された静止画に、対応する長さの矢印を合成し、提示情報作成部８３に出力する。
【０１２９】
図２７は、上述のように矢印の長さが算出され、連続するフィールド２４１から、矢印が挿入された静止画２４１−１乃至２４１−９が、９つの小画面に出力された例を示している。すなわち、時刻ｔ21の静止画２４１−１には、次の時刻ｔ22までの時間間隔を表した矢印２４２−１（矢印の長さlength（0,7）＝Ｔ0／ΣＴi＝0.2/0.8＝0.25）が表示され、時刻ｔ22の静止画２４１−２には、次の時刻ｔ23までの時間間隔を表した矢印２４２−２（矢印の長さlength（1,7）＝Ｔ1／ΣＴi＝0.1/0.8＝0.125）が表示されている。以下、時刻ｔ23乃至ｔ28の静止画２４１−３乃至２４１−８には、矢印２４２−３乃至２４２−８が同様に算出され、表示されている。時刻ｔ29の静止画２４１−９には、次の画面がないため、矢印は、表示されない。
【０１３０】
時間間隔を直感的に分かり易くするために、隣接する画面との距離が離れているほど時間間隔が長く、近いほど、時間間隔が短い、というように表すことができる。この場合、静止画取得表示部６２は、図２８に示されるように構成される。この例の場合、図８の静止画保持部８２の後段に、縮小画像生成部２５２が配置され、縮小画像生成部２５２の後段に提示情報作成部２５３が配置されている。時間間隔算出部７４（図７）より入力される時間間隔情報は、画像創造部８１と静止画保持部８２のほかに、画像表示位置算出部２５１にも供給される。画像表示位置算出部２５１は、時間間隔算出部７４より入力された時間間隔情報に基づいて、分割された小画面の表示位置を算出して、提示情報作成部２５３に出力する。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１３１】
小画面内の画像の表示位置は、例えば、各画像の中心位置で考えると、ストロボ表示が開始された時刻（１枚目の静止画が取り込まれた時刻）を基準として、各静止画が取り込まれるまでの経過時間と、小画面に表示されたときの、各画像の中心位置の距離の比の関係が、保たれるように（正比例するように）計算される。具体的には、９分割された画面を例にすると、ｎ番目の画像の位置の比ｘ（ｎ）は、次式で計算される。
【数４】
ここで、Ｔnはｎ番目の時間間隔情報を表す。最初（１枚目）の画像の表示位置は、画面の左端に、最後（９枚目）の画像の表示位置は、画面の右端に固定するものとして、９つの小画面を横方向に一列に並べた際の、左端画面（１枚目の画像）から右端画面（９枚目の画像）までの画像中心位置の全体の距離長さが、上記式の分母に相当する。また、上記式の分子は、１枚目の画像中心位置を基準として、ｎ番目までの画像中心位置の距離である。
【０１３２】
上述の図２５に示される時間経過の数値を例にすると、ｘ（１）＝0.2/0.8＝2/8，Ｘ（２）＝0.3/0.8＝3/8，Ｘ（３）＝0.4/0.8=4/8，・・・が、１枚目の画像（の中心）を基準としたｎ番目の画像の位置の比ｘ（ｎ）である。
【０１３３】
縮小画像生成部２５２は、静止画保持部８２より入力された静止画を、小画面内で表示位置を変化させるために、例えば、３／４の大きさに縮小する処理を行う。そして、縮小された静止画の画像が、小画面の中心位置を仮の位置として、提示情報作成部２５３に出力される。
【０１３４】
提示情報作成部２５３には、画像表示位置算出部２５１より入力される小画面内における画像の表示位置情報と、縮小画像生成部２５２より入力される３／４に縮小された静止画の画像が、それぞれ入力される。提示情報作成部２５３は、表示位置情報に基づいて、縮小された画像を移動して出力する。なお、入力された位置情報に従うと、縮小された静止画の画像が小画面をはみ出す場合、提示情報作成部２５３は、はみ出さないように修正を加える。
【０１３５】
図２９は、図２８の構成により、提示情報作成部２５３が９分割されたマルチ画面に出力する原理を示している。連続するフィールド２６１のうち、時刻ｔ21における静止画２６１−１の縮小された画像は、小画面の左端に配置され（縮小された画像の左端が、小画面の左端に位置するように配置され）、時刻ｔ29における静止画２６１−９の縮小された画像は、小画面の右端に配置されている（縮小された画像の右端が、小画面の右端に位置するように配置されている）。そして、時刻ｔ22における静止画２６１−２から時刻ｔ28における静止画２６１−８までのそれぞれの縮小された画像は、上述の画像の位置の比に従って配置されている。
【０１３６】
これまでの実施の形態では、表示する画像に直感的な時間間隔の情報が付加されているが、画面の表示する順番は、例えば、左上が１番目で、右下が９番目というように、左上から右下方向に固定である。予め決められた一定の方向に静止画の表示を行った場合、動作の方向と表示する方向が異なるために、動作が直感的にわかりにくくなる場合がある。そこで、小画面の表示する順番を対象動作の方向と対応するように表示することが考えられる。その場合の静止画取得表示部６２は、図３０に示されるように構成される。提示情報作成部２７２は、動作方向算出部２７１より注目対象となる動作方向の情報が供給される点で、図８の提示情報作成部８３と異なる。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１３７】
動作方向算出部２７１には、領域抽出部７２から背景領域が取り除かれた動きベクトルが入力される。動作方向算出部２７１は、注目対象の動作方向を算出し、動作方向の情報として提示情報作成部２７２に出力する。動作方向としては、例えば、度数の最大の動きベクトルの方向が、その画像の動作方向として算出される。あるいは、動作方向は、全動きベクトルの平均値などで算出されてもよい。
【０１３８】
提示情報作成部２７２は、静止画保持部８２より入力された静止画を、動作方向算出部２７１からの動作方向の情報に基づき、出力する小画面の位置を決定し、出力する。
【０１３９】
図３１は、これまでと同様の前転とび前方宙返りの映像が、上述の動作方向に合わせた表示順に出力される原理を示しており、また、図３２は、図３１の例と動作が逆方向となる、後方に回転する動作が出力される原理を示している。図３１において、連続するフィールド２８１のうち、時刻ｔ21の静止画２８１−１が９分割画面のうちの画面右下に出力され、時刻ｔ22の静止画２８１−２が、９分割画面のうちの画面右中央に表示されている。それ以降、時刻ｔ23乃至ｔ29の静止画２８１−３乃至２８１−９が、反時計方向に回転するように順次表示されている。
【０１４０】
それに対して、図３２においては、連続するフィールド２９１のうち、時刻ｔ21の静止画２９１−１が９分割画面のうちの画面左下に出力され、時刻ｔ22の静止画２９１−２が、９分割画面のうちの画面左中央に表示されている。それ以降の時刻ｔ23乃至ｔ29の静止画２９１−３乃至２９１−９が、時計方向に回転するように順次表示されている。このように、図３１と図３２の表示される小画面の方向は、注目対象の動作の方向に合わせて、逆方向となされている。
【０１４１】
以上、これまでの実施の形態では、図３３に示されるようなストロボ表示装置３００が、モニタ３０１に出力し、モニタ３０１は、９つの小画面に分割されて、静止画が、それぞれの小画面に順次表示される例を考えてきた。
【０１４２】
しかし、当然ながら、図３４に示されるようにストロボ表示装置４００は、モニタと一体となって（モニタに組み込まれた形で）、マルチ画面を表示するようになされてもよい。
【０１４３】
また、図３５に示されるように、１台のストロボ表示装置３００に対して、複数のモニタ３０１−０乃至３０１−ｎを接続して、マルチ画面表示を行うようにしてもよい。この場合、例えば、それぞれのモニタ３０１−０乃至３０１−ｎには、ＩＤ(Identification)が割り当てられ、互いの位置関係が把握できる位置センサが搭載され、ストロボ表示装置３００は、その位置センサの検出結果に従って画像の出力先を決定する。
【０１４４】
あるいは、図３６に示されるように、モニタと一体化された複数のストロボ表示装置４００−０乃至４００−ｎを使用する場合、それぞれの複数のストロボ表示装置４００−０乃至４００−ｎに同じ映像信号が入力され、各ストロボ表示装置間で映像表示の開始と終了のタイミングを合わせるための同期信号を利用することにより、ストロボ表示が可能となる。図３６の例では、ストロボ表示装置４００−０がその同期信号を供給するようになされている。
【０１４５】
図３７に示されるストロボ表示システムでは、モニタ５００−１とモニタ５００−２の２台のモニタがあり、１台のストロボ表示装置（図示せず）の出力により、それぞれのモニタ５００−１と５００−２は、画面を４分割して表示する。モニタ５００−１と５００−２の距離は、ｄ1だけ離れて配置されている。また、分割されたそれぞれの小画面に静止画５１１−１乃至５１１−８が表示されるようになっている。モニタ５００−１は、静止画５１１−１，５１１−２を、その上半分の２つの小画面で表示し、モニタ５００−２は、それに続く静止画５１１−３，５１１−４を、その上半分の２つの小画面で表示する。続く静止画５１１−５，５１１−６は、モニタ５００−１の下半分の２つの小画面で表示され、続く静止画５１１−７，５１１−８は、モニタ５００−２の下半分の２つの小画面で表示される。
【０１４６】
このようなシステムにおいて、例えば、静止画５１１−１と静止画５１１−２の時間間隔と、静止画５１１−２と静止画５１１−３の時間間隔が、同じ時間間隔で表示された場合、静止画５１１−１と静止画５１１−２は、小画面が隣接して配置されており、静止画５１１−２と静止画５１１−３画面は、距離ｄ1だけ離れて配置されているので、物理的配置と時間間隔が対応しないために、動作が直感的に分かりにくい、と考えられる。また、画面が離れているという空間的広がりが生かされていない。
【０１４７】
そこで、表示装置間の距離に従って、時間間隔を変化させることが考えられる。この例の場合、時間間隔決定部６１は、図３８に示されるように構成される。時間間隔算出部５２０には、動き量算出部７３より入力される動作速度のほかに、図３７のモニタ５００−１と５００−２の距離ｄ1のような表示装置間距離情報が入力される。その他の構成は、図７における場合と同様である。なお、図中、図７と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１４８】
時間間隔算出部５２０には、動き量算出部７３が出力する動作速度のほかに、表示装置間情報が供給される。表示装置間情報は、例えば、距離センサとしての赤外線センサ（図示せず）の出力を基に算出される値である。時間間隔算出部５２０は、動作速度と表示装置間情報に基づいて、時間間隔を算出し、静止画取得表示部６２に時間間隔情報として出力する。時間間隔情報は、これから静止画（例えば、静止画５１１−３）を出力する画面と、１つ前の静止画（静止画５１１−２）画面とで、表示装置が跨る場合、まず、動作速度に基づく時間間隔が算出され、さらに、現在の動作は等速直線運動であるとの仮定に基づいて、動作速度に基づく時間間隔の値を整数倍して算出される。表示装置が跨らない場合、時間間隔算出部５２０は、距離情報を加味せず、すなわち、動作速度に基づく時間間隔の値を整数倍せず、時間間隔情報として算出する。
【０１４９】
図３９は、図３８に示されるように構成されたストロボ表示装置を使って、３台のモニタ５００−１乃至５００−３に、４分割のマルチ画面表示を行う例を示している。各モニタは、それぞれ距離ｄ10だけ離れて配置されている。表示装置間距離情報を考慮しない場合（図７に示される構成の時間間隔算出部７４が出力する時間間隔で画像が取り込まれる場合）、連続するフィールド５２１のうち、時刻ｔ31，ｔ32，ｔ33，・・・における静止画５２１−１，５２１−２，５２１−３，・・・が、順次取り込まれる。すなわち、モニタ５００−１の小画面５３１−１，５３１−２に、時刻ｔ31，ｔ32の静止画５２１−１，５２１−２が表示された後、モニタ５００−２の小画面５３１−３，５３１−４には、同一の時間間隔の時刻ｔ33，ｔ34の静止画５２１−３，５２１−４が表示される。
【０１５０】
これに対して、表示装置間距離ｄ10が考慮される場合（図３８に示される構成の時間間隔算出部５２０が出力する時間間隔で画像が取り込まれる場合）、モニタ５００−１の小画面５３１−２に時刻ｔ32の静止画５２１−２が表示された後、モニタ５００−１とモニタ５００−２の間の距離ｄ10に対応するタイミングの時刻ｔ33，ｔ34の静止画５２１−３と５２１−４が省略され、モニタ５００−２の小画面５３１−３には、時刻ｔ35の静止画５２１−５が表示されている。同様に、モニタ５００−２とモニタ５００−３の間では、モニタ５００−２の小画面５３１−４に、時刻ｔ36の静止画５２１−６が表示された後、時刻ｔ37，ｔ38の静止画５２１−７と静止画５２１−８が省略されて、モニタ５００−３の小画面５３１−５には、時刻ｔ39の静止画５２１−９が表示されている。
【０１５１】
以上のように、複数台の表示装置を使ったストロボ表示システムにおいて、表示画面の物理的距離間隔と、映像の時間間隔を対応させることにより、注目対象の動作が直感的に分かり易くなる。
【０１５２】
以上においては、フィールドを単位として処理する場合を例としたが、フレーム単位でもよい。すなわち、任意の表示単位とすることができる。
【０１５３】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。
【０１５４】
そこで、図４０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータ６００の一実施の形態の構成例を示している。
【０１５５】
プログラムは、コンピュータ６００に内蔵されている記録媒体としてのハードディスク６０５やＲＯＭ６０３に予め記録しておくことができる。
【０１５６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体６１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体６１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１５７】
なお、プログラムは、上述したようなリムーバブル記録媒体６１１からコンピュータ６００にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータ６００に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ６００に有線で転送し、コンピュータ６００では、そのようにして転送されてくるプログラムを、通信部６０８で受信し、内蔵するハードディスク６０５にインストールすることができる。
【０１５８】
コンピュータ６００は、CPU(Central Processing Unit)６０２を内蔵している。CPU６０２には、バス６０１を介して、入出力インタフェース６１０が接続されており、CPU６０２は、入出力インタフェース６１０を介して、ユーザによって、キーボードや、マウス、マイクロホン等で構成される入力部６０７が操作される等して指令が入力されると、それにしたがって、ROM (Read Only Memory)６０３に格納されているプログラムを実行する。あるいは、また、CPU６０２は、ハードディスク６０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部６０８で受信されてハードディスク６０５にインストールされたプログラム、またはドライブ６０９に装着されたリムーバブル記録媒体６１１から読み出されてハードディスク６０５にインストールされたプログラムを、RAM(Random Access Memory)６０４にロードして実行する。これにより、CPU６０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース６１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部６０６から出力したり、あるいは、通信部６０８から送信したり、さらには、ハードディスク６０５に記録させる。
【０１５９】
なお、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１６０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６１】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を表すものである。
【０１６２】
【発明の効果】
以上のごとく本発明によれば、静止画を表示させることができる。特に、動作速度に拘らず、ユーザが認識し易いように静止画を表示させることができる。
【０１６３】
また、本発明によれば、複数の表示装置に静止画を表示することができる。特に、各表示装置間の距離に拘らず、ユーザが認識し易いように静止画を表示させることができる。
【図面の簡単な説明】
【図１】従来のストロボ表示装置の構成例を示すブロック図である。
【図２】図１の時間間隔決定部の構成例を示すブロック図である。
【図３】図１の静止画取得表示部の構成例を示すブロック図である。
【図４】体操競技者の動作を説明する図である。
【図５】体操競技者の動作を従来のストロボ表示装置が出力した例を示す図である。
【図６】本発明を適用したストロボ表示装置の一実施の形態の構成を示すブロック図である。
【図７】図６の時間間隔決定部の構成例を示すブロック図である。
【図８】図６の静止画取得表示部の構成例を示すブロック図である。
【図９】時間間隔決定部による時間間隔決定処理を説明するためのフローチャートである。
【図１０】時間間隔決定部による時間間隔決定処理を説明するためのフローチャートである。
【図１１】図９のステップＳ６における動きベクトルの算出を説明する図である。
【図１２】図９のステップＳ１０における背景領域の抽出を説明する図である。
【図１３】図１０のステップＳ１１における動作速度の推定を説明する図である。
【図１４】動作速度に応じて出力されるフィールドの時間間隔を説明する図である。
【図１５】図８の画像創造部の構成例を示すブロック図である。
【図１６】図１５の時間解像度創造部の構成例を示すブロック図である。
【図１７】図１６の係数メモリに記憶される予測係数を求める学習装置の構成例を示すブロック図である。
【図１８】図８の静止画取得表示部による静止画創造処理を説明するためのフローチャートである。
【図１９】図１８のステップＳ４１における画像創造処理を説明するためのフローチャートである。
【図２０】図１９のステップＳ５７における画像生成を説明する図である。
【図２１】図１９のステップＳ５７における画像生成を説明する図である。
【図２２】補間生成されて出力されるフィールドの時間間隔を説明する図である。
【図２３】体操競技者の動作を本発明のストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図２４】静止画にストロボ表示開始時刻からの実経過時間を併せて表示する場合の静止画取得表示部６２の構成例を示すブロック図である。
【図２５】図２４の静止画取得表示部を有するストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図２６】次の画面までの時間間隔を矢印の長さで表す場合の静止画取得表示部６２の構成例を示すブロック図である。
【図２７】図２６の静止画取得表示部を有するストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図２８】時間間隔を隣接する画面との距離で表す場合の静止画取得表示部６２の構成例を示すブロック図である。
【図２９】図２８の静止画取得表示部を有するストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図３０】小画面に表示する順を注目対象の動作方向と対応するように表示する場合の静止画取得表示部６２の構成例を示すブロック図である。
【図３１】図３０の静止画取得表示部を構成とするストロボ表示装置が前転とび前方宙返りの動作を９分割のマルチ画面に出力した例を示す図である。
【図３２】図３０の静止画取得表示部を構成とするストロボ表示装置が後転とび後方宙返りの動作を９分割のマルチ画面に出力した例を示す図である。
【図３３】モニタを含まない本発明のストロボ表示装置の一実施の形態の構成例を示す図である。
【図３４】モニタと一体化された本発明のストロボ表示装置の一実施の形態の構成例を示す図である。
【図３５】図３３のストロボ表示装置が複数のモニタを使用する一実施の形態の構成例を示す図である。
【図３６】図３４のストロボ表示装置を複数個使用する一実施の形態の構成例を示す図である。
【図３７】２台のマルチ画面の構成例を示す図である。
【図３８】表示装置間の距離情報に従って時間間隔を変化させた場合の時間間隔決定部の構成例を示すブロック図である。
【図３９】図３８の時間間隔決定部を有するストロボ表示装置が４分割のマルチ画面に出力した例を示す図である。
【図４０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
６０ 時間間隔決定部， ６１ 動き検出部， ６２ 領域抽出部， ６３ 動き量算出部， ６４ 時間間隔算出部， ７０ 静止画取得表示部， ７１ 画像創造部， ７２ 静止画保持部， ７３ 提示情報作成部， ８１ 時間解像度創造判定部， ８２ 時間解像度創造部， ２１１ 実時間算出部， ２１２ 時間挿入部， ２３１ 矢印長さ算出部， ２３２ 矢印挿入部， ２５１画像表示位置算出部， ２５２ 縮小画像生成部， ２５３ 提示情報作成部， ２７１ 動作方向算出部， ２７２ 提示情報作成部， ５２０ 時間間隔算出部
【発明の属する技術分野】
本発明は、映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システムに関し、特に、各表示単位の静止画の時間的間隔を、ユーザが認識し易いように表示させることができるようにした映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システムに関する。
【０００２】
【従来の技術】
図１は、本出願人が、特許文献１に先に提案したストロボ表示装置の原理的な構成例を示している。このストロボ表示装置においては、入力された映像信号が外部のモニタ（図示せず）に、一定の時間間隔で出力される。
【０００３】
映像信号は、時間間隔決定部１１と静止画取得表示部１２にそれぞれ入力される。
【０００４】
時間間隔決定部１１は、時間間隔を決定し、対応する時間間隔情報を静止画取得表示部１２に出力する。静止画取得表示部１２は、時間間隔決定部１１から出力された時間間隔情報のタイミングで、入力された映像信号を静止画として取り込み、出力する。
【０００５】
時間間隔決定部１１は、図２に示されるように、時間間隔算出部２１を有している。
【０００６】
時間間隔算出部２１は、上述したように、予め所定の値に定められた時間間隔に従って、時間間隔情報を静止画取得表示部１２に出力する。この時間間隔は、例えば、装置のメーカなどにより予め設定された固定の値であったり、ユーザが装置に設定した固定の値である。
【０００７】
図３は、図１の静止画取得表示部１２の構成例を示している。
【０００８】
静止画保持部３１は、外部より入力された映像信号を、内蔵するメモリ（図示せず）に一時的に保持するとともに、その映像信号の所定のフレームの画像を、時間間隔算出部２１より入力された時間間隔情報に合わせて、静止画として取り込み、提示情報作成部３２に出力する。
【０００９】
提示情報作成部３２は、入力された静止画を、３×３個に分割された小画面のうちのいずれに配置するかを表す位置情報を作成し、その位置情報とともに静止画を出力する。
【００１０】
以上のような従来のストロボ表示装置は、時間の経過に伴って、静止画を小画面に順次表示させることが可能であり、複数の異なる時刻の静止画を、１個の画面上で同時に見ることが可能である。その特長を利用して、例えば、体操競技、ゴルフスイング、スノーボードなどのスポーツのフォーム分析などに幅広く利用される。
【００１１】
例えば、図４に示されるように、体操競技者が前転とび前方宙返りを行い、その映像を、上述した従来のストロボ表示装置を使用して取り込むものとする。なお、図４における画像４１−１乃至４１−１５は、体操競技者の動きを説明するものであり、ストロボ表示装置により実際取り込まれ、表示される画像を示すものではない。すなわち、各画像４１−１乃至４１−１５の時間間隔は一定ではない。
【００１２】
これに対して、図５は、図４に示されるような体操競技者の運動を、図１乃至図３に示される従来のストロボ表示装置を使用して取り込み、表示する例を示している。図５に示される例では、連続する複数のフレーム５１のうち、一定の時間間隔Ｔ1毎に、時刻ｔ1乃至ｔ9のフレーム５１−１乃至５１−９の画像が静止画として順次取り込まれ、９個の小画面に同時に表示されている。
【００１３】
また、従来のストロボ表示装置は、１つのモニタの、例えば、９個の小画面に表示する方法の他に、複数個並べて配置されたモニタに、静止画を順次表示させる方法などもある。
【００１４】
【特許文献１】
特許第２８０８６１２号公報
【００１５】
【発明が解決しようとする課題】
ところで、図４において、分析したい対象（注目対象）は、体操競技者であるが、画像４１−１３乃至４１−１５で示される注目対象の動作の変化（以下、動作速度と称する）は遅く、動きは、ゆっくりしている。一方、画像４１−１０乃至４１−１２で示される宙返りの動作速度は速い。
【００１６】
フォーム分析などを行う場合、動作速度の速い画像４１−１０乃至４１−１２で示される期間の動きについては、できるだけ時間的に細かい間隔の静止画が必要とされる。これに対して、動作速度の遅い画像４１−１３乃至４１−１５で示される期間の動きについては、静止画の枚数は少なくても構わない。
【００１７】
しかしながら、一定の時間間隔で画像を取り込むと、図５に示されるように、動作速度が速い動きを捉えた静止画を表示するのが困難となる。そこで、時間間隔を短い時間に設定することが考えられる。しかしながら、そのようにすると、動作速度が遅い部分の静止画が必要以上に多くなってしまう。
【００１８】
本発明は、このような状況に鑑みてなされたものであり、動作速度に拘らず、注目対象の動きを充分認識することが可能な数の静止画を出力することができるようにするものである。
【００１９】
また、複数のモニタが所定の間隔をおいて配置され、それぞれのモニタの分割された小画面に、順次、静止画が表示されるようなシステムにおいて、従来のように、一定の時間間隔で静止画が表示されると、ユーザは、表示される時間間隔と、表示されるモニタ間の距離との関係が、対応しないため、時間間隔を認識するのが難しかった。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、ユーザが認識し易いように、静止画を複数のモニタに表示させることができるようにするものである。
【００２１】
【課題を解決するための手段】
本発明の第 1 の映像信号処理装置は、入力された映像信号の注目対象の動作速度を推定する推定手段と、推定手段により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定手段と、入力された映像信号の表示単位の画像を、時間間隔決定手段により決定された時間間隔で取得し、保持する保持手段と、保持手段に保持された表示単位の画像を出力する出力手段とを備え、出力手段は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力することを特徴とする。
【００２２】
出力手段には、時間の経過に沿った順番に出力させるようにすることができる。
【００２７】
出力手段には、複数の表示単位の画像を、注目対象の動作の方向に対応して表示させるよう出力させるようにすることができる。
【００２８】
時間間隔決定手段により決定された時間間隔が、表示単位の時間間隔より短い場合、表示単位と次の表示単位の間の静止画を補間して生成する生成手段をさらに設けることができる。
【００２９】
出力手段により出力された静止画を表示する表示手段をさらに設けることができる。
【００３０】
本発明の第 1 の映像信号処理方法は、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力制御ステップの処理は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力することを特徴とする。
【００３１】
本発明の第 1 の記録媒体のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力制御ステップの処理は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力する処理を映像信号処理装置を制御するコンピュータに実行させることを特徴とする。
【００３２】
本発明の第1のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力制御ステップの処理は、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて表示単位の画像を出力する処理コンピュータに実行させることを特徴とする。
本発明の第１の映像信号処理装置および方法、記録媒体、並びにプログラムにおいては、入力された映像信号の注目対象の動作速度が推定され、推定された動作速度に合わせて、時間間隔が決定され、入力された映像信号の表示単位の画像が、決定された時間間隔で取得され、前に出力表示される表示単位の画像と、その後に出力、表示される表示単位の画像との距離を時間間隔に対応させて出力される。
本発明の第２の映像信号処理装置は、入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置において、入力された映像信号の注目対象の動作速度を推定する推定手段と、推定手段により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定手段と、入力された映像信号の表示単位の画像を、時間間隔決定手段により決定された時間間隔で取得し、保持する保持手段と、保持手段に保持された表示単位の画像を出力する出力手段とを備え、出力手段は、次に出力する表示単位の画像までの時間間隔に対応する長さの矢印を、表示単位の画像に付加して出力することを特徴とする。
本発明の第２の映像信号処理方法は、入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置の信号処理方法において、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含み、出力ステップの処理は、次に出力する表示単位の画像までの時間間隔に対応する長さの矢印を、表示単位の画像に付加して出力することを特徴とする。
本発明の第２の映像信号処理装置および方法においては、入力された映像信号の注目対象の動作速度が推定され、推定された動作速度に合わせて、時間間隔が決定され、入力された映像信号の表示単位の画像が、決定された時間間隔で取得され、次に出力する表示単位の画像までの時間間隔に対応する長さの矢印を表示単位の画像に付加して出力される。
【００３３】
本発明の映像信号処理システムの映像信号処理装置は、入力された映像信号の注目対象の動作速度を推定する推定手段と、推定手段により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定手段と、入力された映像信号の表示単位の画像を、時間間隔決定手段により決定された時間間隔で取得し、保持する保持手段と、保持手段に保持された表示単位の画像を出力する出力手段とを備えることを特徴とする。
【００３４】
本発明の映像信号処理システムの映像信号処理装置の映像信号処理方法は、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを含むことを特徴とする。
【００３５】
本発明の映像信号処理システムの映像信号処理装置の記録媒体のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとを映像信号処理装置を制御するコンピュータに実行させることを特徴とする。
【００３６】
本発明の映像信号処理システムの映像信号処理装置のプログラムは、入力された映像信号の注目対象の動作速度を推定する推定ステップと、推定ステップの処理により推定された動作速度と、複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、入力された映像信号の表示単位の画像を、時間間隔決定ステップの処理により決定された時間間隔で取得し、保持を制御する保持制御ステップと、保持制御ステップの処理により保持された表示単位の画像の出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。
【００３７】
本発明の映像信号処理システムの映像信号処理装置および方法、記録媒体、並びにプログラムにおいては、入力された映像信号について、注目対象の動作速度が推定され、動作速度と複数の表示装置間の距離に合わせて時間間隔が決定される。そして、その決められた時間間隔で表示単位の画像が取得され、出力される。
【００３８】
映像信号処理装置は、独立した装置であっても良いし、１つの装置の映像信号処理を行うブロックであっても良い。
【００３９】
【発明の実施の形態】
図６は、本発明を適用したストロボ表示装置の構成例を示している。
【００４０】
映像信号は、時間間隔決定部６１と静止画取得表示部６２にそれぞれ入力される。時間間隔決定部６１は、入力された映像信号から注目対象の動作速度を算出し、その動作速度に合わせた時間間隔を算出し、静止画取得表示部６２に出力する。静止画取得表示部６２は、時間間隔決定部６１から入力された時間間隔に従って、映像信号から静止画を取得し（サンプリングし）、出力する。
【００４１】
時間間隔決定部６１は、図７に示されるように構成されている。
【００４２】
動き検出部７１は、入力された画像信号から、例えば、ブロックマッチングにより、全画面、または、画面の一部における動きベクトルを算出し、領域抽出部７２に出力する。
【００４３】
動き検出部７１から領域抽出部７２に供給される動きベクトルには、ユーザが注目している注目対象の動作の動きベクトルの他に、背景の動作の動きベクトルも含まれている。そこで、領域抽出部７２は、動きベクトルに基づいて背景領域を検出し、背景領域の動きベクトルを取り除き、残ったものを、注目対象の動作の動きベクトルとして、動き量算出部７３に出力する。
【００４４】
動き量算出部７３は、領域抽出部７２より入力された注目対象の動作の動きベクトルから、注目対象の動作速度を推定し、時間間隔算出部７４に出力する。
【００４５】
時間間隔算出部７４は、動き量算出部７３より入力された動作速度に基づいて、静止画保持を行うタイミングの時間間隔を算出する。そして、時間間隔算出部７４は、算出した時間間隔の情報を静止画取得表示部６２に出力する。
【００４６】
静止画取得表示部６２は、例えば、図８に示されるように構成される。
【００４７】
画像創造部８１には、外部より映像信号が入力され、また、時間間隔算出部７４（図７）より、静止画保持を行うタイミングを表す時間間隔情報が入力される。静止画保持を行う時間間隔が、フィールド間隔（またはフレーム間隔でもよい）より短い場合、画像創造部８１は、図１９を参照して後述する画像創造処理によって、入力された時間間隔に対応する静止画を補間生成し、静止画保持部８２に出力する。それに対して、静止画保持を行う時間間隔が、フィールド間隔より長い場合、画像創造部８１は、該当する時刻の静止画をそのまま静止画保持部８２に出力する（スルーする）。
【００４８】
静止画保持部８２は、画像創造部８１より入力された各フィールドの画像を、内蔵するメモリ（図示せず）に一時的に保持し、時間間隔算出部７４より入力された時間間隔のタイミングで、提示情報作成部８３に順次出力する。
【００４９】
提示情報作成部８３は、静止画保持部８２より入力された静止画を、例えば、３×３個に分割された小画面のうちのいずれに配置するかを表す位置の情報を作成し、その位置情報とともに静止画を出力する。
【００５０】
次に、図９と図１０のフローチャートを参照して、時間間隔決定部６１が行う時間間隔決定処理について説明する。この処理は、例えば、ユーザが、ストロボ表示の開始を指示したとき開始される。
【００５１】
まず初めに、ステップＳ１で、動き検出部７１は、変数ｔとｋを０にリセットする初期化を行う。変数ｔは、処理したフィールドの数を表し、変数ｋは、その変数ｔで表される枚数のうちの、外部に出力されるフィールドの数を表している。また、変数ｔと変数ｋは、時間間隔決定部６１のどのブロックにおいても参照可能な変数である。
【００５２】
ステップＳ２で、動き検出部７１は、入力された映像信号から同期信号が検出されたか否かを判定する。動き検出部７１は、同期信号が検出されていないと判定した場合、同期信号が検出されたと判定するまで、ステップＳ２の処理を繰り返す。動き検出部７１は、同期信号が検出されたと判定した場合、処理をステップＳ３に進める。
【００５３】
最初の同期信号の直後のフィールドは、常に出力されるため、ステップＳ３で、動き検出部７１は、出力されるフィールドの数を表す変数ｋの値を１とし、ステップＳ４に処理を進める。
【００５４】
また、ステップＳ４においても同様に、動き検出部７１は、処理したフィールドの数を表す変数ｔを１つだけインクリメントして（いまの場合、ｔ＝１として）、処理をステップＳ５に進める。
【００５５】
ステップＳ５で、動き検出部７１は、次の同期信号が検出されたか否かを判定する。同期信号が検出されていないと判定された場合、動き検出部７１は、同期信号が検出されたと判定するまで、ステップＳ５の処理を繰り返す。同期信号が検出されたと判定された場合、動き検出部７１は、処理をステップＳ６に進める。
【００５６】
ステップＳ６で、動き検出部７１は、入力された映像信号の全画面、または、画面の一部における動きベクトルを算出し、領域抽出部７２に出力する。動きベクトルを算出する方法としては、例えば、ブロックマッチングなどを用いることが可能である。
【００５７】
ブロックマッチングの手法においては、注目画素とその周辺の画素で構成される注目ブロックの各画素と、近接フィールドのブロックを構成する対応する画素との画素値の差分の２乗和等の、いわゆる予測誤差が計算され、その予測誤差が最も小さくなる近接フィールドのブロックが求められる。そして、注目ブロックと、予測誤差が最小となるブロックとの位置関係から、注目画素の動きベクトルが求められる。注目フィールドのすべてのブロックが、順次、注目ブロックとされ、フィールド全体の各ブロックの動きベクトルが求められる。
【００５８】
例えば、図１１は、１つのフィールドにおいて上述の動きベクトルが算出された例を示している。図中のＲ1で示される図中、一様に右に向いている矢印は、背景部分の動きベクトルを示している。また、図中、人の図形の周辺の矢印が、注目対象の動きベクトルを示している。
【００５９】
すなわち、ステップＳ６で算出した動きベクトルの中には、注目対象の動作以外の動きベクトルが含まれている。領域抽出部７２は、このような背景の動きベクトルを排除する処理を行う。まず、ステップＳ７で、領域抽出部７２は、動き検出部７１より入力された動きベクトルに基づいて、ヒストグラムを作成する。例えば、図１２に示されるように、動きベクトルの水平成分と垂直成分により規定されるポイント毎にその度数がカウントされて、ヒストグラムが生成される。
【００６０】
次に、ステップＳ８において、領域抽出部７２は、ステップＳ７で算出したヒストグラムの極大値を度数の高い方から、予め決められた所定の数だけ抽出する。
【００６１】
さらに、ステップＳ９で、領域抽出部７２は、抽出したそれぞれのベクトルに対して、次式で定義される画像中心との平均距離Ｌを算出する。
【数１】
【００６２】
そして、ステップＳ１０で、上述の平均距離Ｌが大きいものは、背景動きであるという考えに基づいて、領域抽出部７２は、平均距離の大きいものから予め決められた所定の数の動きベクトルを、背景領域の動きベクトルとして取り除く。例えば、図１２の領域Ｒ11の動きベクトルは、背景領域の動きベクトルとして取り除かれる。背景動きの動きベクトルが取り除かれた後の、注目対象の動作の動きベクトルが、動き量算出部７３に出力される。図１３は、このようにして背景領域の動きベクトルが除去された後のヒストグラムを示している。
【００６３】
ステップＳ１１で、動き量算出部７３は、注目対象の動作速度を推定し、時間間隔算出部７４に出力する。すなわち、動き量算出部７３は、図１３に示されるように、背景領域の成分が取り除かれた後の動きベクトルのヒストグラムの中から、度数が最大の動きベクトル（図１３で、Ｈ1で示される度数に含まれる動きベクトル）を注目対象の動作速度として推定する。なお、以下において、特に断りのない限り、動作速度とは、注目対象の動作速度を意味するものとする。
【００６４】
ステップＳ１２において、時間間隔算出部７４は、ステップＳ１１で算出された動作速度の大きさの総和lengthを算出する。lengthは、次式によって求めることができる。
【数２】
【００６５】
ステップＳ１３で、動作速度の大きさの総和lengthが、閾値ＴＨ以上であるか否かが判定される。閾値ＴＨは、静止画として保持する時間間隔を規定するための値であり、任意の値に設定することが可能である。閾値ＴＨが大きい場合、動作速度が速くないと、静止画保持が行なわれないことになり（時間間隔が長くなり）、逆に、閾値ＴＨが小さい場合、わずかな動きに対しても静止画保持が行なわれるようになる（時間間隔が短くなる）。動作速度の大きさの総和lengthが、閾値ＴＨより小さいと判定された場合、時間間隔算出部７４は、処理をステップＳ４に戻し、それ以降の処理が繰り返される。動作速度の大きさの総和lengthが、閾値ＴＨ以上であると判定された場合、時間間隔算出部７４は、処理をステップＳ１４に進める。
【００６６】
ステップＳ１３において、動作速度の大きさの総和lengthが、閾値ＴＨ以上であると判定された場合、ステップＳ１４で、時間間隔算出部７４は、静止画保持数ｍ＝length／ＴＨを算出する。
【００６７】
例えば、図１９を参照して後述する画像創造部８１の処理で生成するフィールド数を２n−１枚とすると、ステップＳ１５で、時間間隔算出部７４は、静止画保持数ｍを２の累乗から１を減算した値（２n−１）に変換したときのｎ（ｎは、整数）を算出し、また、そのｎを使って時間間隔Ｔ＝１／２nを算出する。
【００６８】
ステップＳ１６で、時間間隔算出部７４は、ステップＳ１５において算出した時間間隔Ｔを静止画取得表示部６２に出力する。
【００６９】
ステップＳ１７で、時間間隔算出部７４は、出力されるフィールド数を表す変数ｋをｋ＝ｋ＋２nの計算式により更新する。
【００７０】
ステップＳ１８で、時間間隔算出部７４は、動作速度の大きさの総和lengthから、静止画として出力した分の動作速度の大きさを差し引く処理を行う。すなわち、length＝length−２n＊ＴＨが計算され、lengthが更新される。
【００７１】
ステップＳ１９で、出力したフィールド数を表す変数ｋが、モニタを分割して表示する小画面の数（例えば、３×３＝９画面）と等しいか否かが判定される。変数ｋと画面の数が等しくないと判定された場合、すなわち、まだ静止画を表示していない画面が存在する場合、時間間隔算出部７４は、処理をステップＳ４に戻し、それ以降の処理が繰り返される。一方、変数ｋと画面数が等しいと判定された場合、すなわち、表示画面の数と同じ数の静止画が出力された場合、時間間隔算出部７４は、時間間隔決定処理を終了する。
【００７２】
図１４は、上述の時間間隔決定処理による時間間隔で、入力された映像信号を静止画として出力する時間間隔の例を示す。図１４Ａは、時間経過と推定された動作速度の関係を示している。フィールドＦi（ｉ＝０，１，２，・・・）が、図１４Ｂに示されるようなタイミングで、動き検出部７１に入力されている。図１４Ｃは、従来のように、一定間隔Ｔ10でフィールドＦj（ｊ＝０，１，２，・・・）を出力した例を表し、図１４Ｄは、上述の時間間隔決定処理によって動作速度に応じた時間間隔でフィールドＦk（ｋ＝０，１，２，・・・）を出力した例を表している。図１４Ｄに示されるフィールドＤkでは、動作速度が遅い領域Ａ1に対応する時間帯では、出力されるフィールドの時間間隔が長くなり、部分動作速度が速い領域Ａ2に対応する時間帯では、出力されるフィールドの時間間隔が短くなっている。
【００７３】
画像創造部８１は、図１５に示されるように構成されている。
【００７４】
時間解像度創造判定部９１は、時間間隔決定部６１より入力された時間間隔Ｔに基づいて、静止画を補間生成する必要があるか、あるいは、そのままスルー出力すればよいのかを判定し、その判定結果を時間解像度創造部９２に出力する。
【００７５】
時間解像度創造部９２は、時間解像度創造判定部９１の判定結果に基づいて、外部より入力された映像信号を、静止画として静止画保持部８２（図８）にそのままスルー出力するか、または、映像信号から新たに静止画を補間、生成し、静止画保持部８２に出力する。
【００７６】
図１６は、図１５の時間解像度創造部９２の構成例を示している。この構成には、本出願人が先に提案した特開2000-324497のフィールド倍速処理の技術が用いられている。この技術は、例えば、フィールド周期が５０ＨｚのＳＤ（Standard Definition）画像に基づいて、フィールド周期が１００Ｈｚの画像信号を補間生成する技術である。
【００７７】
入力されたフィールド周期が５０Ｈｚの画像信号は、ＳＤ画像データとして領域切り出し部１０１および領域切り出し部１０５に供給される。領域切り出し部１０１は、供給されるＳＤ画像データから所定の画素領域をクラスタップとして切り出し、切り出したクラスタップのデータをＡＤＲＣ(Adaptive Dynamic Range Coding)部１０２に供給する。ＡＤＲＣ部１０２は、供給されるデータに、例えば、ＡＤＲＣ処理を施し、これによって生成したコード値をクラスコード発生部１０３に供給する。
【００７８】
クラスコード発生部１０３は、供給されるコード値に基づいて、時空間におけるパターンに応じたクラスを示すクラスコードを発生する。発生したクラスコードは、係数メモリ１０４に供給される。係数メモリ１０４には、予め決定された、予測演算に用いられる予測係数が、クラスコードに対応して記憶されている。
【００７９】
一方、領域切り出し部１０５は、供給される画像から所定の画素領域を予測タップとして切り出し、切り出した予測タップのデータを遅延部１０６に供給する。
【００８０】
遅延部１０６は、供給されるデータを一旦保持し、保持したデータを適切なタイミングで推定演算部１０７に供給する。これにより、予測タップのデータが推定演算部１０７に供給されるタイミングと、予測係数が係数メモリ１０４から推定演算部１０７に供給されるタイミングとが、合わされる。
【００８１】
推定演算部１０７は、遅延部１０６の出力と、係数メモリ１０４の出力とに基づく演算を行うことにより、フィールド倍速画像を生成する。生成された画像データは、静止画保持部８２（図８）に供給される。
【００８２】
上述の係数メモリ１０４に記憶される予測係数を決定する学習装置は、図１７に示されるように構成されている。
【００８３】
時間解像度創造部９２で生成されるべき画像と、同一の信号形式を有する画像（以下、教師画像と称する）内の画素を全て含む画像が供給される。例えば、時間解像度創造部９２において、フィールド周期が５０Ｈｚの画像から１００Ｈｚの画像が生成される場合、教師画像としての１００Ｈｚプログレッシブ画像が、垂直位相シフトフィルタ１２１および遅延部１２８に供給される。
【００８４】
垂直位相シフトフィルタ１２１は、供給される画像データの位相をずらす処理、または、そのまま出力する処理を行い、時間間引きフィルタ１２２に供給する。
【００８５】
時間間引きフィルタ１２２は、垂直位相シフトフィルタ１２１の出力に対して、時間方向に平滑化する処理を施すことにより、５０Ｈｚインターレース画素位置に画素を生成する。このようにして、ＳＤ画像と同一の信号形式（すなわち５０Ｈｚインターレース画像）を生成することができる。以下、この画像を生徒画像と称する。生徒画像が、領域切り出し部１２３と領域切り出し部１２６に供給される。
【００８６】
領域切り出し部１２３は、図１６の領域切り出し部１０１と同様の処理を行う。すなわち、領域切り出し部１２３は、供給される生徒画像から、領域切り出し部１０１によって切り出されるものと同一の画素領域をクラスタップとして切り出し、切り出したクラスタップのデータをＡＤＲＣ部１２４に供給する。ＡＤＲＣ部１２４は、供給されるデータに、図１６のＡＤＲＣ部１０２と同様の処理を施し、生成したコード値をクラスコード発生部１２５に供給する。
【００８７】
クラスコード発生部１２５は、図１６のクラスコード発生部１０３と同様の処理を行う。すなわち、クラスコード発生部１２５は、ＡＤＲＣ部１２４の出力に基づいてクラスコードを発生する。クラスコード発生部１２５の出力は、正規方程式加算部１２９に供給される。
【００８８】
一方、領域切り出部１２６は、図１６の領域切り出し部１０５と同様の処理を行う。すなわち、領域切り出し部１２６は、供給される画像信号から、領域切り出し部１０５によって切り出されるものと同一の画素領域を予測タップとして切り出し、切り出した予測タップのデータを遅延部１２７に供給する。遅延部１２７は、供給されるデータを一時的に保持し、その後、正規方程式加算部１２９に供給する。
【００８９】
遅延部１２８は、供給される教師画像を一時的に保持し、その後、正規方程式加算部１２９に供給する。遅延部１２７および１２８により、加算処理を行うために好適なタイミングで、予測タップのデータと、教師画像の画像データが、正規方程式加算部１２９に供給される。
【００９０】
正規方程式加算部１２９は、遅延部１２７から供給される予測タップのデータ、クラスコード発生部１２５から供給されるクラスコード、および遅延部１２８から供給される教師画像の画像データに基づいて、正規方程式のデータを算出し、予測係数決定部１３０に供給する。予測係数決定部１３０は、供給されるデータに基づいて正規方程式を解くための演算を行う。このような演算の結果として算出された予測係数が、メモリ１３１に供給され、記憶される。
【００９１】
以上のようにして、図１７のメモリ１３１に記憶された予測係数が、係数メモリ１０４に転送され、記憶される。その結果、フィールド周期が５０Ｈｚの入力画像信号から１００Ｈｚの画像信号を生成することが可能となる。また、教師画像のフィールド周期を１０００Ｈｚ，２０００Ｈｚと大きくすることで、任意の時間間隔の画像を生成することが可能となる。
【００９２】
次に、図１８のフローチャートを参照して、静止画取得表示部６２が行う静止画創造処理について説明する。
【００９３】
ステップＳ４１において、画像創造部８１は、図１９を参照して後述する画像創造処理を行う。時間間隔Ｔが、フィールド間隔より短い場合、上述のフィールド倍速処理が行われる。この処理により、画像創造部８１は、時間間隔決定部６１より入力された時間間隔情報に合わせた枚数の静止画を、静止画保持部８２に出力する。
【００９４】
ステップＳ４２において、静止画保持部８２は、画像創造部８１が出力した静止画を一時的に保持し、時間間隔決定部６１より入力された時間間隔に合わせて、順次、提示情報作成部８３に出力する。
【００９５】
ステップＳ４３において、提示情報作成部８３は、入力された静止画を、例えば、３×３個に分割された小画面のうちのいずれに表示するかを表す位置情報を作成する。そして、その位置情報と静止画が、後段のモニタ（図示せず）等に出力される。勿論、提示情報作成部８３において、各静止画を所定の小画面上に配置した１画面分の画像データを生成し、出力するようにしてもよい。
【００９６】
次に、図１９のフローチャートを参照して、図１８のステップＳ４１における画像創造処理について説明する。
【００９７】
初めに、ステップＳ５１で、時間解像度創造判定部９１は、時間間隔決定部６１が出力した時間間隔Ｔを受け取る。上述したように時間間隔Ｔは、Ｔ＝１／２nの形式で表されており、このとき、時間解像度創造部９２では、２n−１枚のフィールドを生成することになる。
【００９８】
ステップＳ５２で、時間解像度創造判定部９１は、取得した時間間隔Ｔが、０より大きく、かつ、１より小さい値の範囲内であるか否かの判定を行う。
【００９９】
ステップＳ５２において、時間間隔Ｔが１以上であると判定された場合、ステップＳ５３で、時間解像度創造判定部９１は、時間解像度創造部９２に対して画像を補間生成する必要がない旨の指令を出力する。そして、時間解像度創造部９２は、その指令に基づいて、入力された画像をスルー出力して、画像創造処理を終了する。
【０１００】
一方、ステップＳ５２において、時間間隔Ｔが、０より大きく、かつ、１より小さい値の範囲内であると判定された場合、時間解像度創造判定部９１は、フィールドとフィールドの間に、新たなフィールドを補間生成する必要があると判定し、ステップＳ５４で、時間解像度創造部９２に、時間間隔Ｔ（＝１／２n）を出力する。そして、時間解像度創造部９２は、時間間隔Ｔが入力されると、画像創造部８１の内部に有するカウンタｉ，ｊの値をゼロにリセットする。
【０１０１】
ステップＳ５５で、時間解像度創造部９２は、カウンタｉの値が、時間解像度創造判定部９１より入力されたｎより小さいか否かを判定する。カウンタｉの値が、ｎより小さいと判定された場合、時間解像度創造部９２は、処理をステップＳ５６に進める。例えば、ｎ＝２の場合、いまｉ＝０なので、処理はステップＳ５６に進められる。
【０１０２】
ステップＳ５６で、時間解像度創造部９２は、カウンタｊの値が２iより小さいか否かを判定する。カウンタｊの値が２iより小さいと判定された場合、時間解像度創造部９２は、処理をステップＳ５７に進める。いまｉ＝０なので、２i＝１となる。また、ｊ＝０なので、処理はステップＳ５７に進められる。
【０１０３】
ステップＳ５７で、時間解像度創造部９２は、時刻ｊ／２iと時刻（ｊ＋１）／２iの間の時刻（２ｊ＋１）／２i+1に、上述したフィールド倍速処理で新たな画像を生成する。いまの場合、ｉ＝０，ｊ＝０なので、ｊ／２i＝０の時刻のフィールド（図２０のフィールド１４１）と、（ｊ＋１）／２i＝１の時刻のフィールド（図２０のフィールド１４２）の間の、（２ｊ＋１）／２i+1＝１／２の時刻のフィールド（図２０のフィールド１４３）の画像が補間生成される。
【０１０４】
ステップＳ５８において、ステップＳ５７で生成された画像が、出力されるまでの間、時間解像度創造部９２内部のメモリ（図示せず）に一時的に保持される。
【０１０５】
ステップＳ５９で、時間解像度創造部９２は、カウンタｊの値を１つだけインクリメントし（いまの場合、ｊ＝１とし）、ステップＳ５６に処理を戻す。
【０１０６】
ステップＳ５６において、カウンタｊの値が２i以上と判定された場合、ステップＳ６０に進み、時間解像度創造部９２は、カウンタｉの値を１つだけインクリメントし、カウンタｊの値を、ゼロにリセットして、ステップＳ５５に処理を戻す。いまの場合、ｊ＝１，２i＝２0＝１なので、ステップＳ５６からステップＳ６０に進み、ｊ＝０，ｉ＝１とされる。
【０１０７】
いま、ｉ＝１，ｎ＝２なので、ステップＳ５５において、YESと判定され、ｊ＝０，２i＝２なので、ステップＳ５６において、YESと判定される。ステップＳ５７で、ｊ／２i＝０のフィールド（図２０のフィールド１４１）と、（ｊ＋１）／２i＝１／２のフィールド（図２０のフィールド１４３）の間の（２ｊ＋１）／２i+1＝１／２2＝１／４のフィールド（図２０のフィールド１４３）が補間生成される。
【０１０８】
ステップＳ５９で、ｊ＝１とされ、ｊ＝１＜21=２なので、ステップＳ５６でYESと判定される。ステップS57で、ｊ／２i＝１／２のフィールド（図２１のフィールド１４３）と、（ｊ＋１）／２i＝２／２＝１のフィールド（図２１のフィールド１４２）の間の（２ｊ＋１）／２i+1＝３／２2＝３／４のフィールド（図２１のフィールド１４５）が補間生成される。
【０１０９】
次のステップＳ５９で、ｊ＝２とされ、ステップＳ５６で、ｊ＝２＝21=２なので、NOと判定される。ステップＳ６０で、ｉ＝２，ｊ＝０とされる。
【０１１０】
ステップＳ５５において、カウンタｉの値がｎ以上であると判定された場合、ステップＳ６１に進み、時間解像度創造部９２は、内部で保持している生成した画像と原画像を、静止画保持部８２に出力する。いまの場合、ｉ＝２，ｎ＝２なので、ステップＳ５５でＮＯと判定され、ステップＳ６１の処理が実行される。
【０１１１】
以上の図１９に示されるフローチャートでは、時間間隔が、フィールド間隔より大きい場合には、そのまま該当する時刻の静止画をスルー出力するようにしたが、精度の細かいきれいな静止画を必要に応じて生成するようにしてもよい。
【０１１２】
図２２は、図１４に示した画像を出力する時間間隔のタイミングの例に、上述の画像創造処理によって画像が補間生成された場合を、図２２Ｄとして追加して示す図であり、図１４と同一のものについては、同一の符号が付されている。図２２Ｄに示されるように、推定動作速度が速い図中Ａ2の時間帯において、１フィールド単位より小さい単位の補間画像Ｆm1とＦm2が出力されており、注目対象の動作の詳細な分析が可能となる。
【０１１３】
図２３は、上述の本発明のストロボ表示装置を使用して、図５で示される体操競技の前転とび前方宙返りの動作を９分割のモニタ画面に出力した例を示している。図５では、表示されていなかった宙返りの動作が、図２３では、表示されている。すなわち、連続する複数のフィールド２０１のうち、時刻ｔ21のフィールド２０１−１が最初の静止画として取り込まれ、その後、動作速度に合わせた時刻ｔ22乃至ｔ29において、動作速度が速い時間帯ほど、時間間隔が狭くなるように、フィールド２０１−２乃至２０１−９が順次取り込まれ、９個の小画面に同時に表示されている。
【０１１４】
以上のように、注目対象の動作速度に応じて、時間間隔を変化させて静止画を抽出することで、効率的な分析を可能とする表示ができるようになる。
【０１１５】
以上においては、フィールドとフィールドの間に、（２n−１）枚のフィールドを補間挿入するようにしたが、１，２，３，４，５，・・・等の任意の数のフィールドを挿入するようにすることもできる。
【０１１６】
一方、時間間隔がストロボ表示装置により決定されるため、ユーザは、表示されている画像間の時間間隔を把握しにくいという問題が考えられる。そこで、ユーザが表示されている画像間の時間間隔を直感的に分かり易くするための実施の形態について、以下に述べる。
【０１１７】
図２４は、時間間隔を直感的に分かり易くするために、それぞれの静止画に、ストロボ表示開始時刻からの実経過時間を併せて表示させた場合の、静止画取得表示部６２の構成例を示している。この静止画取得表示部６２においては、図８の静止画保持部８２と提示情報作成部８３の間に、時間挿入部２１２が配置されている。時間挿入部２１２には、実時間算出部２１１が算出した実時間が供給されている。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１１８】
実時間算出部２１１は、時間間隔算出部７４（図７）より入力された時間間隔情報に基づいて、ストロボ表示開始時刻からの実時間を計算し、時間挿入部２１２に出力する。実時間は、例えば、フィールド周期が６０Ｈｚのインターレース映像ならば、１フィールドは、１／６０秒であるので、フィールドの枚数から計算される。
【０１１９】
時間挿入部２１２は、静止画保持部８２より入力された静止画に、実時間算出部２１１より入力された実時間を、重ねて表示されるように挿入し、提示情報作成部８３に出力する。
【０１２０】
図２５は、静止画にストロボ表示開始時刻からの実経過時間を表示した場合の画面出力の原理を示している。連続するフィールド２２１のうち、ストロボ表示開始時刻ｔ21の静止画２２１−１を０ｓ（秒）として、時刻ｔ22乃至ｔ29において取り込まれた静止画２２１−２乃至２２１−９の、それぞれの図中左下に、実経過時間が表示されている。すなわち、時刻ｔ22の静止画２２１−２は、静止画２２１−１から１２枚目であるので、０．２ｓ（＝（１／６０）×１２）と表示され、静止画２２１−３は、静止画２２１−１から１８枚目なので、０．３ｓ（＝（１／６０）×１８）と表示されている。以下、時刻ｔ24からｔ29の静止画２２１−４乃至２２１−９は、静止画２２１−１からそれぞれ、２４枚目、２７枚目、３０枚目、３３枚目、３８枚目、または、４８枚目なので、０．４ｓ，０．４５ｓ，０．５ｓ，０．５５ｓ，０．６３ｓ，０．８ｓと表示される。
【０１２１】
ただし、実際には、このような体操競技の時間はもっと長いので（時刻ｔ21乃至ｔ29までの実際の時間はもっと長いので）、その間のフィールドの数ももっと多くなり、表示される数字ももっと大きくなる。
【０１２２】
時間間隔を直感的に分かり易くするために、次の画面までの時間間隔を矢印の長さで表現することができる。この場合、静止画取得表示部６２は、図２６に示されるように構成される。この例の場合、図８の静止画保持部８２と提示情報作成部８３の間に、矢印挿入部２３２が配置されている。矢印挿入部２３２には、矢印長さ算出部２３１が算出した矢印の長さ情報が供給されている。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１２３】
矢印長さ算出部２３１は、時間間隔算出部７４より入力された時間間隔情報を矢印の長さに変換し、その矢印の長さ情報を矢印挿入部２３２に出力する。長さが長い矢印は、次の画面までの時間間隔が長いことを表し、反対に、長さが短い矢印は、次の画面までの時間間隔が短いことを表す。矢印長さ算出部２３１は、矢印の長さを、小画面の幅を矢印の長さの最大値の１としたとき、全ての矢印の長さの和が１になるように決定する。例えば、９画面の場合、矢印の長さlength(n,j)は、次式で求められる。
【数３】
【０１２４】
いま、上述の図２５に示される時間経過で、静止画が小画面に出力されるとすると、時間間隔情報Ｔiは、Ｔ0＝0.2(=0.2-0)，Ｔ1＝0.1(=0.3-0.2)，Ｔ2＝0.1(=0.4-0.3)，Ｔ3＝0.05(=0.45-0.4)，Ｔ4＝0.05(=0.5-0.45)，Ｔ5＝0.05(=0.55-0.5)，Ｔ6＝0.08(=0.63-0.55)，Ｔ7＝0.17(=0.8-0.63)となる。矢印の長さは、静止画保持画像数ｊが増加する毎（表示される小画面数が増加する毎）に改めて算出され、更新される。
【０１２５】
すなわち、最初に、１つの小画面（９分割された画面の左上）が表示される場合、ｎ＝０，ｊ＝０なので、その矢印の長さは、length(0,0)＝Ｔ0／Ｔ0＝0.2／0.2＝１となる。従って、最初の１つの小画面だけが表示されている状態の場合、矢印の長さは１（小画面の幅の長さ）とされる。
【０１２６】
次に、２つの小画面（９分割された画面の左上とその右隣）が表示される場合、矢印の長さは更新され、１つ目の小画面に表示する矢印長さは、length(0,1)＝Ｔ0／（Ｔ0＋Ｔ1）＝0.2／（0.2+0.1）＝2/3となり、２つ目の小画面に表示する矢印長さは、length(1,1)＝Ｔ1／（Ｔ0＋Ｔ1）＝0.1／（0.2+0.1）＝1/3となる。２つの矢印の長さの和は、2/3＋1/3＝１となっている。
【０１２７】
このようにして、矢印の長さは、静止画保持画像数が増加する毎（表示される小画面数が増加する毎）に更新されながら、９つの小画面に表示される。従って、同じ静止画であっても、表示される静止画の枚数が増える毎に、１枚当たりの時間間隔の比率は小さくなるので、矢印の長さは、次第に短くなる。
【０１２８】
矢印挿入部２３２は、矢印長さ算出部２３１より入力された矢印の長さ情報に基づいて、静止画保持部８２より入力された静止画に、対応する長さの矢印を合成し、提示情報作成部８３に出力する。
【０１２９】
図２７は、上述のように矢印の長さが算出され、連続するフィールド２４１から、矢印が挿入された静止画２４１−１乃至２４１−９が、９つの小画面に出力された例を示している。すなわち、時刻ｔ21の静止画２４１−１には、次の時刻ｔ22までの時間間隔を表した矢印２４２−１（矢印の長さlength（0,7）＝Ｔ0／ΣＴi＝0.2/0.8＝0.25）が表示され、時刻ｔ22の静止画２４１−２には、次の時刻ｔ23までの時間間隔を表した矢印２４２−２（矢印の長さlength（1,7）＝Ｔ1／ΣＴi＝0.1/0.8＝0.125）が表示されている。以下、時刻ｔ23乃至ｔ28の静止画２４１−３乃至２４１−８には、矢印２４２−３乃至２４２−８が同様に算出され、表示されている。時刻ｔ29の静止画２４１−９には、次の画面がないため、矢印は、表示されない。
【０１３０】
時間間隔を直感的に分かり易くするために、隣接する画面との距離が離れているほど時間間隔が長く、近いほど、時間間隔が短い、というように表すことができる。この場合、静止画取得表示部６２は、図２８に示されるように構成される。この例の場合、図８の静止画保持部８２の後段に、縮小画像生成部２５２が配置され、縮小画像生成部２５２の後段に提示情報作成部２５３が配置されている。時間間隔算出部７４（図７）より入力される時間間隔情報は、画像創造部８１と静止画保持部８２のほかに、画像表示位置算出部２５１にも供給される。画像表示位置算出部２５１は、時間間隔算出部７４より入力された時間間隔情報に基づいて、分割された小画面の表示位置を算出して、提示情報作成部２５３に出力する。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１３１】
小画面内の画像の表示位置は、例えば、各画像の中心位置で考えると、ストロボ表示が開始された時刻（１枚目の静止画が取り込まれた時刻）を基準として、各静止画が取り込まれるまでの経過時間と、小画面に表示されたときの、各画像の中心位置の距離の比の関係が、保たれるように（正比例するように）計算される。具体的には、９分割された画面を例にすると、ｎ番目の画像の位置の比ｘ（ｎ）は、次式で計算される。
【数４】
【０１３２】
上述の図２５に示される時間経過の数値を例にすると、ｘ（１）＝0.2/0.8＝2/8，Ｘ（２）＝0.3/0.8＝3/8，Ｘ（３）＝0.4/0.8=4/8，・・・が、１枚目の画像（の中心）を基準としたｎ番目の画像の位置の比ｘ（ｎ）である。
【０１３３】
縮小画像生成部２５２は、静止画保持部８２より入力された静止画を、小画面内で表示位置を変化させるために、例えば、３／４の大きさに縮小する処理を行う。そして、縮小された静止画の画像が、小画面の中心位置を仮の位置として、提示情報作成部２５３に出力される。
【０１３４】
提示情報作成部２５３には、画像表示位置算出部２５１より入力される小画面内における画像の表示位置情報と、縮小画像生成部２５２より入力される３／４に縮小された静止画の画像が、それぞれ入力される。提示情報作成部２５３は、表示位置情報に基づいて、縮小された画像を移動して出力する。なお、入力された位置情報に従うと、縮小された静止画の画像が小画面をはみ出す場合、提示情報作成部２５３は、はみ出さないように修正を加える。
【０１３５】
図２９は、図２８の構成により、提示情報作成部２５３が９分割されたマルチ画面に出力する原理を示している。連続するフィールド２６１のうち、時刻ｔ21における静止画２６１−１の縮小された画像は、小画面の左端に配置され（縮小された画像の左端が、小画面の左端に位置するように配置され）、時刻ｔ29における静止画２６１−９の縮小された画像は、小画面の右端に配置されている（縮小された画像の右端が、小画面の右端に位置するように配置されている）。そして、時刻ｔ22における静止画２６１−２から時刻ｔ28における静止画２６１−８までのそれぞれの縮小された画像は、上述の画像の位置の比に従って配置されている。
【０１３６】
これまでの実施の形態では、表示する画像に直感的な時間間隔の情報が付加されているが、画面の表示する順番は、例えば、左上が１番目で、右下が９番目というように、左上から右下方向に固定である。予め決められた一定の方向に静止画の表示を行った場合、動作の方向と表示する方向が異なるために、動作が直感的にわかりにくくなる場合がある。そこで、小画面の表示する順番を対象動作の方向と対応するように表示することが考えられる。その場合の静止画取得表示部６２は、図３０に示されるように構成される。提示情報作成部２７２は、動作方向算出部２７１より注目対象となる動作方向の情報が供給される点で、図８の提示情報作成部８３と異なる。その他の構成は、図８における場合と同様である。なお、図中、図８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１３７】
動作方向算出部２７１には、領域抽出部７２から背景領域が取り除かれた動きベクトルが入力される。動作方向算出部２７１は、注目対象の動作方向を算出し、動作方向の情報として提示情報作成部２７２に出力する。動作方向としては、例えば、度数の最大の動きベクトルの方向が、その画像の動作方向として算出される。あるいは、動作方向は、全動きベクトルの平均値などで算出されてもよい。
【０１３８】
提示情報作成部２７２は、静止画保持部８２より入力された静止画を、動作方向算出部２７１からの動作方向の情報に基づき、出力する小画面の位置を決定し、出力する。
【０１３９】
図３１は、これまでと同様の前転とび前方宙返りの映像が、上述の動作方向に合わせた表示順に出力される原理を示しており、また、図３２は、図３１の例と動作が逆方向となる、後方に回転する動作が出力される原理を示している。図３１において、連続するフィールド２８１のうち、時刻ｔ21の静止画２８１−１が９分割画面のうちの画面右下に出力され、時刻ｔ22の静止画２８１−２が、９分割画面のうちの画面右中央に表示されている。それ以降、時刻ｔ23乃至ｔ29の静止画２８１−３乃至２８１−９が、反時計方向に回転するように順次表示されている。
【０１４０】
それに対して、図３２においては、連続するフィールド２９１のうち、時刻ｔ21の静止画２９１−１が９分割画面のうちの画面左下に出力され、時刻ｔ22の静止画２９１−２が、９分割画面のうちの画面左中央に表示されている。それ以降の時刻ｔ23乃至ｔ29の静止画２９１−３乃至２９１−９が、時計方向に回転するように順次表示されている。このように、図３１と図３２の表示される小画面の方向は、注目対象の動作の方向に合わせて、逆方向となされている。
【０１４１】
以上、これまでの実施の形態では、図３３に示されるようなストロボ表示装置３００が、モニタ３０１に出力し、モニタ３０１は、９つの小画面に分割されて、静止画が、それぞれの小画面に順次表示される例を考えてきた。
【０１４２】
しかし、当然ながら、図３４に示されるようにストロボ表示装置４００は、モニタと一体となって（モニタに組み込まれた形で）、マルチ画面を表示するようになされてもよい。
【０１４３】
また、図３５に示されるように、１台のストロボ表示装置３００に対して、複数のモニタ３０１−０乃至３０１−ｎを接続して、マルチ画面表示を行うようにしてもよい。この場合、例えば、それぞれのモニタ３０１−０乃至３０１−ｎには、ＩＤ(Identification)が割り当てられ、互いの位置関係が把握できる位置センサが搭載され、ストロボ表示装置３００は、その位置センサの検出結果に従って画像の出力先を決定する。
【０１４４】
あるいは、図３６に示されるように、モニタと一体化された複数のストロボ表示装置４００−０乃至４００−ｎを使用する場合、それぞれの複数のストロボ表示装置４００−０乃至４００−ｎに同じ映像信号が入力され、各ストロボ表示装置間で映像表示の開始と終了のタイミングを合わせるための同期信号を利用することにより、ストロボ表示が可能となる。図３６の例では、ストロボ表示装置４００−０がその同期信号を供給するようになされている。
【０１４５】
図３７に示されるストロボ表示システムでは、モニタ５００−１とモニタ５００−２の２台のモニタがあり、１台のストロボ表示装置（図示せず）の出力により、それぞれのモニタ５００−１と５００−２は、画面を４分割して表示する。モニタ５００−１と５００−２の距離は、ｄ1だけ離れて配置されている。また、分割されたそれぞれの小画面に静止画５１１−１乃至５１１−８が表示されるようになっている。モニタ５００−１は、静止画５１１−１，５１１−２を、その上半分の２つの小画面で表示し、モニタ５００−２は、それに続く静止画５１１−３，５１１−４を、その上半分の２つの小画面で表示する。続く静止画５１１−５，５１１−６は、モニタ５００−１の下半分の２つの小画面で表示され、続く静止画５１１−７，５１１−８は、モニタ５００−２の下半分の２つの小画面で表示される。
【０１４６】
このようなシステムにおいて、例えば、静止画５１１−１と静止画５１１−２の時間間隔と、静止画５１１−２と静止画５１１−３の時間間隔が、同じ時間間隔で表示された場合、静止画５１１−１と静止画５１１−２は、小画面が隣接して配置されており、静止画５１１−２と静止画５１１−３画面は、距離ｄ1だけ離れて配置されているので、物理的配置と時間間隔が対応しないために、動作が直感的に分かりにくい、と考えられる。また、画面が離れているという空間的広がりが生かされていない。
【０１４７】
そこで、表示装置間の距離に従って、時間間隔を変化させることが考えられる。この例の場合、時間間隔決定部６１は、図３８に示されるように構成される。時間間隔算出部５２０には、動き量算出部７３より入力される動作速度のほかに、図３７のモニタ５００−１と５００−２の距離ｄ1のような表示装置間距離情報が入力される。その他の構成は、図７における場合と同様である。なお、図中、図７と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。
【０１４８】
時間間隔算出部５２０には、動き量算出部７３が出力する動作速度のほかに、表示装置間情報が供給される。表示装置間情報は、例えば、距離センサとしての赤外線センサ（図示せず）の出力を基に算出される値である。時間間隔算出部５２０は、動作速度と表示装置間情報に基づいて、時間間隔を算出し、静止画取得表示部６２に時間間隔情報として出力する。時間間隔情報は、これから静止画（例えば、静止画５１１−３）を出力する画面と、１つ前の静止画（静止画５１１−２）画面とで、表示装置が跨る場合、まず、動作速度に基づく時間間隔が算出され、さらに、現在の動作は等速直線運動であるとの仮定に基づいて、動作速度に基づく時間間隔の値を整数倍して算出される。表示装置が跨らない場合、時間間隔算出部５２０は、距離情報を加味せず、すなわち、動作速度に基づく時間間隔の値を整数倍せず、時間間隔情報として算出する。
【０１４９】
図３９は、図３８に示されるように構成されたストロボ表示装置を使って、３台のモニタ５００−１乃至５００−３に、４分割のマルチ画面表示を行う例を示している。各モニタは、それぞれ距離ｄ10だけ離れて配置されている。表示装置間距離情報を考慮しない場合（図７に示される構成の時間間隔算出部７４が出力する時間間隔で画像が取り込まれる場合）、連続するフィールド５２１のうち、時刻ｔ31，ｔ32，ｔ33，・・・における静止画５２１−１，５２１−２，５２１−３，・・・が、順次取り込まれる。すなわち、モニタ５００−１の小画面５３１−１，５３１−２に、時刻ｔ31，ｔ32の静止画５２１−１，５２１−２が表示された後、モニタ５００−２の小画面５３１−３，５３１−４には、同一の時間間隔の時刻ｔ33，ｔ34の静止画５２１−３，５２１−４が表示される。
【０１５０】
これに対して、表示装置間距離ｄ10が考慮される場合（図３８に示される構成の時間間隔算出部５２０が出力する時間間隔で画像が取り込まれる場合）、モニタ５００−１の小画面５３１−２に時刻ｔ32の静止画５２１−２が表示された後、モニタ５００−１とモニタ５００−２の間の距離ｄ10に対応するタイミングの時刻ｔ33，ｔ34の静止画５２１−３と５２１−４が省略され、モニタ５００−２の小画面５３１−３には、時刻ｔ35の静止画５２１−５が表示されている。同様に、モニタ５００−２とモニタ５００−３の間では、モニタ５００−２の小画面５３１−４に、時刻ｔ36の静止画５２１−６が表示された後、時刻ｔ37，ｔ38の静止画５２１−７と静止画５２１−８が省略されて、モニタ５００−３の小画面５３１−５には、時刻ｔ39の静止画５２１−９が表示されている。
【０１５１】
以上のように、複数台の表示装置を使ったストロボ表示システムにおいて、表示画面の物理的距離間隔と、映像の時間間隔を対応させることにより、注目対象の動作が直感的に分かり易くなる。
【０１５２】
以上においては、フィールドを単位として処理する場合を例としたが、フレーム単位でもよい。すなわち、任意の表示単位とすることができる。
【０１５３】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。
【０１５４】
そこで、図４０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータ６００の一実施の形態の構成例を示している。
【０１５５】
プログラムは、コンピュータ６００に内蔵されている記録媒体としてのハードディスク６０５やＲＯＭ６０３に予め記録しておくことができる。
【０１５６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体６１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体６１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１５７】
なお、プログラムは、上述したようなリムーバブル記録媒体６１１からコンピュータ６００にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータ６００に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ６００に有線で転送し、コンピュータ６００では、そのようにして転送されてくるプログラムを、通信部６０８で受信し、内蔵するハードディスク６０５にインストールすることができる。
【０１５８】
コンピュータ６００は、CPU(Central Processing Unit)６０２を内蔵している。CPU６０２には、バス６０１を介して、入出力インタフェース６１０が接続されており、CPU６０２は、入出力インタフェース６１０を介して、ユーザによって、キーボードや、マウス、マイクロホン等で構成される入力部６０７が操作される等して指令が入力されると、それにしたがって、ROM (Read Only Memory)６０３に格納されているプログラムを実行する。あるいは、また、CPU６０２は、ハードディスク６０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部６０８で受信されてハードディスク６０５にインストールされたプログラム、またはドライブ６０９に装着されたリムーバブル記録媒体６１１から読み出されてハードディスク６０５にインストールされたプログラムを、RAM(Random Access Memory)６０４にロードして実行する。これにより、CPU６０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース６１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部６０６から出力したり、あるいは、通信部６０８から送信したり、さらには、ハードディスク６０５に記録させる。
【０１５９】
なお、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１６０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６１】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を表すものである。
【０１６２】
【発明の効果】
以上のごとく本発明によれば、静止画を表示させることができる。特に、動作速度に拘らず、ユーザが認識し易いように静止画を表示させることができる。
【０１６３】
また、本発明によれば、複数の表示装置に静止画を表示することができる。特に、各表示装置間の距離に拘らず、ユーザが認識し易いように静止画を表示させることができる。
【図面の簡単な説明】
【図１】従来のストロボ表示装置の構成例を示すブロック図である。
【図２】図１の時間間隔決定部の構成例を示すブロック図である。
【図３】図１の静止画取得表示部の構成例を示すブロック図である。
【図４】体操競技者の動作を説明する図である。
【図５】体操競技者の動作を従来のストロボ表示装置が出力した例を示す図である。
【図６】本発明を適用したストロボ表示装置の一実施の形態の構成を示すブロック図である。
【図７】図６の時間間隔決定部の構成例を示すブロック図である。
【図８】図６の静止画取得表示部の構成例を示すブロック図である。
【図９】時間間隔決定部による時間間隔決定処理を説明するためのフローチャートである。
【図１０】時間間隔決定部による時間間隔決定処理を説明するためのフローチャートである。
【図１１】図９のステップＳ６における動きベクトルの算出を説明する図である。
【図１２】図９のステップＳ１０における背景領域の抽出を説明する図である。
【図１３】図１０のステップＳ１１における動作速度の推定を説明する図である。
【図１４】動作速度に応じて出力されるフィールドの時間間隔を説明する図である。
【図１５】図８の画像創造部の構成例を示すブロック図である。
【図１６】図１５の時間解像度創造部の構成例を示すブロック図である。
【図１７】図１６の係数メモリに記憶される予測係数を求める学習装置の構成例を示すブロック図である。
【図１８】図８の静止画取得表示部による静止画創造処理を説明するためのフローチャートである。
【図１９】図１８のステップＳ４１における画像創造処理を説明するためのフローチャートである。
【図２０】図１９のステップＳ５７における画像生成を説明する図である。
【図２１】図１９のステップＳ５７における画像生成を説明する図である。
【図２２】補間生成されて出力されるフィールドの時間間隔を説明する図である。
【図２３】体操競技者の動作を本発明のストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図２４】静止画にストロボ表示開始時刻からの実経過時間を併せて表示する場合の静止画取得表示部６２の構成例を示すブロック図である。
【図２５】図２４の静止画取得表示部を有するストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図２６】次の画面までの時間間隔を矢印の長さで表す場合の静止画取得表示部６２の構成例を示すブロック図である。
【図２７】図２６の静止画取得表示部を有するストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図２８】時間間隔を隣接する画面との距離で表す場合の静止画取得表示部６２の構成例を示すブロック図である。
【図２９】図２８の静止画取得表示部を有するストロボ表示装置が９分割のマルチ画面に出力した例を示す図である。
【図３０】小画面に表示する順を注目対象の動作方向と対応するように表示する場合の静止画取得表示部６２の構成例を示すブロック図である。
【図３１】図３０の静止画取得表示部を構成とするストロボ表示装置が前転とび前方宙返りの動作を９分割のマルチ画面に出力した例を示す図である。
【図３２】図３０の静止画取得表示部を構成とするストロボ表示装置が後転とび後方宙返りの動作を９分割のマルチ画面に出力した例を示す図である。
【図３３】モニタを含まない本発明のストロボ表示装置の一実施の形態の構成例を示す図である。
【図３４】モニタと一体化された本発明のストロボ表示装置の一実施の形態の構成例を示す図である。
【図３５】図３３のストロボ表示装置が複数のモニタを使用する一実施の形態の構成例を示す図である。
【図３６】図３４のストロボ表示装置を複数個使用する一実施の形態の構成例を示す図である。
【図３７】２台のマルチ画面の構成例を示す図である。
【図３８】表示装置間の距離情報に従って時間間隔を変化させた場合の時間間隔決定部の構成例を示すブロック図である。
【図３９】図３８の時間間隔決定部を有するストロボ表示装置が４分割のマルチ画面に出力した例を示す図である。
【図４０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
６０ 時間間隔決定部， ６１ 動き検出部， ６２ 領域抽出部， ６３ 動き量算出部， ６４ 時間間隔算出部， ７０ 静止画取得表示部， ７１ 画像創造部， ７２ 静止画保持部， ７３ 提示情報作成部， ８１ 時間解像度創造判定部， ８２ 時間解像度創造部， ２１１ 実時間算出部， ２１２ 時間挿入部， ２３１ 矢印長さ算出部， ２３２ 矢印挿入部， ２５１画像表示位置算出部， ２５２ 縮小画像生成部， ２５３ 提示情報作成部， ２７１ 動作方向算出部， ２７２ 提示情報作成部， ５２０ 時間間隔算出部
Claims (14)
- 入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置において、
入力された前記映像信号の注目対象の動作速度を推定する推定手段と、
前記推定手段により推定された前記動作速度に合わせて、時間間隔を決定する時間間隔決定手段と、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定手段により決定された前記時間間隔で取得し、保持する保持手段と、
前記保持手段に保持された前記表示単位の画像を出力する出力手段と
を備え、
前記出力手段は、前に出力表示される前記表示単位の画像と、その後に出力、表示される前記表示単位の画像との距離を前記時間間隔に対応させて前記表示単位の画像を出力する
ことを特徴とする映像信号処理装置。 - 前記出力手段は、時間の経過に沿った順番に出力する
ことを特徴とする請求項１に記載の映像信号処理装置。 - 前記出力手段は、複数の前記表示単位の画像を、前記注目対象の動作の方向に対応して表示させるように出力する
ことを特徴とする請求項１に記載の映像信号処理装置。 - 前記時間間隔決定手段により決定された前記時間間隔が、前記表示単位の時間間隔より短い場合、前記表示単位と次の表示単位の間の静止画を補間して生成する生成手段をさらに備える
ことを特徴とする請求項１に記載の映像信号処理装置。 - 前記出力手段により出力された静止画を表示する表示手段をさらに備える
ことを特徴とする請求項１に記載の映像信号処理装置。 - 入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置の映像信号処理方法において、
入力された前記映像信号の注目対象の動作速度を推定する推定ステップと、
前記推定ステップの処理により推定された前記動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定ステップの処理により決定された前記時間間隔で取得し、保持を制御する保持制御ステップと、
前記保持制御ステップの処理により保持された前記表示単位の画像の出力を制御する出力制御ステップと
を含み、
前記出力制御ステップの処理は、前に出力表示される前記表示単位の画像と、その後に出力、表示される前記表示単位の画像との距離を前記時間間隔に対応させて前記表示単位の画像を出力する
ことを特徴とする映像信号処理方法。 - 入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置のプログラムであって、
入力された前記映像信号の注目対象の動作速度を推定する推定ステップと、
前記推定ステップの処理により推定された前記動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定ステップの処理により決定された前記時間間隔で取得し、保持を制御する保持制御ステップと、
前記保持制御ステップの処理により保持された前記表示単位の画像の出力を制御する出力制御ステップと
を含み、
前記出力制御ステップの処理は、前に出力表示される前記表示単位の画像と、その後に出力、表示される前記表示単位の画像との距離を前記時間間隔に対応させて前記表示単位の画像を出力する
処理を映像信号処理装置を制御するコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。 - 入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置を制御するコンピュータに、
入力された前記映像信号の注目対象の動作速度を推定する推定ステップと、
前記推定ステップの処理により推定された前記動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定ステップの処理により決定された前記時間間隔で取得し、保持を制御する保持制御ステップと、
前記保持制御ステップの処理により保持された前記表示単位の画像の出力を制御する出力制御ステップと
を含み、
前記出力制御ステップの処理は、前に出力表示される前記表示単位の画像と、その後に出力、表示される前記表示単位の画像との距離を前記時間間隔に対応させて前記表示単位の画像を出力する
処理を実行させることを特徴とするプログラム。 - 入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置において、
入力された前記映像信号の注目対象の動作速度を推定する推定手段と、
前記推定手段により推定された前記動作速度に合わせて、時間間隔を決定する時間間隔決定手段と、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定手段により決定された前記時間間隔で取得し、保持する保持手段と、
前記保持手段に保持された前記表示単位の画像を出力する出力手段と
を備え、
前記出力手段は、次に出力する前記表示単位の画像までの時間間隔に対応する長さの矢印を、前記表示単位の画像に付加して出力する
ことを特徴とする映像信号処理装置。 - 入力された映像信号の複数の表示単位の画像を、所定の順番の静止画として画面に表示させるように出力する映像信号処理装置の信号処理方法において、
入力された前記映像信号の注目対象の動作速度を推定する推定ステップと、
前記推定ステップの処理により推定された前記動作速度に合わせて、時間間隔を決定する時間間隔決定ステップと、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定ステップの処理により決定された前記時間間隔で取得し、保持を制御する保持制御ステップと、
前記保持制御ステップの処理により保持された前記表示単位の画像の出力を制御する出力制御ステップと
を含み、
前記出力ステップの処理は、次に出力する前記表示単位の画像までの時間間隔に対応する長さの矢印を、前記表示単位の画像に付加して出力する
ことを特徴とする映像信号処理方法。 - 入力された映像信号を表示する複数の表示装置と、
入力された前記映像信号の複数の表示単位の画像を、所定の順番の静止画として、複数の前記表示装置に、表示させるように出力する映像信号処理装置と
を備える映像信号処理システムにおいて、
前記映像信号処理装置は、
入力された前記映像信号の注目対象の動作速度を推定する推定手段と、
前記推定手段により推定された前記動作速度と、前記複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定手段と、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定手段により決定された前記時間間隔で取得し、保持する保持手段と、
前記保持手段に保持された前記表示単位の画像を出力する出力手段と
を備えることを特徴とする映像信号処理システム。 - 入力された映像信号を表示する複数の表示装置と、
入力された前記映像信号の複数の表示単位の画像を、所定の順番の静止画として、複数の前記表示装置に、表示させるように出力する映像信号処理装置と
を備える映像信号処理システムの映像信号処理方法において、
前記映像信号処理装置の映像信号処理方法は、
入力された前記映像信号の注目対象の動作速度を推定する推定ステップと、
前記推定ステップの処理により推定された前記動作速度と、前記複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定ステップの処理により決定された前記時間間隔で取得し、保持を制御する保持制御ステップと、
前記保持制御ステップの処理により保持された前記表示単位の画像の出力を制御する出力制御ステップと
を含むことを特徴とする映像信号処理方法。 - 入力された映像信号を表示する複数の表示装置と、
入力された前記映像信号の複数の表示単位の画像を、所定の順番の静止画として、複数の前記表示装置に、表示させるように出力する映像信号処理装置と
を備える映像信号処理システムのプログラムであって、
入力された前記映像信号の注目対象の動作速度を推定する推定ステップと、
前記推定ステップの処理により推定された前記動作速度と、前記複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定ステップの処理により決定された前記時間間隔で取得し、保持を制御する保持制御ステップと、
前記保持制御ステップの処理により保持された前記表示単位の画像の出力を制御する出力制御ステップと
を映像信号処理装置を制御するコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。 - 入力された映像信号を表示する複数の表示装置と、
入力された前記映像信号の複数の表示単位の画像を、所定の順番の静止画として、複数の前記表示装置に、表示させるように出力する映像信号処理装置と
を備える映像信号処理システムの前記映像信号処理装置を制御するコンピュータに、
入力された前記映像信号の注目対象の動作速度を推定する推定ステップと、
前記推定ステップの処理により推定された前記動作速度と、前記複数の表示装置間の距離に合わせて、時間間隔を決定する時間間隔決定ステップと、
入力された前記映像信号の前記表示単位の画像を、前記時間間隔決定ステップの処理により決定された前記時間間隔で取得し、保持を制御する保持制御ステップと、
前記保持制御ステップの処理により保持された前記表示単位の画像の出力を制御する出力制御ステップと
を実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002278519A JP4096237B2 (ja) | 2002-09-25 | 2002-09-25 | 映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002278519A JP4096237B2 (ja) | 2002-09-25 | 2002-09-25 | 映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004117622A JP2004117622A (ja) | 2004-04-15 |
| JP4096237B2 true JP4096237B2 (ja) | 2008-06-04 |
Family
ID=32273779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002278519A Expired - Fee Related JP4096237B2 (ja) | 2002-09-25 | 2002-09-25 | 映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4096237B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4956913B2 (ja) * | 2005-04-28 | 2012-06-20 | ソニー株式会社 | 表示装置および方法、プログラム、記録媒体並びに複合表示装置 |
| JP4867852B2 (ja) * | 2007-08-21 | 2012-02-01 | ソニー株式会社 | 画像生成装置、表示装置、画像生成方法、プログラム及びプログラムを記録した記録媒体 |
-
2002
- 2002-09-25 JP JP2002278519A patent/JP4096237B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004117622A (ja) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2557773B1 (en) | Image processing device, method and program | |
| EP2309486B1 (en) | Image frame processing method and device for displaying moving images to a variety of displays | |
| US10412462B2 (en) | Video frame rate conversion using streamed metadata | |
| US8392939B2 (en) | Audience state estimation system, audience state estimation method, and audience state estimation program | |
| US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
| WO2007114220A1 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP4431089B2 (ja) | 映像補間装置、フレームレート変換装置および映像表示装置 | |
| JP2009110536A (ja) | 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法 | |
| JP5490236B2 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
| JP4991360B2 (ja) | フレームレート変換装置および映像表示装置 | |
| US20130135430A1 (en) | Method for adjusting moving depths of video | |
| KR101161706B1 (ko) | 화상 처리 장치와 학습 장치와 계수 생성 장치 및 방법 | |
| KR101211074B1 (ko) | 학습 장치와 학습 방법 및 학습 프로그램 | |
| US20100026904A1 (en) | Video signal processing apparatus and video signal processing method | |
| JP4096237B2 (ja) | 映像信号処理装置および方法、記録媒体、プログラム、並びに映像信号処理システム | |
| JP2002094947A (ja) | 高速映像再生装置、高速映像再生方法および記録媒体 | |
| CN101425177A (zh) | 划分图像处理设备和方法以及控制因数计算设备 | |
| JP5664356B2 (ja) | 生成装置および生成方法 | |
| JP5123643B2 (ja) | 映像処理装置 | |
| JP5435242B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP2009124261A5 (ja) | ||
| JP2011142400A (ja) | 動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、プログラムおよび記録媒体 | |
| JP2009217425A (ja) | 情報処理装置および方法、並びにプログラム | |
| JP5892755B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3832924B2 (ja) | 画像信号処理方法、画像信号処理装置及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080227 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |