JP4442321B2 - 画像再生装置、プログラム、記録媒体及び方法 - Google Patents

Description

本発明は、バーチャルリアリティ（Virtual Reality：仮想現実感）技術（以下、ＶＲ技術という）を用いた画像データを各フレーム毎に再生する画像再生装置、プログラム、記録媒体及び方法に関する。

従来、画像データを再生する方法として、ＣＧ(Computer Graphics)ムービーを再生するＣＧ方式と、ＶＲ技術を用いたアプリケーションを再生するＶＲ方式とが知られている。

ＣＧ方式は、予め生成した各フレームの画像をリニアに処理してＣＧムービーを再生するものであり、リニアな再生を特徴とする。しかしながら、ＣＧ方式は、後述するＶＲ方式とは異なり、操作者の操作情報を受け付けず、操作者とのリアルタイムな対話性が無い。

一方、ＶＲ方式は、画像再生装置がごく短い周期（主に３０frame/sec以上）でアプリケーション内のカメラの視点情報や操作者の操作情報などを処理し、１／３０秒以内でＣＧ画像を生成／更新する。このように、ＶＲ方式は、操作者の操作情報を受け付けており、操作者とのリアルタイムな対話性が高いという特徴がある。なお、この種のＶＲ方式による映像表示装置は、例えば特許文献１に開示されている。

かかるＶＲ方式は、さまざまな領域で使用される可能性が広がる一方、デモンストレーション（実演宣伝）で使用される場合のように、繰返しの操作や、操作者不在の場合の簡略化、アプリケーションデータの共有などの要求が高まっている。この要求を満たすには、本発明者の検討によれば、前述したＣＧ方式と同等のリニアな再生や、そのための記録技術を利用することが必要になってくると考えられる。
特開２０００−３９９４９号公報

しかしながら、ＶＲ方式にＣＧ方式の記録／再生技術を用いる場合、本発明者の検討によれば、例えば記録／再生時間の同一性が保証されない問題が考えられる。

具体的には、記録を行なうハードウエアの環境（以下、記録環境ともいう）と、再生を行なうハードウエアの環境（以下、再生環境ともいう）との性能が互いに異なる場合が考えられる。この場合、記録時のフレームレートと再生時のフレームレートとが異なることから、再生環境では、データを記録した者の意図と異なる画像が再生される可能性がある。

本発明は上記実情を考慮してなされたもので、記録環境と再生環境の性能が異なる場合でも、記録者の意図に近い画像を再生し得る画像再生装置、プログラム、記録媒体及び方法を提供することを目的とする。

請求項１に対応する発明は、予め各フレーム毎の仮想空間のカメラ位置、全フレームの数及び合計記録時間が録画環境に対応して記録された記録ファイルを保持し、前記記録ファイルから読み出したカメラ位置より生成した画像データを前記各フレーム毎に再生する画像再生装置であって、前記記録ファイルにおける全フレーム数及び合計記録時間に基づいて、前記録画環境における単位時間当りの記録回数を示す録画フレームレートを算出する録画レート算出手段と、前記録画フレームレートと再生するときの単位時間当りの再生枚数を示す再生フレームレートとの高低関係を判定するレート判定手段と、前記判定の結果、前記録画フレームレートが前記再生フレームレートよりも高いとき、前記再生フレームレートを超える分のフレームについては、前記仮想空間内のカメラ位置の移動が少ない方から、画像データの再生を省略する再生省略手段とを備え、前記再生省略手段としては、前記記録ファイルに基づいて、前記各フレーム毎のカメラ位置と前記各フレーム毎の直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度を算出する手段と、前記各フレームを重要度の範囲に応じて分類し、前記重要度の範囲毎のフレーム数を得る手段と、前記録画フレームレートに対する再生フレームレートの割合に基づいて、前記全フレーム数に対する必要フレーム数を算出する手段と、前記必要フレーム数に対応する最小重要度を、前記重要度の範囲毎のフレーム数から得る手段と、前記最小重要度を得ると、前記再生を開始する手段と、前記再生を開始した後、各フレーム毎に重要度を前記最小重要度と比較する手段と、前記比較の結果、前記最小重要度よりも低い重要度のフレームについては、画像データの再生を省略する手段とを備えた画像再生装置である。

さらに、請求項２に対応する発明は、請求項１に記載の画像再生装置において、前記カメラ位置に代えて、カメラの向きを用いる画像再生装置である。

また、請求項３に対応する発明は、予め各フレーム毎の仮想空間のカメラ位置、全フレームの数及び合計記録時間が録画環境により記録された記録ファイルを保持し、前記記録ファイルから読み出したカメラ位置より生成した画像データを前記各フレーム毎に再生する画像再生装置に用いられるプログラムであって、前記画像再生装置のコンピュータを、前記記録ファイルにおける全フレーム数及び合計記録時間に基づいて、前記録画環境における単位時間当りの記録回数を示す録画フレームレートを算出する録画レート算出手段、前記録画フレームレートと再生するときの単位時間当りの再生枚数を示す再生フレームレートとの高低関係を判定するレート判定手段、前記判定の結果、前記録画フレームレートが前記再生フレームレートよりも高いとき、前記再生フレームレートを超える分のフレームについては、前記仮想空間内のカメラ位置の移動が少ない方から、画像データの再生を省略する再生省略手段、として機能させ、前記再生省略手段としては、前記記録ファイルに基づいて、前記各フレーム毎のカメラ位置と前記各フレーム毎の直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度を算出する手段と、前記各フレームを重要度の範囲に応じて分類し、前記重要度の範囲毎のフレーム数を得る手段と、前記録画フレームレートに対する再生フレームレートの割合に基づいて、前記全フレーム数に対する必要フレーム数を算出する手段と、前記必要フレーム数に対応する最小重要度を、前記重要度の範囲毎のフレーム数から得る手段と、前記最小重要度を得ると、前記再生を開始する手段と、前記再生を開始した後、各フレーム毎に重要度を前記最小重要度と比較する手段と、前記比較の結果、前記最小重要度よりも低い重要度のフレームについては、画像データの再生を省略する手段とを含んでいるプログラムである。

また、請求項４に対応する発明は、請求項３に対応するプログラムにおいて、前記カメラ位置に代えて、カメラの向きを用いるプログラムである。

さらに、請求項５に対応する発明は、請求項３又は請求項４に対応するプログラムを記録したコンピュータ読み取り可能な記録媒体である。

また、請求項６に対応する発明は、予め各フレーム毎の仮想空間のカメラ位置、全フレームの数及び合計記録時間が録画環境により記録された記録ファイルを保持し、前記記録ファイルから読み出したカメラ位置より生成した画像データを前記各フレーム毎に再生する画像再生装置が実行する画像再生方法であって、前記記録ファイルにおける全フレーム数及び合計記録時間に基づいて、前記録画環境における単位時間当りの記録回数を示す録画フレームレートを算出する録画レート算出工程と、前記録画フレームレートと再生するときの単位時間当りの再生枚数を示す再生フレームレートとの高低関係を判定するレート判定工程と、前記判定の結果、前記録画フレームレートが前記再生フレームレートよりも高いとき、前記再生フレームレートを超える分のフレームについては、前記仮想空間内のカメラ位置の移動が少ない方から、画像データの再生を省略する再生省略工程とを備え、前記再生省略工程としては、前記記録ファイルに基づいて、前記各フレーム毎のカメラ位置と前記各フレーム毎の直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度を算出する工程と、前記各フレームを重要度の範囲に応じて分類し、前記重要度の範囲毎のフレーム数を得る工程と、前記録画フレームレートに対する再生フレームレートの割合に基づいて、前記全フレーム数に対する必要フレーム数を算出する工程と、前記必要フレーム数に対応する最小重要度を、前記重要度の範囲毎のフレーム数から得る工程と、前記最小重要度を得ると、前記再生を開始する工程と、前記再生を開始した後、各フレーム毎に重要度を前記最小重要度と比較する工程と、前記比較の結果、前記最小重要度よりも低い重要度のフレームについては、画像データの再生を省略する工程とを備えた画像再生方法である。

また、請求項７に対応する発明は、請求項６に対応する画像再生方法において、前記カメラ位置に代えて、カメラの向きを用いる画像再生方法である。

（作用）
従って、請求項１，３，５，６に対応する発明は以上のような手段を講じたことにより、録画フレームレートが再生フレームレートよりも高いとき、再生フレームレートを超える分のフレームについては、仮想空間内のカメラ位置の移動が少ない方から、画像データの再生を省略するので、記録環境と再生環境の性能が異なる場合でも、記録者の意図に近い画像を再生することができる。

また、請求項１，３，５，６に対応する発明は、各フレーム毎のカメラ位置と直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度を算出し、録画フレームレートに対する再生フレームレートの割合に基づいて、全フレーム数に対する必要フレーム数を算出し、必要フレーム数に対応する最小重要度を、重要度の範囲毎のフレーム数から得た後に再生を開始し、最小重要度よりも低い重要度のフレームについては、画像データの再生を省略するので、前述した作用を容易且つ確実に奏することができる。

さらに、請求項２，４，５，７に対応する発明は、前述したカメラ位置に代えて、カメラの向きを用いるので、前述した作用と同様の作用を奏することができる。

以上説明したように本発明によれば、記録環境と再生環境の性能が異なる場合でも、記録者の意図に近い画像を再生できる。

以下、本発明の一実施形態について図面を参照しながら説明する。

図１は本発明の一実施形態に係る画像再生装置及び画像記録装置の構成を示す模式図である。ここで、画像記録装置は、入力装置１０、記録装置本体２０及びプロジェクタ３０を備えている。

入力装置１０は、例えばキーボードやマウス等の入力デバイスであり、操作者の操作に応じて、操作入力信号を記録装置本体２０に入力する機能をもっている。

記録装置本体２０は、素材データ記憶部２１、入力部２２、レコーダ管理部２３、アプリケーション処理部２４、画像生成部２５、フレームバッファ２６及び記録ファイル保持部２７を備えている。

素材データ記憶部２１は、仮想空間の画像データを作成するための３Ｄ素材データが記憶されたメモリであり、画像生成部２４から読出可能となっている。

入力部２２は、入力装置１０とレコーダ管理部２３との間のインターフェイス機器であり、入力装置１０の操作に応じて操作入力信号をレコーダ管理部２３に送出するものである。

レコーダ管理部２３は、例えばラッパー(wrapper)が使用可能であり、後述する図２のフローチャートに示す録画処理を実行するものであって、具体的には例えば、入力部２２から受ける操作入力信号に基づいて記録中か否かを判定する機能と、記録中でない場合、操作入力信号をアプリケーション処理部２４に通過させる機能と、記録中の場合、操作入力信号又はアプリケーション内処理がイベントを含む場合には入力イベント信号又はアプリケーション内イベントの処理を文字列で表現し、現在のフレームに対応させて保持する機能と、記録停止の場合、最初のフレームの記録から最後のフレームの記録までの所要時間を表す合計記録時間を計算し、この合計記録時間を含む記録ファイルを記録ファイル保持部２７に出力する機能とをもっている。

ここで、記録ファイルは、全フレームの数及び合計記録時間、各フレームイベントを示す文字列、各フレーム毎のカメラ位置を含んでいる。イベントは、例えば物の動き等の指示の如き、状態の変化の指示であり、例えばドアを開ける指示や、光の変化の指示、といった任意の内容が適用可能となっている。

アプリケーション処理部２４は、操作入力信号、操作入力信号に含まれる入力イベント、アプリケーション内イベントに指示される処理を行なう機能と、この処理の過程で新たにイベントが発生した場合、発生したイベントをレコーダ管理部２３に戻す機能と、画像生成に必要な情報を画像生成部２５に送る機能とを持っている。

画像生成部２５は、レコーダ管理部２３から受ける操作入力信号に基づいて、素材データ記憶部２１内の素材データを参照しながら仮想空間の画像データを各フレーム毎に生成し、この画像データをフレームバッファ２６に送出する機能をもっている。

フレームバッファ２６は、画像生成部２５から送出される画像データを映像信号として逐次、プロジェクタ３０に送出するためのバッファメモリである。

記録ファイル保持部２７は、画像再生装置から読出可能なメモリであり、レコーダ管理部２３から出力された記録ファイルを保持する機能をもっている。

プロジェクタ３０は、フレームバッファ２６から得られる映像信号に基づいて、スクリーンに映像を投影するためのものである。なお、プロジェクタ３０は、ここではプロジェクタを用いているが、これに限らず、ＣＲＴ(cathode ray tube)表示装置、液晶表示装置、プラズマ表示装置などの如き、他の画像表示装置に置換してもよい。これは後述するプロジェクタ６０についても同様である。

一方、画像再生装置は、入力装置４０、再生装置本体５０及びプロジェクタ６０を備えている。

入力装置４０は、例えばキーボードやマウス等の入力デバイスであり、操作者の操作に応じて、操作信号を再生装置本体５０に入力する機能をもっている。

再生装置本体５０は、記録ファイル保持部５１、入力部５２、再生準備部５３、再生制御部５４、画像生成部５５及びフレームバッファ５６を備えている。

記録ファイル保持部５１は、予め記録装置本体２０により記録された記録ファイルを保持するメモリであり、再生準備部５３及び再生制御部５４から読出可能となっている。

入力部５２は、入力装置４０と再生準備部５３及び再生制御部５４との間のインターフェイス機器であり、入力装置４０の操作に応じて操作入力信号を再生準備部５３又は再生制御部５４に送出するものである。

再生準備部５３は、入力部５２から受けた操作入力信号が再生処理の実行を示すとき、再生制御部５４による再生処理に必要なパラメータを予め準備するため、後述する図３のフローチャートに示す再生準備処理を実行するものであって、具体的には例えば、記録ファイル内の全フレーム数及び記録ファイル内の合計記録時間に基づいて、再生するときの単位時間当りの再生枚数を示す再生フレームレートｆｒ０を算出する機能と、記録ファイルにおける全フレーム数及び合計記録時間に基づいて、録画環境における単位時間当りの記録回数を示す録画フレームレートｆｒ１を算出する機能と、録画フレームレートｆｒ１と再生フレームレートｆｒ０との高低関係を判定する機能と、録画フレームレートｆｒ１が再生フレームレートｆｒ０以下のとき（ｆｒ１≦ｆｒ０）、記録ファイルにおける全フレーム数及び合計記録時間に基づいて、録画環境における１フレーム当りの処理時間ｓｐｆを算出する機能とを持っている。

また、再生準備部５３は、録画フレームレートｆｒ１が再生フレームレートｆｒ０よりも高いとき（ｆｒ１＞ｆｒ０）、再生フレームレートｆｒ０を超える分のフレームについては、仮想空間内のカメラ位置の移動が少ない方から画像データの再生を省略可能とするように、記録ファイルに基づいて、各フレーム毎のカメラ位置と各フレーム毎の直前のフレームのカメラ位置との差分に比例して、各フレーム毎に重要度ｅｐを算出する機能と、各フレームを重要度ｅｐの範囲に応じて分類し、重要度ｅｐの範囲毎のフレーム数ｆｐｐを得る機能と、録画フレームレートに対する再生フレームレートｆｒ０の割合に基づいて、全フレーム数に対する最低限フレーム数（必要フレーム数）ｍｆを算出する機能と、最低限フレーム数ｍｆに対応する最低限重要度（最小重要度）ｍｐを重要度の範囲毎のフレーム数ｆｐｐに基づいて得る機能とを持っている。

再生制御部５４は、再生準備部５３による再生準備処理が終了すると、図６のフローチャートに示す再生処理を実行するものであり、具体的には例えば、録画フレームレートｆｒ１と再生フレームレートｆｒ０との高低関係を判定する機能と、録画フレームレートｆｒ１が再生フレームレートｆｒ０以下のとき（ｆｒ１≦ｆｒ０）、直前のフレームからの経過時間ｄｅｌｔａを算出し、経過時間ｄｅｌｔａがフレーム時間ｓｐｆを超えるか否かを判定し、経過時間ｄｅｌｔａがフレーム時間ｓｐｆ以下のときには経過時間ｄｅｌｔａの算出に戻る機能と、経過時間ｄｅｌｔａがフレーム時間ｓｐｆを超えると、記録ファイルに記録されたイベントを実行する機能と、録画フレームレートｆｒ１が再生フレームレートｆｒ０よりも高いとき（ｆｒ１＞ｆｒ０）、記録ファイルに記録されたイベントを実行する機能とをもっている。

また、再生制御部５４は、イベントの実行後、録画フレームレートｆｒ１と再生フレームレートｆｒ０との高低関係を判定し、録画フレームレートｆｒ１が再生フレームレートｆｒ０以下のとき（ｆｒ１≦ｆｒ０）には図形を描画する機能と、録画フレームレートｆｒ１が再生フレームレートｆｒ０よりも高いとき（ｆｒ１＞ｆｒ０）、各フレーム毎に重要度ｅｐを最低限重要度ｍｐと比較し、最低限重要度ｍｐ以上の重要度ｅｐのフレームについては図形を描画し、最低限重要度ｍｐよりも低い重要度のフレームについては、画像データの再生を省略する機能とをもっている。

画像生成部５５は、再生制御部５４により図形描画とされるフレームの画像データを生成し、この画像データをフレームバッファ５６に送出する機能をもっている。

フレームバッファ５６は、画像生成部５５から送出される画像データを映像信号として逐次、プロジェクタ６０に送出するためのバッファメモリである。

プロジェクタ６０は、フレームバッファ５６から得られる映像信号に基づいて、スクリーンに映像を投影するためのものである。

次に、以上のように構成された画像記録装置及び画像再生装置の動作を録画処理、再生準備処理及び再生処理の順に説明する。

（録画処理）
いま、記録装置本体２０においては、素材データ記憶部２１内の素材データを画像生成部２４が各フレーム毎の画像データにセットアップしてフレームバッファ２５に送出する。フレームバッファ２５は、各フレーム毎の画像データを、適宜、図示しないＤ／Ａ変換器などを介して映像信号としてプロジェクタ３０に送出する。プロジェクタ３０は、この映像信号に基づいて、画像を投影する。

この状態において、記録者は、記録したい処理（入力イベント）がある場合、単に入力イベントを処理するプログラムを記述するのではなく、入力装置１０を操作し、記録装置本体２０の入力部２２及びレコーダ管理部２３を通して入力イベントを記録する。

すなわち、記録装置本体２０においては、前述した画像の投影と並行して、図２に示すように、レコーダ管理部２３が入力部２２からの操作入力信号に基づいて記録中か否かを判定し（ＳＴ１）、記録中でない場合には操作入力信号をアプリケーション処理部２４に通過させながらＳＴ１の判定処理を繰り返す。なお、画像生成部２５は、アプリケーション処理部２４から受ける操作入力信号に基づいて、素材データ記憶部２１内の素材データを参照しながら仮想空間の画像データを各フレーム毎に生成し、この画像データをフレームバッファに送出する。また、画像生成部２５は、レコーダ管理部２３から受ける操作入力信号が入力イベント信号を含む場合にはその入力イベント信号をレコーダ管理部２３に戻す。

一方、ステップＳＴ１の判定結果が記録開始を示すときには、レコーダ管理部２３は、入力部２２から受ける入力イベント信号があるか否かを判定する（ＳＴ２）。ここで、イベントが無いとき、レコーダ管理部２３は、ステップＳＴ１に戻る。

一方、イベントがあるとき、レコーダ管理部２３は、イベントの処理を、記録されるべき処理として文字列で表現し、現在のフレームに対応させて保持した後（ＳＴ３）、記録停止か否かを判定し（ＳＴ４）、記録停止でない場合にはステップＳＴ１に戻る。

以上のステップＳＴ１〜ＳＴ４の処理は、記録開始から停止までの毎フレーム行われる。また、ステップＳＴ４の判定の結果、記録停止の場合、レコーダ管理部２３は、最初のフレームの記録から最後のフレームの記録までの所要時間を表す合計記録時間を計算し（ＳＴ５）、保持内容を含む記録ファイルを出力する（ＳＴ６）。このとき、記録ファイルは、入力イベントを示す文字列、カメラ位置、合計記録時間を含んでいる。
以上により、画像記録装置は、録画処理を終了する。

（再生準備処理）
画像再生装置は、予め画像記録装置（録画環境）により各フレーム毎の仮想空間のカメラ位置、全フレームの数及び合計記録時間が記録された記録ファイルを保持する。
この状態で、画像再生装置は再生処理を開始する。

画像再生装置においては、図３に示すように、再生準備部５３が記録ファイル保持部２６から記録ファイルを読み出す（ＳＴ１１）。続いて、再生準備部５４は、記録ファイル内の全フレーム数及び記録ファイル内の合計記録時間に基づいて、再生するときの単位時間当りの再生枚数を示す再生フレームレートｆｒ０を算出する。また、再生準備部５３は、記録ファイルにおける全フレーム数及び合計記録時間に基づいて、録画環境における単位時間当りの記録回数を示す録画フレームレートｆｒ１を算出する（ＳＴ１２）。

続いて、再生準備部５３は、録画フレームレートｆｒ１と再生フレームレートｆｒ０との高低関係を判定する（ＳＴ１３）。

ステップＳＴ１３の判定の結果、録画フレームレートｆｒ１が再生フレームレートｆｒ０以下のとき（ｆｒ１≦ｆｒ０）、再生準備部５３は、記録ファイルにおける全フレーム数及び合計記録時間に基づいて、録画環境における１フレーム当りの処理時間ｓｐｆを算出し（ＳＴ１４）、再生準備処理を終了する。

一方、ステップＳＴ１３の判定の結果、録画フレームレートｆｒ１が再生フレームレートｆｒ０よりも高いとき（ｆｒ１＞ｆｒ０）、再生準備部５３は、再生フレームレートｆｒ０を超える分のフレームについては、仮想空間内のカメラ位置の移動が少ない方から画像データの再生を省略可能とするように、以下のステップＳＴ１５〜ＳＴ１８において、必要なデータを算出する。

すなわち、再生準備部５３は、記録ファイルに基づいて、各フレーム毎のカメラ位置と各フレーム毎の直前のフレームのカメラ位置との差分に比例して、各フレーム毎に重要度ｅｐを算出する（ＳＴ１５）。

ここで、カメラ位置の差分に比例して重要度を決める意味を、例えば地球と月との運行を模式的に示すフレーム画面ｇ１〜ｇ４により説明する。各フレーム毎の重要度の決め方は、図４の画面ｇ１−ｇ２間及びｇ３−ｇ４間に示すように、カメラの移動量が少ないほど省略した場合に影響が小さく、図４の画面ｇ２−ｇ３間に示すように、カメラの移動量が多いほど省略した場合に影響が大きいことに基づいている。すなわち、カメラ位置の差分に比例した重要度の決め方は、再生の際に省略するフレームを低い重要度のものとして、再生時の画質の低下を防ぐという技術的意味がある。なお、重要度は、カメラ位置に限らず、カメラの向きに比例させてもよい。

次に、再生準備部５３は、各フレームを重要度ｅｐの範囲に応じて分類し、重要度ｅｐの範囲毎のフレーム数ｆｐｐを得る（ＳＴ１６）。具体的には、重要度によるフレームの分布を調べ、一定重要度当りのフレームの数ｆｐｐを計算する。例えば後述する図７の場合、重要度を０点〜１００点とし、１０点当りの重要度の範囲（０〜１０点、１１〜２０点、…、９１〜１００点）に応じてフレーム数の分布を調べている。

さらに、再生準備部５３は、録画フレームレートｆｒ１に対する再生フレームレートｆｒ０の割合に基づいて、全フレーム数に対する最低限フレーム数（必要フレーム数）ｍｆを算出する（ＳＴ１７）。例えば図７の場合、ｆｒ１：ｆｒ０＝全フレーム数：ｍｆから、ｍｆ＝全フレーム数×ｆｒ０／ｆｒ１＝３０×２５／３０＝２５枚となる。なお、図７は１秒当りの図であるので、実際には全フレーム数は２５ｔ枚になる（但しｔは秒数）。

再生準備部５３は、最低限フレーム数ｍｆに対応する最低限重要度（最小重要度）ｍｐを、ステップＳＴ１６により得られた重要度の範囲毎のフレーム数ｆｐｐに基づいて得る（ＳＴ１８）。例えば図７において、重要度０〜１０点の間のフレーム数が５枚であり、その他の重要度１１〜２０点、２１〜３０点、…、９１〜１００点の間の合計が２５枚のとき、最低限フレーム数ｍｆ＝２５枚に対応する最低限重要度ｍｐ＝１０点を得る。

以上により、再生準備部５３は再生準備処理を終了する。

（再生処理）
次に、再生制御部５４による再生処理について説明する。この再生処理は、図５の（ｂ）に示す録画環境を基準としたとき、録画環境よりも再生環境の方が処理（フレームレート）が速いときには、図５の（ａ）に示すように待機（wait）しながら再生し、録画環境よりも再生環境の方が処理が遅いときには、図５の（ｃ）に示すようにフレームを間引き（スキップ）しながら再生する内容である。以下、順次述べる。

再生制御部５４は、再生準備部５３による再生準備処理が終了すると、再生処理を開始する。再生制御部５４は、図６に示すように、録画フレームレートｆｒ１と再生フレームレートｆｒ０との高低関係を判定する（ＳＴ２１）。ＳＴ２１の判定の結果、録画フレームレートｆｒ１が再生フレームレートｆｒ０以下のとき（ｆｒ１≦ｆｒ０）、再生制御部５４は、直前のフレームからの経過時間ｄｅｌｔａを算出し（ＳＴ２２）、経過時間ｄｅｌｔａがフレーム時間ｓｐｆを超えるか否かを判定し（ＳＴ２３）、経過時間ｄｅｌｔａがフレーム時間ｓｐｆ以下のときにはステップＳＴ２１に戻るが、経過時間ｄｅｌｔａがフレーム時間ｓｐｆを超えると、ステップＳＴ２４に進む。

すなわち、ステップＳＴ２１〜ＳＴ２３の処理は、録画環境よりも再生環境の方が処理が速い場合の対策であり、ステップＳＴ１４で求めた１フレーム当りの処理時間ｓｐｆに関し、再生時に各フレームが処理時間ｓｐｆよりも早く終わった場合、残り時間を待機する処理である。再生環境の方が処理が速い場合には、このように再生を意図的に遅らせることで容易に対応することができる。

一方、ＳＴ２１の判定の結果、録画フレームレートｆｒ１が再生フレームレートｆｒ０よりも高いとき（ｆｒ１＞ｆｒ０）、再生制御部５４は、ステップＳＴ２４に進んで記録ファイルに記録されたイベントを実行する（ＳＴ２４）。

続いて、再生制御部５４は、録画フレームレートｆｒ１と再生フレームレートｆｒ０との高低関係を判定し（ＳＴ２５）、録画フレームレートｆｒ１が再生フレームレートｆｒ０以下のとき（ｆｒ１≦ｆｒ０）にはステップＳＴ２７に進んで図形を描画する。この場合、画像生成部５５は、図形描画されるフレームの画像データを生成し、この画像データをフレームバッファ５６を介して映像信号として逐次、プロジェクタ６０に送出する。プロジェクタ６０は、映像信号に基づいて、スクリーンに映像を投影する。

一方、ＳＴ２５の判定の結果、録画フレームレートｆｒ１が再生フレームレートｆｒ０よりも高いとき（ｆｒ１＞ｆｒ０）、再生制御部５４は、各フレーム毎に重要度ｅｐを最低限重要度ｍｐと比較する（ＳＴ２６）。比較の結果、最低限重要度ｍｐ以上の重要度ｅｐのフレームについてはステップＳＴ２７に進んで図形を描画するが、最低限重要度ｍｐよりも低い重要度のフレームについては、ステップＳＴ２１に戻って画像データの再生を省略する。

すなわち、ステップＳＴ２５〜ＳＴ２７の処理は、録画環境よりも再生環境の方が処理が遅い場合の対策であり、図７に一例を示すように、重要度ｅｐの低いフレームのみを間引くことにより、画質を低下させずに、再生フレームレートを録画フレームレートに合わせている。

上述したように本実施形態によれば、ステップＳＴ２５〜ＳＴ２６に示したように、録画フレームレートｆｒ１が再生フレームレートｆｒ０よりも高いとき、再生フレームレートｆｒ０を超える分のフレームについては、仮想空間内のカメラ位置の移動が少ない方（重要度の低い方）から、画像データの再生を省略する。すなわち、記録環境と再生環境の性能が異なる場合でも、重要度の低いフレームの再生を省略することにより、記録者の意図に近い画像を再生することができる。

また、ステップＳＴ１５〜ＳＴ１８に示したように、各フレーム毎のカメラ位置と直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度ｅｐを算出し、録画フレームレートｆｒ１に対する再生フレームレートｆｒ０の割合に基づいて、全フレーム数に対する最低限フレーム数ｍｆを算出し、最低限フレーム数ｍｆに対応する最低限重要度ｍｐを、重要度の範囲毎のフレーム数ｆｐｐから得た後に再生を開始し、最低限重要度ｍｐよりも低い重要度ｅｐのフレームについては、画像データの再生を省略するので、前述した効果を容易且つ確実に奏することができる。

さらに、本実施形態は、前述したカメラ位置に代えて、カメラの向きを用いる構成としても、前述した効果と同様の効果を得ることができる。

なお、上記各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。

本発明の一実施形態に係る画像再生装置及び画像記録装置の構成を示す模式図である。 同実施形態における録画処理を説明するためのフローチャートである。 同実施形態における再生準備処理を説明するためのフローチャートである。 同実施形態における重要度を説明するための模式図である。 同実施形態における再生処理を説明するためのタイムチャートである。 同実施形態における再生処理を説明するためのフローチャートである。 同実施形態におけるフレームの間引きを説明するための模式図である。

符号の説明

１０，４０…入力装置、２０…記録装置本体、２１…素材データ記憶部、２２，５２…入力部、２３…レコーダ管理部、２４，５５…画像生成部、２５，５６…フレームバッファ、２６，５１…記録ファイル保持部、３０，６０…プロジェクタ、５０…再生装置本体、５３…再生準備部、５４…再生制御部。

Claims (7)

1. 予め各フレーム毎の仮想空間のカメラ位置、全フレームの数及び合計記録時間が録画環境に対応して記録された記録ファイルを保持し、前記記録ファイルから読み出したカメラ位置より生成した画像データを前記各フレーム毎に再生する画像再生装置であって、
   前記記録ファイルにおける全フレーム数及び合計記録時間に基づいて、前記録画環境における単位時間当りの記録回数を示す録画フレームレートを算出する録画レート算出手段と、
   前記録画フレームレートと再生するときの単位時間当りの再生枚数を示す再生フレームレートとの高低関係を判定するレート判定手段と、
   前記判定の結果、前記録画フレームレートが前記再生フレームレートよりも高いとき、前記再生フレームレートを超える分のフレームについては、前記仮想空間内のカメラ位置の移動が少ない方から、画像データの再生を省略する再生省略手段と
   を備え、
   前記再生省略手段は、
   前記記録ファイルに基づいて、前記各フレーム毎のカメラ位置と前記各フレーム毎の直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度を算出する手段と、
   前記各フレームを重要度の範囲に応じて分類し、前記重要度の範囲毎のフレーム数を得る手段と、
   前記録画フレームレートに対する再生フレームレートの割合に基づいて、前記全フレーム数に対する必要フレーム数を算出する手段と、
   前記必要フレーム数に対応する最小重要度を、前記重要度の範囲毎のフレーム数から得る手段と、
   前記最小重要度を得ると、前記再生を開始する手段と、
   前記再生を開始した後、各フレーム毎に重要度を前記最小重要度と比較する手段と、
   前記比較の結果、前記最小重要度よりも低い重要度のフレームについては、画像データの再生を省略する手段と
   を備えたことを特徴とする画像再生装置。
2. 請求項１に記載の画像再生装置において、
   前記カメラ位置に代えて、カメラの向きを用いることを特徴とする画像再生装置。
3. 予め各フレーム毎の仮想空間のカメラ位置、全フレームの数及び合計記録時間が録画環境に対応して記録された記録ファイルを保持し、前記記録ファイルから読み出したカメラ位置より生成した画像データを前記各フレーム毎に再生する画像再生装置に用いられるプログラムであって、
   前記画像再生装置のコンピュータを、
   前記記録ファイルにおける全フレーム数及び合計記録時間に基づいて、前記録画環境における単位時間当りの記録回数を示す録画フレームレートを算出する録画レート算出手段、
   前記録画フレームレートと再生するときの単位時間当りの再生枚数を示す再生フレームレートとの高低関係を判定するレート判定手段、
   前記判定の結果、前記録画フレームレートが前記再生フレームレートよりも高いとき、前記再生フレームレートを超える分のフレームについては、前記仮想空間内のカメラ位置の移動が少ない方から、画像データの再生を省略する再生省略手段、
   として機能させ、
   前記再生省略手段は、
   前記記録ファイルに基づいて、前記各フレーム毎のカメラ位置と前記各フレーム毎の直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度を算出する手段と、
   前記各フレームを重要度の範囲に応じて分類し、前記重要度の範囲毎のフレーム数を得る手段と、
   前記録画フレームレートに対する再生フレームレートの割合に基づいて、前記全フレーム数に対する必要フレーム数を算出する手段と、
   前記必要フレーム数に対応する最小重要度を、前記重要度の範囲毎のフレーム数から得る手段と、
   前記最小重要度を得ると、前記再生を開始する手段と、
   前記再生を開始した後、各フレーム毎に重要度を前記最小重要度と比較する手段と、
   前記比較の結果、前記最小重要度よりも低い重要度のフレームについては、画像データの再生を省略する手段と
   を含んでいることを特徴とするプログラム。
4. 請求項３に記載のプログラムにおいて、
   前記カメラ位置に代えて、カメラの向きを用いることを特徴とするプログラム。
5. 請求項３又は請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
6. 予め各フレーム毎の仮想空間のカメラ位置、全フレームの数及び合計記録時間が録画環境に対応して記録された記録ファイルを保持し、前記記録ファイルから読み出したカメラ位置より生成した画像データを前記各フレーム毎に再生する画像再生装置であって、録画レート算出手段、レート判定手段及び再生省略手段を備えた前記画像再生装置が実行する画像再生方法であって、
   前記録画レート算出手段が、前記記録ファイルにおける全フレーム数及び合計記録時間に基づいて、前記録画環境における単位時間当りの記録回数を示す録画フレームレートを算出する録画レート算出工程と、
   前記レート判定手段が、前記録画フレームレートと再生するときの単位時間当りの再生枚数を示す再生フレームレートとの高低関係を判定するレート判定工程と、
   前記再生省略手段が、前記判定の結果、前記録画フレームレートが前記再生フレームレートよりも高いとき、前記再生フレームレートを超える分のフレームについては、前記仮想空間内のカメラ位置の移動が少ない方から、画像データの再生を省略する再生省略工程と
   を備え、
   前記再生省略工程は、
   前記記録ファイルに基づいて、前記各フレーム毎のカメラ位置と前記各フレーム毎の直前フレームのカメラ位置との差分に比例して、各フレーム毎に重要度を算出する工程と、
   前記各フレームを重要度の範囲に応じて分類し、前記重要度の範囲毎のフレーム数を得る工程と、
   前記録画フレームレートに対する再生フレームレートの割合に基づいて、前記全フレーム数に対する必要フレーム数を算出する工程と、
   前記必要フレーム数に対応する最小重要度を、前記重要度の範囲毎のフレーム数から得る工程と、
   前記最小重要度を得ると、前記再生を開始する工程と、
   前記再生を開始した後、各フレーム毎に重要度を前記最小重要度と比較する工程と、
   前記比較の結果、前記最小重要度よりも低い重要度のフレームについては、画像データの再生を省略する工程と
   を備えたことを特徴とする画像再生方法。
7. 請求項６に記載の画像再生方法において、
   前記カメラ位置に代えて、カメラの向きを用いることを特徴とする画像再生方法。

Images