JP2591337B2 - 動画像生成方法および動きベクトル算出方法 - Google Patents
動画像生成方法および動きベクトル算出方法Info
- Publication number
- JP2591337B2 JP2591337B2 JP2317193A JP31719390A JP2591337B2 JP 2591337 B2 JP2591337 B2 JP 2591337B2 JP 2317193 A JP2317193 A JP 2317193A JP 31719390 A JP31719390 A JP 31719390A JP 2591337 B2 JP2591337 B2 JP 2591337B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- data
- frame
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、コンピュータグラフィックス（CG）分野に
おいて計算機内に構築したモデルを実物に近い高画質
で、しかも、実時間に近い連続した動画像として生成す
る高画質の動画像生成方法およびその装置に関するもの
である。
おいて計算機内に構築したモデルを実物に近い高画質
で、しかも、実時間に近い連続した動画像として生成す
る高画質の動画像生成方法およびその装置に関するもの
である。
従来の技術 近年のCGでは、物理現象に忠実な画像を生成するため
の各種アルゴリズムが開発されている。今後のCG利用を
考えたときに、これらの画質の向上とともに、動画像
（アニメーション）を高速に生成することが重要な要因
となる。高画質のアニメーションを得るには、１枚のフ
レーム画像の画質（空間解像度や輝度レベルなど）を向
上させると同時に、時間軸方向の解像度つまりはフレー
ム数を向上させる必要がある。現行のNTSC方式のTVと同
等の動画像の画質を得るには、フレーム数は毎秒30フレ
ーム必要である。また滑らかな動きを得るためには、毎
秒20フレーム以上は必要であるとする実験結果もある。
このため、高画質のCGアニメーションの生成では、画像
生成に必要な演算量とデータ量は画質の向上に伴って膨
大な量となる。そこで従来のCGアニメーション生成で
は、１枚のフレーム画像を画像生成アルゴリズムを用い
て時間をかけて生成し、それぞれのフレーム画像をビデ
オなどでコマ取りすることによりアニメーションにして
いた。
の各種アルゴリズムが開発されている。今後のCG利用を
考えたときに、これらの画質の向上とともに、動画像
（アニメーション）を高速に生成することが重要な要因
となる。高画質のアニメーションを得るには、１枚のフ
レーム画像の画質（空間解像度や輝度レベルなど）を向
上させると同時に、時間軸方向の解像度つまりはフレー
ム数を向上させる必要がある。現行のNTSC方式のTVと同
等の動画像の画質を得るには、フレーム数は毎秒30フレ
ーム必要である。また滑らかな動きを得るためには、毎
秒20フレーム以上は必要であるとする実験結果もある。
このため、高画質のCGアニメーションの生成では、画像
生成に必要な演算量とデータ量は画質の向上に伴って膨
大な量となる。そこで従来のCGアニメーション生成で
は、１枚のフレーム画像を画像生成アルゴリズムを用い
て時間をかけて生成し、それぞれのフレーム画像をビデ
オなどでコマ取りすることによりアニメーションにして
いた。
発明が解決しようとする課題 しかしながら上記のようなコマ取り方では、数十秒関
のアニメーションを作成する場合でも、数百枚のフレー
ム画像が必要となり、１連続シーン当り数時間は必要
で、効率が非常に悪い。また、アニメーションの概要を
見たり、作成の途中で変更を加える場合も、全てのアニ
メーション生成が終了しないと不可能で、実用性や対話
性が低いと言った問題点を有していた。
のアニメーションを作成する場合でも、数百枚のフレー
ム画像が必要となり、１連続シーン当り数時間は必要
で、効率が非常に悪い。また、アニメーションの概要を
見たり、作成の途中で変更を加える場合も、全てのアニ
メーション生成が終了しないと不可能で、実用性や対話
性が低いと言った問題点を有していた。
本発明は上記問題点に鑑み、高画質のCGアニメーショ
ンを高速に生成することを目的とする動画像生成方法お
よびその装置を提供するものである。
ンを高速に生成することを目的とする動画像生成方法お
よびその装置を提供するものである。
課題を解決するための手段 上記問題点を解決するために本発明の動画像生成方法
およびその装置は、時間方向に連続するI,I＋1,I＋２…
の動画像を得る際に、時刻ＩおよびＩ＋ｋ（ｋは整数）
でのフレーム画像を画像生成により生成し、その間の時
刻Ｉ＋ｎ（ｎは以下の整数）でのフレーム画像を、時刻
Ｉ＋ｎでの物体の移動量（動きベクトル）を算出し、そ
の値をもとに時刻ＩおよびＩ＋ｋフレーム上の全画素を
移動させることで内挿する 作用 本発明は上記した構成により、時刻Ｉ＋ｎでのフレー
ム上の各物体の動きベクトルを、時刻Ｉ＋ｎでの物体の
３次元空間内での移動量をもとに算出する。
およびその装置は、時間方向に連続するI,I＋1,I＋２…
の動画像を得る際に、時刻ＩおよびＩ＋ｋ（ｋは整数）
でのフレーム画像を画像生成により生成し、その間の時
刻Ｉ＋ｎ（ｎは以下の整数）でのフレーム画像を、時刻
Ｉ＋ｎでの物体の移動量（動きベクトル）を算出し、そ
の値をもとに時刻ＩおよびＩ＋ｋフレーム上の全画素を
移動させることで内挿する 作用 本発明は上記した構成により、時刻Ｉ＋ｎでのフレー
ム上の各物体の動きベクトルを、時刻Ｉ＋ｎでの物体の
３次元空間内での移動量をもとに算出する。
またこの移動量をもとに、時刻ＩおよびＩ＋ｋフレー
ム上の全画素を移動させ、時刻Ｉ＋ｎ（ｎはｋ以下の整
数）でのフレーム画像を内挿する。
ム上の全画素を移動させ、時刻Ｉ＋ｎ（ｎはｋ以下の整
数）でのフレーム画像を内挿する。
実 施 例 以下の本発明の一実施例のCG動画像生成方法および装
置について、図面を参照にしながら説明する。第１図は
本発明の実施例における動画像生成方法および装置の構
成を示すものである。第１図において、１は画像生成
部、２は動きベクトル算出部、３は動画像生成部であ
る。以上のように構成された動画像生成方法および装置
について、以下第１図を用いてその動作を説明する。な
お本実施例では、画像生成法としてレイトレーシングを
例に説明する。
置について、図面を参照にしながら説明する。第１図は
本発明の実施例における動画像生成方法および装置の構
成を示すものである。第１図において、１は画像生成
部、２は動きベクトル算出部、３は動画像生成部であ
る。以上のように構成された動画像生成方法および装置
について、以下第１図を用いてその動作を説明する。な
お本実施例では、画像生成法としてレイトレーシングを
例に説明する。
画像生成部１では、３次元空間内での物体の形状デー
タ、物体表面の反射率や模様などの属性データおよび物
体表面での照度データから、任意の視点での隠面消去さ
れた画像を時刻I,I＋ｋ（ｋは整数）について生成す
る。隠面消去は、視点からフレーム（スクリーン）上の
全ての画素に対して光線（レイ）を飛ばし、空間内の全
ての物体表面で反射、屈折される状態を追跡する（レイ
トレーシング法）。その結果、各レイ毎に視点から最も
手前にある物体（ポリゴン）だけを表示する。また画像
生成部１では、時刻I,I＋ｋでのフレーム画像データ
と、フレーム上の各画素に対応する物体の視点からの奥
行きデータSzおよび物体の識別番号IDを画素毎に保存し
ておく。（第３図参照） 動きベクトル算出部２では、時刻Ｉ＋ｎ（ｎはｋ以下
の整数）におけるフレーム画像に対応する物体のフレー
ム上での動きベクトル（Dx,Dy）を算出する。この動き
ベクトルは、時刻I,I＋1,I＋２…で３次元空間内の物体
の位置と視点の位置から、空間内での移動ベクトルを求
め、それを視点座標に透視変換して算出する。フレーム
上の動きベクトルの算出法を、物体の移動と視点の移動
を例に以下に述べる。
タ、物体表面の反射率や模様などの属性データおよび物
体表面での照度データから、任意の視点での隠面消去さ
れた画像を時刻I,I＋ｋ（ｋは整数）について生成す
る。隠面消去は、視点からフレーム（スクリーン）上の
全ての画素に対して光線（レイ）を飛ばし、空間内の全
ての物体表面で反射、屈折される状態を追跡する（レイ
トレーシング法）。その結果、各レイ毎に視点から最も
手前にある物体（ポリゴン）だけを表示する。また画像
生成部１では、時刻I,I＋ｋでのフレーム画像データ
と、フレーム上の各画素に対応する物体の視点からの奥
行きデータSzおよび物体の識別番号IDを画素毎に保存し
ておく。（第３図参照） 動きベクトル算出部２では、時刻Ｉ＋ｎ（ｎはｋ以下
の整数）におけるフレーム画像に対応する物体のフレー
ム上での動きベクトル（Dx,Dy）を算出する。この動き
ベクトルは、時刻I,I＋1,I＋２…で３次元空間内の物体
の位置と視点の位置から、空間内での移動ベクトルを求
め、それを視点座標に透視変換して算出する。フレーム
上の動きベクトルの算出法を、物体の移動と視点の移動
を例に以下に述べる。
（１）物体だけが移動する場合（第４図（ａ））物体が
点Ｐから点Ｐ′に移動する場合は、（１）式で動きベク
トル（Dx,Dy）が与えられる。
点Ｐから点Ｐ′に移動する場合は、（１）式で動きベク
トル（Dx,Dy）が与えられる。
Dx＝X/Z−｛（Ｘ＋mx）／（Ｚ＋mz）｝ Dy＝X/Z−｛（Ｙ＋mx）／（Ｚ＋mz）｝ …（１） （２）視点だけが移動する場合（第４図（ｂ）） 視点がＹ軸（紙面に垂直方向）の回りに回転する場合
は、（２）式２で動きベクトル（Dx,Dy）が与えられ
る。
は、（２）式２で動きベクトル（Dx,Dy）が与えられ
る。
Sx＝−X/Z,Sy＝−Y/Z Ｘ＝Xcosθ−Zsinθ Ｙ＝Ｙ Ｚ＝Xsinθ−Zcosθ Dx＝Sx−Sx ＝｛（Z2＋X2）sinθ｝／｛Ｚ（Xsinθ＋Zcosθ）｝ Dy＝Sy−Sy ＝｛XYsinθ＋YZ（cosθ−１）｝／｛Ｚ（sinθ＋Zcos
θ）｝ …（２） （３）視点と物体がともに移動する場合 （１）式と（２）式の組合わせで与えられる。
θ）｝ …（２） （３）視点と物体がともに移動する場合 （１）式と（２）式の組合わせで与えられる。
動画像生成部３では、時刻I,I＋ｋでのフレーム画像
データは画像生成部１で生成した画像データを用い、時
刻Ｉ＋ｎでのフレーム画像データは、動きベクトル算出
部で計算される時刻Ｉ＋ｎでの各物体の動きベクトル
（Dx,Dy）をもとに、時刻I,I＋ｋの画像データを画素毎
に移動させて生成したもの（内挿フレームと呼ぶ）を用
いる。動画像生成部３は、前処理部31、内挿フレーム生
成部32に分かれる。前処理部31では、時刻Ｉ＋ｎでのフ
レーム画像の初期化を行う。時刻I,I＋ｋのフレーム画
像上の全ての画素データに対して、対応する物体のIDを
比較する。
データは画像生成部１で生成した画像データを用い、時
刻Ｉ＋ｎでのフレーム画像データは、動きベクトル算出
部で計算される時刻Ｉ＋ｎでの各物体の動きベクトル
（Dx,Dy）をもとに、時刻I,I＋ｋの画像データを画素毎
に移動させて生成したもの（内挿フレームと呼ぶ）を用
いる。動画像生成部３は、前処理部31、内挿フレーム生
成部32に分かれる。前処理部31では、時刻Ｉ＋ｎでのフ
レーム画像の初期化を行う。時刻I,I＋ｋのフレーム画
像上の全ての画素データに対して、対応する物体のIDを
比較する。
IDが同じであれば２つの画素の平均値を新しい画素値
とし、IDが異なっていれば、奥行き値Szを比較して小さ
い方の画素値を新しい画素値とする。内挿フレーム生成
部32では、動きベクトル算出部２で求まる動きベクトル
に基づいて、時刻I,I＋ｋでのフレーム画像データをそ
れぞれ（Dx,Dy）移動させ、前処理部31で作成されたフ
レームの画像上に重ね合わせる。このときに、移動先の
画素のアドレスが等しい場合は、対応する物体のIDを比
較する。IDが同じであればそれらの画素の平均値を新し
い画素値とし、IDが異なっていれば、奥行き値Szを比較
して最も小さい画素値を新しい画素値とする。
とし、IDが異なっていれば、奥行き値Szを比較して小さ
い方の画素値を新しい画素値とする。内挿フレーム生成
部32では、動きベクトル算出部２で求まる動きベクトル
に基づいて、時刻I,I＋ｋでのフレーム画像データをそ
れぞれ（Dx,Dy）移動させ、前処理部31で作成されたフ
レームの画像上に重ね合わせる。このときに、移動先の
画素のアドレスが等しい場合は、対応する物体のIDを比
較する。IDが同じであればそれらの画素の平均値を新し
い画素値とし、IDが異なっていれば、奥行き値Szを比較
して最も小さい画素値を新しい画素値とする。
次に、時刻ＩおよびＩ＋ｋでの画像生成されたデータ
（キーとなるフレーム）を基に、その間の時刻Ｉ＋ｎ
（ｎはｋ以下の整数）での画像を内挿する方法について
説明する。第７図は内挿フレーム、キーとなるフレーム
および時間の関係を示した説明図である。第７図におい
て時刻ＩおよびＩ＋ｋはキーとなるフレームで、このフ
レーム画像はレイトレーシング法に基ずく３次元画像生
成でスクリーン上の全ての画素値が計算される。時刻Ｉ
及びＩ＋ｋでの画像の全画素に対して、次に上述した動
きベクトル計算により画素単位の動きベクトルが計算さ
れる。ここで動きベクトル（DxI,DyI）は、スクリーン
上の各画素に対応する３次元空間内のポリゴン（IDで検
索する）の３次元での移動量をスクリーン上の動きベク
トル（２次元）に透視変換したものである（１および２
式を参照）。時刻Ｉ＋ｋでの各画素についても同様に動
きベクトルを計算する。キーとなるフレーム上の全画素
について動きベクトルが求まるとその動きベクトルか
ら、時刻ＩおよびＩ＋ｋでの各画素が時刻Ｉ＋ｎでどの
位置に移動するかは時間に対する補間計算（動きベクト
ルを線形またはスプラインなどで補間）で求めることが
でき、動きベクトルに従ってキーとなるフレームの画素
を移動させることで内挿フレームが求まる。
（キーとなるフレーム）を基に、その間の時刻Ｉ＋ｎ
（ｎはｋ以下の整数）での画像を内挿する方法について
説明する。第７図は内挿フレーム、キーとなるフレーム
および時間の関係を示した説明図である。第７図におい
て時刻ＩおよびＩ＋ｋはキーとなるフレームで、このフ
レーム画像はレイトレーシング法に基ずく３次元画像生
成でスクリーン上の全ての画素値が計算される。時刻Ｉ
及びＩ＋ｋでの画像の全画素に対して、次に上述した動
きベクトル計算により画素単位の動きベクトルが計算さ
れる。ここで動きベクトル（DxI,DyI）は、スクリーン
上の各画素に対応する３次元空間内のポリゴン（IDで検
索する）の３次元での移動量をスクリーン上の動きベク
トル（２次元）に透視変換したものである（１および２
式を参照）。時刻Ｉ＋ｋでの各画素についても同様に動
きベクトルを計算する。キーとなるフレーム上の全画素
について動きベクトルが求まるとその動きベクトルか
ら、時刻ＩおよびＩ＋ｋでの各画素が時刻Ｉ＋ｎでどの
位置に移動するかは時間に対する補間計算（動きベクト
ルを線形またはスプラインなどで補間）で求めることが
でき、動きベクトルに従ってキーとなるフレームの画素
を移動させることで内挿フレームが求まる。
また、上記の説明では任意の時刻でのキーとなるフレ
ームの画素をスクリーン上の画素として説明したが、計
算の精度を上げるさめに画素を構成するサブピクセル
（Ｎ＊Ｎ個）に分割し、分割されたサブピクセルについ
て上述の内挿処理を行なうことも可能である。第６図に
そのサブピクセル処理の説明図を示す。図ではスクリー
ン上の画素をサブピクセルＮ＊Ｎ個に分割する。それぞ
れのサブピクセル単位にそのサブピクセルの動きベクト
ルを計算する。任意の内挿フレーム時刻Ｉ＋ｎでの任意
の画素値が時刻Ｉでのｍ（ｍは整数）個のサブピクセル
から求まるとすると、時刻Ｉでの対応するｍ個のサブピ
クセルの輝度値を荷重平均して時刻Ｉ＋ｎでの注目画素
の輝度値を求めることができる。
ームの画素をスクリーン上の画素として説明したが、計
算の精度を上げるさめに画素を構成するサブピクセル
（Ｎ＊Ｎ個）に分割し、分割されたサブピクセルについ
て上述の内挿処理を行なうことも可能である。第６図に
そのサブピクセル処理の説明図を示す。図ではスクリー
ン上の画素をサブピクセルＮ＊Ｎ個に分割する。それぞ
れのサブピクセル単位にそのサブピクセルの動きベクト
ルを計算する。任意の内挿フレーム時刻Ｉ＋ｎでの任意
の画素値が時刻Ｉでのｍ（ｍは整数）個のサブピクセル
から求まるとすると、時刻Ｉでの対応するｍ個のサブピ
クセルの輝度値を荷重平均して時刻Ｉ＋ｎでの注目画素
の輝度値を求めることができる。
以上一連の処理の流れを第５図にまとめる。また、第
２図は動きベクトルを用いたフレーム内挿による動画像
生成法の説明図である。
２図は動きベクトルを用いたフレーム内挿による動画像
生成法の説明図である。
発明の効果 以上のように本発明は、時間方向に連続するI,I＋1,I
＋２…の動画像を得る際に、時刻Ｉ＋ｎでのフレーム上
の各物体の動きベクトルを、時刻Ｉ＋ｎでの物体の３次
元空間内での移動量をもとに算出することにより、動き
ベクトルを正確に算出できる。また、この移動量をもと
に、時刻ＩおよびＩ＋ｋフレーム上の全画素を移動さ
せ、時刻Ｉ＋ｎ（ｎはｋ以下の整数）でのフレーム画像
を生成することにより、高画質のCGアニメーションを高
速に生成できる。
＋２…の動画像を得る際に、時刻Ｉ＋ｎでのフレーム上
の各物体の動きベクトルを、時刻Ｉ＋ｎでの物体の３次
元空間内での移動量をもとに算出することにより、動き
ベクトルを正確に算出できる。また、この移動量をもと
に、時刻ＩおよびＩ＋ｋフレーム上の全画素を移動さ
せ、時刻Ｉ＋ｎ（ｎはｋ以下の整数）でのフレーム画像
を生成することにより、高画質のCGアニメーションを高
速に生成できる。
第１図は本発明の実施例における動画像生成方法および
その装置の構成図、第２図はベクトルを用いたフレーム
内挿による動画像生成法の説明図、第３図は本発明のCG
画像内挿法のデータの関係を示す図、第４図は内挿フレ
ームの動きベクトルの関係を説明する図、第５図は本手
法の画像内挿アルゴリズムを説明する図、第６図はサブ
ピクセルでの内挿を説明する図、第７図は内挿フレーム
とキーとなるフレームの関係および内挿の重み付けを説
明する図である。 １……画像生成部、２……動きベクトル算出部、３……
動画像生成部、31……前処理部、32……内挿フレーム生
成部。
その装置の構成図、第２図はベクトルを用いたフレーム
内挿による動画像生成法の説明図、第３図は本発明のCG
画像内挿法のデータの関係を示す図、第４図は内挿フレ
ームの動きベクトルの関係を説明する図、第５図は本手
法の画像内挿アルゴリズムを説明する図、第６図はサブ
ピクセルでの内挿を説明する図、第７図は内挿フレーム
とキーとなるフレームの関係および内挿の重み付けを説
明する図である。 １……画像生成部、２……動きベクトル算出部、３……
動画像生成部、31……前処理部、32……内挿フレーム生
成部。
Claims (8)
- 【請求項１】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点から隠面消去された画像を
生成する画像生成部と、時刻I,I＋1,I＋２・・・におけ
る物体の移動量を、前記形状データと視点データおよび
前記物体の３次元空間内での移動量を投影したフレーム
画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体のフレーム上
での移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・
の間の任意を時刻でのフレーム画像データを、時刻Ｉ
＋,I＋1,I＋２・・・でのフレーム画像の対応する画素
データを内挿することにより生成する動画像生成部とを
具備した動画像生成装置において、 時間方向に連続する動画像を生成する方法に関し、任意
の時刻ＩおよびＩ＋ｋ（ｋは整数）での画像を前記画像
生成部で生成し、時刻Ｉ＋ｎ（ｎはｋ以下の整数）での
画像生成する際に、時刻ＩおよびＩ＋ｋの画像中の全て
の画素に対応する物体の時刻Ｉ＋ｎにおける移動量であ
る動きベクトルを該物体の三次元空間での位置と移動量
とから透視変換を用いて計算し、その移動ベクトルに従
って、時刻I,I＋ｋでの対応する画素を移動させること
で時刻Ｉ＋ｋでの画像を生成する動画像生成方法。 - 【請求項２】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点からの隠面消去された画像
を生成する画像生成部と、時刻I,I＋1,I＋２・・・にお
ける物体移動量を、前記形状データと視点データおよび
前記物体の３次元空間内での移動量を投影したフレーム
画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体のフレーム上
での移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・
の間の任意を時刻でのフレーム画像データを、時刻Ｉ
＋,I＋1,I＋２・・・でのフレーム画像の対応する画素
データを内挿することにより生成する動画像生成部とを
具備した動画像生成装置において、 時間方向に連続する動画像を生成する方法に関し、任意
の時刻ＩおよびＩ＋ｋ（ｋは整数）での画像を前記画像
生成部で生成し、時刻Ｉ＋ｎ（ｎはｋ以下の整数）での
画像生成する際に、時刻ＩおよびＩ＋ｋの画像中の全て
の画素に対応する物体の時刻Ｉ＋ｎにおける移動量であ
る動きベクトルを該物体の三次元空間での位置と移動量
とから透視変換を用いて計算し、その移動ベクトルに従
って、時刻I,I＋ｋでの対応する画素の輝度値に、時刻
Ｉ＋ｎとの時間的な隔たり量に比例してそれぞれ重み付
けして重ね合わせることで時刻Ｉ＋ｋでの画像を生成す
る動画像生成方法。 - 【請求項３】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点からの隠面証拠された画像
を生成する画像生成部と、時刻I,I＋1,I＋２・・・にお
ける物体の移動量を、前記形状データと視点データおよ
び前記物体の３次元空間内での移動量を投影したフレー
ム画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体のフレーム上
での移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・
の間の任意の時刻フレーム画像データを、時刻Ｉ＋,I＋
1,I＋２・・・でのフレーム画像の対応する画素データ
を内挿することにより生成する動画像生成部とを具備し
た動画像生成装置において、 時刻Ｉ＋ｎにおけるフレーム画像上の全ての画素の移動
量（動きベクトル）を求める方法に関し、連続する時刻
I,I＋1,I＋２・・・での３次元空間での各物体の３次元
移動量と視点の移動量とから３次元空間内での移動ベク
トルを求め、それを透視変換することで任意の時刻Ｉ＋
ｎにおけるフレーム画像上の全ての画素の動きベクトル
を算出する動きベクトルの算出方法。 - 【請求項４】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点からの隠面消去された画像
を生成する画像生成部と、時刻I,I＋1,I＋２・・・にお
ける物体の移動量を、前記形状データと視点データおよ
び前記物体の３次元空間内での移動量を投影したフレー
ム画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体のフレーム上
での移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・
の間の任意の時刻でのフレーム画像データを、時刻Ｉ
＋,I＋1,I＋２・・・でのフレーム画像の対応する画素
データを内挿することにより生成する動画像生成部とを
具備した動画像生成装置において、 時刻Ｉ＋ｎにおけるフレーム画像上の全ての画素の移動
量（動きベクトル）を求める方法に関し、任意の画素を
Ｎ＊Ｎ（Ｎは整数）個に分割した微小画素に分割し、Ｎ
＊Ｎ個の動きベクトルを請求項３記載の方法でそれぞれ
算出し、その平均値をその画素の動きベクトルとする動
きベクトル算出方法。 - 【請求項５】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点からの隠面消去された画像
を生成する画像生成部と、時刻I,I＋1,I＋２・・・にお
ける物体の移動量を、前記形状データと視点データおよ
び前記物体の３次元空間内での移動量を投影したフレー
ム画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体のフレーム上
での移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・
の間の任意の時刻でのフレーム画像データを、時刻Ｉ
＋,I＋1,I＋２・・・でのフレーム画像の対応する画素
データを内挿することにより生成する動画像生成部とを
具備した動画像生成装置において、 時刻Ｉ＋ｎにおけるフレーム画像上の全ての画素の移動
量（動きベクトル）を求める方法に関し、連続する時刻
I,I＋ｋでの３次元空間内に存在する全ての物体の識別
番号および視点からの奥行き値を、前記画像生成部で時
刻ＩおよびＩ＋ｋのフレーム画像生成時に時刻I,I＋ｋ
毎に画素値とともに保存、管理する動画像生成方法。 - 【請求項６】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点から隠面消去された画像を
生成する画像生成部と、時刻I,I＋1,I＋２・・・におけ
る物体の移動量を、前記形状データと視点データおよび
前記物体の３次元空間内での移動量を投影したフレーム
画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体のフレーム上
での移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・
の間の任意の時刻でのフレーム画像データを、時刻Ｉ
＋,I＋1,I＋２・・・でのフレーム画像の対応する画素
データを内挿することにより生成する動画像生成部とを
具備した動画像生成装置において、 時刻ＩおよびＩ＋ｋの間の時刻Ｉ＋ｎでの画像を生成す
る方法に関し、前処理として時刻ＩおよびＩ＋ｋでのそ
れぞれの画像中の同じ位置であるアドレスでの画素に対
して、それと対応する物体の識別番号を比較し、同じ物
体であれば両方の画素値を平均した値をその位置の新し
い画素値とし、異なった物体であれば、視点からの奥行
き値の大きい方の画素を新しい画素値とすることで時刻
Ｉ＋ｎでのフレーム画素の初期値を決める動画像生成方
法。 - 【請求項７】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点からの隠面消去された画像
を生成する画像生成部と、時刻I,I＋1,I＋２・・・にお
ける物体の移動量を、前記形状データと視点データおよ
び前記物体の３次元空間内での移動量を投影したフレー
ム画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体のフレーム上
での移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・
の間の任意の時刻でのフレーム画像データを、時刻Ｉ
＋,I＋1,I＋２・・・でのフレーム画像の対応する画素
データを内挿することにより生成する動画像生成部とを
具備した動画像生成装置において、 時刻ＩおよびＩ＋ｋの間の時刻Ｉ＋ｎでの画像を生成す
る方法に関し、請求項６の前処理を施した時刻Ｉ＋ｎで
のフレーム画像に、請求項３で求まる動きベクトルをも
とに時刻ＩおよびＩ＋ｋでのそれぞれの画素を移動させ
た位置の画素として重ね合わせることにより時刻Ｉ＋ｎ
でのフレーム画像を生成する動画像生成方法。 - 【請求項８】物体の３次元空間内での形状データと、物
体表面の属性データおよび物体表面の照度データから任
意の時刻Ｉでの、任意の視点から隠面消去された画像を
生成する画像生成部と、時刻I,I＋1,I＋２・・・におけ
る物体の移動量を、前記形状データと視点データおよび
前記物体の３次元空間内での移動量を投影したフレーム
画像上での移動量として計算する動きベクトル算出部
と、前記画像生成部で計算される時刻I,I＋1,I＋２・・
・での物体の３次元位置情報と、前記動きベクトル算出
部で計算される時刻I,I＋1,I＋２での物体フレーム上で
の移動ベクトルとを用いて、時刻I,I＋1,I＋２・・・の
間の任意の時刻でのフレーム画像データを、時刻Ｉ＋,I
＋1,I＋２・・・でのフレーム画像の対応する画素デー
タを内挿することにより生成する動画像生成部とを具備
した動画像生成装置において、 時刻ＩおよびＩ＋ｋの間の時刻Ｉ＋ｎでの画像を生成す
る方法に関し、請求項３で求まる動きベクトルをもと
に、時刻ＩおよびＩ＋ｋでの全画素を移動させた先の位
置で任意のアドレスが同じであれば、対象となる全ての
画素の輝度値を平均したものを新しい画素値とし、識別
番号が異なっていれば、物体の視点空奥行き値の最も小
さい物体の画素値を新しい画素値とする動画像生成方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2317193A JP2591337B2 (ja) | 1990-11-20 | 1990-11-20 | 動画像生成方法および動きベクトル算出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2317193A JP2591337B2 (ja) | 1990-11-20 | 1990-11-20 | 動画像生成方法および動きベクトル算出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04184683A JPH04184683A (ja) | 1992-07-01 |
| JP2591337B2 true JP2591337B2 (ja) | 1997-03-19 |
Family
ID=18085496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2317193A Expired - Fee Related JP2591337B2 (ja) | 1990-11-20 | 1990-11-20 | 動画像生成方法および動きベクトル算出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2591337B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0785311A (ja) * | 1993-09-16 | 1995-03-31 | Nec Corp | 空間図形動画表示装置 |
| WO2017212679A1 (ja) * | 2016-06-08 | 2017-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
| WO2019026183A1 (ja) * | 2017-08-01 | 2019-02-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
| US10999567B2 (en) | 2017-08-01 | 2021-05-04 | Sony Interactive Entertainment Inc. | Image generating apparatus and image generating method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03144868A (ja) * | 1989-10-31 | 1991-06-20 | Nec Corp | 物体変形方法 |
-
1990
- 1990-11-20 JP JP2317193A patent/JP2591337B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03144868A (ja) * | 1989-10-31 | 1991-06-20 | Nec Corp | 物体変形方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04184683A (ja) | 1992-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0638875B1 (en) | A 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation | |
| US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
| JP4473754B2 (ja) | 仮想試着装置 | |
| US6278460B1 (en) | Creating a three-dimensional model from two-dimensional images | |
| US20050018045A1 (en) | Video processing | |
| CN113689539B (zh) | 基于隐式光流场的动态场景实时三维重建方法 | |
| Patterson et al. | Facial animation by spatial mapping | |
| JPH0935061A (ja) | 画像処理方法 | |
| Tomiyama et al. | Algorithm for dynamic 3D object generation from multi-viewpoint images | |
| JP2004510271A (ja) | スクリーンに表示される画像を提供する方法及び装置 | |
| JPH09245195A (ja) | 画像処理方法およびその装置 | |
| JP2591337B2 (ja) | 動画像生成方法および動きベクトル算出方法 | |
| CN118076977A (zh) | 使用分层神经表示的可编辑自由视点视频 | |
| Eisert et al. | Model-based estimation of facial expression parameters from image sequences | |
| JP2001291116A (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| US20060181534A1 (en) | Generation of motion blur | |
| Inamoto et al. | Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
| JPH11265440A (ja) | 任意光源位置の画像合成方法および表示装置 | |
| JP2002525764A (ja) | グラフィックスおよび画像処理システム | |
| Jäger et al. | A comparative Neural Radiance Field (NeRF) 3D analysis of camera poses from HoloLens trajectories and Structure from Motion | |
| Karam et al. | Feature-based image metamorphosis optimization algorithm | |
| JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |