JP3438921B2

JP3438921B2 - 動画像生成装置

Info

Publication number: JP3438921B2
Application number: JP30013993A
Authority: JP
Inventors: 正平石田; 敏一辰己
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1993-11-30
Filing date: 1993-11-30
Publication date: 2003-08-18
Anticipated expiration: 2018-08-18
Also published as: JPH07152927A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、数値データとして入力
される物体の３次元形状，色，反射率，光源の位置，光
の強さ，光の色，視点の位置などの情景データと、前記
情景データで定義された各物体の各フレームにおける物
体の動きを記述した動きデータとに基づき、各フレーム
における画像中の各画像の輝度を輝度計算によって求め
て動画像を生成する動画像生成装置に関する。

【０００２】

【従来の技術】近年のコンピュータ・グラフィックス
(ＣＧ)では、物理現象に忠実な画像を生成するための各
種アルゴリズムが開発されている。今後のＣＧの利用を
考えたときに、これらの画質の向上とともに、動画像を
高速に生成することが重要な要因となる。高画質の動画
像を得るには、高画質の画像を短時間に生成して出力す
る必要があり、一旦ＶＴＲ等にコマ取りするか、処理速
度が非常に速いハードウェアを用いる必要があった。こ
の問題を解決する方法の１つが、例えば特開平４−1846
83号公報「動画像生成方法およびその装置」に示されて
いる。

【０００３】従来の動画像生成方法は、物体の３次元空
間内での形状データと、物体表面の属性データおよび各
物体表面の照度データから任意の時刻Ｉでの、任意の視
点からの隠面消去された画像を生成する画像生成部と、
前記形状データと視点データとから時刻Ｉ,Ｉ＋１,Ｉ＋
２,………における物体の移動量を算出する動きベクト
ル算出部と、画像データを時間方向に連続して生成する
動画像生成部とを具備した動画像生成装置において、図
９に示すように動きベクトルを用いたフレーム内挿によ
る時刻ＩおよびＩ＋ｋ(ｋは整数)での画像(図例では英
文字Ａ)を前記画像生成部で生成し、時刻ＩおよびＩ＋
ｋの間の時刻Ｉ＋ｎ(ｎはｋ以下の整数)での画像(Ａ)
を、時刻ＩおよびＩ＋ｋの画像中のすべての画素に対応
する物体の時刻Ｉ＋ｎにおける移動量である動きベクト
ルから、時刻ＩおよびＩ＋ｋのすべての画素を移動量に
応じて移動させることにより生成する。

【０００４】

【発明が解決しようとする課題】しかし、上記のような
動画像生成方法では、動きベクトルを算出して時刻Ｉと
Ｉ＋ｋでの画像からその間の時刻Ｉ＋ｎでの画像をフレ
ーム内挿して生成するために、時刻Ｉ＋ｎでの画像で
は、物体のエッジの位置が正しくないか、物体のエッジ
がボケる可能性があるという問題点がある。観察者が画
像を見る場合、物体のエッジ部における画質の劣化は他
の部分に比べて目につきやすいので、特に物体のエッジ
付近を表示している画素の輝度は正確に求めることが望
ましい。

【０００５】本発明は上記問題点を解決し、物体のエッ
ジ付近の画質が劣化しない動画像を高速に生成すること
を目的とする。

【０００６】

【課題を解決するための手段】本発明は上記課題を解決
し、目的を達成するため、数値データとして入力される
物体の３次元形状，色，反射率，光源の位置，光の強
さ，光の色，視点の位置などの情景データと、前記情景
データで定義された各物体の各フレームにおける物体の
動きを記述した動きデータとに基づき、各フレームにお
ける画像中の各画素の輝度を輝度計算によって求めて動
画像を生成する装置において、第１の発明は、前記動き
データから次のフレームで動く物体を検出する動物体検
出器と、前記動物体検出器が出力する動く物体を包含す
る立体であるバウンディングボリュームを前記情景デー
タと前記動きデータとから生成するバウンディングボリ
ューム生成器と、前記バウンディングボリューム生成器
が出力するバウンディングボリュームが投影される画素
の画素番号を出力するバウンディングボリューム投影器
と、生成しようとするフレームの１つ前のフレームの画
像中で、前記動物体検出器が出力する動く物体を、表示
している画素の画素番号を出力する動物体表示画素抽出
器と、生成しようとする動画像の第１フレームについて
は全画素の輝度を計算し、生成しようとする動画像の第
２フレーム以降については前記バウンディングボリュー
ム投影器が出力する画素番号の画素の輝度と、前記動物
体表示画素抽出器が出力する画素番号の画素の輝度とを
計算する輝度計算器と、記憶している輝度のうち、前記
輝度計算器が計算した画素の輝度のみを更新して、各画
素の新しい輝度を記憶する輝度記憶部と、前記輝度計算
器が輝度を計算した際に得られる各画素の表示物体の物
体番号を記憶し、前記輝度計算器が輝度を計算した画素
についてのみ物体番号を更新する表示物体記憶部と、前
記輝度記憶部に記憶している輝度に従って画像を表示す
る表示装置とを備えたことを特徴とする。

【０００７】第２の発明は、前記情景データと前記動き
データとから第２Ｎ＋１(Ｎは負でない整数)フレームの
画像を順次生成する全画素輝度計算器と、第４ｍ＋１
(ｍは負でない整数)フレームの画像を記憶する第１の輝
度記憶部と、第４ｐ＋３(ｐは負でない整数)フレームの
画像を記憶する第２の輝度記憶部と、前記第１の輝度記
憶部に記憶している前記第４ｍ＋１フレームの画像のエ
ッジと、前記第２の輝度記憶部に記憶している前記第４
ｐ＋３フレームの画像のエッジとを検出するエッジ検出
器と、前記エッジ検出器の出力するエッジ付近の画素の
画素番号を出力する画素選択器と、前記第１の輝度記憶
部に画像を記憶しているフレームと、前記第２の輝度記
憶部に画像を記憶しているフレームとの間のフレームの
画像の画素のうち、前記画素選択器の出力する画素番号
の画素について、前記情景データと前記動きデータとか
ら輝度を計算する指定画素輝度計算器と、前記指定画素
輝度計算器が計算した画素の輝度を補間して残りの画素
の輝度を求める補間器と、前記補間器が出力する画像を
記憶する第３の輝度記憶部と、前記第１の輝度記憶部に
記憶した画像と、前記第２の輝度記憶部に記憶した画像
と、前記第３の輝度記憶部に記憶した画像とを順次切り
替えて出力する切替器と、前記切替器の出力する画像を
表示する表示装置とからなることを特徴とする。

【０００８】第３の発明は、各画素の輝度を記憶する第
１の輝度記憶部と、各画素の輝度を記憶し、後から新た
な輝度が入力されると、元の輝度を前記第１の輝度記憶
部に出力した後に、新たな輝度を記憶する第２の輝度記
憶部と、前記情景データと前記動きデータとに基づき第
ｎＮ＋１(ｎは所定の自然数、Ｎは負でない整数)フレー
ムの画像を順次生成し、前記生成した画像を前記第２の
輝度記憶部に出力する全画素輝度計算器と、前記第１の
輝度記憶部に記憶している画像と前記第２の輝度記憶部
に記憶している画像との間で同じ位置の画素の輝度が一
致しない画素を検出して、その画素番号を出力する変化
画素検出器と、前記変化画素検出器が出力する画素番号
の画素をすべて含む凸多角形を生成し、その多角形内の
画素の画素番号を出力する凸多角形生成器と、前記凸多
角形生成器が出力する画素番号の画素について、第ｎＮ
＋１＋ｋ(ｋはｎ未満の自然数)フレームにおける輝度を
前記情景データと前記動きデータとに基づき計算し、前
記第１の輝度記憶部へ計算結果を出力する指定画素輝度
計算器と、前記第１の輝度記憶部に記憶している画像を
表示する表示装置とを備えたことを特徴とする。

【０００９】第４の発明は、前記動きデータから第ｎＮ
＋１(ｎは所定の自然数、Ｎは負でない整数)フレームか
ら第ｎ(Ｎ＋１)＋１フレームまでの間で動く物体を検出
する動物体検出器と、前記動物体検出器が出力した各物
体について、第ｎＮ＋１フレームで占める空間と第ｎ
(Ｎ＋１)＋１フレームで占める空間の両方を包含する凸
多面体を生成する凸多面体生成器と、前記凸多面体生成
器が出力する凸多面体が投影される画素の画素番号を出
力する凸多面体投影器と、第ｎＮ＋１フレームの画像は
前記情景データと前記動きデータとに基づき全画素の輝
度を計算し、第ｎＮ＋１＋ｋ(ｋはｎ未満の自然数)フレ
ームの画像については、前記凸多面体投影器が出力する
画素番号の画素についてのみ輝度を計算する輝度計算器
と、前記輝度計算器が出力する各画素の輝度を記憶する
輝度記憶部と、前記輝度記憶部が記憶している画像を表
示する表示装置とを備えたことを特徴とする。第５の発
明は、物体の情景データと、前記情景データで定義され
た各物体の各フレームにおける物体の動きを記述した動
きデータとに基づき、各フレームにおける画像中の各画
素の輝度を求めて動画像を生成する動画像生成装置にお
いて、第１フレームの画像の輝度を記憶する輝度記憶部
と、前記第１フレームの次の第２フレームについて前記
動きデータから動く物体を検出する動物体検出器と、前
記検出された物体を包含するバウンディングボリューム
を生成するバウンディングボリューム生成器と、前記生
成されたバウンディングボリュームが投影される画素の
画素番号を出力するバウンディングボリューム投影器
と、前記第１フレームの画像中で、前記検出された物体
を表示している画素の画素番号を出力する動物体表示画
素抽出器と、前記第２フレームについて、前記バウンデ
ィングボリューム投影器が出力する画素番号の画素、お
よび前記動物体表示画素抽出器が出力する画素番号の画
素の輝度を計算する輝度計算器と、前記輝度記憶部に記
憶している画像を表示する表示装置とを備え、前記輝度
記憶部に記憶している輝度のうち前記輝度計算器が計算
した画素の輝度を更新することを特徴とする。

【００１０】

【作用】第１または第５の発明は、第２フレーム以降
は、前記動物体検出器が検出した動く物体が前フレーム
で表示されていた画素を動物体表示画素検出器が検出
し、前記動物体検出器が検出した動く物体が次のフレー
ムで表示される可能性のある画素をバウンディングボリ
ューム投影器が検出し、前記動物体表示画素検出器と、
前記バウンディングボリューム投影器が検出した画素に
ついてのみ輝度を輝度計算器が計算して、画像を更新す
る。これによって、前フレームに対して輝度が変化する
可能性のある画素のみを輝度計算するので、各フレーム
において、全画素が正確な輝度値を持つ動画像を高速に
生成することができる。

【００１１】第２の発明は、第２Ｎ＋１フレームと、第
２Ｎ＋３フレームの画像を全画素輝度計算器で生成し、
第２Ｎ＋２フレームの画像は、第２Ｎ＋１フレームの画
像のエッジと、第２Ｎ＋３フレームの画像のエッジとを
エッジ検出器が検出して、検出したエッジ付近の画素を
画素選択器が選択し、前記画素選択器が選択した画素の
み、第２Ｎ＋２フレームの画像の輝度を指定画素輝度計
算器が計算し、残りの画素の輝度を補間器で補間するこ
とにより、全画素を正確に輝度計算したわけではないフ
レームについても、物体のエッジ付近の画素は正確な輝
度を計算するので、見ために劣化が少ない動画像を高速
に生成することができる。

【００１２】第３の発明は、第ｎＮ＋１(ｎは所定の自
然数、Ｎは負でない整数)フレームの画像を全画素輝度
計算器で生成し、その間のフレームの画像については、
全画素輝度計算器で生成した画像間で輝度が変化した画
素を含む凸多角形を凸多角形生成器で生成し、その凸多
角形内の画素のみ指定画素輝度計算器で輝度を計算して
画像を更新することにより、各フレームにおいて正確な
輝度を持つ動画像を高速に生成することができる。

【００１３】第４の発明は、第ｎＮ＋１(ｎは所定の自
然数、Ｎは負でない整数)フレームの画像の全画素の輝
度を輝度計算器で計算し、その間のフレームの画像につ
いては、動物体検出器が検出した各動く物体が第ｎＮ＋
１フレームで占める空間と第ｎ(Ｎ＋１)＋１フレームで
占める空間とを含む凸多面体が表示される画素を凸多面
体投影器が検出し、前記検出動作で検出された画素のみ
前記輝度計算器で計算して輝度記憶部に記憶している輝
度を更新することにより、各フレームにおいて正確な輝
度を持つ動画像を高速に生成することができる。

【００１４】

【実施例】以下、本発明の各実施例を図面を用いて説明
する。

【００１５】図１は第１または第５の発明の一実施例に
おける動画像生成装置の構成を示すブロック図であり、
図１において、101は各フレームにおける物体の動きを
記述した動きデータから動く物体を検出する動物体検出
器、102は動物体検出器101が出力する動く物体を包含す
る立体であるバウンディングボリュームを生成するバウ
ンディングボリューム生成器、103はバウンディングボ
リューム生成器102が出力するバウンディングボリュー
ムが投影される画素の画素番号を出力するバウンディン
グボリューム投影器、104は、動物体検出器101が出力す
る動く物体を、これから画像を生成しようとするフレー
ムの１つ前のフレームである前フレームの画像中で表示
している画素の画素番号を出力する動物体表示画素抽出
器、105は、生成しようとする動画像の第１フレームに
ついては全画素の輝度を計算し、第２フレーム以降につ
いてはバウンディングボリューム投影器103が出力する
画素番号の画素の輝度と、動物体表示画素抽出器104が
出力する画素番号の画素の輝度とを計算する輝度計算
器、106は、記憶している輝度のうち前記輝度計算器105
が計算した画素の輝度のみを更新して、各画素の新しい
輝度を記憶する輝度記憶部、107は、輝度計算器105が輝
度を計算した際に得られる各画素の表示物体の物体番号
を記憶し、輝度計算器105が輝度を計算した画素につい
てのみ物体番号を更新する表示物体記憶部、108は輝度
記憶部106に記憶している輝度に従って画像を表示する
表示装置である。

【００１６】次に、本実施例の動画像生成装置の動作を
説明する。第１フレームについて全画素の輝度を、数値
データとして入力される物体の３次元形状，色，反射
率，光源の位置，光の強さ，光の色，視点の位置などの
情景データと前記動きデータとに基づき、輝度計算器10
5が計算し、計算した輝度を輝度記憶部106が記憶する。
第１フレームにおける全画素の輝度を計算した際に得ら
れる各画素の表示物体の物体番号を表示物体記憶部107
が記憶する。第２フレーム以降については、これから画
像を生成しようとするフレームである次のフレームの画
像生成は、まず動物体検出器101が前記動きデータから
前フレームに対して次のフレームで動く物体を検出し、
検出結果をバウンディングボリューム生成器102と動物
体表示画素抽出器104とに出力する。

【００１７】バウンディングボリューム生成器102は次
のフレームで動く物体のバウンディングボリュームを前
記情景データと前記動きデータとから生成し、生成した
バウンディングボリュームをバウンディングボリューム
投影器103に出力する。バウンディングボリューム投影
器103はバウンディングボリューム生成器102で生成した
バウンディングボリュームを画面に投影し、バウンディ
ングボリュームが投影された画素の画素番号を輝度計算
器105に出力する。

【００１８】また、動物体表示画素抽出器104は動物体
検出器101が出力した次のフレームで動く物体が前フレ
ームでどこに表示されていたかを、表示物体記憶部107
に記憶している各画素の表示物体の物体番号から調べ、
動く物体が前フレームで表示されていた画素の画素番号
を輝度計算器105に出力する。輝度計算器105はバウンデ
ィングボリューム投影器が出力した画素番号の画素の次
のフレームでの輝度と、動物体表示画素抽出器104が出
力した画素番号の画素の次のフレームでの輝度とを情景
データと動きデータとに従って計算する。

【００１９】輝度記憶部106は、記憶している輝度のう
ち輝度計算器105が輝度を計算した画素の輝度のみ更新
することによって、次のフレームの画像を生成する。最
後に、表示物体記憶部107は、記憶している各画素の表
示物体の物体番号のうち輝度計算器105で輝度を計算し
た画素の物体番号のみ更新する。表示装置108は輝度記
憶部106に記憶している輝度に従って画像を表示する。

【００２０】図２は本実施例において第Ｉ＋１(Ｉは自
然数)フレームの画像を生成するときに輝度計算器105が
輝度を計算する画素の説明図である。ここで、物体Ａが
矢印Ｃの方向へ移動するものとする。動物体表示画素抽
出器104の出力は、図２(a)の斜線部に示すように、前フ
レームである第Ｉフレームにおける物体Ａを表示してい
る画素の画素番号である。そしてバウンディングボリュ
ーム投影器103の出力は、図２(b)の斜線部に示すよう
に、次のフレームである第Ｉ＋１フレームでの物体Ａの
バウンディングボリュームが画面に投影される画素の画
素番号である。したがって、第Ｉ＋１フレームの画像を
生成するときには、輝度計算器105は図２(c)の斜線部に
示す画素についてのみ輝度を計算する。

【００２１】以上のようにして、第２フレーム以降の画
像は、物体が動いて輝度が前フレームに対して変わる可
能性のある画素のみ輝度を計算することによって、高速
に生成することができる。

【００２２】なお、動く物体のバウンディングボリュー
ムは、例えば６面すべてが動く物体に外接する直方体、
または動く物体に外接する球などのように、画面への投
影計算が簡単になるように単純な形状であり、かつ投影
される画素ができるだけ少なくなるように、適度に小さ
い立体がよい。

【００２３】図３は第２の発明の一実施例における動画
像生成装置の構成を示すブロック図であり、図３におい
て、301は、数値データとして入力される物体の３次元
形状，色，反射率，光源の位置，光の強さ，光の色，視
点の位置などの情景データと、前記情景データで定義さ
れた各物体の各フレームにおける物体の動きを記述した
動きデータとに基づき、第２Ｎ＋１(Ｎは負でない整数)
フレームの画像を順次生成する全画素輝度計算器、302
は第４ｍ＋１(ｍは負でない整数)フレームの画像を記憶
する第１の輝度記憶部、303は第４ｐ＋３(ｐは負でない
整数)フレームの画像を記憶する第２の輝度記憶部、304
は、第１の輝度記憶部302に記憶している前記第４ｍ＋
１フレームの画像のエッジと、第２の輝度記憶部303に
記憶している前記第４ｐ＋３フレームの画像のエッジと
を検出するエッジ検出器、305はエッジ検出器304の出力
するエッジ付近の画素の画素番号を出力する画素選択
器、306は、第１の輝度記憶部302に画像を記憶している
フレームと、第２の輝度記憶部303に画像を記憶してい
るフレームとの間のフレームの画像の画素のうち、画素
選択器305の出力する画素番号の画素について、前記情
景データと前記動きデータとから輝度を計算する指定画
素輝度計算器、307は指定画素輝度計算器306が計算した
画素の輝度を補間して残りの画素の輝度を求める補間
器、308は補間器307が出力する画像を記憶する第３の輝
度記憶部、309は、第１の輝度記憶部302に記憶した画像
と、第２の輝度記憶部303に記憶した画像と、第３の輝
度記憶部308に記憶した画像とを順次切り替えて出力す
る切替器、310は切替器309の出力する画像を表示する表
示装置である。

【００２４】次に、本実施例の動画像生成装置の動作を
説明する。まず、全画素輝度計算器301は第１フレーム
の画像を前記情景データと前記動きデータとから生成
し、第１の輝度記憶部302に出力する。第１の輝度記憶
部302は第１フレームの画像を記憶する。全画素輝度計
算器301は第３フレームの画像を前記情景データと前記
動きデータとから生成し、第２の輝度記憶部303に出力
する。第２の輝度記憶部303は第３フレームの画像を記
憶する。

【００２５】エッジ検出器304は、第１の輝度記憶部302
に記憶している画像のエッジと、第２の輝度記憶部303
に記憶している画像のエッジとを検出して、画素選択器
305に出力する。画素選択器305は、エッジ検出器304が
出力したエッジ付近の画素の画素番号を指定画素輝度計
算器306に出力する。指定画素輝度計算器306は輝度選択
器305が出力した画素番号の画素の輝度を計算し、補間
器307に出力する。補間器307は、指定画素輝度計算器30
6が計算した画素以外の画素の輝度を指定画素輝度計算
器306が計算した画素の輝度を補間して求め、第３の輝
度記憶部308に出力する。第３の輝度記憶部308は第２フ
レームの画像を記憶する。

【００２６】以下、上記と同様にして、第５フレームの
画像を第１フレームを計算した過程と同様に全画素輝度
計算器301が計算し、それを第１の輝度記憶部302が記憶
する。第４フレームの画像を第２フレームを計算した過
程と同様に第３フレームの画像のエッジ付近の画素と、
第５フレームの画像のエッジ付近の画素とのみ、輝度を
指定画素輝度計算器306が計算し、残りの画素の輝度は
補間器307が補間して求め、第３の輝度記憶部308に出力
する。第３の輝度記憶部308は、第４フレームの画像を
記憶する。以下、同様にして、第２Ｎ＋１(Ｎは負でな
い整数)フレームの画像を順次生成して、第１の輝度記
憶部302と第２の輝度記憶部303とに記憶し、その間の第
２Ｎ＋２(Ｎは負でない整数)フレームの画像を順次生成
して第３の輝度記憶部308に記憶する。

【００２７】切替器309は、はじめに第１の輝度記憶部3
02に記憶している画像を表示装置310に出力し、続いて
第３の輝度記憶部308に記憶している画像、第２の輝度
記憶部303に記憶している画像、第３の輝度記憶部308に
記憶している画像の順で画像を切り替えて表示装置310
に出力し、以下同様に第１の輝度記憶部302に記憶して
いる画像から順次出力する画像を切り替えて、表示装置
310に出力する。

【００２８】図４は本実施例において上記第２Ｎ＋２フ
レームの画像を生成するときに指定画素輝度計算器306
が輝度を計算する画素の説明図である。図４(a)は第２
Ｎ＋１フレームの画像、図４(b)は第２Ｎ＋２フレーム
の画像、図４(c)は第２Ｎ＋３フレームの画像である。
ここで、第２Ｎ＋１フレームの画像と、第２Ｎ＋３フレ
ームの画像はそれぞれ第１の輝度記憶部302または第２
の輝度記憶部303のいずれかに別々に記憶されており、
どちらの記憶部にどちらのフレームの画像が記憶されて
いるかは、Ｎが偶数か奇数かによって次のように決まっ
ている。まず、Ｎが偶数の場合、２Ｎ＋１(Ｎは負でな
い整数)は４ｍ＋１(ｍは負でない整数)の形で表される
ので、第２Ｎ＋１フレームの画像は第１の輝度記憶部30
2に記憶される。一方、２Ｎ＋３(Ｎは負でない整数)は
４ｐ＋３(ｐは負でない整数)の形で表されるので、第２
Ｎ＋３フレームの画像は第２の輝度記憶部303に記憶さ
れる。次に、Ｎが奇数の場合は、同様の理由により、Ｎ
が偶数の場合とは逆に、第２Ｎ＋１フレームの画像は第
２の輝度記憶部303に記憶され、第２Ｎ＋３フレームの
画像は第１の輝度記憶部302に記憶される。第２Ｎ＋２
フレームの画像の生成時には、第２Ｎ＋１フレームの画
像のエッジと第２Ｎ＋３フレームの画像のエッジとをエ
ッジ検出器304が検出して、そのエッジの近傍の画素(図
４(b)の斜線部)の画素番号を画素選択器305が出力す
る。この画素番号を出力された画素が、指定画素輝度計
算器306で輝度を計算する画素である。

【００２９】以上のように、本実施例によれば、第２Ｎ
＋１フレームの画像は全画素の輝度を正確に求めて生成
するが、その間のフレームの画像は、エッジが表示され
ると予想される画素である、前後のフレームでエッジが
表示されていた画素の近傍の画素のみ輝度を正確に求め
て残りの画素を補間によって生成するので、高速に動画
像を生成することができる。

【００３０】なお、本実施例において、画素選択器305
でエッジ検出器304が出力したエッジ付近の画素に加え
て、前記エッジから離れた画素も粗に選択してやること
によっても同様の効果が得られ、かつ第２Ｎ＋２フレー
ムの画像において補間による誤差を更に減らすことがで
きる。

【００３１】図５は第３の発明の一実施例における動画
像生成装置の構成を示すブロック図であり、図５におい
て、501は各画素の輝度を記憶する第１の輝度記憶部、5
02は、各画素の輝度を記憶し、後から新たな輝度が入力
されると元の輝度を第１の輝度記憶部501に出力した後
に、新たな輝度を記憶する第２の輝度記憶部、503は、
数値データとして入力される物体の３次元形状，色，反
射率，光源の位置，光の強さ，光の色，視点の位置など
の情景データと、前記情景データで定義された各物体の
各フレームにおける物体の動きを記述した動きデータと
に基づき第ｎＮ＋１(ｎは所定の自然数、Ｎは負でない
整数)フレームの画像を順次生成し、前記生成した画像
を第２の輝度記憶部502に出力する全画素輝度計算器、5
04は、第１の輝度記憶部501に記憶している画像と第２
の輝度記憶部502に記憶している画像との間で輝度が一
致しない画素を検出して、その画素番号を出力する変化
画素検出器、505は、変化画素検出器504が出力する画素
番号の画素をすべて含む凸多角形を生成し、その多角形
内の画素の画素番号を出力する凸多角形生成器、506
は、凸多角形生成器505が出力する画素番号の画素につ
いて、第ｎＮ＋１＋ｋ(ｋはｎ未満の自然数)フレームに
おける輝度を前記情景データと前記動きデータとに基づ
き計算し、第１の輝度記憶部501へ計算結果を出力する
指定画素輝度計算器、507は第１の輝度記憶部501に記憶
している画像を表示する表示装置である。

【００３２】次に、本実施例の動画像生成装置の動作を
説明する。まず、第１フレームの画像を前記全画素輝度
計算器503が前記情景データと動きデータとに基づき生
成し、生成した画像は第２の輝度記憶部502に出力す
る。第２フレーム以降、以下の動作を繰り返すことによ
って画像を生成する。まず、全画素輝度計算器503は、
先ほど画像生成した第ｎＮ＋１フレームのｎフレーム先
の第ｎ(Ｎ＋１)＋１フレームの画像を生成し、第２の輝
度記憶部502に出力する。第２の輝度記憶部は、記憶し
ていた第ｎＮ＋１フレームの画像の輝度を第１の輝度記
憶部501に出力し、新たに第ｎ(Ｎ＋１)＋１フレームの
画像の輝度を記憶する。

【００３３】変化画素検出器504が、第１の輝度記憶部5
01が記憶している第ｎＮ＋１フレームの画像と、第２の
輝度記憶部502が記憶している第ｎ(Ｎ＋１)＋１フレー
ムの画像とで同じ位置の画素の輝度を比較し、輝度が一
致しない画素の画素番号を凸多角形生成器505に出力す
る。凸多角形生成器505は、変化画素検出器504が出力し
た画素番号の画素をすべて含む凸多角形を画面上に生成
し、前記凸多角形内に含まれる画素の画素番号を指定画
素輝度計算器506に出力する。

【００３４】指定画素輝度計算器506は、凸多角形生成
器505が出力した画素についてのみ第ｎＮ＋１＋ｋ(ｋは
ｎ未満の自然数)フレームの画像における輝度を順次生
成し、第１の輝度記憶部501へ出力する。第１の輝度計
算器501は指定画素輝度計算器506が出力する画素の輝度
を更新する。表示装置507は第１の輝度記憶部501に記憶
している輝度に従って画像を表示する。

【００３５】図６は本実施例において凸多角形の生成過
程の説明図である。ここで、物体Ａが移動しているもの
とする。第１の輝度記憶部501が記憶している第ｎＮ＋
１フレームの画像(ａ)と、第２の輝度記憶部502が記憶
している第ｎ(Ｎ＋１)＋１フレームの画像(ｂ)とで同じ
位置の画素の輝度を比較し、図６(c)の斜線部に示した
ように輝度が一致しない画素を変化画素検出器504が検
出し、凸多角形生成器505が前記検出した画素をすべて
囲む凸多角形を図６(d)の斜線部に示すよう生成する。

【００３６】以上のように、本実施例によれば、第ｎＮ
＋１＋ｋフレームの画像は、輝度が変化する可能性のあ
る画素のみ輝度を計算して画像を生成する。

【００３７】図７は第４の発明の一実施例における動画
像生成装置の構成を示すブロック図であり、図７におい
て、701は各物体の各フレームにおける物体の動きを記
述した動きデータから第ｎＮ＋１(ｎは所定の自然数、
Ｎは負でない整数)フレームから第ｎ(Ｎ＋１)＋１フレ
ームまでの間で動く物体を検出する動物体検出器、702
は、動物体検出器701が出力した各物体について、第ｎ
Ｎ＋１フレームで占める空間と第ｎ(Ｎ＋１)＋１フレー
ムで占める空間の両方を包含する凸多面体を生成する凸
多面体生成器、703は凸多面体生成器702が出力する凸多
面体が投影される画素の画素番号を出力する凸多面体投
影器、704は、第ｎＮ＋１フレームの画像は、数値デー
タとして入力される物体の３次元形状，色，反射率，光
源の位置，光の強さ，光の色，視点の位置などの情景デ
ータと前記動きデータとに基づき、全画素の輝度を計算
し、第ｎＮ＋１＋ｋ(ｋはｎ未満の自然数)フレームの画
像については、前記凸多面体投影器が出力する画素番号
の画素についてのみ輝度を計算する輝度計算器、705は
輝度計算器704が出力する各画素の輝度を記憶する輝度
記憶部、706は輝度記憶部705が記憶している画像を表示
する表示装置である。

【００３８】次に、本実施例の動画像生成装置の動作を
説明する。まず、第ｎＮ＋１フレームの画像の全画素の
輝度を輝度計算器704が前記情景データと前記動きデー
タとに基づき計算し、計算結果を輝度記憶部705に出力
する。

【００３９】輝度記憶部705は輝度計算器704の出力する
輝度を記憶する。続いて、第ｎＮ＋１フレームから第ｎ
(Ｎ＋１)＋１フレームまでの間で動く物体を動物体検出
器701が検出し、凸多面体生成器702に出力する。凸多面
体生成器702は、動物体検出器701が出力した物体のそれ
ぞれについて、第ｎＮ＋１フレームで占める空間と第ｎ
(Ｎ＋１)＋１で占める空間の両方を包含する凸多面体を
生成し、凸多面体投影器703に出力する。

【００４０】凸多面体投影器703は、凸多面体生成器702
が出力した凸多面体を投影面に投影し、凸多面体が投影
される画素の画素番号を輝度計算器704に出力する。輝
度計算器704は凸多面体投影器704が出力した画素番号の
画素についてのみ、第ｎＮ＋１＋ｋフレームの輝度を順
次計算して輝度記憶部705に出力する。表示装置706は輝
度記憶部705が記憶している画像を表示する。以下同様
にして、各フレームの画像を順次生成する。

【００４１】図８は本実施例における凸多面体の生成過
程の説明図である。ここで、物体Ａと物体Ｂとが移動し
ているものとする。第ｎＮ＋１フレームでの物体Ａと物
体Ｂとが図８(a)で示す位置にあり、第ｎ(Ｎ＋１)＋１
フレームでの物体Ａと物体Ｂとが図８(b)で示す位置に
ある場合、図８(c)の斜線部に示すように物体Ａ，物体
Ｂそれぞれについて、第ｎＮ＋１フレームで占める空間
と第ｎ(Ｎ＋１)＋１フレームで占める空間との両方を包
含する凸多面体を生成する。

【００４２】以上のように、本実施例によれば、第ｎＮ
＋１＋ｋフレームの画像は、輝度が変化する可能性のあ
る画素のみ輝度を計算して画像を生成する。

【００４３】

【発明の効果】以上説明したように、第１または第５の
発明によれば、初めのフレームは全画素について輝度を
計算するが、それ以降のフレームは前フレームに対して
輝度が変わる可能性のある画素のみ輝度を計算して、前
フレームの画像を更新することによって生成するので、
正確な輝度の動画像を高速に生成することができる。

【００４４】また、第２の発明によれば、第２Ｎ＋１
(Ｎは負でない整数)フレームについては正確な輝度を計
算するが、その間のフレームについては、ぼけた場合視
覚的に一番よくわかるエッジ付近の画素は正確な輝度を
計算し、残りの画素は補間によって輝度を求めることに
よって、視覚的にぼけのない動画像を高速に生成するこ
とができる。

【００４５】また、第３の発明によれば、第ｎＮ＋１
(ｎは所定の自然数、Ｎは負でない整数)フレームの画像
については全画素の輝度を計算するが、その間のフレー
ムについては、輝度が変化する可能性のある画素のみ輝
度計算して画像を更新することによって、正確な輝度の
動画像を高速に生成することができる。

【００４６】また、第４の発明によれば、第ｎＮ＋１
(ｎは所定の自然数、Ｎは負でない整数)フレームの画像
については全画素の輝度を計算するが、その間のフレー
ムについては、各動く物体が通ると推定できる凸多面体
が表示される画素のみ輝度を計算することによって、輝
度が変化する可能性のある画素のみ輝度計算して画像を
更新することによって、正確な輝度の動画像を高速に生
成することができる。

【図面の簡単な説明】

【図１】第１または第５の発明の一実施例における動画
像生成装置の構成を示すブロック図である。

【図２】図１における第Ｉ＋１フレームの画像を生成す
るときに輝度計算器105が輝度を計算する画素の説明図
である。

【図３】第２の発明の一実施例における動画像生成装置
の構成を示すブロック図である。

【図４】図３における第２Ｎ＋２フレームの画像を生成
するときに指定画素輝度計算器306が輝度を計算する画
素の説明図である。

【図５】第３の発明の一実施例における動画像生成装置
の構成を示すブロック図である。

【図６】図５における凸多角形の生成過程の説明図であ
る。

【図７】第４の発明の一実施例における動画像生成装置
の構成を示すブロック図である。

【図８】図７における凸多面体の生成過程の説明図であ
る。

【図９】従来の動画像生成方法である動きベクトルを用
いたフレーム内挿による動画像生成法の説明図である。

【符号の説明】

101，701…動物体検出器、 102…バウンディングボリ
ューム生成器、 103…バウンディングボリューム投影
器、 104…動物体表示画素抽出器、 105，704…輝度
計算器、 106，302，303，308，501，502，705…輝度
記憶部、 107…表示物体記憶部、 108，310，507，70
6…表示装置…、 301，503…全画素輝度計算器、 304
…エッジ検出器、 305…画素選択器、 306，506…指
定画素輝度計算器、 307…補間器、 309…切替器、
504…変化画素検出器、 505…凸多角形生成器、 702
…凸多面体生成器、 703…凸多面体投影器。

フロントページの続き (56)参考文献特開平５−35847（ＪＰ，Ａ) 特開平３−252781（ＪＰ，Ａ) 特開平４−326181（ＪＰ，Ａ) 特開平３−110683（ＪＰ，Ａ) 特開平２−239376（ＪＰ，Ａ) 特開昭63−27980（ＪＰ，Ａ) 特開平５−249953（ＪＰ，Ａ) 特開平１−251963（ＪＰ，Ａ) 特開平２−60244（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/70 H04N 5/262 - 5/28 H04N 1/41 - 1/419 ＣＳＤＢ（日本国特許庁)

Claims

(57)【特許請求の範囲】

【請求項１】数値データとして入力される物体の３次
元形状，色，反射率，光源の位置，光の強さ，光の色，
視点の位置などの情景データと、前記情景データで定義
された各物体の各フレームにおける物体の動きを記述し
た動きデータとに基づき、各フレームにおける画像中の
各画素の輝度を輝度計算によって求めて動画像を生成す
る装置において、前記動きデータから次のフレームで動
く物体を検出する動物体検出器と、前記動物体検出器が
出力する動く物体を包含する立体であるバウンディング
ボリュームを前記情景データと前記動きデータとから生
成するバウンディングボリューム生成器と、前記バウン
ディングボリューム生成器が出力するバウンディングボ
リュームが投影される画素の画素番号を出力するバウン
ディングボリューム投影器と、生成しようとするフレー
ムの１つ前のフレームの画像中で、前記動物体検出器が
出力する動く物体を表示している画素の画素番号を出力
する動物体表示画素抽出器と、生成しようとする動画像
の第１フレームについては全画素の輝度を計算し、生成
しようとする動画像の第２フレーム以降については前記
バウンディングボリューム投影器が出力する画素番号の
画素の輝度と、前記動物体表示画素抽出器が出力する画
素番号の画素の輝度とを計算する輝度計算器と、記憶し
ている輝度のうち、前記輝度計算器が計算した画素の輝
度のみを更新して、各画素の新しい輝度を記憶する輝度
記憶部と、前記輝度計算器が輝度を計算した際に得られ
る各画素の表示物体の物体番号を記憶し、前記輝度計算
器が輝度を計算した画素についてのみ物体番号を更新す
る表示物体記憶部と、前記輝度記憶部に記憶している輝
度に従って画像を表示する表示装置とを備えたことを特
徴とする動画像生成装置。
【請求項２】数値データとして入力される物体の３次
元形状，色，反射率，光源の位置，光の強さ，光の色，
視点の位置などの情景データと、前記情景データで定義
された各物体の各フレームにおける物体の動きを記述し
た動きデータとに基づき、各フレームにおける画像中の
各画素の輝度を輝度計算によって求めて動画像を生成す
る装置において、前記情景データと前記動きデータとか
ら第２Ｎ＋１(Ｎは負でない整数)フレームの画像を順次
生成する全画素輝度計算器と、第４ｍ＋１(ｍは負でな
い整数)フレームの画像を記憶する第１の輝度記憶部
と、第４ｐ＋３(ｐは負でない整数)フレームの画像を記
憶する第２の輝度記憶部と、前記第１の輝度記憶部に記
憶している前記第４ｍ＋１フレームの画像のエッジと、
前記第２の輝度記憶部に記憶している前記第４ｐ＋３フ
レームの画像のエッジとを検出するエッジ検出器と、前
記エッジ検出器の出力するエッジ付近の画素の画素番号
を出力する画素選択器と、前記第１の輝度記憶部に画像
を記憶しているフレームと、前記第２の輝度記憶部に画
像を記憶しているフレームとの間のフレームの画像の画
素のうち、前記画素選択器の出力する画素番号の画素に
ついて、前記情景データと前記動きデータとから輝度を
計算する指定画素輝度計算器と、前記指定画素輝度計算
器が計算した画素の輝度を補間して残りの画素の輝度を
求める補間器と、前記補間器が出力する画像を記憶する
第３の輝度記憶部と、前記第１の輝度記憶部に記憶した
画像と、前記第２の輝度記憶部に記憶した画像と、前記
第３の輝度記憶部に記憶した画像とを順次切り替えて出
力する切替器と、前記切替器の出力する画像を表示する
表示装置とを備えたことを特徴とする動画像生成装置。
【請求項３】数値データとして入力される物体の３次
元形状，色，反射率，光源の位置，光の強さ，光の色，
視点の位置などの情景データと、前記情景データで定義
された各物体の各フレームにおける物体の動きを記述し
た動きデータとに基づき、各フレームにおける画像中の
各画素の輝度を輝度計算によって求めて動画像を生成す
る装置において、各画素の輝度を記憶する第１の輝度記
憶部と、各画素の輝度を記憶し、後から新たな輝度が入
力されると、元の輝度を前記第１の輝度記憶部に出力し
た後に、新たな輝度を記憶する第２の輝度記憶部と、前
記情景データと前記動きデータとに基づき第ｎＮ＋１
(ｎは所定の自然数、Ｎは負でない整数)フレームの画像
を順次生成し、前記生成した画像を前記第２の輝度記憶
部に出力する全画素輝度計算器と、前記第１の輝度記憶
部に記憶している画像と前記第２の輝度記憶部に記憶し
ている画像との間で同じ位置の画素の輝度が一致しない
画素を検出して、その画素番号を出力する変化画素検出
器と、前記変化画素検出器が出力する画素番号の画素を
すべて含む凸多角形を生成し、その多角形内の画素の画
素番号を出力する凸多角形生成器と、前記凸多角形生成
器が出力する画素番号の画素について、第ｎＮ＋１＋ｋ
(ｋはｎ未満の自然数)フレームにおける輝度を前記情景
データと前記動きデータとに基づき計算し、前記第１の
輝度記憶部へ計算結果を出力する指定画素輝度計算器
と、前記第１の輝度記憶部に記憶している画像を表示す
る表示装置とを備えたことを特徴とする動画像生成装
置。
【請求項４】数値データとして入力される物体の３次
元形状，色，反射率，光源の位置，光の強さ，光の色，
視点の位置などの情景データと、前記情景データで定義
された各物体の各フレームにおける物体の動きを記述し
た動きデータとに基づき、各フレームにおける画像中の
各画素の輝度を輝度計算によって求めて動画像を生成す
る装置において、前記動きデータから第ｎＮ＋１(ｎは
所定の自然数、Ｎは負でない整数)フレームから第ｎ(Ｎ
＋１)＋１フレームまでの間で動く物体を検出する動物
体検出器と、前記動物体検出器が出力した各物体につい
て、第ｎＮ＋１フレームで占める空間と第ｎ(Ｎ＋１)＋
１フレームで占める空間の両方を包含する凸多面体を生
成する凸多面体生成器と、前記凸多面体生成器が出力す
る凸多面体が投影される画素の画素番号を出力する凸多
面体投影器と、第ｎＮ＋１フレームの画像は前記情景デ
ータと前記動きデータとに基づき全画素の輝度を計算
し、第ｎＮ＋１＋ｋ(ｋはｎ未満の自然数)フレームの画
像については、前記凸多面体投影器が出力する画素番号
の画素についてのみ輝度を計算する輝度計算器と、前記
輝度計算器が出力する各画素の輝度を記憶する輝度記憶
部と、前記輝度記憶部が記憶している画像を表示する表
示装置とを備えたことを特徴とする動画像生成装置。
【請求項５】物体の情景データと、前記情景データで
定義された各物体の各フレームにおける物体の動きを記
述した動きデータとに基づき、各フレームにおける画像
中の各画素の輝度を求めて動画像を生成する動画像生成
装置において、第１フレームの画像の輝度を記憶する輝
度記憶部と、前記第１フレームの次の第２フレームにつ
いて前記動きデータから動く物体を検出する動物体検出
器と、前記検出された物体を包含するバウンディングボ
リュームを生成するバウンディングボリューム生成器
と、前記生成されたバウンディングボリュームが投影さ
れる画素の画素番号を出力するバウンディングボリュー
ム投影器と、前記第１フレームの画像中で、前記検出さ
れた物体を表示している画素の画素番号を出力する動物
体表示画素抽出器と、前記第２フレームについて、前記
バウンディングボリューム投影器が出力する画素番号の
画素、および前記動物体表示画素抽出器が出力する画素
番号の画素の輝度を計算する輝度計算器と、前記輝度記
憶部に記憶している画像を表示する表示装置とを備え、
前記輝度記憶部に記憶している輝度のうち前記輝度計算
器が計算した画素の輝度を更新することを特徴とする動
画像生成装置。