WO2000007364A1

WO2000007364A1 - Synthetiseur d'images mobiles

Info

Publication number: WO2000007364A1
Application number: PCT/JP1999/004086
Authority: WO
Inventors: Satoru Inagaki; Kenjirou Tsuda; Yoshihisa Nishigori
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 1998-07-30
Filing date: 1999-07-29
Publication date: 2000-02-10
Also published as: EP1030515A1; CN1287743A; CA2304605A1; US6657637B1; EP1030515A4; CN1258909C; KR20010015674A; WO2000007364A8

Description

明細書動画像合成装置技術分野

本発明は、グラフィック動画像とビデオ動画像とを合成する動画像合成装置に関する。背景技術

従来、コンピュータ上で 3次元グラフィックで表示される仮想空間において、グラフィック動画像とビデオ動画像とを合成して表示する場合、 3次元空間上のオブジェクトの位置と形状を示す座標値を用いてグラフィック生成演算を行ってグラフィック静止画像を生成し、ビデオ動画像から 1フレーム分のビデオ静止画像を取り出し、生成したグラフィック静止画像に、テクスチャマッピングという手法を用いて、取り出したビデオ静止画像を貼り付け、ビデオ静止画像の貼り付けられたグラフィック静止画像を表示する。上記のグラフィック静止画像の生成と、ビデオ静止画像の取出しと、グラフィック静止画像へのビデオ静止画像の貼り付けと、表示とを高速に繰り返すことにより、ビデオ静止画像の貼り付けられたグラフィック静止画像が順次表示されるので、あたかも動きのある画像のように見える。

しかしながら、合成する前のグラフィック動画像とビデオ動画像とにおいて、表示レートは必ずしも同じではない。ビデオ動画像においては、一定時間当たりに表示するフレームの数（以下、表示レートと呼ぶ。）を一定とすることができ、例えば、 1秒間に 3 0フレームの表示レートが標準的である。一方、グラフイツク動画像においては、オブジェクトの位置と形状を示す座標値からグラフィック静止画像を生成する演算時間は、表示するオブジェクト数に依存するので、常に表示レ一トを一定とすることは難しい。

このため、グラフィック動画像の表示レ一卜に合わせて動画像を合成しようとする場合、例えば、ビデオ動画像及びグラフィック動画像の表示レートが、それぞれ 1秒間に 3 0フレーム及び 1 0フレームであると仮定すると、ビデオ動画像の 1秒間に表示する 3 0フレームのうち、グラフィック静止画像の表示時刻に合致する 1 0フレームのみを表示せざるを得ない。このため、残りの 2 0フレ一ムが表示されず、ビデオ動画像が滑らかに動いて見えないという問題点がある。一方、ビデオ動画像の表示レートに合わせて動画像を合成しょうとする場合、隣り合う 2つのビデオ静止画像の表示間隔時間内に、グラフィック静止画像の生成のための演算処理が完了せず、グラフィック静止画像が生成できない場合があるという問題点がある。発明の開示

そこで本発明はかかる問題点に鑑みてなされたものであり、グラフィック動画像とビデオ動画像とをそれぞれの表示レートで合成することができる動画像合成装置、動画像合成方法及び動画像合成プログラムを記録している記録媒体を提供することを目的とする。

上記目的を達成するために本発明は、オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを合成する動画像合成装置であって、 3次元空間におけるォブジェク卜の形状及び位置を示すオブジェクト情報を記憶している情報記憶手段と、外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得手段と、画像記憶手段と、 3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付手段と、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記画像記憶手段に書き込むグラフィック画像生成手段と、前記グラフィック静止画像が生成され前記画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記画像記憶手段に書き込むビデオ画像生成手段とを備えることを特徴とする。

この構成によると、グラフィック静止画像の生成処理と、ビデオ静止画像の復号処理とを別プロセスにより、並行して行い、生成されたグラフィック静止画像とビデオ静止画像とを記憶手段上で合成するので、グラフィック動画像とビデオ動画像とをそれぞれの表示レ一トで合成することができるという効果がある。ここで、前記グラフィック画像生成手段は、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影し、さらにレンダリング処理を施してグラフィック静止画像を生成するように構成してもよレ、。

この構成によると、グラフィック画像にレンダリング処理が施されるので、写実的なグラフィック画像が生成できるという効果がある。

ここで、前記オブジェクトは、ビデオ動画像が合成されるスクリーン面を有し、前記動画像合成装置は、オブジェクトのスクリ一ン面において、グラフィック動画像とビデオ動画像とを合成し、前記オブジェクト情報は、オブジェクトのスクリーン面の形状を示す情報を含み、前記グラフィック画像生成手段は、さらに、スクリーン面の形状を示す情報を含むオブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリーン面の形状及び位置を示すスクリーン面情報を算出し、前記ビデオ画像生成手段は、前記画像記憶手段に記憶されているグラフィック静止画像上の前記算出されたスクリーン面情報により示される位置に、取得したビデオ静止画像を書き込むように構成してもよい。

この構成によると、オブジェクトのスクリーン面において、ビデオ動画像が合成できるという効果がある。

ここで、前記ビデオ画像生成手段は、前記スクリーン面情報により示される形状に合わせて、前記ビデオ静止画像を変形して、変形ビデオ静止画像を生成する画像変形手段を含み、前記ビデオ画像生成手段は、生成された変形ビデオ静止画像を前記画像記憶手段に書き込むように構成してもよい。

この構成によると、オブジェク卜のスクリーン面の形状に合わせてビデオ静止画像を変形させるので、より写実的にビデオ動画像が合成できるという効果がある。

ここで、前記ォブジェクトは複数のスクリーン面を有し、前記ビデオ動画像取得手段は、外部から複数のビデオ動画像を取得し、前記動画像合成装置は、複数のスクリーン面のそれぞれにおいて、グラフィック動画像と各ビデオ動画像とを合成し、前記オブジェクト情報は、複数のスクリーン面の形状を示す情報を含み、前記グラフィック画像生成手段は、複数のスクリーン面の形状を示す情報毎に、スクリーン面情報を算出し、前記ビデオ画像生成手段は、複数のビデオ動画像からそれぞれビデオ静止画像を取得し、前記複数のスクリ一ン面情報により示される位置に、それぞれ取得した複数のビデオ静止画像を書き込むように構成してもよい。

この構成によると、オブジェクトのスクリーン面が複数の場合であっても、それぞれのスクリーン面において、ビデオ動画像が合成できるという効果がある。ここで、前記ビデオ画像生成手段は、算出された複数のスクリーン面情報に基づいて、スクリーン面毎に優先順位を決定する優先順位決定手段と、複数のビデォ動画像毎に、決定された優先順位に基づいて、ビデオ動画像からビデオ静止画像を取得するビデオ画像復号手段と、算出された複数のスクリーン面情報と、スクリーン面毎に決定された優先順位とに基づいて、投影スクリーン面毎に投影スクリーン面をマスクする位置を算出するマスク位置算出手段と、前記算出されたマスクする位置において、前記変形ビデオ静止画像にマスク処理を施すマスク処理手段とを含み、前記ビデオ画像生成手段は、マスク処理の施された変形ビデオ静止画像を前記画像記憶手段に書き込むように構成してもよい。この構成によると、オブジェクトのスクリ一ン面に応じて優先順位を決定し、優先順位に基づいてビデオ動画像からビデオ静止画像を取得し、各スクリーン面をマスクするので、より写実的にビデオ動画像が合成できるという効果がある。ここで、前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、前記視点に近いスクリーン面ほど、優先順位が高くなるように優先順位を決定するように構成してもよレ、。

この構成によると、視点に近いスクリーン面ほど優先順位を高くするので、より写実的にビデオ動画像が合成できるという効果がある。

ここで、前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、投影スクリーン面の面積を算出し、算出された面積が大きいスクリーン面ほど、優先順位が高くなるように優先順位を決定するように構成してもよい。この構成によると、面積の広いスクリーン面ほど優先順位を高くするので、より映像効果を高めることができるという効果がある。

ここで、前記ビデオ画像復号手段は、優先順位が最も高いビデオ動画像については、ビデオ動画像から全てのビデオ静止画像を取得し、優先順位の低いビデオ動画像ほど、ビデオ動画像から間引くビデオ静止画像が多くなるようにビデオ静止画像を取得するように構成してもよい。

この構成によると、優先順位が低いほど、間引く静止画像を多くするので、ビデォ画像の画質を優先順位に合わせて復号できるという効果がある。

ここで、前記ビデオ画像復号手段は、取得するビデオ静止画像の輝度を低下させる画質補正部を含み、優先順位が最も高いビデオ動画像については、ビデオ静止画像の輝度を低下させず、優先順位の低いビデオ動画像ほど、ビデオ静止画像の輝度がより低くなるように補正するように構成してもよい。

この構成によると、優先順位が低いほど、輝度を低く補正するので、表示レートが低くなっている可能性の高い優先順位の低い動画表示面についてはフリッカを目立たなくすることができるという効果がある。また、本発明は、オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを、オブジェクトのスクリーン面において、合成する動画像合成装置であって、 3次元空間におけるオブジェクトの形状及び位置とォブジェクトのスクリーン面の形状とを示すオブジェクト情報を記憶している情報記憶手段と、外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得手段と、グラフィック静止画像記憶手段と、ビデオ静止画像記憶手段と、画像記憶手段と、 3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付手段と、前記オブジェクト情報を用いて、前記視点から見てォブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記グラフィック静止画像記憶手段に書き込み、スクリ —ン面の形状を示す情報を含むォブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリーン面の形状及び位置を示すスクリーン面情報を算出するグラフィック画像生成手段と、前記グラフィック静止画像が生成され前記グラフィック静止画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記ビデオ静止画像記憶手段に書き込むビデオ画像生成手段と、前記算出されたスクリーン面情報を用いて、前記グラフィック静止画像記憶手段に記憶されているグラフィック静止画像又は前記ビデオ静止画像記憶手段に記憶されているビデオ静止画像から各静止画像を構成する画素を選択し、選択した画素を前記画像記憶手段に書き込む選択手段とを備えることを特徴とする。

この構成によると、グラフィック静止画像の生成処理と、ビデオ静止画像の復号処理とを別プロセスにより、並行して行うので、グラフィック動画像とビデオ動画像とをそれぞれの表示レートで合成することができるとともに、画像の合成が信号の選択により行えるので、装置の構成が単純になるという効果がある。ここで、前記グラフィック静止画像記憶手段は、第 1グラフィック記憶部と第 2グラフィック記憶部とを含み、前記ビデオ静止画像記憶手段は、第 1ビデオ記憶部と第 2ビデオ記憶部とを含み、前記グラフイツク画像生成手段は、取得したグラフィック静止画像を第 1グラフィック記憶部又は第 2グラフィック記憶部に交互に書き込み、前記ビデオ画像生成手段は、取得したビデオ静止画像を第 1ビデォ記憶部又は第 2ビデオ記憶部に交互に書き込み、前記選択手段は、前記ダラフィック画像生成手段により、第 1グラフィック記憶部にグラフィック静止画像が書き込まれている時間帯において第 2グラフィック記憶部からグラフィック静止画像を読み出し、第 2グラフィック記憶部にグラフィック静止画像が書き込まれている時間帯において第 1グラフィック記憶部からグラフィック静止画像を読み出し、前記ビデオ画像生成手段により、第 1ビデオ記憶部にビデオ静止画像が囲まれている時間帯において第 2ビデオ記憶部からビデオ静止画像を読み出し、第 2ビデオ記憶部にビデオ静止画像が囲まれている時間帯において第 1ビデオ記憶部からビデオ静止画像を読み出し、読み出したグラフィック静止画像とビデオ静止画像とから各静止画像を構成する画素を選択するように構成してもよい。この構成によると、グラフィック静止画像の生成処理と、ビデオ静止画像の復号処理と、生成されたグラフィック静止画像とビデオ静止画像との合成とを別プロセスにより、並行して行うので、グラフィック動画像とビデオ動画像とをそれぞれの表示レ一トで合成することができるとともに、グラフィック静止画像の生成処理と、ビデオ静止画像の復号処理と、生成されたグラフィック静止画像とビデォ静止画像との合成とをより早く行うことができるという効果がある。

ここで、前記グラフィック画像生成手段は、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影し、さらにレンダリング処理を施してグラフィック静止画像を生成するように構成してもよレ、。

この構成によると、グラフィック画像にレンダリング処理が施されるので、写実的なグラフィック画像が生成できるという効果がある。ここで、前記ビデオ画像生成手段は、前記スクリーン面情報により示される形状に合わせて、前記ビデオ静止画像を変形して、変形ビデオ静止画像を生成する画像変形手段を含み、前記ビデオ画像生成手段は、生成された変形ビデオ静止画像を前記画像記憶手段に書き込むように構成してもよい。

この構成によると、オブジェクトのスクリーン面の形状に合わせてビデオ静止画像を変形させるので、より写実的にビデオ動画像が合成できるという効果ある。

ここで、前記オブジェクトは複数のスクリーン面を有し、前記ビデオ動画像取得手段は、外部から複数のビデオ動画像を取得し、前記動画像合成装置は、複数のスクリーン面のそれぞれにおいて、グラフィック動画像と各ビデオ動画像とを合成し、前記オブジェクト情報は、複数のスクリーン面の形状を示す情報を含み、前記グラフィック画像生成手段は、複数のスクリーン面の形状を示す情報毎に、スクリーン面情報を算出し、前記ビデオ画像生成手段は、複数のビデオ動画像からそれぞれビデオ静止画像を取得し、前記複数のスクリーン面情報により示される位置に、それぞれ取得した複数のビデオ静止画像を書き込むように構成してもよい。

この構成によると、オブジェクトのスクリーン面が複数の場合であっても、それぞれのスクリーン面において、ビデオ動画像が合成できるという効果がある。ここで、前記ビデオ画像生成手段は、算出された複数のスクリーン面情報に基づいて、スクリーン面毎に優先順位を決定する優先順位決定手段と、複数のビデォ動画像毎に、決定された優先順位に基づいて、ビデオ動画像からビデオ静止画像を取得するビデオ画像復号手段と、算出された複数のスクリーン面情報と、スクリーン面毎に決定された優先順位とに基づいて、投影スクリーン面毎に投影スクリーン面をマスクする位置を算出するマスク位置算出手段と、前記算出されたマスクする位置において、前記変形ビデオ静止画像にマスク処理を施すマスク処理手段とを含み、前記ビデオ画像生成手段は、マスク処理の施された変形ビデオ静止画像を前記ビデオ静止画像記憶手段に書き込むように構成してもよい。

この構成によると、オブジェクトのスクリーン面に応じて優先順位を決定し、優先順位に基づいてビデオ動画像からビデオ静止画像を取得し、各スクリーン面をマスクするので、より写実的にビデオ動画像が合成できるという効果がある。ここで、前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、前記視点に近いスクリーン面ほど、優先順位が高くなるように優先順位を決定するように構成してもよい。

ここで、前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、投影スクリーン面の面積を算出し、算出された面積が大きいスクリーン面ほど、優先順位が高くなるように優先順位を決定するように構成してもよレ、。この構成によると、面積の広いスクリーン面ほど優先順位を高くするので、より映像効果を高めることができるという効果がある。

この構成によると、優先順位が低いほど、間引く静止画像を多くするので、ビデォ画像の画質を優先順位に合わせることができるという効果がある。

ここで、前記ビデオ画像復号手段は、取得するビデオ静止画像の輝度を低下させる画質補正部を含み、優先順位が最も高いビデオ動画像については、ビデオ静止画像の輝度を低下させず、優先順位の低いビデオ動画像ほど、ビデオ静止画像の輝度がより低くなるように補正するように構成してもよレ、。

この構成によると、優先順位が低いほど、輝度を低く補正するので、表示レートが低くなっている可能性の高い優先順位の低い動画表示面についてはフリツ力を目立たなくすることができるという効果がある。

また、本発明は、オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを合成し、 3次元空間におけるオブジェク卜の形状及び位置を示すオブジェクト情報を記憶している情報記憶手段と、画像記憶手段とを備える動画像合成装置で用いられる動画像合成方法であって、外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得ステップと、 3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付ステップと、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記画像記憶手段に書き込むグラフィック画像生成ステップと、前記グラフィック静止画像が生成され前記画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記画像記憶手段に書き込むビデオ画像生成ステップとを含むことを特徴とする。

この方法を用いると、上記動画像合成装置と同様の効果を奏することは明らかである。

また、本発明は、オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを、オブジェクトのスクリーン面において合成し、 3次元空間におけるオブジェクトの形状及び位置とオブジェクトのスクリーン面の形状とを示すオブジェクト情報を記憶している情報記憶手段と、グラフィック静止画像記憶手段と、ビデオ静止画像記憶手段と、画像記憶手段とを備える動画像合成装置で用いられ動画像合成方法であって、外部から連続する複数のビデオ静止画像により構成されるビデォ動画像を取得するビデオ動画像取得ステップと、 3次元空間内で移動する 1 の視点の位置を示す情報を繰り返し受け付ける受付ステツプと、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記グラフィック静止画像記憶手段に書き込み、スクリーン面の形状を示す情報を含むオブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリーン面の形状及び位置を示すスクリーン面情報を算出するグラフィック画像生成ステップと、前記グラフィック静止画像が生成され前記グラフィック静止画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記ビデォ静止画像記憶手段に書き込むビデオ画像生成ステップと、前記算出されたスクリーン面情報を用いて、前記グラフィック静止画像記憶手段に記憶されているグラフィック静止画像又は前記ビデオ静止画像記憶手段に記憶されているビデオ静止画像から各静止画像を構成する画素を選択し、選択した画素を前記画像記憶手段に書き込む選択ステップとを含むことを特徴とする。

また、本発明は、オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを合成し、 3次元空間におけるオブジェク卜の形状及び位置を示すオブジェクト情報を記憶している情報記憶手段と、画像記憶手段とを備えるコンピュータで用いられる動画像合成プログラムを記録している記録媒体であって、前記動画像合成プログラムは、外部から連続する複数のビデオ静止画像により構成されるビデォ動画像を取得するビデオ動画像取得ステップと、 3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付ステップと、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるダラフィック静止画像を生成し、生成したグラフィック静止画像を前記画像記憶手段に書き込むグラフィック画像生成ステップと、前記グラフィック静止画像が生成され前記画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から操り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記画像記憶手段に書き込むビデオ画像生成ステップとを含むことを特徴とする。

このプログラムをコンピュータにより実行することにより、上記動画像合成装置と同様の効果を奏することは明らかである。

また、本発明は、オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを、オブジェクトのスクリーン面において合成し、 3次元空間におけるオブジェク卜の形状及び位置とオブジェク卜のスクリーン面の形状とを示すオブジェクト情報を記憶している情報記憶手段と、グラフィック静止画像記憶手段と、ビデオ静止画像記憶手段と、画像記憶手段とを備えるコンピュータで用いられ動画像合成プログラムを記録している記録媒体であって、前記動画像合成プログラムは、外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得ステップと、 3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付ステップと、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記グラフィック静止画像記憶手段に書き込み、スクリーン面の形状を示す情報を含むオブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリーン面の形状及び位置を示すスクリーン面情報を算出するグラフィック画像生成ステップと、前記グラフィック静止画像が生成され前記グラフィック静止画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデォ静止画像を取り出し、取り出したビデオ静止画像を前記ビデオ静止画像記憶手段に書き込むビデオ画像生成ステップと、前記算出されたスクリーン面情報を用いて、前記グラフィック静止画像記憶手段に記憶されているグラフィック静止画像又は前記ビデオ静止画像記憶手段に記憶されているビデオ静止画像から各静止画像を構成する画素を選択し、選択した画素を前記画像記億手段に書き込む選択ステップとを含むことを特徴とする。

このプログラムをコンピュータにより実行することにより、上記動画像合成装置と同様の効果を奏することは明らかである。図面の簡単な説明

図 1は、本発明の 1の実施の形態としての動画像合成装置 1 0の外観を示す。図 2は、動画像合成装置 1 0の構成を示すプロック図である。

図 3は、データ記憶部 1 0 2が記憶しているオブジェクトテーブルの一例を示す。

図 4は、データ記憶部 1 0 2が記憶している M P E Gストリームのデータ構造を示す。

図 5は、表示部 1 0 9により表示される画面の一例を示す。

図 6は、動画像合成装置 1 0の各処理プロセスにおけるデータを視覚的に示す。図 7は、動画像合成装置 1 0の動作を示すフローチャートである。

図 8は、動画像合成装置 1 0の動作タイミングを示すタイムチヤ一トである。図 9は、従来技術によるグラフィック静止画像とビデオ静止画像との合成の様子を視覚的に示したものである。

図 1 0は、動画像合成装置 1 0によるグラフィック静止画像とビデオ静止画像との合成の様子を視覚的に示したものである。

図 1 1は、本発明の別の 1の実施の形態としてのデジタル放送受信装置 2 0の外観を示す。

図 1 2は、デジタル放送受信装置 2 0の構成を示すブロック図である。

図 1 3は、表示部 1 0 9により表示される画面の一例を示す。

図 1 4は、デジタル放送受信装置 2 0の各処理プロセスにおけるデータを視覚的に示す。図 1 5は、デジタル放送受信装置 2 0の動作を示すフローチヤ一トである。図 1 6は、デジタル放送受信装置 2 0の優先順位の算出の動作を示すフローチャ一トである。

図 1 7は、デジタル放送受信装置 2 0の動作タイミングを示すタイムチヤ一トである。

図 1 8は、本発明の別の 1の実施の形態としての動画像合成装置 3 0の構成を示すプロック図である。

図 1 9は、動画像合成装置 3 0の制御データ記憶部に記憶されている制御デ一タの一例を示す。

図 2 0は、動画像合成装置 3 0の各処理プロセスにおけるデータを視覚的に示す。

図 2 1は、動画像合成装置 3 0のグラフィック静止画像とビデオ静止画像と制御データとの対応関係を示す。

図 2 2は、動画像合成装置 3 0の動作を示すフローチャートである。

図 2 3は、動画像合成装置 3 0の画像の合成の動作を示すフローチャートである。

図 2 4は、動画像合成装置 3 0の動作のタイミングを示すタイムチヤ一トである。

図 2 5は、本発明の別の 1の実施の形態としてのデジタル放送受信装置 4 0の構成を示すブロック図である。

図 2 6は、デジタル放送受信装置 4 0の各処理プロセスにおけるデータを視覚的に示す。

図 2 7は、デジタル放送受信装置 4 0の動作のタイミングを示すタイムチヤ一トである。

図 2 8は、本発明の別の 1の実施の形態としてのデジタル放送受信装置 5 0の構成を示すプロック図である。図 29は、デジタル放送受信装置 1 0の別の動作のタイミングを示すタイムチヤートである。

図 30は、デジタル放送受信装置 1 0のさらに別の動作のタイミングを示すタィムチヤ一トである。発明を実施するための最良の形態

本発明の実施の形態について図面を用いて詳細に説明する。

1 実施の形態 1

本発明に係る 1の実施の形態としての動画像合成装置 10について説明する。 1. 1 動画像合成装置 1 0の構成

動画像合成装置 1 0は、図 1に示すように、本体部 1 1、 CD— ROMが装着される CD— ROM駆動部 1 2、プログラムを動作させるプロセッサ 1 3、プログラムやデータを記憶する半導体メモリ 14、モニタ 1 5、キ一ボード 1 6、スピ一力 1 7、マウス 1 8から構成され、 CD— ROMに記録されている 3次元ォブジェクトに関するオブジェクト情報とビデオ画像とを読み出して、グラフイツク画像を生成し、生成したグラフィック画像にビデオ画像を貼り付け、モニタ 1 5に表示する。

動画像合成装置 1 0の機能ブロック図を、図 2に示す。この図に示すように、動画像合成装置 1 0は、入力部 10 1、データ記憶部 1 02、座標光源計算部 1 03、レンダリング処理部 104、透視変換部 105、画像復号部 1 06、画像変形部 1 07、フレームバッファ 108、表示部 109から構成される。

(1) 入力部 1 01

入力部 1 0 1は、具体的には、キーボード 1 6、マウス 1 8などから構成される。

入力部 1 0 1は、図 5に示すような移動方向指定メニュー 303上に形成されているボタン 32 1〜 327の入力を受け付ける。ボタン 32 1〜327は、それぞれ、前方向、後方向、左方向、右方向、上方向、下方向の指定を受け付けるボタン及び操作の終了を受け付けるボタンである。これらのボタン 321〜32 7の入力を受け付けると、それぞれ、前方向、後方向、左方向、右方向、上方向、下方向を示す情報及び操作の終了を示す情報を座標光源計算部 103へ出力する。入力部 1 0 1は、ボタン 32 1〜326の入力の受け付けを、 1秒間に 10回の割合で行う。

(2) データ記憶部 102

データ記憶部 1 02は、具体的には、 CD— ROMと CD— ROMの装着される CD— ROM駆動部 1 2とから構成され、 CD— ROMにはデータが記録されており、 CD— ROM駆動部 1 2は、要求に応じて CD— ROMに記録されているデータを読み出す。

データ記憶部 1 02は、図 3及び図 4に示すように、オブジェクトテーブル 2 01と MPEGストリ一ム 221とを記憶している。

オブジェクトテ一プル 20 1は、 3次元座標空間 A上に配置されるォブジェクトに関する情報を有しており、図 3に示すように、オブジェクト名 2 1 1、形状座標 2 1 2、位置座標 21 3及び動画表示面座標 2 14からなる組から構成される。各組は、 1のオブジェクトに対応している。

オブジェクト名 2 1 1は、オブジェクトを識別する識別名である。

形状座標 2 1 2は、 1つの 3次元座標空間 B上における複数個の 3次元座標値からなる。これらの複数個の 3次元座標値は、オブジェクトを形成する各点の 3 次元座標値を示す。オブジェクトの一端は、 3次元座標空間 Bの原点に置かれている。

位置座標 2 1 3は、 3次元座標空間 A上における 1個の 3次元座標値からなる。この 3次元座標値は、 3次元座標空間 A上において前記のオブジェクトの一端が置かれている位置を示す。

動画表示面座標 2 14は、 3次元座標空間 B上における複数個の 3次元座標値からなり、これらの複数個の 3次元座標値は、形状座標 2 1 2の一部分である。これらの複数個の 3次元座標値は、 1つの限られた平面を示すように選択されており、動画表示面座標 2 14の複数個の 3次元座標値により示される平面に、ビデォ動画像が貼り付けられて表示される。この限られた平面を、動画表示面又はスクリーン面と呼ぶ。

MPEGストリーム 22 1は、 MPEG (Mo v i n g P i c t u r e E x p e r t s G r o u p) による規定に基づき、ビデオ動画像が圧縮符号化されて形成された符号列であり、図 4に示すように、 SH (S e q u e n c e H 6 & (1 6 ]：) と00? (0 1： 0 11 o f P i c t u r e s) との複数個の組から構成されている。 GOPは、複数個のピクチャ（P i c t u r e) を含む。各ピクチャは、 1フレームの静止画像に相当する。各ピクチャは、複数個のスライスを含み、各スライスは、複数個のマクロブロック（MB) を含み、各マクロブロックは、 4個の輝度ブロック Yと、 2個の色差ブロック C b、 C rとからなる。各プロックは、 8個 X 8個合計で 64個の要素からなる。より詳細については、公知であるので説明は省略する。

連続するピクチャが順次復号されることにより、動きがあるように見える。 ( 3 ) 座標光源計算部 103

座標光源計算部 1 03は、具体的には、半導体メモリ 14に記憶されているプログラム、プロセッサ 1 3などから構成される。

座標光源計算部 1 03は、 3次元座標空間 Aにおける視点座標 E (Ex, Ey, E z ) を記憶しており、また、入力部 1 0 1から前方向、後方向、左方向、右方向、上方向、下方向を示す情報及び操作の終了を示す情報を受け取る。

座標光源計算部 1 03が前方向、後方向、左方向、右方向、上方向、下方向を示す情報を受け取ると、受け取った情報に応じて、視点座標 Eについて、それぞれ次に示す演算を行う。

Ey=Ey + 1 E y= E y— 1

E x= E x + 1

E x= E x— 1

Ez=Ez + 1

Ez=Ez— 1

また、座標光源計算部 1 03は、データ記憶部 102のォブジェクトテ一プル 20 1から、オブジェクト毎に、形状座標 2 1 2と位置座標 2 1 3と動画表示面座標 2 1 4とを読み出し、形状座標 2 1 2に示される各座標値に位置座標 2 1 3 に示される座標値を加算し、 3次元座標空間 Aにおけるオブジェクトを形成する各点の 3次元座標を算出する。

次に、座標光源計算部 1 03は、 3次元座標空間 Aにおいて、オブジェクトと視点座標 E (Ex, Ey, Ez ) との間に仮想的に存在する平面 H上に、視点座標 E (Ex, Ey, Ez ) から見て各オブジェクトの各点を投影して形成される各点の 2 次元座標と、各点の平面 Hからの奥行きを示す奥行き値とを算出する。次に、座標光源計算部 1 03は、前記 2次元座標と奥行き値とを用いて、モニタ 1 5の表示ウィンドウ内に表示する部分を抽出するクリッビング処理を施し、クリッピング処理の施された各ォブジェク卜の各点の平面 H上の 2次元座標と平面 Hからの奥行きを示す奥行き値とをレンダリング処理部 1 04へ出力する。なお、平面 H 上の各点の 2次元座標、各点の平面 Hからの奥行きを示す奥行き値の算出の方法及びクリッピング処理については、公知であるので、説明を省略する。

また、同様にして、座標光源計算部 103は、動画表示面座標 2 14に示される各座標値に位置座標 2 1 3に示される座標値を加算し、 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標を算出し、算出した 3次元座標を透視変換部 1 05へ出力する。

(4) レンダリング処理部 1 04

レンダリング処理部 1 04は、具体的には、半導体メモリ 1 4に記憶されているプログラム、プロセッサ 1 3などから構成される。

レンダリング処理部 1 0 4は、座標光源計算部 1 0 3から、各オブジェクトの各点の平面 H上の 2次元座標と平面 Hからの奥行きを示す奥行き値とを受け取り、受け取った 2次元座標と奥行き値とを用いて、視点座標からオブジェクトを見たときに実際には他のオブジェク卜に隠れて見えない線や面を消去する隠線 '隠面消去処理、各オブジェクトをより写実的に見せるため各面の陰影の表示、各面の色の表示、各面へのテクスチャの貼り付けなどのレンダリング処理を行い、ビットマップデータであるグラフィック静止画像を形成し、形成したグラフィック静止画像をフレームバッファ 1 0 8へ出力する。ここで、グラフィック静止画像は、横に 6 4 0ピクセル、縦に 4 8 0ピクセル、合計 3 0 7 2 0 0ピクセルからなる輝度信号画像 Yと、横に 3 2 0ピクセル、縦に 2 4 0ピクセル、合計 7 6 8 0 0 ピクセルからなる色差信号画像 C bと、横に 3 2 0ピクセル、縦に 2 4 0ピクセノレ、合計 7 6 8 0 0ピクセル'からなる色差信号画像 C rとからなる。各ピクセルは 8ビットからなる。

なお、隠線 ·隠面消去処理、陰影の表示、色の表示、テクスチャの貼り付けなどのレンダリング処理については、公知であるので説明を省略する。

( 5 ) 透視変換部 1 0 5

透視変換部 1 0 5は、具体的には、半導体メモリ 1 4に記憶されているプログラム、プロセッサ 1 3などから構成される。

透視変換部 1 0 5は、座標光源計算部 1 0 3から 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標を受け取り、受け取った 3次元座標から、座標光源計算部 1 0 3と同様にして、動画表示面を形成する各点の平面 H上の 2 次元座標を算出し、算出した動画表示面を形成する各点の 2次元座標を画像変形部 1 0 7へ出力する。

( 6 ) 画像復号部 1 0 6

画像復号部 1 0 6は、具体的には、半導体メモリ 1 4に記憶されているプログラム、プロセッサ 1 3などから構成される。

画像復号部 1 06は、データ記憶部 1 02に記憶されている MP EGストリ一ム 22 1を読み出し、読み出した MP EGストリーム 22 1から 1フレーム分のビデオ静止画像を伸張復号して繰り返し生成し、生成したビデオ静止画像を画像変形部 1 07へ出力する。なお、 MP EGストリームからビデオ静止画像を生成する方法については、公知であるので、説明を省略する。

画像復号部 1 06は、 1秒間に 30フレームの割合でビデオ静止画像を伸張復号する。

( 7 ) 画像変形部 1 07

画像変形部 1 07は、具体的には、半導体メモリ 14に記憶されているプログラム、プロセッサ 1 3などから構成される。

画像変形部 1 07は、画像復号部 1 06からビデオ静止画像を受け取り、また、透視変換部 1 05から動画表示面を形成する各点の 2次元座標を受け取る。次に、前記受け取ったビデオ静止画像を、ァフィン変換を用いて、受け取った 2次元座標により示される形状に変形して変形ビデオ静止画像を生成し、生成した変形ビデォ静止画像をフレームバッファ 1 08内の前記受け取った 2次元座標により示される領域に上書きにより出力する。ここで、生成された変形ビデオ静止画像は、複数のピクセルから構成される。各ピクセルは 8ビットからなる。

(8) フレームバッファ 1 08

フレームバッファ 108は、具体的には、半導体メモリ 14などから構成され、静止画像を記憶する。

(9) 表示部 109

表示部 109は、具体的には、モニタ 1 5などから構成される。

表示部 1 09は、図 5に示すように、画面 30 1を表示する。画面 30 1内には、表示ウィンドウ 302と移動方向指定メニュー 303とが含まれている。移動方向指定メ-ュ一 303の上には、ボタン 32 ：！〜 327が表示されている。ボタン 3 2 1〜3 2 7は、それぞれ、前方向、後方向、左方向、右方向、上方向、下方向の指定を受け付けるボタン及び操作の終了を受け付けるボタンである。

表示部 1 0 9は、フレームバッファ 1 0 8に記憶されている静止画像を、表示ウィンドウ 3 0 2内に表示する。

1 . 2 動画像合成装置 1 0の動作

( 1 ) 動画像合成装置 1 0の動作

動画像合成装置 1 0の動作について、図 6及び図 7を用いて説明する。図 6は、動画像合成装置 1 0の各処理プロセスにおけるデータを視覚的に示し、図 7は、動画像合成装置 1 0の動作をフローチャートにより示す。

座標光源計算部 1 0 3は、データ記憶部 1 0 2のオブジェクトテーブル 2 0 1 から、オブジェクト毎に、形状座標 2 1 2と位置座標 2 1 3と動画表示面座標 2 1 4と（オブジェクトに係る情報 4 0 1 ) を読み出し（ステップ S 1 0 1 )、入力部 1 0 1から前方向、後方向、左方向、右方向、上方向、下方向を示す情報及び操作の終了を示す情報を受け取り（ステップ S 1 0 2 )、操作の終了を示す情報を受け取った場合は処理を終了する（ステップ S 1 0 3 )。その他の情報の場合（ステップ S 1 0 3 )、座標光源計算部 1 0 3は受け取った情報に応じて視点座標 Eを演算し、 3次元座標空間 Aにおけるォブジェクトを形成する各点の 3次元座標を算出し、平面 H上に形成される各点の 2次元座標と、各点の平面 Hからの奥行きを示す奥行き値と（情報 4 0 2 ) を算出し、クリッピング処理を施し (ステップ S 1 0 4 )、レンダリング処理部 1 0 4は、 2次元座標と奥行き値とを用いて、隠線 ·隠面消去処理、各面の陰影の表示、各面の色の表示、各面へのテクスチャの貼り付けなどのレンダリング処理を行い、ビットマップデータであるグラフィック静止画像（画像 4 0 3 ) を形成し（ステップ S 1 0 5 )、形成したグラフィック静止画像をフレームバッファ 1 0 8へ出力する（ステップ S 1 0 6 )。次に、再度ステップ S 1 0 2へ戻って処理を繰り返す。また、ステップ S 104の後、座標光源計算部 1 03は、 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標を算出し、透視変換部 1 05は、動画表示面を形成する各点の平面 H上の 2次元座標（情報 405) を算出する (ステップ S 1 1 1)。

一方、画像復号部 1 06は、データ記億部 1 02に記憶されている MP EGストリ一ム 22 1を読み出し（ステップ S 1 2 1)、読み出した MP EGストリ一ム 22 1から 1フレーム分のビデオ静止画像を復号して生成し（ステップ S 1 2 2 )、画像変形部 1 0 7は、画像復号部 1 0 6からビデオ静止画像（画像 40 6) を受け取り、ステップ S 1 1 1において算出された動画表示面を形成する各点の 2次元座標を透視変換部 1 05から受け取り、前記受け取ったビデオ静止画像を、ァフィン変換を用いて、受け取った 2次元座標により示される形状に変形して変形ビデオ静止画像（画像 407) を生成し（ステップ S 1 23)、生成した変形ビデオ静止画像をフレームバッファ 1 08内の前記受け取った 2次元座標により示される領域に上書きにより出力する（ステップ S 1 24)。これにより、グラフィック静止画像に変形ビデオ静止画像が貼り付けられる（画像 404)。次に、再度ステップ S 1 2 1へ戻って処理を繰り返す。

(2) 動画像合成装置 10の各構成要素の処理タイミング

図 8は、各時刻における動画像合成装置 1 0の各構成要素の処理タイミングを示すタイムチャートである。横軸に時刻を取り、縦軸に動画像合成装置 1 0の各構成要素の処理を示す。

グラフィック静止画像とビデオ静止画像とを新たに生成し、生成したビデオ静止画像をグラフィック静止画像に貼り付ける場合には、画像復号処理 C 1 0 1 と座標光源計算 C 1 02と座標光源計算 C 1 05とが同時に開始される。ここで、座標光源計算 C 1 02は、座標光源計算部 1 03による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出であり、また、座標光源計算 C 105は、座標光源計算部 1 03によるオブジェクトの平面 H上に形成される各点の 2次元座標と、各点の平面 Hからの奥行きを示す奥行き値との算出である。座標光源計算 C 1 0 2が終了すると、透視変換 C 1 0 3が行われ、透視変換 C 1 0 3が終了すると、さらに画像変形 C 1 0 4が行われる。また、座標光源計算 C 1 0 5が終了すると、レンダリング C 1 0 6が行われる。レンダリング C 1 0 6 と画像変形 C 1 0 4とが終了すると、表示 C 1 0 7が行われる。

ビデオ静止画像を新たに生成し、生成したビデオ静止画像を前に生成したダラフィック静止画像に貼り付ける場合には、画像復号処理 C 1 1 1と座標光源計算 C 1 1 2とが同時に始まる。ここで、座標光源計算 C 1 1 2は、座標光源計算部 1 0 3による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出である。座標光源計算 C 1 1 2が終了すると、透視変換 C 1 1 3が行われ、透視変換 C 1 1 3が終了すると、さらに画像変形 C 1 1 4が行われる。画像変形 C 1 1 4とが終了すると、表示 C 1 1 7が行われる。

なお、図 8においては、座檫光源計算 C 1 0 5及びレンダリング C 1 0 6が、短時間に終了する場合、具体的にはビデオ静止画像の復号サイクル時間（1のビデォ静止画像の復号開始から、次のビデオ静止画像の復号開始までの時間を言う。本実施の形態では、 3 0分の 1秒。）内に終了する場合について説明している。

(グラフィック静止画像の生成処理時間が長い場合）

次に、オブジェクトテ一ブル 2 0 1に記憶されているォブジェクトが多く、グラフィック静止画像の生成処理（座標光源計算及びレンダリング）力ビデオ静止画像の復号サイクル時間内に終了しない場合について説明する。なお、この場合、入力部 1 0 1は、例えば 1秒間に 1 0 0回等、十分高速な入力の受け付けを行うとしてもよレ、。

図 2 9は、各時刻における動画像合成装置 1 0の各構成要素の処理タイミングを示すタイムチャートである。図 8と同様に、横軸に時刻を取り、縦軸に動画像合成装置 1 0の各構成要素の処理を示す。

この図において、画像復号 C 6 0 1と座標光源計算 C 6 0 8と座標光源計算 C 6 2 3とが同時に開始される。ここで、座標光源計算 C 6 0 8は、ビデオ静止画像を貼り付ける領域に係る点のみを演算対象とし、これに対し、座標光源計算 C 6 2 3は、全てのオブジェクトを演算対象とする。従って、オブジェクトの数が多い場合には、 C 6 2 3の処理時間は、 C 6 0 8に比べて長くなる。また、座標光源計算 C 6 0 8、 C 6 0 9及び C 6 1 0は、それぞれ、座標光源計算 C 6 2 3、 C 6 2 4及び C 6 2 5が行われる場合にのみ、行われるものとする。従って、画像変形 C 6 1 8及び C 6 1 9は、それぞれ、透視変換 C 6 1 3の結果を用いて行われ、画像変形 C 6 2 1は、透視変換 C 6 1 4の結果を用いて行われる。

次に、画像変形 C 6 1 6及びレンダリング C 6 2 6が終了した時点で、表示 C 6 2 9が行われる。画像変形 C 6 1 6の結果、変形静止画像 A 1が得られ、レンダリング C 6 2 6の結果、グラフィック静止画像 B 1が得られるとすると、表示 6 2 9では、変形静止画像 A 1とグラフィック静止画像 B 1とが合成された静止画像が表示される。 '

次に、画像復号 C 6 0 2は、画像復号 C 6 0 1の開始から一定時間経過後（例えば、 3 0分の 1秒後）に開始される。画像復号 C 6 0 1の開始と同時に、座標光源計算 C 6 0 9が行われ、続いて透視変換 C 6 1 3が行われ、次に画像変形 C 6 1 7が行われる。画像変形 C 6 1 7の結果、変形静止画像 A 2が得られるとする。次の表示 C 6 3 0は、 C 6 2 9の開始から一定時間経過後（例えば、 3 0分の 1秒後）に行われる。表示 C 6 3 0が開始される時刻には、次の座標光源計算 C 6 2 4の処理中であるので、表示されるグラフィック静止画像は、表示 C 6 2 9で使用されたグラフィック静止画像 B 1が用いられる。すなわち、表示 6 3 0 では、グラフィック静止画像 B 1 と変形静止画像 A 2とが合成されて表示される。次に、画像復号 C 6 0 3が、画像復号 C 6 0 2の開始から一定時間経過後に開始される。画像復号 C 6 0 3が終了すると、透視変換 C 6 1 3の結果に基づき、画像変形 C 6 1 8が行われ、変形静止画像 A 3が得られる。次に、表示 C 6 3 1 が行われる時にも、レンダリング C 6 2 7が終了していないので、レンダリング C 6 2 6の結果であるグラフィック静止画像 B 1が用いられ、表示 6 3 1では、グラフィック静止画像 B 1と変形静止画像 A 3とが合成されて表示される。

また、表示 6 3 2では、レンダリング C 6 2 7の結果であるグラフィック静止画像 B 2と画像変形 C 6 1 9の結果である変形静止画像 A 4とが合成されて表示される。以下、同様にして表示がされる。

以上説明したように、グラフィックデータの処理時間にかかわらず、ビデオ動画像を一定の表示レートで表示することができる。

なお、座標光源計算 C 6 0 8〜C 6 1 0は、それぞれ座標光源計算 C 6 2 3〜 C 6 2 5が開始されたときに実行されるとしているが、図 8に示すように、画像復号のタイミングに合わせて毎回実行されるとしてもよい。また、レンダリングが開始されるときに実行される等、他のタイミングで実行されるとしてもよレ、。

(座標光源計算とレンダレングとのパイプライン処理）

また、座標光源計算とレン'ダレングとは、パイプライン処理されるとしてもよレ、。この場合の各時刻における動画像合成装置 1 0の各構成要素の処理タイミングを示すタイムチヤ一トを図 3 0に示す。この図において、図 8と同様に、横軸に時刻を取り、縦軸に動画像合成装置 1 0の各構成要素の処理を示す。

この図に示すように、画像復号 C 7 0 1 と、座標光源計算 C 7 0 8と、座標光源計算 C 7 2 5とが同時に開始される。座標光源計算 C 7 2 5が終了すると、次の視点座標による座標光源計算 C 7 2 6と、座標光源計算 C 7 2 5の結果を用いたレンダリング C 7 2 9とが同時に開始され、レンダリング C 7 2 9が終了すると、表示 C 7 3 3が行われる。次に、座標光源計算 C 7 2 6が終了すると、次の視点座標による座標光源計算 C 7 2 7と、座標光源計算 C 7 2 6の結果を用いたレンダリング C 7 3 0とが同時に開始される。以下、同様である。

以上説明したように、座標光源計算とレンダリングとは、パイプライン処理されるので、グラフィック静止画像の生成処理にかかる時間が短縮できる。

1 . 3 まとめ以上説明したように、グラフィック静止画像の生成処理と、ビデオ静止画像の復号 '変形処理とを別プロセスにより、並行して行い、生成されたグラフィック静止画像とビデオ静止画像とをフレームバッファ上で合成するので、グラフィック動画像とビデオ動画像とをそれぞれの表示レートで合成することができる。具体的には、グラフィック静止画像は、 1秒間に 1 0回生成され、ビデオ静止画像は 1秒間に 3 0回生成され、それぞれ生成された時点において、フレームバッファ上で合成される。

図 9は、従来技術によるグラフィック静止画像とビデオ静止画像との合成の様子を視覚的に示したものである。この図において、グラフィック画像としての立方体が画像 5 0 1〜 5 0 3、 5 0 8〜5 1 0の順序で回転し、立方体のスクリーン面にビデオ動画像が貼り付けられている。この図に示すように、グラフィック動画像の表示レ一トを一定としているので、画像 5 0 3から画像 5 0 8へ変化するとき、ビデオ動画像を構成する数フレーム分のビデオ静止画像が省略され、このため、ビデオ動画像が滑らかに動かない。

図 1 0に、動画像合成装置 1 0によるグラフィック静止画像とビデオ静止画像との合成の様子を視覚的に示したものである。この図では、図 9の画像 5 0 3と画像 5 0 8との間に生成される画像 5 0 4〜 5 0 7を示している。この図に示すように、画像 5 0 3から画像 5 0 8へ変化するとき、ビデオ動画像を構成する数フレーム分のビデオ静止画像が省略されず、グラフィック静止画像に貼り付けられるので、ビデオ動画像は滑らかに動いて見える。

なお、透視変換部 1 0 5により行われる透視変換は、レンダリング処理部 1 0 4においても行われている。従って、透視変換部 1 0 5を設ける代わりに、レンダリング処理部 1 0 4により行われた透視変換による計算結果を画像変形部 1 0 7へ出力するとしてもよレ、。また、画像変形部 1 0 7では、透視変換部 1 0 5から回転情報を得ることにより、奥行きの補正、いわゆるパースペクティブ捕正を行うとしてもよレ、。また、座標光源計算部 1 03、レンダリング処理部 1 04、透視変換部 1 05、画像復号部 1 06及び画像変形部 1 07は、上記の実施の形態においては、半導体メモリ 1 4に記憶されているプログラム、プロセッサ 1 3などから構成されるとしているが、それぞれ、専用ハードウェアにより構成されるとしてもよレ、。また、上記の実施の形態において、ビデオ動画像は、 MP EGにより規定されている MP EGストリームであるとしているが、他のデータ構造であるとしてもよい。

2 実施の形態 2

本発明に係る別の 1の実施の形態としてのデジタル放送受信装置 20について説明する。

2. 1 デジタル放送受信装置 20の構成

デジタル放送受信装置 20は、図 1 1に示すように、本体部 26、モニタ 2 1、リモコン 22、アンテナ 23などから構成され、本体部 26は、チャネル毎に M P EGストリームにより構成されるビデオ動画像が載せられて放送される放送波を受信するチューナ 1 1 0、 CD— ROMが装着される CD— ROM駆動部、プログラムを動作させるプロセッサ、プロダラムゃデ一タを記憶する半導体メモリなどから構成され、 CD— ROMに記録されている 3次元オブジェクトに関するオブジェクト情報を読み出し、放送される複数のビデオ動画像を受信し、複数のオブジェクトからなるグラフィック画像を生成し、各ォブジェクトはそれぞれ動画表示面を有し、生成したグラフィック画像の各動画表示面に各ビデオ画像を貼り付け、モニタ 2 1に表示する。

デジタル放送受信装置 20の機能ブロック図を、図 1 2に示す。この図に示すように、デジタル放送受信装置 20は、入力部 1 0 1、データ記憶部 1 02、座標光源計算部 1 03、レンダリング処理部 1 04、透視変換部 1 05、画像復号部 1 06 a、 1 06 b、 1 06 c、画像変形部 1 07 a、 107 b、 1 07 c、フレームバッファ 1 08、表示部 1 09、チューナ 1 1 0、優先順位制御部 1 1 1、マスク制御部 1 1 2、マスク処理部 1 1 3 a、 1 1 3 b、 1 1 3 c、アンテナ 23から構成される。

(1) 入力部 1 01

入力部 1 0 1は、具体的には、リモコン 22などから構成される。

リモコン 22の上面には、図 1 1に示すように、数字ボタン、移動方向指定ボタン 25、メニューボタン 24などが備えられており、利用者によりこれらのボタンが操作されると、操作されたボタンに対応する情報をチューナ 1 1 0及び座標光源計算部 103へ出力する。

数字ボタンは、ビデオ動画像を受信するチャネルを指定するために操作され、メニューボタン 24は、図 1 3に示すような番組メニューをモニタ 2 1に表示するために操作され、移動方向指定ボタン 25は、この図に示す番組メニューの中で仮想的な視点を移動させるために操作され、前方向、後方向、左方向、右方向、上方向、下方向への移動を示す。

(2) データ記憶部 102

データ記憶部 1 02は、動画像合成装置 1 0のデータ記憶部 102と同様であり、オブジェクトテ一ブル 20 1を記憶している。

オブジェクトテーブル 20 1は、動画像合成装置 1 0のデータ記憶部 1 02に記憶されているオブジェクトテ一ブル 20 1 と同じである。

( 3 ) 座標光源計算部 103

座標光源計算部 1 03は、動画像合成装置 1 0の座標光源計算部 1 03と同様に、半導体メモリ 1 4に記憶されているプログラム、プロセッサなどから構成される。

座標光源計算部 1 03は、 3次元座標空間 Aにおける視点座標 E (Ex, Ey, E z ) を記億しており、また、入力部 1 0 1から前方向、後方向、左方向、右方向、上方向、下方向を示す情報及び操作の終了を示す情報を受け取る。

Ly= y+ 1

Ey=Ey— 1

Ex=E + 1

E =Ex— 1

Ez=Ez + 1

Ez=Ez— 1

また、座標光源計算部 1 03は、データ記億部 1 02のオブジェクトテ一ブル 20 1から、オブジェクト毎に、形状座標 2 1 2と位置座標 2 1 3と動画表示面座標 2 14とを読み出し、形状座標 2 1 2に示される各座標値に位置座標 2 1 3 に示される座標値を加算し、 3次元座標空間 Aにおけるオブジェクトを形成する各点の 3次元座標を算出する'。

次に、座標光源計算部 1 03は、 3次元座標空間 Aにおいて、オブジェクトと視点座標 E (Ex, Ey, Ez ) との間に仮想的に存在する平面 H上に、視点座標 E (Ex, Ey, Ez ) から見て各オブジェクトの各点を投影して形成される各点の 2 次元座標と、各点の平面 Hからの奥行きを示す奥行き値とを算出する。次に、座標光源計算部 1 03は、前記 2次元座標と奥行き値とを用いて、モニタ 1 5の表示ウィンドウ内に表示する部分を抽出するクリッビング処理を施し、クリッピング処理の施された各オブジェクトの各点の平面 H上の 2次元座標と平面 Hからの奥行きを示す奥行き値とをレンダリング処理部 1 04へ出力する。なお、平面 H 上の各点の 2次元座標、各点の平面 Hからの奥行きを示す奥行き値の算出の方法及びクリッビング処理については、公知であるので、説明を省略する。

また、同様にして、座標光源計算部 1 03は、形状座標 2 1 2に示される各座標値に位置座標 2 1 3に示される座標値を加算し、 3次元座標空間 Aにおける各オブジェクトを形成する各点の 3次元座標を算出し、算出した 3次元座標を透視変換部 1 0 5と優先順位制御部 1 1 1とへ出力する。

( 4 ) レンダリング処理部： 1 0 4

レンダリング処理部 1 0 4は、動画像合成装置 1 0のレンダリング処理部 1 0 4と同様であるので、説明を省略する。

( 5 ) 透視変換部 1 0 5

透視変換部 1 0 5は、動画像合成装置 1 0の透視変換部 1 0 5と同様であり、半導体メモリ 1 4に記憶されているプログラム、プロセッサ 1 3などから構成される。

透視変換部 1 0 5は、座標光源計算部 1 0 3から 3次元座標空間 Aにおける各オブジェクトを形成する各点の 3次元座標を受け取り、受け取った 3次元座標から、座標光源計算部 1 0 3と同様にして、各ォブジェクトの動画表示面を形成する各点の平面 H上の 2次元座標を算出し、算出した各オブジェクトの動画表示面を形成する各点の 2次元座標を、各オブジェクトに対応する画像変形部 1 0 7 a、 1 0 7 b , 1 0 7 cへ出力し、算出した各ォブジェクトの動画表示面を形成する各点の平面 H上の 2次元座標を優先順位制御部 1 1 1へ出力する。

( 6 ) 優先順位制御部 1 1 1

優先順位制御部 1 1 1は、座標光源計算部 1 0 3から 3次元座標空間 Aにおける各ォブジェクトを形成する各点の 3次元座標を受け取り、透視変換部 1 0 5から各ォブジェクトの動画表示面を形成する各点の平面 H上の 2次元座標を受け取る。

優先順位制御部 1 1 1は、 1のォブジェクトの動画表示面を形成する各点の Z 座標値のうち最も大きいものをォブジェクトの代表値とし、各オブジェクトについて同様にして代表値を決定する。次に、小さい代表値を有するオブジェクトから順に順位付けを行う。こうして、オブジェクトの動画表示面毎に順位付けが行われる。

次に、優先順位制御部 1 1 1は、各ォブジェクトを形成する各点の 3次元座標を基にして、動画表示面が重なり合つているオブジェクトを検出し、重なり合つた動画表示面のうち、一番手前の動画表示面を有するオブジェクトを検出する。さらに、前記検出された一番手前の動画表示面の順位をそのままにして、重なりあった他の動画表示面を有するオブジェクトの順位を順次下げる。

このようにしてオブジェクトの順位が決定される。このように決定された順位によると、 3次元座標空間において、平面 Hに近いほど順位は高くなる。この順位に基づいて、各画像復号部の優先順位を決定し、決定した優先順位を各ォブジェタトの画像表示面が対応する画像復号部 1 06 a、 1 06 b, 106 cへ出力する。

( 7 ) アンテナ 23、チューナ 1 1 0

アンテナ 23は、放送波を受信し、受信した放送波をチューナ 1 1 0へ出力する。

チューナ 1 1 0は、入力部 10 1からメニューボタン 24に対応する情報を受け取り、この情報を受け取ると、アンテナ 23により受信された放送波の中から 3個のチャネルを通じて放送される 3個の MP EGストリームより構成されるビデォ動画像を選択し、選択した 3個のビデオ動画像をそれぞれ、画像復号部 1 0 6 a、 1 06 b及び 1 06 cへ出力する。

( 8 ) 画像復号部 1 06 a、 106 b、 106 c

画像復号部 1 06 aは、動画像合成装置 1 0の画像復号部 1 06と同様に、半導体メモリ 14に記憶されているプログラム、プロセッサ 1 3などから構成される。

画像復号部 1 06 aは、優先順位制御部 1 1 1から優先順位を受け取る。また、画像復号部 1 06 aは、チューナ 1 1 0から 1個の MP EGストリ一ムより構成されるビデオ動画像を受け取り、前記受け取った優先順に基づいて、受け取った MP EGストリームから 1フレーム分のビデオ静止画像を伸張復号して繰り返し生成し、生成したビデオ静止画像を画像変形部 1 07 aへ出力する。最も高い優先順位を受け取った場合、画像復号部 1 06 aは、 MP EGストリームから全ての静止画像を伸張復号する。

中程度の優先順位を受け取った場合、画像復号部 106 aは、 MP EGストリ —ムから静止画像を 1つおきに伸張復号する。

低い優先順位を受け取った場合、画像復号部 1 06 aは、 MP EGストリームから 4つに 1つの静止画像を伸張復号する。言い換えると、 4つに 3つの静止画像を間引く。

このように、優先順位が低くなるほど、 MP EGストリームから多くの静止画像を間引いて伸張復号しない静止画像が多くなるようにする。

画像復号部 1 06 b、 106 cは、画像復号部 1 06 aと同様である。

( 9 ) 画像変形部 107 a、 1 07 b、 1 07 c

画像変形部 107 aは、動画像合成装置 1 0の画像変形部 1 07と同様に、半導体メモリ 14に記憶されているプログラム、プロセッサ 1 3などから構成される。

画像変形部 1 07 aは、画像復号部 106 aからビデオ静止画像を受け取り、また、透視変換部 1 05から動画表示面を形成する各点の 2次元座標を受け取る _c 次に、前記受け取ったビデオ静止画像を、ァフィン変換を用いて、受け取った 2 次元座標により示される形状に変形して変形ビデオ静止画像を生成し、生成した変形ビデオ静止画像をマスク処理部 1 1 3 aへ出力する。

画像変形部 1 07 b、 1 07 cは、画像変形部 107 aと同様である。

(10) マスク制御部 1 1 2

マスク制御部 1 1 2は、具体的には、半導体メモリ 14に記憶されているプログラム、プロセッサ 1 3などから構成される。

マスク制御部 1 1 2は、座標光源計算部 1 03から 3次元座標空間 Aにおける各オブジェクトを形成する各点の 3次元座標を受け取り、透視変換部 105から各ォブジクトの動画表示面を形成する各点の平面 H上の 2次元座標を受け取り. 受け取った各ォブジェクトを形成する各点の 3次元座標と各点の平面 H上の 2次元座標とを用いて、オブジェクトの重なりを検出し、動画表示面毎に他のォブジエタトにより隠れて見えないマスク領域を算出し、算出したマスク領域を各ォブジェクトの画像表示面が対応するマスク処理部 1 1 3 a、 1 1 3 b及び 1 1 3 c へ出力する。

( 1 1 ) マスク処理部 1 1 3 a、 1 1 3 b, 1 1 3 c

マスク処理部 1 1 3 aは、具体的には、半導体メモリ 1 4に記憶されているプログラム、プロセッサ 1 3などから構成される。

マスク処理部 1 1 3 aは、透視変換部 1 0 5から各オブジェクトの動画表示面を形成する各点の平面 H上の 2次元座標を受け取る。

また、マスク処理部 1 1 3 aは、画像変形部 1 0 7 aから変形ビデオ静止画像を受け取り、マスク制御部 1 1 2からマスク領域を受け取り、変形ビデオ静止画像のうち、マスク領域で示される領域に含まれる全ての画素値を 0とする。次に、マスク制御部 1 1 2は、マスク領域で示される領域に含まれる全ての画素値を 0 とした変形ビデオ静止画像をフレームバッファ 1 0 8内の前記受け取った 2次元座標により示される領域に上書きにより出力する。

マスク処理部 1 1 3 b、 1 1 3 cは、マスク処理部 1 1 3 aと同様である。

( 1 2) フレームバッファ 1 08

フレームバッファ 1 08は、動画像合成装置 1 0のフレームバッファ 1 0 8と同様である。

(1 3) 表示部 1 0 9

表示部 1 0 9は、図 1 3に示すように、画面 3 2 1を表示する。画面 3 2 1內には、オブジェクト 3 3 2、 3 3 3、 3 34が表示されており、各オブジェクトは、画像表示面 3 2 2、 3 2 3、 3 24を有し、各画像表示面には、それぞれビデォ動画像が表示されている。

2. 2 デジタル放送受信装置 2 0の動作 (1) デジタル放送受信装置 20の動作

デジタル放送受信装置 20の動作について、図 1 4〜図 1 6を用いて説明する。図 14は、デジタル放送受信装置 20の各処理プロセスにおけるデータを視覚的に示し、図 1 5は、デジタル放送受信装置 20の動作をフローチャートにより示し、図 1 6は、デジタル放送受信装置 20の優先順位制御部 1 1 1の動作をフロ —チヤ一トにより示す。

図 1 5のフ口一チヤ一トに示すステップについて、図 7のフローチヤ一トに示すステップと同じ符号を有するものは、図 7のフ口一チヤ一トに示すステップと同じである。図 7のフローチャートとの相違点を中心として説明する。

データ記憶部 1 02に記憶されているオブジェクトに係る情報 4 1 1を基にして、 3次元座標空間 Aにおけるオブジェクトを形成する各点の 3次元座標 4 1 2 が算出され、 3次元座標 4 1 2に基づいて、動画表示面を形成する座標 4 14が算出される。また、 3次元座檫 4 1 2に基づいて、グラフィック静止画像 41 3 が形成される。

ステップ S 1 1 1において、動画表示面を形成する座標 4 1 4の算出が終了すると、優先順位制御部 1 1 1は、各画像復号部毎に優先順位を決定し、決定した優先順位を対応する画像復号部へ出力する（ステップ S 20 1 )。次に、画像復号部 1 06 aは、 MP EGストリームを受け取り（ステップ S 1 2 1 a)、受け取った MP EGストリームを伸張復号してビデオ静止画像 4 1 5を生成し（ステップ S 1 22 a)、優先順位に応じてビデオ静止画像を再生するか否かを決定し、再生しないなら（ステップ S 202 a)、ステップ S 20 1へ戻り、再生するなら（ステップ S 202 a)、画像変形部 1 0 7 aは、ビデオ静止画像を変形して変形ビデオ静止画像 4 1 6を生成し（ステップ S 1 23 a)、マスク処理部 1 1 3 aは、マスク処理を施された変形ビデオ静止画像 4 1 7を生成し（ステップ S 203 a), フレームバッファ 1 08へ書き込み（ステップ S 1 24 a)、ステツプ S 20 1へ戻る。ステップ S 1 2 1 b〜S 1 22 b、 S 202 b、 S 1 23 b、 S 203 b、 S 1 24 bについても同様であり、ビデオ画像 4 1 8を生成し、変形ビデオ静止画像 4 1 9を生成し、マスク処理を施された変形ビデオ静止画像 420を生成しフレームバッファ 1 08へ書き込む。また、ステップ S 1 2 1 c〜S 1 22 c、 S 202 c、 S 1 23 c、 S 203 c、 S 1 24 cについても同様であり、ビデオ画像 42 1を生成し、変形ビデオ静止画像 422を生成し、マスク処理を施さ.れた変形ビデオ静止画像 423を生成しフレームバッファ 1 08へ書き込む。このようして、フレームバッファに 3つのオブジェクトを示すグラフィック静止画像と、それぞれの動画像表示面に 3つのビデオ静止画像が貼り付けられた静止画像 425が形成される。

次に、ステップ S 201における優先順位制御部 1 1 1により優先順位決定の動作について説明する。

優先順位制御部 1 1 1は、オブジェクトの動画表示面を形成する各点の Z座標値のうち最も大きいものをオブジェクトの代表値とし、各オブジェクトについて同様にして代表値を決定し、小さい代表値を有するオブジェクトから順に順位付けを行う（ステップ S 2 1 1)。次に、優先順位制御部 1 1 1は、各ォブジェクトを形成する各点の 3次元座標を基にして、動画表示面が重なり合つているォブジェクトを検出し（ステップ S 2 1 2)、重なり合った動画表示面のうち、一番手前の動画表示面を有するオブジェクトを検出し（ステップ S 2 1 3)、前記検出された一番手前の動画表示面の順位をそのままにして、重なりあった他の動画表示面を有するオブジェクトの順位を順次下げる（ステップ S 2 14)。

(2) デジタル放送受信装置 20の各構成要素の処理タイミング

図 1 7は、各時刻におけるデジタル放送受信装置 20の各構成要素の処理タイミングを示すタイムチャートである。横軸に時刻を取り、縦軸にデジタル放送受信装置 20の各構成要素の処理を示す。

ダラフィック静止画像とビデオ静止画像とを新たに生成し、生成したビデオ静止画像をグラフィック静止画像に貼り付ける場合には、座標光源計算 C 204と、座標光源計算 C 2 1 1とが同時に開始される。ここで、座標光源計算 C 204は、座標光源計算部 103による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出であり、また、座標光源計算 C 2 1 1は、座標光源計算部 1 03によるオブジェクトの平面 H上に形成される各点の 2次元座標と、各点の平面 Hからの奥行きを示す奥行き値との算出である。次に、座標光源計算 C 20 4が終了すると、透視変換 C 205が行われ、透視変換 C 205が終了すると、優先順位制御 C 206とマスク制御 C 207とが同時に開始される。次に、優先順位制御 C 206が終了すると、画像復号部 1 06 a、 106 b、 1 06 cによる画像復号 C 201、 C 202、 C 203が開始され、それぞれ画像復号 C 20 1、 C 202、 C 203が終了すると、画像変形 'マスク処理 C 208、 C 20 9、 C 2 1 0が開始される。一方、座標光源計算 C 2 1 1が終了すると、レンダリング C 2 1 2が行われる。レンダリング C 2 1 2、画像変形 ·マスク処理 C 2 08、 C 209、 C 21 0が終了すると、表示。 2 1 3が行われる。

ビデオ静止画像を新たに生成し、生成したビデオ静止画像を前に生成したダラフィック静止画像に貼り付ける場合には、座標光源計算 C 224が開始される。ここで、座標光源計算 C 224は、座標光源計算部 1 03による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出である。次に、座標光源計算 C 224が終了すると、透視変換 C 225が行われ、透視変換 C 225が終了すると、優先順位制御 C 226とマスク制御 C 227とが同時に開始される。次に、優先順位制御 C 226が終了すると、画像復号部 1 06 a、 106 b, 1 06 cによる画像復号 C 22 1、 C 222、 C 223が開始され、それぞれ画像復号 C 22 1、 C 222、 C 223が終了すると、画像変形 ·マスク処理 C 22 8、 C 229、 C 230が開始される。画像変形 'マスク処理 C 228、 C 22 9、 C 230が終了すると、表示 C 23 1が行われる。

2. 3 まとめ以上説明したように、グラフィック静止画像の生成処理と、複数のビデオ静止画像の復号 '変形処理とを別プロセスにより、並行して行い、生成されたグラフイツク静止画像と複数のビデオ静止画像とをフレームバッファ上で合成するので、グラフィック動画像と複数のビデオ動画像とをそれぞれの表示レートで合成することができる。また、最も手前にある動画像表示面の優先順位を高くし、対応する画像復号部により復号されるビデオ静止画像の一定時間当たりのフレーム数が多くなるようにするので、優先順位に合わせて画質を良くすることができる。なお、優先順位制御部 1 1 1は、 z座標値を基準にして最も手前にある動画像表示面の優先順位を高くするとしているが、動画像表示面の面積を基準とし、動画像表示面の面積を算出し、その面積が大きいほど高い優先順位を有するようにまた、座標光源計算部 1 0 3、レンダリング処理部 1 04、透視変換部 1 0 5、画像復号部 1 0 6 a、 1 0 6 b、 1 06 c、画像変形部 1 0 7 a、 1 0 7 b、 1 0 7 c、優先順位制御部 1 1 1、マスク制御部 1 1 2、マスク処理部 1 1 3 a、 1 1 3 b, 1 1 3 cは、上記の実施の形態においては、半導体メモリに記憶されているプログラム、プロセッサなどから構成されるとしているが、それぞれ、専用ハ一ドウエアにより構成されるとしてもよレ、。

また、画像復号部 1 0 6 a、 1 0 6 b、 1 0 6 cのうち、より優先順位の高い処理を行う画像復号部は、専用ハードウェアにより構成し、より優先順位の低い処理を行う画像復号部は、半導体メモリに記憶されているプログラム、プロセッサなどから構成されるとしてもよい。これにより、優先順位の高いビデオ動画像の復号処理をより早く行うようにすることができる。

3 実施の形態 3

本発明に係る別の 1の実施の形態としての動画像合成装置 3 0について説明する。

3. 1 動画像合成装置 3 0の構成動画像合成装置 30は、動画像合成装置 1 0と同様に、本体部 1 1、 C D— R OMが装着される CD— ROM駆動部 1 2、プログラムを動作させるプロセッサ 1 3、プログラムやデータを記憶する半導体メモリ 14、モニタ 1 5、キ一ボ一ド 1 6、スピ一力 1 7、マウス 1 8から構成され、 CD— ROMに記録されている 3次元オブジェクトに関するオブジェクト情報とビデオ画像とを読み出して、グラフィック画像を生成し、生成したグラフィック画像にビデオ画像を貼り付け、モニタ 1 5に表示する。

動画像合成装置 30の機能ブロック図を、図 1 8に示す。この図に示すように、動画像合成装置 30は、入力部 1 01、データ記憶部 1 02、座標光源計算部 1 03、レンダリング処理部 1 04、透視変換部 1 05、画像復号部 1 06、画像変形部 1 07、フレームバッファ 1 08、表示部 109、制御データ記憶部 1 1 4、静止画像記憶部 1 1 5、グラフィック画像記憶部 1 1 6、選択部 1 1 7から構成される。

動画像合成装置 30の構成要素のうち、動画像合成装置 10の構成要素と同じ符号を有するものは、動画像合成装置 1 0の構成要素と同様である。以下において、動画像合成装置 1 0の構成要素との相違点を中心として説明する。

( 1 ) グラフィック画像記憶部 1 1 6

グラフィック画像記憶部 1 1 6は、グラフィック画像領域 A 1 1 6 a及びダラフィック画像領域 B 1 1 6 bを有し、グラフィック画像領域 A 1 1 6 a及びダラフィック画像領域 B 1 1 6 bは、それぞれグラフィック静止画像を記憶する。

(2) レンダリング処理部 1 04

レンダリング処理部 1 04は、形成したグラフィック静止画像を、フレームバッファ 1 08へ出力する代わりに、グラフィック画像領域 A 1 1 6 a及びグラフィック画像領域 B 1 1 6 bのいずれか一方へ交互に出力する。

(3) 制御データ記憶部 1 14

制御データ記憶部 1 14は、制御データ領域 A 1 14 a及び制御データ領域 B 1 14 bを有し、制御データ領域 A 1 14 a及び制御データ領域 B 1 1 4 bは、それぞれ制御データを記憶する。

(4) 透視変換部 1 05

透視変換部 1 05は、さらに、以下に説明するようにして、制御データを生成し、生成した制御データを制御データ領域 A 1 1 4 a及び制御データ領域 B 1 1 4 bのいずれか一方へ交互に出力する。

制御データの一例として、図 1 9に制御データ 60 1を示す。制御データ 60 1は、横に 640ビット、縦に 480ビット、合計 307200ビットからなるデータ配列である。各ビットは「0」又は「1」の値を有する。制御データ 60 1の各ビットは、レンダリング処理部 1 04により生成されるグラフィック静止画像の各ピクセルに対応している。

透視変換部 1 05は、制御データ 601のうち、動画表示面に対応するビットについては、すべて「 1」の値を設定し、その他のビットについては、「0」の値を設定する。

(5) 静止画像記憶部 1 1 5

静止画像記憶部 1 1 5は、静止画像領域 A 1 1 5 a及び静止画像領域 B 1 1 5 bを有し、静止画像領域 A 1 1 5 a及び静止画像領域 B 1 1 5 bは、それぞれビデォ静止画像を記憶する。

( 6 ) 画像変形部 1 07

画像変形部 107は、生成した変形ビデオ静止画像をフレームバッファ 1 08 内の前記受け取った 2次元座標により示される領域に上書きにより出力する代わりに、静止画像領域 A 1 1 5 a及び静止画像領域 B 1 1 5 bのいずれか一方に交互に出力する。

(7) 選択部 1 1 7

選択部 1 1 7は、グラフィック画像領域 A 1 1 6 a及びグラフィック画像領域 B 1 1 6 bのいずれか一方からグラフィック静止画像を交互に読み出し、静止画像領域 A l 1 5 a及び静止画像領域 B 1 1 5 bのいずれか一方からビデオ静止画像を交互に読み出し、制御データ領域 A 1 1 4 a及び制御データ領域 B 1 1 4 b のいずれか一方から制御データを交互に読み出す。

選択部 1 1 7は、読み出した制御データのビット毎に、当該ビッ卜が「0」であるならば、読み出したグラフィック静止画像を構成するピクセルのうち、当該ビットに対応する位置にあるピクセルを読み出し、読み出したピクセルをフレームバッファ 1 0 8の対応する位置に書き込み、当該ビットが「1」であるならば、読み出したビデオ静止画像を構成するピクセルのうち、当該ビットに対応する位置にあるピクセルを読み出し、読み出したピクセルをフレームバッファ 1 0 8の対応する位置に書き込む。

3 . 2 動画像合成装置 3 0の動作

動画像合成装置 3 0の動作について、図 2 0〜図 2 4を用いて説明する。

( 1 ) 動画像合成装置 3 0の各処理プロセスにおけるデータの形状

図 2 0は、動画像合成装置 3 0の各処理プロセスにおけるデータを視覚的に示している。

この図に示すように、座標光源計算部 1 0 3はォブジヱクトに係る情報 4 5 1 を用いて、 3次元座標空間 Aにおけるオブジェクトを形成する各点の 3次元座標 4 5 2を算出し、レンダリング処理部 1 0 4は、レンダリング処理を行い、ビットマップデータであるグラフィック静止画像を形成し、形成したグラフィック静止画像をグラフィック画像領域 B 1 1 6 bへ出力し、透視変換部 1 0 5は、動画表示面を形成する各点の平面 H上の 2次元座標 4 5 3を算出し、制御データを生成し、制御データを制御データ領域 B 1 1 4 bへ出力し、画像変形部 1 0 7は、ビデオ静止画像 4 5 4を変形ビデオ静止画像を生成し、生成した変形ビデオ静止画像を静止画像領域 B 1 1 5 bへ出力する。

—方、選択部 1 1 7は、グラフィック画像領域 A 1 1 6 aからグラフィック静止画像を読み出し、静止画像領域 A 1 1 5 aからビデオ静止画像を読み出し、制御データ領域 A 1 14 aから制御データを読み出し、読み出した制御データを用いて、グラフィック静止画像とビデオ静止画像とを合成して、フレームバッファ 1 08へ書き込む。

また、別の時刻においては、レンダリング処理部 1 04は、形成したグラフィック静止画像をグラフィック画像領域 A 1 1 6 aへ出力し、透視変換部 1 05は、制御データを制御データ領域 A 1 14 aへ出力し、画像変形部 107は、変形ビデォ静止画像を静止画像領域 A 1 1 5 aへ出力する。一方、選択部 1 1 7は、グラフィック画像領域 B 1 1 6 bからグラフィック静止画像を読み出し、静止画像領域 B 1 1 5 bからビデオ静止画像を読み出し、制御データ領域 B 1 14 から制御データを読み出し、読み出した制御データを用いて、グラフィック静止画像とビデオ静止画像とを合成して、フレームバッファ 1 08へ書き込む。

このように、各データのグラフィック画像領域 A 1 1 6 a、制御データ領域 A 1 14 a, 静止画像領域 A 1 1 5 aへの出力及びグラフィック画像領域 B 1 1 6 b、静止画像領域 B 1 1 5 b, 制御データ領域 B 1 14 bからの各データの読み出しと、各データのグラフィック画像領域 B 1 1 6 b, 制御データ領域 B 1 14 b、静止画像領域 B 1 1 5 bへの出力及びグラフィック画像領域 A 1 1 6 a , 静止画像領域 A 1 1 5 a, 制御データ領域 A 1 1 4 aからの各データの読み出しとを交互に繰り返す。

(2) グラフィック静止画像とビデオ静止画像と制御データとの対応関係図 2 1は、動画像合成装置 30のグラフィック静止画像とビデオ静止画像と制御データとの対応関係を示している。

この図において、グラフィック静止画像 47 1の動画像表示面でない部分 47 1 aに対応する制御データ 473のビット 473 aは、「0」であり、動画像表示面でない部分 47 1 aがフレームバッファ 1 08に書き込まれる。

また、ビデオ静止画像 472の部分 472 aに対応する制御データ 473のビット 473 bは、「1」であり、ビデオ静止画像 472の部分 472 aがフレームバッファ 1 0 8に書き込まれる。

( 3 ) 動画像合成装置 3 0の動作

図 2 2は、動画像合成装置 3 0の動作を示すフロ一チヤ一トである。

座標光源計算部 1 0 3は、データ記憶部 1 0 2のォブジェクトテーブル 2 0 1 から、オブジェクト毎に、形状座標 2 1 2と位置座標 2 1 3と動画表示面座標 2 1 4とを読み出し（ステップ S 1 0 1 )、入力部 1 0 1から前方向、後方向、左方向、右方向、上方向、下方向を示す情報及び操作の終了を示す情報を受け取り (ステップ S 1 0 2 )、操作の終了を示す情報を受け取った場合は処理を終了する（ステップ S 1 0 3 )。その他の情報の場合（ステップ S 1 0 3 )、グラフィック計算を行うタイミングであるなら（ステップ S 3 0 1 )、座標光源計算部 1 0 3は受け取った情報に応じて視点座標 Eを演算し、 3次元座標空間 Aにおけるォブジェクトを形成する各点の 3次元座標を算出し、平面 H上に形成される各点の 2次元座標と、各点の平面 Hからの奥行きを示す奥行き値とを算出し、クリッピング処理を施し（ステップ S 1 0 4 )、レンダリング処理部 1 0 4は、 2次元座標と奥行き値とを用いて、隠線 ·隠面消去処理、各面の陰影の表示、各面の色の表示、各面へのテクスチャの貼り付けなどのレンダリング処理を行い、ビットマップデータであるグラフィック静止画像を形成し（ステップ S 1 0 5 )、形成したグラフィック静止画像をグラフィック画像領域 A 1 1 6 a又はグラフィック画像領域 B 1 1 6 bへ出力する（ステップ S 1 0 6 )。次に、再度ステップ S 1 0 2へ戻って処理を繰り返す。

また、ステップ S 1 0 4の後、座標光源計算部 1 0 3は、 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標を算出し、透視変換部 1 0 5は、動画表示面を形成する各点の平面 H上の 2次元座標を算出し（ステップ S I 1 1 )、ステップ S 1 2 3へ制御を移す。また、透視変換部 1 0 5は、制御データを生成し（ステップ S 3 0 4 )、ステップ S 1 0 2へ戻って処理を繰り返す。グラフィック計算を行うタイミングでないなら（ステップ S 3 0 1 )、再度ステツプ S 1 02へ戻って処理を繰り返す。

—方、画像復号部 1 06は、データ記憶部 1 02に記憶されている MP EGストリーム 22 1を読み出し（ステップ S 1 2 1)、読み出した MP EGストリ一ム 22 1から 1フレーム分のビデオ静止画像を復号して繰り返し生成し（ステツプ S 1 2 2)、画像変形部 1 07は、画像復号部 1 06からビデオ静止画像を受け取り、ステップ S I 1 1において算出された動画表示面を形成する各点の 2次元座標を透視変換部 105から受け取り、前記受け取ったビデオ静止画像を、ァフィン変換を用いて、受け取った 2次元座標により示される形状に変形して変形ビデオ静止画像を生成し（ステップ S 1 23)、生成した変形ビデオ静止画像を静止画像領域 A 1 1 5 a又は静止画像領域 B 1 1 5 bへ出力し（ステップ S 1 2 4)、次に、再度ステップ S 1 02へ戻って処理を繰り返す。

また、選択部 1 1 7は、グラフィック画像領域 A 1 1 6 a又はグラフィック画像領域 B 1 1 6 bからグラフィック静止画像を読み出し、静止画像領域 A 1 1 5 a又は静止画像領域 B 1 1 5 bからビデオ静止画像を読み出し、制御データ領域 A 1 14 a又は制御データ領域 B 1 14 bから制御データを読み出し、読み出した制御データを用いて、グラフィック静止画像とビデオ静止画像とを合成し、合成した静止画像をフレームバッファ 1 08へ書き込み（ステップ S 305)、表示部 1 09は、フレームバッファ 1 08から静止画像を読み出して表示し（ステップ S 306)、再度ステップ S 1 02へ戻って処理を繰り返す。

図 23は、動画像合成装置 30の画像の合成の動作を示すフローチャートである。

選択部 1 1 7は、フレームバッファ 1 08に書き込まれる静止画像の全ピクセルについて、次に示すように、ステップ S 3 1 2〜S 3 14を繰り返す。

選択部 1 1 7は、制御データのビット C (x、 y) 力 S 「1」である場合（ステップ S 3 1 2)、フレームバッファ 1 08の静止画像のピクセル F (x、 y ) をビデオ静止画像のピクセル V (x、 y ) とし（ステップ S 3 1 3)、制御データのビット C ( x、 y ) 力 S 「0」である場合（ステップ S 3 1 2 )、フレームバッファ 1 0 8の静止画像のピクセル F ( x、 y ) をグラフィック静止画像のピクセノレ G ( x、 y ) とする（ステップ S 3 1 4 )。ここで、（x、 y ) は、静止画像の位置を示す座標である。

( 4 ) 動画像合成装置 3 0の各構成要素の処理タイミング

図 2 4は、各時刻における動画像合成装置 3 0の各構成要素の処理タイミングを示すタイムチャートである。横軸に時刻を取り、縦軸に動画像合成装置 3 0の各構成要素の処理を示す。

グラフィック静止画像とビデオ静止画像とを新たに生成し、生成したビデオ静止画像をグラフィック静止画像に貼り付ける場合には、画像復号処理 C 3 0 1 と座標光源計算 C 3 0 2と座標光源計算 C 3 0 5と合成 C 3 0 7とが同時に開始される。ここで、座標光源計算 C 3 0 2は、座標光源計算部 1 0 3による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出であり、また、座標光源計算 C 3 0 5は、座標光源計算部 1 0 3によるオブジェク卜の平面 H上に形成される各点の 2次元座標と、各点の平面 Hからの奥行きを示す奥行き値との算出である。座標光源計算 C 3 0 2が終了すると、透視変換 C 3 0 3が行われ、透視変換 C 3 0 3が終了すると、さらに画像変形 C 3 0 4が行われる。また、座標光源計算 C 3 0 5が終了すると、レンダリング C 3 0 6が行われる。さらに、合成 C 3 0 7が終了すると、表示 C 3 0 8が行われる。

ビデオ静止画像を新たに生成し、生成したビデオ静止画像を前に生成したダラフィック静止画像に貼り付ける場合には、画像復号処理 C 3 1 1と座標光源計算 C 3 1 2と合成 C 3 1 7とが同時に始まる。ここで、座標光源計算 C 3 1 2は、座標光源計算部 1 0 3による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出である。座標光源計算 C 3 1 2が終了すると、透視変換 C 3 1 3が行われ、透視変換 C 3 1 3が終了すると、さらに画像変形 C 3 1 4が行われる。合成 C 3 1 7とが終了すると、表示 C 3 1 8が行われる。 3. 3 まとめ

以上説明したように、グラフィック静止画像の生成処理と、ビデオ静止画像の復号 ·変形処理と、生成されたグラフィック静止画像とビデオ静止画像との合成とを別プロセスにより、並行して行うので、グラフィック動画像とビデオ動画像とをそれぞれの表示レートで合成することができるとともに、グラフィック静止画像の生成処理と、ビデオ静止画像の復号 ·変形処理と、生成されたグラフイツク静止画像とビデオ静止画像との合成とをより早く行うことができる。

4 実施の形態 4

本発明に係る別の 1の実施の形態としてのデジタル放送受信装置 40について説明する。

4. 1 デジタル放送受信装置 40の構成

デジタル放送受信装置 40は、デジタル放送受信装置 20と同様に、本体部 2 6、モニタ 2 1、リモコン 22、アンテナ 23などから構成され、 CD— ROM に記録されている 3次元オブジェクトに関するオブジェクト情報を読み出し、放送される複数のビデオ動画像を受信し、複数のオブジェクトからなるグラフイツク画像を生成し、各オブジェクトはそれぞれ動画表示面を有し、生成したグラフイツク画像の各動画表示面に各ビデオ画像を貼り付け、モニタ 2 1に表示する。なお、本実施の形態においては、第 1、第 2及び第 3のビデオ動画像を受信し、第 1、第 2及び第 3のオブジェクトがそれぞれ第 1、第 2及び第 3の動画表示面を有しているものとする。

デジタル放送受信装置 40の機能ブロック図を、図 25に示す。この図に示すように、デジタル放送受信装置 40は、入力部 1 0 1、データ記憶部 1 02、座標光源計算部 1 03、レンダリング処理部 1 04、透視変換部 1 05、画像復号部 106 a、 106 b、 106 c、画像変形部 1 07 a、 1 07 b、 1 07 c、フレームバッファ 108、表示部 109、チューナ 1 1 0、優先順位制御部 1 1 1、制御データ記憶部 1 14、静止画像記憶部 1 1 5、グラフィック画像記憶部 1 1 6、選択部 1 1 7、アンテナ 2 3から構成される。

デジタル放送受信装置 4 0の構成要素のうち、デジタル放送受信装置 2 0の構成要素と同じ符号を有するものは、デジタル放送受信装置 2 0の構成要素と同様である。また、制御データ記憶部 1 1 4、静止画像記憶部 1 1 5、グラフィック画像記憶部 1 1 6及び選択部 1 1 7は、それぞれ動画像合成装置 3 0の制御デ一タ記憶部 1 1 4、静止画像記億部 1 1 5、グラフィック画像記憶部 1 1 6及び選択部 1 1 7と同じである。

このように、デジタル放送受信装置 4 0は、デジタル放送受信装置 2 0と動画像合成装置 3 0とを組み合わせたものである。

以下において、デジタル放送受信装置 2 0の構成要素との相違点を中心として説明する。

( 1 ) レンダリング処理部 1 0 4

レンダリング処理部 1 0 4ほ、形成したグラフィック静止画像を、フレームバッファ 1 0 8へ出力する代わりに、グラフィック画像領域 A 1 1 6 a及びグラフィック画像領域 B 1 1 6 bのいずれか一方へ交互に出力する。

( 2 ) 透視変換部 1 0 5

透視変換部 1 0 5は、さらに、動画像合成装置 3 0の透視変換部 1 0 5と同様に、制御データを生成し、生成した制御データを制御データ領域 A 1 1 4 a及び制御データ領域 B 1 1 4 bのいずれか一方へ交互に出力する。

ここで、制御データは、一例として、横に 6 4 0個、縦に 4 8 0個、合計 3 0 7 2 0 0個からなるデータ配列である。各データは、 2ビットからなり、「0」、「 1」、「2」又は「3」の値を有する。各データは、レンダリング処理部 1 0 4 により生成されるグラフィック静止画像の各ピクセルに対応している。

透視変換部 1 0 5は、制御データのうち、第 1の動画表示面に対応するビットについては、すべて「 1」の値を設定し、第 2の動画表示面に対応するビットについては、すべて「2」の値を設定し、第 3の動画表示面に対応するビットについては、すべて「3」の値を設定し、その他のビットについては、「0」の値を設定する。なお、複数の動画表示面の重なる部分については、上の動画表示面の値を採用する。

( 3 ) 画像変形部 1 0 7 a、 1 0 7 b、 1 0 7 c

画像変形部 1 0 7 aは、生成した変形ビデオ静止画像をマスク処理部 1 1 3 a へ出力する代わりに、静止画像領域 A 1 1 5 a及び静止画像領域 B 1 1 5 bのいずれか一方に交互に出力する。

画像変形部 1 0 7 b及び 1 0 7 cについても、画像変形部 1 0 7 aと同様である。

(4) 選択部 1 1 7

選択部 1 1 7は、読み出した制御データのデータ毎に、当該ビットが「0」であるならば、読み出したグラフィック静止画像を構成するピクセルのうち、当該ビットに対応する位置にあるピクセルを読み出し、読み出したピクセルをフレ一ムバッファ 1 0 8の対応する位置に書き込み、当該ビットが「 1」であるならば、読み出した第 1のビデオ静止画像を構成するピクセルのうち、当該ビットに対応する位置にあるピクセルを読み出し、読み出したピクセルをフレームバッファ 1 08の対応する位置に書き込み、当該ビットが「2」であるならば、読み出した第 2のビデオ静止画像を構成するピクセルのうち、当該ビットに対応する位置にあるピクセルを読み出し、読み出したピクセルをフレームバッファ 1 0 8の対応する位置に書き込み、当該ビットが「3」であるならば、読み出した第 2のビデォ静止画像を構成するピクセルのうち、当該ビットに対応する位置にあるピクセルを読み出し、読み出したピクセルをフレームバッファ 1 0 8の対応する位置に書き込む。

4. 2 デジタル放送受信装置 40の動作

( 1) デジタル放送受信装置 40の各処理プロセスにおけるデータ

デジタル放送受信装置 40の動作について、図 2 6を用いて説明する。この図は、デジタル放送受信装置 40の各処理プロセスにおけるデータを視覚的に示している。

この図に示すように、座標光源計算部 1 03はォブジェク卜に係る情報 70 1 を用いて、 3次元座標空間 Aにおけるオブジェクトを形成する各点の 3次元座標 704を算出し、レンダリング処理部 104は、レンダリング処理を行い、ビットマップデータであるグラフィック静止画像 702を形成し、形成したグラフィック静止画像 702をグラフィック画像領域 B 1 1 6 bへ出力し、透視変換部 1 05は、動画表示面を形成する各点の平面 H上の 2次元座標を算出し、制御データ 705を生成し、制御データ 705を制御データ領域 B 1 1 4 bへ出力し、画像変形部 1 07 a、 1 07 b、 1 07 cは、それぞれビデオ静止画像 707、 7 1 1、 7 1 5から変形ビデオ静止画像 708、 7 1 2、 7 1 6を生成し、生成した変形ビデオ静止画像 708、 7 1 2、 7 1 6を静止画像領域 B 1 1 5 bへ出力する。 '

一方、選択部 1 1 7は、グラフィック画像領域 A 1 1 6 aからグラフィック静止画像 703を読み出し、静止画像領域 A 1 1 5 aからビデオ静止画像 7 1 0、 7 14、 7 1 8を読み出し、制御データ領域 A 1 14 aから制御データ 706を読み出し、読み出した制御データ 706を用いて、グラフィック静止画像 703 とビデオ静止画像 7 10、 7 14、 7 1 8とを合成して静止画像 7 1 9を生成し、フレームバッファ 108へ書き込む。

(2) デジタル放送受信装置 40の各構成要素の処理タイミング

図 27は、各時刻におけるデジタル放送受信装置 40の各構成要素の処理タイミングを示すタイムチャートである。横軸に時刻を取り、縦軸にデジタル放送受信装置 40の各構成要素の処理を示す。

グラフィック静止画像とビデオ静止画像とを新たに生成し、生成したビデオ静止画像をグラフィック静止画像に貼り付ける場合には、座標光源計算 C404と、座標光源計算 C 41 0と合成 C 41 2とが同時に開始される。ここで、座標光源計算 C 404は、座標光源計算部 1 03による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出であり、また、座標光源計算 C4 1 0は、座標光源計算部 1 03によるオブジェクトの平面 H上に形成される各点の 2次元座標と、各点の平面 Hからの奥行きを示す奥行き値との算出である。次に、座標光源計算 C 404が終了すると、透視変換 C 405が行われ、透視変換 C 405 が終了すると、優先順位制御 C 406が開始される。次に、優先順位制御 C 40 6が終了すると、画像復号部 106 a、 1 06 b, 1 06 cによる画像復号 C 4 01、 C402、 C 403が開始され、それぞれ画像復号 C 40 1、 C 402、 C403が終了すると、画像変形 C 407、 C 408、 C 409が開始される。 —方、座標光源計算 C 41 0が終了すると、レンダリング C 4 1 1が行われる。合成 C 4 1 2が終了すると、表示 C 41 3が行われる。

ビデオ静止画像を新たに生成し、生成したビデオ静止画像を前に生成したダラフィック静止画像に貼り付ける場合には、座標光源計算 C 424と合成 C432 とが同時に開始される。ここで、座標光源計算 C 424は、座標光源計算部 1 0 3による 3次元座標空間 Aにおける動画表示面を形成する各点の 3次元座標の算出である。次に、座標光源計算 C 424が終了すると、透視変換 C 425が行われ、透視変換 C 425が終了すると、優先順位制御 C 426が開始される。次に、優先順位制御 C 426が終了すると、画像復号部 1 06 a、 1 06 b、 1 06 c による画像復号 C421、 C 422、 C 423が開始され、それぞれ画像復号 C 421、 C422、 C 423が終了すると、画像変形 C 427、 C 428、 C 4 29が開始される。合成 C 432が終了すると、表示 C 433が行われる。

4. 3 まとめ

以上説明したように、グラフィック静止画像の生成処理と、複数のビデオ静止画像の復号 ·変形処理と、生成されたグラフィック静止画像と複数のビデオ静止画像との合成とを別プロセスにより、並行して行うので、グラフィック動画像と複数のビデオ動画像とをそれぞれの表示レ一トで合成することができるとともに, グラフィック静止画像の生成処理と、ビデオ静止画像の復号 '変形処理と、生成されたグラフィック静止画像とビデオ静止画像との合成とをより早く行うことができる。また、最も手前にある動画像表示面の優先順位を高くし、対応する画像復号部により復号されるビデオ静止画像の一定時間当たりのフレーム数が多くなるようにするので、優先順位に合わせて画質を良くすることができる。

5 実施の形態 5

本発明に係る別の 1の実施の形態としてのデジタル放送受信装置 5 0について説明する。

5. 1 デジタル放送受信装置 5 0の構成

デジタル放送受信装置 5 0は、デジタル放送受信装置 20と同様に、本体部 2 6、モニタ 2 1、リモコン 2 2、アンテナ 2 3などから構成され、 CD— ROM に記録されている 3次元オブジェクトに関するオブジェクト情報を読み出し、放送される複数のビデオ動画像を受信し、複数のオブジェク卜からなるグラフイツク画像を生成し、各オブジェクトはそれぞれ動画表示面を有し、生成したグラフイツク画像の各動画表示面に各ビデオ画像を貼り付け、モニタ 2 1に表示する。デジタル放送受信装置 5 0の機能プロック図を、図 2 8に示す。この図に示すように、デジタル放送受信装置 5 0は、入力部 1 0 1、データ記憶部 1 0 2、座標光源計算部 1 0 3、レンダリング処理部 1 04、透視変換部 1 0 5、画像復号部 1 0 6 a、 1 0 6 b、 1 0 6 c、画像変形部 1 0 7 a、 1 0 7 b、 1 0 7 c、フレームバッファ 1 0 8、表示部 1 0 9、チューナ 1 1 0、優先順位制御部 1 1 1、マスク制御部 1 1 2、マスク処理部 1 1 3 a、 1 1 3 b、 1 1 3 c、画像補正部 1 1 8 a、 1 1 8 b、 1 1 8 c、アンテナ 2 3から構成される。

デジタル放送受信装置 5 0の構成要素のうち、デジタル放送受信装置 2 0の構成要素と同じ符号を有するものは、デジタル放送受信装置 2 0の構成要素と同様である。以下において、相違点を中心に説明する。

( 1 ) 画像復号部 1 0 6 a、 1 0 6 b、 1 0 6 c 画像復号部 1 0 6 aは、生成したビデオ静止画像を画像変形部 1 0 7 aへ出力する代わりに、画像補正部 1 1 8 aへ出力する。その他の点については、デジタル放送受信装置 2 0の画像復号部 1 0 6 aと同様である。

画像復号部 1 0 6 b及び 1 0 6 cについても、画像復号部 1 0 6 aと同様である。

( 2 ) 優先順位制御部 1 1 1

優先順位制御部 1 1 1は、さらに、決定した優先順位を各オブジェク卜の画像表示面が対応する画像補正部 1 1 8 a、 1 1 8 b、 1 1 8 cへ出力する。

( 3 ) 画像補正部 1 1 8 a、 1 1 8 b、 1 1 8 c

画像補正部 1 1 8 aは、ビデオ静止画像を画像復号部 1 0 6 aから受け取り、決定した優先順位を優先順位制御部 1 1 1から受け取る。

画像補正部 1 1 8 aは、受け取った優先順位が最も高い場合には、受け取ったビデオ静止画像をそのまま、画像変形部 1 0 7 aへ出力する。

画像補正部 1 1 8 aは、受け取った優先順位が中程度又はより低い場合には、優先順位が低ければ低いほど、ビデオ静止画像の輝度をより低くする補正を行う。ビデオ静止画像の輝度を低くする補正は、具体的には、ビデオ静止画像の各ピクセルの値を適切な値により割ることにより行う。ここで、この適切な値の例として、優先順位が中程度の場合には 4とし、優先順位がより低い場合には 8とする。また、各ピクセルを構成するビット列をより下位側にシフトするようにしてもよレ、。例えば、優先順位が中程度の場合には下位側に 1 ビット分シフトするようにし、優先順位がより低い場合には下位側に 2ビット分シフトするようにしてもよレ、。

5. 2 まとめ

以上説明したように、グラフィック静止画像の生成処理と、複数のビデオ静止画像の復号 ·変形処理とを別プロセスにより、並行して行い、生成されたグラフィック静止画像と複数のビデオ静止画像とをフレームバッファ上で合成するので, グラフィック動画像と複数のビデオ動画像とをそれぞれの表示レートで合成することができる。また、最も手前にある動画像表示面の優先順位を高くし、対応する画像復号部により復号されるビデオ静止画像の一定時間当たりのフレーム数が多くなるようにするので、優先順位に合わせて画質を良くすることができる。さらに、優先順位の低い動画表示面については、輝度を低く補正するので、表示レ一卜が低くなっている可能性の高い優先順位の低い動画表示面についてはフリッ力を目立たなくすることができる。

6 その他の変形例

( 1 ) 上記の実施の形態において説明したグラフィック動画像とビデオ動画像との合成は、テレビゲーム機、 DVDZビデオ CDZCDプレーヤ一などの映像再生装置、又は情報処理端末装置において適用してもよい。

(2) 上記の実施の形態において、オブジェクトが有するスクリーン面に動画像を貼り付けるとしているが、グラフィック動画像とビデオ動画像とをテレビ画面上において、並べて表示するとしてもよい。

(3) 上記の実施の形態において、ビデオ動画像の表示レートは、 1秒間に 30 フレームであり、グラフィック動画像の表示レートは、 1秒間に 1 0フレームであるとしているが、もちろん他の表示レートであってもよい。例えば、ビデオ動画像の表示レートは、 1秒間に 1 0フレームであり、グラフィック動画像の表示レートは、 1秒間に 30フレームであるとしてもよい。

(4) 上記の実施の形態において、オブジェクトは 1つのスクリーン面を有するとしているが、オブジェクトは複数のスクリーン面を有するとしてもよレ、。 (5) 別の実施の形態の一つは、上記により示される動画像合成方法であるとしてもよい。また、前記動画像合成方法をコンピュータに実行させる動画像合成プログラムであるとしてもよいし、また前記動画像合成プログラムを記録しているコンピュータ読み取り可能な記録媒体としてもよい。この記録媒体は、例えば、フロッピィディスク、 CD— ROM、 DVD-ROM, DVD-RAM, 半導体メモリである。さらに、前記動画像合成プログラムを通信回線を介して伝送するとしてもよいし、前記通信回線を介して伝送されるデジタル信号であるとしてもよい。

( 6 ) 上記に示す複数の実施の形態及びその変形例をそれぞれ組み合わせてもよい。産業上の利用の可能性

多くのチャネルを介して放送されるデジタル放送波を受信するデジタル放送受信装置において、番組を選択するためのユーザィンタフェースとして利用することができる。また、テレビゲーム機、 D V D Zビデオ C D / C Dプレーヤ一などの映像再生装置、パーソナルコンピュータ又は情報処理端末装置において、より映像効果のある表現手段として利用することができる。

Claims

請求の範囲

1 . オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを合成する動画像合成装置であって、

3次元空間におけるオブジェク卜の形状及び位置を示すオブジェクト情報を記億している情報記憶手段と、

外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得手段と、

画像記憶手段と、

3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付手段と、

前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記画像記憶手段に書き込むグラフィック画像生成手段と、

前記グラフィック静止画像が生成され前記画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記画像記憶手段に書き込むビデオ画像生成手段とを備えることを特徴とする動画像合成装置。

2 . 前記グラフィック画像生成手段は、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影し、さらにレンダリング処理を施してグラフィック静止画像を生成する

ことを特徴とする請求の範囲 1に記載の動画像合成装置。

3 . 前記オブジェクトは、ビデオ動画像が合成されるスクリーン面を有し、前記動画像合成装置は、オブジェクトのスクリーン面において、グラフィック動画像とビデオ動画像とを合成し、前記オブジェクト情報は、オブジェクトのスクリーン面の形状を示す情報を含み、

前記グラフィック画像生成手段は、さらに、スクリーン面の形状を示す情報を含むオブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリ一ン面の形状及び位置を示すスクリーン面情報を算出し、

前記ビデオ画像生成手段は、前記画像記憶手段に記憶されているグラフィック静止画像上の前記算出されたスクリーン面情報により示される位置に、取得したビデオ静止画像を書き込む

ことを特徴とする請求の範囲 2に記載の動画像合成装置。

4 . 前記ビデオ画像生成手段は、

前記スクリ一ン面情報により示される形状に合わせて、前記ビデオ静止画像を変形して、変形ビデオ静止画 ½を生成する画像変形手段を含み、

前記ビデオ画像生成手段は、生成された変形ビデオ静止画像を前記画像記憶手段に書き込む

ことを特徴とする請求の範囲 3に記載の動画像合成装置。

5 . 前記オブジェクトは複数のスクリーン面を有し、

前記ビデオ動画像取得手段は、外部から複数のビデオ動画像を取得し、前記動画像合成装置は、複数のスクリーン面のそれぞれにおいて、グラフイツク動画像と各ビデオ動画像とを合成し、

前記ォブジクト情報は、複数のスクリーン面の形状を示す情報を含み、前記グラフィック画像生成手段は、複数のスクリーン面の形状を示す情報毎に、スクリーン面情報を算出し、

前記ビデオ画像生成手段は、複数のビデオ動画像からそれぞれビデオ静止画像を取得し、前記複数のスクリーン面情報により示される位置に、それぞれ取得した複数のビデオ静止画像を書き込むことを特徴とする請求の範囲 4に記載の動画像合成装置。

6 . 前記ビデオ画像生成手段は、

算出された複数のスクリーン面情報に基づいて、スクリーン面毎に優先順位を決定する優先順位決定手段と、

複数のビデオ動画像毎に、決定された優先順位に基づいて、ビデオ動画像からビデオ静止画像を取得するビデオ画像復号手段と、

算出された複数のスクリ一ン面情報と、スクリーン面毎に決定された優先順位とに基づいて、投影スクリーン面毎に投影スクリーン面をマスクする位置を算出するマスク位置算出手段と、

前記算出されたマスクする位置において、前記変形ビデオ静止画像にマスク処理を施すマスク処理手段とを含み、

前記ビデオ画像生成手段は、マスク処理の施された変形ビデオ静止画像を前記画像記憶手段に書き込む '

ことを特徴とする請求の範囲 5に記載の動画像合成装置。

7 . 前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、前記視点に近いスクリーン面ほど、優先順位が高くなるように優先順位を決定することを特徴とする請求の範囲 6に記載の動画像合成装置。

8 . 前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、投影スクリーン面の面積を算出し、算出された面積が大きいスクリーン面ほど、優先順位が高くなるように優先順位を決定する

ことを特徴とする請求の範囲 6に記載の動画像合成装置。

9 . 前記ビデオ画像復号手段は、優先順位が最も高いビデオ動画像については、ビデオ動画像から全てのビデオ静止画像を取得し、優先順位の低いビデオ動画像ほど、ビデオ動画像から間引くビデオ静止画像が多くなるようにビデオ静止画像を取得する

ことを特徴とする請求の範囲 6に記載の動画像合成装置。

10. 前記ビデオ画像復号手段は、取得するビデオ静止画像の輝度を低下させる画質補正部を含み、

優先順位が最も高いビデオ動画像については、ビデオ静止画像の輝度を低下させず、優先順位の低いビデオ動画像ほど、ビデオ静止画像の輝度がより低くなるように補正する

ことを特徴とする請求の範囲 6に記載の動画像合成装置。

11. ォブジェクトを 3次元空間内で移動する視点から見て得られるグラフイツク動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを、オブジェクトのスクリーン面において、合成する動画像合成装置であって、

3次元空間におけるオブジェク卜の形状及び位置とオブジェクトのスクリーン面の形状とを示すオブジェクト情報を記憶している情報記憶手段と、

外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得手段と、'

グラフィック静止画像記憶手段と、

ビデオ静止画像記憶手段と、

画像記憶手段と、

前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記グラフィック静止画像記憶手段に書き込み、スクリーン面の形状を示す情報を含むオブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリーン面の形状及び位置を示すスクリ一ン面情報を算出するグラフィック画像生成手段と、

前記グラフィック静止画像が生成され前記グラフィック静止画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記ビデオ静止画像記憶手段に書き込むビデオ画像生成手段と、

前記算出されたスクリーン面情報を用いて、前記グラフィック静止画像記憶手段に記憶されているグラフィック静止画像又は前記ビデオ静止画像記憶手段に記憶されているビデオ静止画像から各静止画像を構成する画素を選択し、選択した画素を前記画像記憶手段に書き込む選択手段と

を備えることを特徴とする動画像合成装置。

12. 前記グラフィック静止画像記憶手段は、第 1グラフィック記憶部と第 2ダラフィック記憶部とを含み、

前記ビデオ静止画像記憶手段は、第 1ビデオ記憶部と第 2ビデオ記憶部とを含み、

前記グラフィック画像生成手段は、取得したグラフィック静止画像を第 1ダラフィック記憶部又は第 2グラフィック記憶部に交互に書き込み、

前記ビデオ画像生成手段は、取得したビデオ静止画像を第 1 ビデオ記憶部又は第 2ビデオ記憶部に交互に書き込み、

前記選択手段は、前記グラフィック画像生成手段により、第 1グラフィック記憶部にグラフィック静止画像が書き込まれている時間帯において第 2グラフィック記憶部からグラフィック静止画像を読み出し、第 2グラフィック記憶部にダラブイック静止画像が書き込まれている時間帯において第 1グラフィック記憶部からグラフィック静止画像を読み出し、前記ビデオ画像生成手段により、第 1ビデォ記憶部にビデオ静止画像が囲まれている時間帯において第 2ビデオ記憶部からビデオ静止画像を読み出し、第 2ビデオ記憶部にビデオ静止画像が囲まれている時間帯において第 1ビデオ記憶部からビデオ静止画像を読み出し、読み出したグラフィック静止画像とビデオ静止画像とから各静止画像を構成する画素を選択する

ことを特徴とする請求の範囲 11に記載の動画像合成装置。

13. 前記グラフィック画像生成手段は、前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影し、さらにレンダリング処理を施してグラフィック静止画像を生成する

ことを特徴とする請求の範囲 12に記載の動画像合成装置。

14. 前記ビデオ画像生成手段は、

前記スクリーン面情報により示される形状に合わせて、前記ビデオ静止画像を変形して、変形ビデオ静止画像を生成する画像変形手段を含み、

ことを特徴とする請求の範囲 13に記載の動画像合成装置。

15. 前記オブジェクトは複数のスクリーン面を有し、

前記オブジェクト情報は、複数のスクリーン面の形状を示す情報を含み、前記グラフィック画像生成手段は、複数のスクリーン面の形状を示す情報毎に、スクリーン面情報を算出し、

前記ビデオ画像生成手段は、複数のビデオ動画像からそれぞれビデオ静止画像を取得し、前記複数のスクリーン面情報により示される位置に、それぞれ取得した複数のビデオ静止画像を書き込む

ことを特徴とする請求の範囲 14に記載の動画像合成装置。

16. 前記ビデオ画像生成手段は、

複数のビデオ動画像毎に、決定された優先順位に基づいて、ビデオ動画像からビデオ静止画像を取得するビデオ画像復号手段と、算出された複数のスクリーン面情報と、スクリーン面毎に決定された優先順位とに基づいて、投影スクリーン面毎に投影スクリーン面をマスクする位置を算出するマスク位置算出手段と、

前記ビデオ画像生成手段は、マスク処理の施された変形ビデオ静止画像を前記ビデオ静止画像記憶手段に書き込む

ことを特徴とする請求の範囲 15に記載の動画像合成装置。

17. 前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、前記視点に近いスクリーン面ほど、優先順位が高くなるように優先順位を決定することを特徴とする請求の範囲 16に記載の動画像合成装置。

18. 前記優先順位決定手段は、算出された複数のスクリーン面情報を用いて、投影スクリーン面の面積を算出し、算出された面積が大きいスクリーン面ほど、優先順位が高くなるように優先順位を決定する

ことを特徴とする請求の範囲 16に記載の動画像合成装置。

19. 前記ビデオ画像復号手段は、優先順位が最も高いビデオ動面像については、ビデオ動画像から全てのビデオ静止画像を取得し、優先順位の低いビデオ動画像ほど、ビデオ動画像から間引くビデオ静止画像が多くなるようにビデオ静止画像を取得する

ことを特徴とする請求の範囲 16に記載の動画像合成装置。

20. 前記ビデオ画像復号手段は、取得するビデオ静止画像の輝度を低下させる画質補正部を含み、

優先順位が最も高いビデオ動画像については、ビデオ静止画像の輝度を低下させず、優先順位の低いビデオ動画像ほど、ビデオ静止画像の輝度がより低くなるように捕正する

ことを特徴とする請求の範囲 16に記載の動画像合成装置。

21. オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを合成し、 3次元空間におけるオブジェクトの形状及び位置を示すオブジェクト情報を記憶している情報記憶手段と、画像記憶手段とを備える動画像合成装置で用いられる動画像合成方法であって、

外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得ステップと、

3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付ステップと、

前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記画像記憶手段に書き込むグラフィック画像生成ステップと、

前記グラフィック静止画像が生成され前記画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記画像記憶手段に書き込むビデオ画像生成ステツプと

を含むことを特徴とする動画像合成方法。

22. オブジェクトを 3次元空間内で移動する視点から見て得られるグラフイツク動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを、オブジェクトのスクリーン面において合成し、 3次元空間におけるオブジェクトの形状及び位置とオブジェクトのスクリーン面の形状とを示すオブジェクト情報を記憶している情報記憶手段と、グラフィック静止画像記憶手段と、ビデオ静止画像記憶手段と、画像記憶手段とを備える動画像合成装置で用レ、られ動画像合成方法であつて、

外部から連続する複数のビデオ静止画像により構成されるビデオ動画像を取得するビデオ動画像取得ステップと、 3次元空間内で移動する 1の視点の位置を示す情報を繰り返し受け付ける受付ステップと、

前記オブジェクト情報を用いて、前記視点から見てオブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記グラフィック静止画像記憶手段に書き込み、スクリーン面の形状を示す情報を含むオブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリ一ン面の形状及び位置を示すスクリーン面情報を算出するグラフィック画像生成ステップと、

前記グラフィック静止画像が生成され前記グラフィック静止画像記憶手段に書き込まれる時間帯において、前記取得したビデオ動画像から繰り返しビデオ静止画像を取り出し、取り出したビデオ静止画像を前記ビデオ静止画像記憶手段に書き込むビデオ画像生成ステップと、

前記算出されたスクリーン面情報を用いて、前記グラフィック静止画像記憶手段に記憶されているダラフィック静止画像又は前記ビデオ静止画像記憶手段に記憶されているビデオ静止画像から各静止画像を構成する画素を選択し、選択した画素を前記画像記憶手段に書き込む選択ステップと

を含むことを特徴とする動画像合成方法。

23. オブジェクトを 3次元空間内で移動する視点から見て得られるグラフィック動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを合成し、 3次元空間におけるオブジェクトの形状及び位置を示すオブジェクト情報を記憶してレ、る情報記憶手段と、画像記憶手段とを備えるコンピュータで用いられる動画像合成プログラムを記録している記録媒体であって、

前記動画像合成プログラムは、

を含むことを特徴とする記録媒体。

24. オブジェクトを 3次元空間内で移動する視点から見て得られるグラフイツク動画像と、複数のビデオ静止画像から構成されるビデオ動画像とを、オブジェクトのスクリーン面において合成し、 3次元空間におけるオブジェクトの形状及び位置とオブジェク卜のスクリーン面の形状とを示すオブジェクト情報を記憶している情報記憶手段と、グラフィック静止画像記憶手段と、ビデオ静止画像記憶手段と、画像記憶手段とを備えるコンピュータで用いられ動画像合成プログラムを記録している記録媒体であって、

前記動画像合成プログラムは、

前記ォブジェクト情報を用いて、前記視点から見てォブジェクトを投影面に投影して得られるグラフィック静止画像を生成し、生成したグラフィック静止画像を前記グラフィック静止画像記憶手段に書き込み、スクリ一ン面の形状を示す情報を含むオブジェクト情報を用いて、前記視点から見てスクリーン面を前記投影面に投影して得られる投影スクリーン面の形状及び位置を示すスクリーン面情報を算出するグラフィック画像生成ステップと、

前記算出されたスクリーン面情報を用いて、前記グラフィック静止画像記憶手段に記憶されているグラフィック静止画像又は前記ビデオ静止画像記憶手段に記億されているビデオ静止画像から各静止画像を構成する画素を選択し、選択した画素を前記画像記憶手段に書き込む選択ステップと

を含むことを特徴とする記録媒体。