JPWO2020036214A1 - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できる画像生成装置、画像生成方法及びプログラムを提供する。取得管理データ記憶部（３０）は、取得管理データを記憶する。画素値記憶部（３２）は、画素値記憶部（３２）から画素値を取得することが決定される画素の画素値を記憶する。取得決定部（３４）は、取得管理データに基づいて、各画素について画素値記憶部（３２）から画素値を取得するか否かを決定する。画素値決定部（３８）は、画素値記憶部（３２）から画素値を取得することが決定される画素については、画素値記憶部（３２）から取得される画素値を当該画素の画素値として決定する。画素値決定部（３８）は、画素値記憶部（３２）から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

ゲームのプレイ状況を表す背景画像と、文字、図形、又は、記号などの二次元オブジェクトによってゲームにおけるユーザインタフェースが表された前景画像とを、重畳させた重畳画像を、所定のフレームレートで生成してフレームバッファに描画することがある。

また、光学系を含むヘッドマウントディスプレイによる立体視ができるよう、歪み補正された左眼用画像及び右眼用画像をそれぞれユーザの左眼の円形視野範囲と右眼の円形視野範囲に含む矩形の三次元画像を生成してフレームバッファに描画することがある。

例えば上述の前景画像において、二次元オブジェクトが配置されるべき領域がデザイナー等により予め定められており、当該領域外の画素には無色透明を表す画素値が設定されることが予め定められていることがある。

また例えば、上述した矩形の三次元画像では、円形視野範囲外の画素には黒色を表す画素値が設定されることが予め定められている。

ここで例えば、無色透明を表す画素値や黒色を表す画素値などといった所定値が画素値として設定されることが予め定められている画素についてまで他の画素と同サイズの記憶容量をフレームバッファに確保する必要はない。例えば１つの画素の色及び透過度を記憶するために３２ビットの記憶容量が必要である画像において、画素値として所定値が設定されることが予め定められている画素についてまで３２ビットの記憶容量をフレームバッファに確保する必要はない。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できる画像生成装置、画像生成方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像生成装置は、画素値を記憶する画素値記憶部と、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを記憶する取得管理データ記憶部と、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定部と、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得部と、前記各画素の画素値を決定する画素値決定部と、を含み、前記画素値記憶部は、前記画素値記憶部から画素値を取得することが決定される画素の画素値を記憶し、前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。

本発明の一態様では、前記取得管理データは、それぞれ複数の前記画素に対応付けられる個別取得管理データを複数含み、前記取得決定部は、前記個別取得管理データに基づいて、当該個別取得管理データに対応付けられる複数の画素の画素値を前記画素値記憶部から取得するか否かを決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される、前記個別取得管理データに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定する。

この態様では、前記個別取得管理データは、前記画像内の矩形領域を占める複数の画素に対応付けられていてもよい。

また、本発明の一態様では、前記画素値記憶部は、画素値及びアルファ値を記憶し、前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定し、前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値及びアルファ値として決定し、前記画素値決定部により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成する画像生成部、をさらに含む。

また、本発明の一態様では、前記取得管理データは、前記画像内の所与の領域を占める画素については前記画素値記憶部から画素値を取得しないことを示す。

また、本発明に係る画像生成方法は、画素値を画素値記憶部に記憶させる画素値記憶ステップと、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶ステップと、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定ステップと、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得ステップと、前記各画素の画素値を決定する画素値決定ステップと、を含み、前記画素値記憶ステップでは、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、前記画素値決定ステップでは、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定ステップでは、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。

また、本発明に係るプログラムは、画素値を画素値記憶部に記憶させる画素値記憶手順、画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶手順、前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定手順、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得手順、前記各画素の画素値を決定する画素値決定手順、をコンピュータに実行させ、前記画素値記憶手順では、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、前記画素値決定手順では、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、前記画素値決定手順では、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。

本発明の一実施形態に係る画像処理装置の構成の一例を示す図である。 前景画像に対応付けられる取得管理データのデータ構造の一例を模式的に示す図である。 三次元画像に対応付けられる取得管理データのデータ構造の一例を模式的に示す図である。 本発明の一実施形態に係る画像処理装置の機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る画像処理装置１０の構成の一例を示す図である。本実施形態に係る画像処理装置１０は、例えば、ゲームコンソール、携帯型ゲーム端末、パーソナルコンピュータ等である。図１に示すように、本実施形態に係る画像処理装置１０は、プロセッサ１２、記憶部１４、操作部１６、表示部１８、を含んでいる。

プロセッサ１２は、画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ１２には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。

記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。また、本実施形態に係る記憶部１４には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

操作部１６は、キーボードやマウス、あるいはゲームコンソールのコントローラ等であって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。

表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。また表示部１８は、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。

以下、図２及び図３に例示する取得管理データ２０を用いた、本実施形態に係る画像処理装置１０における画像に含まれる画素の画素値を記憶するためのフレームバッファの記憶容量の節約の一例について説明する。

図２は、本実施形態に係る取得管理データ２０の一例を模式的に示す図である。

ここでは例えば、所定のフレームレートで（例えば１／６０秒毎に）背景画像と前景画像とを重畳した重畳画像が生成されることとする。ここで背景画像は例えば、仮想三次元空間内に配置されたゲームキャラクタを表す仮想三次元オブジェクトを当該仮想三次元空間内の視点から見たゲームのプレイ状況を表すフレーム画像であってもよい。また前景画像は例えば、ゲームにおけるユーザインタフェースの情報を表すフレーム画像であってもよい。ここで前景画像は、文字、図形、又は、記号である二次元オブジェクトを表すフレーム画像であってもよい。そして図２に示す取得管理データ２０は、当該前景画像に対応付けられる取得管理データ２０の一例である。

例えば仮想三次元空間内に配置された仮想三次元オブジェクトを当該仮想三次元空間内の視点から見たゲームのプレイ状況はグラフィックスにより表現されることが多いため、その表現が多少ぼけても気にならない可能性が高い。一方で、文字、図形、又は、記号である二次元オブジェクトが配置されたフレーム画像については、解像度が低いと、ぼけてしまうため、ユーザはその内容を読み取りにくい。

このことを踏まえ、以下の説明では例えば、背景画像よりも前景画像の方が、解像度が高いこととする。そして例えば、前景画像の解像度となるよう背景画像をリサイズした上で、前景画像とリサイズ後の背景画像とを重畳させることで、重畳画像が生成されることとする。以下の説明では例えば、前景画像とリサイズ後の背景画像に対してアルファブレンド処理を実行することにより重畳画像が生成されることとする。

また以下の説明では例えば、記憶部１４内に、背景画像の画素値が記憶されるフレームバッファの領域と、前景画像の画素値及びアルファ値が記憶されるフレームバッファの領域と、が別に設けられる。以下、背景画像の画素値が記憶されるフレームバッファを背景フレームバッファと呼び、前景画像の画素値及びアルファ値が記憶されるフレームバッファを前景フレームバッファと呼ぶこととする。

ここで例えば、背景フレームバッファに記憶される１つの画素の画素値のサイズは２４ビットであることとする。また例えば、前景フレームバッファに記憶される１つの画素の画素値のサイズは２４ビットでアルファ値のサイズは８ビットであることとする。そのため、１つの画素の画素値及びアルファ値を記憶するための前景フレームバッファの記憶容量は３２ビットとなる。なお、１つの画素の赤成分、緑成分、青成分の画素値のサイズがそれぞれ８ビットであってもよい。

図２に示す取得管理データ２０には、複数の個別取得管理データ２２が含まれている。図２に示す１つの個別取得管理データ２２は、前景画像をそれぞれ複数の画素が属する複数の画素ブロックに分割した際の１つの画素ブロックに対応付けられる。ここで例えば、１つの画素ブロックに属する画素の数は１４０００であり、当該画素ブロックに属する画素の画素値のサイズの合計は５６キロバイトであることとする。

また例えば、当該画素ブロックは前景画像内の矩形領域を占める複数の画素であってもよい。また図２に示されている、取得管理データ２０に含まれるそれぞれの個別取得管理データ２２の位置は、前景画像内における当該個別取得管理データ２２に対応付けられる画素ブロックの位置に対応付けられている。

図２に示す取得管理データ２０は、例えば、前景フレームバッファから画素値及びアルファ値を取得するか否かを示すデータである。ここで例えば、取得管理データ２０に含まれる１つの個別取得管理データ２２は、例えば前景フレームバッファから画素値及びアルファ値を取得するか否かを示す１ビットのフラグであってもよい。そして例えば、前景フレームバッファから画素値及びアルファ値を取得することを示す個別取得管理データ２２には値として１が設定されてもよい。また、前景フレームバッファから画素値及びアルファ値を取得しないことを示す個別取得管理データ２２には値として０が設定されてもよい。

以下、値として１が設定された個別取得管理データ２２を第１種個別取得管理データ２２ａと呼び、値として０が設定された個別取得管理データ２２を第２種個別取得管理データ２２ｂと呼ぶこととする。図２の例では、ハッチが付されている個別取得管理データ２２が第１種個別取得管理データ２２ａに相当し、ハッチが付されていない個別取得管理データ２２が第２種個別取得管理データ２２ｂに相当する。

図２の例では、例えばデザイナー等により、前景画像にユーザインタフェースの情報を配置できる領域が予め設定されており、当該領域外の画素には無色透明を表す画素値などといった所定値が設定されることが予め定められていることとする。このような場合には例えば、図２に示すように、前景画像にユーザインタフェース等の情報を配置できる領域に対応付けられる個別取得管理データ２２として、第１種個別取得管理データ２２ａが設定される。図２の例では左下の矩形領域に対応付けられる個別取得管理データ２２として第１種個別取得管理データ２２ａが設定されている。そして当該矩形領域以外の画素に対応付けられる個別取得管理データ２２として第２種個別取得管理データ２２ｂが設定されている。

ここで図２の例では例えば、第１種個別取得管理データ２２ａに対応付けられる画素については、当該画素の画素値及びアルファ値が記憶されている前景フレームバッファへのアクセスが行われる。ここでは例えば、１つの第１種個別取得管理データ２２ａに対応付けられる１４０００画素については、当該１４０００画素のそれぞれについての画素値及びアルファ値が記憶されている前景フレームバッファへのアクセスが行われる。そして当該１４０００画素のそれぞれについての、当該画素の画素値及びアルファ値が取得される。そして当該１４０００画素については、取得された画素値及びアルファ値が当該画素の画素値及びアルファ値として決定される。

一方、第２種個別取得管理データ２２ｂに対応付けられる画素については、前景フレームバッファへのアクセスは行われない。そして当該第２種個別取得管理データ２２ｂに対応付けられる１４０００画素のすべてについて、所定値が当該画素の画素値及びアルファ値として決定される。ここで例えば無色透明を表す画素値及びアルファ値が当該画素の画素値及びアルファ値として決定されてもよい。このようにすれば第２種個別取得管理データ２２ｂに対応付けられる画素については重畳画像に背景画像の内容が表れることとなる。

図３は、本実施形態に係る取得管理データ２０の別の一例を模式的に示す図である。

ここでは例えば、所定のフレームレートで（例えば１／６０秒毎に）三次元画像が生成されることとする。当該三次元画像は、例えば、光学系を含むヘッドマウントディスプレイによる立体視ができるよう、歪み補正された左眼用画像及び右眼用画像をそれぞれユーザの左眼の円形視野範囲と右眼の円形視野範囲に含む矩形の画像である。そして図３に示す取得管理データ２０は、当該三次元画像に対応付けられる取得管理データ２０の一例である。

図３に示す取得管理データ２０には、複数の個別取得管理データ２２が含まれている。図３に示す１つの個別取得管理データ２２は、三次元画像をそれぞれ複数の画素が属する複数の画素ブロックに分割した際の１つの画素ブロックに対応付けられる。

また例えば、当該画素ブロックは前景画像内の矩形領域を占める複数の画素であってもよい。また図３に示されている、取得管理データ２０に含まれるそれぞれの個別取得管理データ２２の位置は、前景画像内における当該個別取得管理データ２２に対応付けられる画素ブロックの位置に対応付けられている。

図３に示す取得管理データ２０は、例えば、フレームバッファから画素値を取得するか否かを示すデータである。ここで例えば、取得管理データ２０に含まれる１つの個別取得管理データ２２は、例えばフレームバッファから画素値を取得するか否かを示す１ビットのフラグであってもよい。そして例えば、フレームバッファから画素値を取得することを示す個別取得管理データ２２には値として１が設定され、フレームバッファから画素値を取得しないことを示す個別取得管理データ２２には値として０が設定されてもよい。

図３の例でも、値として１が設定された個別取得管理データ２２を第１種個別取得管理データ２２ａと呼び、値として０が設定された個別取得管理データ２２を第２種個別取得管理データ２２ｂと呼ぶこととする。図３の例でも、ハッチが付されている個別取得管理データ２２が第１種個別取得管理データ２２ａに相当し、ハッチが付されていない個別取得管理データ２２が第２種個別取得管理データ２２ｂに相当する。

また図３には、三次元画像におけるユーザの左眼の円形視野範囲と右眼の円形視野範囲にそれぞれ対応付けられる円形の視野領域２４が２つ示されている。本実施形態では例えば、当該視野領域２４は、三次元画像内の所与の領域に対応付けられることとする。そして図３の例では含まれる画素のすべてが視野領域２４外である画素ブロックに対応付けられる個別取得管理データ２２が第２種個別取得管理データ２２ｂとして設定される。そして含まれる画素の一部又は全部が視野領域２４内である画素ブロックに対応付けられる個別取得管理データ２２が第１種個別取得管理データ２２ａとして設定される。

図３の例では、第１種個別取得管理データ２２ａに対応付けられる画素については、当該画素の画素値が記憶されているフレームバッファへのアクセスが行われる。ここでは例えば、１つの第１種個別取得管理データ２２ａに対応付けられる複数の画素については、当該複数の画素のそれぞれについての画素値が記憶されているフレームバッファへのアクセスが行われる。そして当該複数の画素のそれぞれについての、当該画素の画素値が取得される。そして当該複数の画素については、取得された画素値が当該画素の画素値として決定される。

一方、第２種個別取得管理データ２２ｂに対応付けられる画素については、当該画素の画素値が記憶されているフレームバッファへのアクセスは行われない。当該画素については所定値が当該画素の画素値として決定される。ここで例えば黒色を表す画素値が当該画素の画素値として決定されてもよい。このようにすれば三次元画像内の視野領域２４の外の領域については黒色となる。

三次元画像では、円形視野範囲外の領域内の画素の画素値として、例えば黒色を表す画素値などといった所定値が設定されることが予め定められている。そのため上述のようにして含まれる画素のすべてが視野領域２４外である画素ブロックに対応付けられる第２種個別取得管理データ２２ｂに対応付けられる画素については、黒色を表す画素値が当該画素の画素値として決定されても問題はない。

本実施形態では、図２に示す取得管理データ２０においても図３に示す取得管理データ２０においても、第１種個別取得管理データ２２ａに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量が確保される。一方で、第２種個別取得管理データ２２ｂに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量は確保されない。そして本実施形態では例えば、第２種個別取得管理データ２２ｂに対応付けられる画素の画素値を記憶するためのフレームバッファの記憶容量に相当する記憶部１４内の領域については、例えばフレームバッファとしての用途以外に利用可能となる。

なお取得管理データ２０そのものについては、記憶部１４においてフレームバッファとして確保されている領域に記憶されてもよいし、記憶部１４においてフレームバッファとして確保されている領域外に記憶されてもよい。

以上のようにして本実施形態によれば、画素値として所定値が設定されることが予め定められている画素の画素値を記憶するためのフレームバッファの記憶容量を節約できることとなる。例えば図２を参照して説明した例では、前景画像に含まれるすべての画素の画素値及びアルファ値が前景フレームバッファに記憶される場合と比較して、記憶部１４に前景フレームバッファとして確保される領域のサイズが節約できることとなる。また例えば図３を参照して説明した例では、三次元画像に含まれるすべての画素の画素値がフレームバッファに記憶される場合と比較して、記憶部１４にフレームバッファとして確保される領域のサイズが節約できることとなる。

なお取得管理データ２０を記憶するための記憶容量が記憶部１４に必要ではあるが、取得管理データ２０の記憶に必要な記憶部１４の記憶容量は、画素値の記憶に必要な記憶部１４の記憶容量に比べて小さい。そのため取得管理データ２０が記憶部１４においてフレームバッファとして確保されている領域に記憶されたとしても全体としてはフレームバッファの記憶容量を節約できることとなる。

また例えば、図２を参照して説明した例において、前景フレームバッファに画素値のみが記憶されアルファ値が記憶されなくてもよい。そしてこの場合に例えば、リサイズ後の背景画像に前景画像を上書きすることで重畳画像が生成されるようにしてもよい。

以下、取得管理データ２０を用いた画素値の決定を中心に、本実施形態に係る画像処理装置１０の機能及び本実施形態に係る画像処理装置１０で実行される処理についてさらに説明する。

図４は、本実施形態に係る画像処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置１０で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。

図４に示すように、画像処理装置１０には、機能的には例えば、取得管理データ記憶部３０、画素値記憶部３２、取得決定部３４、画素値取得部３６、画素値決定部３８、画像生成部４０、表示制御部４２、が含まれる。取得管理データ記憶部３０、画素値記憶部３２は、記憶部１４を主として実装される。取得決定部３４、画素値取得部３６、画素値決定部３８、画像生成部４０は、プロセッサ１２を主として実装される。表示制御部４２は、プロセッサ１２及び表示部１８を主として実装される。画像処理装置１０は、本実施形態における、画像を生成する画像生成装置としての役割を担うこととなる。

以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。

取得管理データ記憶部３０は、本実施形態では例えば、画像に含まれる各画素の画素値を画素値記憶部３２から取得するか否かを示す取得管理データ２０を記憶する。

ここで取得管理データ２０は、それぞれ複数の画素に対応付けられる個別取得管理データ２２を複数含んでいてもよい。そして、図２を参照して説明したように、個別取得管理データ２２が画像内の矩形領域を占める複数の画素に対応付けられていてもよい。図２及び図３の例では、１つの個別取得管理データ２２は、画像内の矩形領域内の複数の画素（画素ブロック）に対応付けられている。なお、１つの個別取得管理データ２２が、１つの画素に対応付けられていてもよい。

また取得管理データ２０は、画像内の所与の領域を占める画素については画素値記憶部３２から画素値を取得しないことを示していてもよい。例えば図２の例のように、二次元オブジェクトが配置できる領域外の所与の領域を占める画素に対応付けられる個別取得管理データ２２が、画素値記憶部３２にアクセスしないことを示していてもよい。また例えば図３の例のように、視野領域２４に対応付けられる所与の円形視野範囲の外の所与の領域を占める画素に対応付けられる個別取得管理データ２２が、画素値記憶部３２にアクセスしないことを示していてもよい。

画素値記憶部３２は、本実施形態では例えば、画素値を記憶する。ここで例えば、画素値記憶部３２は、取得決定部３４によって画素値記憶部３２から画素値を取得することが決定される画素の画素値を記憶してもよい。

また画素値記憶部３２が、画素値記憶部３２から画素値を取得することが決定される画素の画素値及びアルファ値を記憶してもよい。

また本実施形態では例えば、画素値記憶部３２から画素値を取得しないことが決定される画素の画素値を記憶するためのフレームバッファの記憶容量は画素値記憶部３２に確保されない。

例えば、図２を参照した説明における前景画像の画素の画素値及びアルファ値が記憶される前景フレームバッファや図３を参照した説明における三次元画像の画素の画素値が記憶されるフレームバッファとして確保される領域が、画素値記憶部３２に相当する。

取得決定部３４は、本実施形態では例えば、取得管理データ２０に基づいて、画像に含まれる各画素について画素値記憶部３２から画素値を取得するか否かを決定する。ここで取得決定部３４は、個別取得管理データ２２に基づいて、当該個別取得管理データ２２に対応付けられる複数の画素の画素値を画素値記憶部３２から取得するか否かを決定してもよい。例えば、第１種個別取得管理データ２２ａに対応付けられる画素については、画素値記憶部３２から画素値を取得することが決定されてもよい。また、第２種個別取得管理データ２２ｂに対応付けられる画素については、画素値記憶部３２から画素値を取得しないことが決定されてもよい。

画素値取得部３６は、本実施形態では例えば、画素値記憶部３２から画素値を取得することが決定される画素の画素値を画素値記憶部３２から取得する。

画素値決定部３８は、本実施形態では例えば、画像に含まれる各画素の画素値を決定する。ここで画素値決定部３８は、例えば、画素値記憶部３２から画素値を取得することが決定される画素については、画素値記憶部３２から取得される画素値を当該画素の画素値として決定する。また画素値決定部３８は、例えば、画素値記憶部３２から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する。

ここで画素値決定部３８が、画素値及びアルファ値を決定してもよい。例えば画素値記憶部３２から画素値を取得することが決定される画素については、画素値記憶部３２から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定してもよい。また例えば、画素値記憶部３２から画素値を取得しないことが決定される画素については、当該画素の画素値及びアルファ値として所定値を決定してもよい。図２を参照して説明した例では、当該所定値は無色透明を表す画素値及びアルファ値である。また図３を参照して説明した例では、当該所定値は黒色を表す画素値である。

また画素値決定部３８が、画素値記憶部３２から画素値を取得しないことが決定される、第２種個別取得管理データ２２ｂに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定してもよい。ここで第２種個別取得管理データ２２ｂに対応付けられる複数の画素についてはすべて、所定値が当該複数の画素の画素値及びアルファ値として決定されてもよい。

画像生成部４０は、本実施形態では例えば、画素値決定部３８により決定される画素値に基づく画像を生成する。ここで画像生成部４０は、画素値決定部３８により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成してもよい。例えば図２を参照して説明したように、画像生成部４０は、画素値決定部３８により画素値が決定される前景画像と、背景フレームバッファに画素の画素値が記憶されている背景画像と、を重畳することにより、重畳画像を生成してもよい。また前景画像とリサイズ後の背景画像とを重畳することにより重畳画像が生成されてもよい

また例えば、画素値決定部３８が、重畳画像に含まれる各画素の画素値を決定してもよい。ここで例えば、前景画像における画素のアルファ値に基づくアルファブレンド処理が実行されてもよい。例えば前景画像に含まれる画素のアルファ値と、当該画素の画素値と、当該画素に対応付けられる背景画像内の画素の画素値とに基づいて、当該画素に対応付けられる重畳画像内の画素の画素値が決定されてもよい。そして画像生成部４０が、このようにして決定される画素値に基づいて重畳画像を生成してもよい。

また図３を参照して説明したように、画像生成部４０は、三次元画像を生成してもよい。

表示制御部４２は、本実施形態では例えば、画像生成部４０が生成する画像を表示部１８に表示させる。ここで例えば図２を参照して説明した重畳画像がディスプレイに表示されるようにしてもよい。また例えば図３を参照して説明した三次元画像がＨＭＤに表示されるようにしてもよい。

ここで、本実施形態に係る画像処理装置１０で行われる処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。本処理例に示す処理は、図２を参照して説明した例に相当する。

なお本処理例では、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されることとする。また本処理例では、所定のフレームレートで、背景フレームバッファに当該フレームにおける背景画像の画素値が記憶されることとする。また所定のフレームレートで、前景フレームバッファに当該フレームにおける第１種個別取得管理データ２２ａに対応付けられる前景画像の画素の画素値及びアルファ値が記憶されることとする。

まず取得決定部３４が、取得管理データ記憶部３０から、当該フレームにおける取得管理データ２０を取得する（Ｓ１０１）。

そして取得決定部３４が、Ｓ１０１に示す処理で取得された取得管理データ２０に含まれる個別取得管理データ２２のうちから、当該フレームにおいて、Ｓ１０３〜Ｓ１０７に示す処理が未実行である個別取得管理データ２２を１つ選択する（Ｓ１０２）。

そして取得決定部３４が、Ｓ１０２に示す処理で選択された個別取得管理データ２２に設定されている値を確認する（Ｓ１０３）。

ここで値が１であることが確認されたとする。すなわち、当該個別取得管理データ２２が第１種個別取得管理データ２２ａであることが確認されたとする。この場合は、画素値取得部３６が、画素値記憶部３２にアクセスして、当該第１種個別取得管理データ２２ａに対応付けられる画素ブロックに属する複数の画素のそれぞれについての画素値及びアルファ値を取得する（Ｓ１０４）。

そして画素値決定部３８が、当該画素ブロックに属する複数の画素のそれぞれについて、Ｓ１０４に示す処理で取得された当該画素の画素値及びアルファ値を、前景画像に含まれる当該画素の画素値及びアルファ値として決定する（Ｓ１０５）。

一方、Ｓ１０３に示す処理で値が０であることが確認されたとする。すなわち、当該個別取得管理データ２２が第２種個別取得管理データ２２ｂであることが確認されたとする。この場合は、画素値決定部３８が、当該第２種個別取得管理データ２２ｂに対応付けられる画素ブロックに属するすべての画素について、前景画像に含まれる当該画素の画素値及びアルファ値として所定値を決定する（Ｓ１０６）。ここでは例えば当該画素の画素値及びアルファ値として無色透明を表す画素値及びアルファ値が決定される。

そして画素値決定部３８が、当該画素ブロックに属する複数の画素に対応付けられる重畳画像内の複数の画素についての画素値を決定する（Ｓ１０７）。ここで例えば、Ｓ１０５又はＳ１０６に示す処理で決定された前景画像に含まれる画素の画素値及びアルファ値と、当該画素に対応付けられる背景画像の画素の画素値と、に基づいて、重畳画像における当該画素の画素値が決定されてもよい。

そして画素値決定部３８が、当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３〜Ｓ１０７に示す処理が実行されたか否かを確認する（Ｓ１０８）。

当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３〜Ｓ１０７に示す処理が実行されていない場合は（Ｓ１０８：Ｎ）、Ｓ１０２に示す処理に戻る。

当該フレームにおいてすべての個別取得管理データ２２についてＳ１０３〜Ｓ１０７に示す処理が実行された場合は（Ｓ１０８：Ｙ）、画像生成部４０が、当該フレームにおける重畳画像を生成する（Ｓ１０９）。ここでは例えば、Ｓ１０７に示す処理で決定された画素値に基づいて当該重畳画像は生成される。

そして表示制御部４２が、Ｓ１０９に示す処理で生成された重畳画像を表示部１８に表示させて（Ｓ１１０）、Ｓ１０１に示す処理に戻る。

本処理例では、Ｓ１０１〜Ｓ１１０に示す処理が所定のフレームレートで繰り返し実行されることとなる。

なお以上の処理例において、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されなくてもよい。例えばすべてのフレームにおいて共通の取得管理データ２０が用いられるようにしてもよい。この場合はＳ１１０に示す処理が終了した際にＳ１０２に示す処理に戻り、次のフレームにおける処理が実行されるようにしてもよい。

次に、本実施形態に係る画像処理装置１０で行われる処理の流れの別の一例を、図６に例示するフロー図を参照しながら説明する。本処理例に示す処理は、図３を参照して説明した例に相当する。

なお本処理例では、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されることとする。また本処理例では、所定のフレームレートで、フレームバッファに当該フレームにおける第１種個別取得管理データ２２ａに対応付けられる三次元画像の画素の画素値が記憶されることとする。

まず取得決定部３４が、取得管理データ記憶部３０から、当該フレームにおける取得管理データ２０を取得する（Ｓ２０１）。

そして取得決定部３４が、Ｓ２０１に示す処理で取得された取得管理データ２０に含まれる個別取得管理データ２２のうちから、当該フレームにおいて、Ｓ２０３〜Ｓ２０６に示す処理が未実行である個別取得管理データ２２を１つ選択する（Ｓ２０２）。

そして取得決定部３４が、Ｓ２０２に示す処理で選択された個別取得管理データ２２に設定されている値を確認する（Ｓ２０３）。

ここで値が１であることが確認されたとする。すなわち、当該個別取得管理データ２２が第１種個別取得管理データ２２ａであることが確認されたとする。この場合は、画素値取得部３６が、画素値記憶部３２にアクセスして、当該第１種個別取得管理データ２２ａに対応付けられる画素ブロックに属する複数の画素のそれぞれについての画素値を取得する（Ｓ２０４）。

そして画素値決定部３８が、当該画素ブロックに属する複数の画素のそれぞれについて、Ｓ２０４に示す処理で取得された当該画素の画素値を、三次元画像に含まれる当該画素の画素値として決定する（Ｓ２０５）。

一方、Ｓ２０３に示す処理で値が０であることが確認されたとする。すなわち、当該個別取得管理データ２２が第２種個別取得管理データ２２ｂであることが確認されたとする。この場合は、画素値決定部３８が、当該第２種個別取得管理データ２２ｂに対応付けられる画素ブロックに属するすべての画素について、三次元画像に含まれる当該画素の画素値として所定値を決定する（Ｓ２０６）。ここでは例えば当該画素の画素値として黒色を表す画素値が決定される。

そして画素値決定部３８が、当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３〜Ｓ２０６に示す処理が実行されたか否かを確認する（Ｓ２０７）。

当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３〜Ｓ２０６に示す処理が実行されていない場合は（Ｓ２０７：Ｎ）、Ｓ２０２に示す処理に戻る。

当該フレームにおいてすべての個別取得管理データ２２についてＳ２０３〜Ｓ２０６に示す処理が実行された場合は（Ｓ２０７：Ｙ）、画像生成部４０が、当該フレームにおける三次元画像を生成する（Ｓ２０８）。ここでは例えば、Ｓ２０５又はＳ２０６に示す処理で決定された画素値に基づいて当該三次元画像は生成される。

そして表示制御部４２が、Ｓ２０８に示す処理で生成された三次元画像を表示部１８に表示させて（Ｓ２０９）、Ｓ２０１に示す処理に戻る。

本処理例では、Ｓ２０１〜Ｓ２０９に示す処理が所定のフレームレートで繰り返し実行されることとなる。

なお以上の処理例において、所定のフレームレートで、当該フレームにおける取得管理データ２０が取得管理データ記憶部３０に記憶されなくてもよい。例えばすべてのフレームにおいて共通の取得管理データ２０が用いられるようにしてもよい。この場合はＳ２０９に示す処理が終了した際にＳ２０２に示す処理に戻り、次のフレームにおける処理が実行されるようにしてもよい。

なお、本発明は上述の実施形態に限定されるものではない。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (7)

1. 画素値を記憶する画素値記憶部と、
   画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを記憶する取得管理データ記憶部と、
   前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定部と、
   前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得部と、
   前記各画素の画素値を決定する画素値決定部と、を含み、
   前記画素値記憶部は、前記画素値記憶部から画素値を取得することが決定される画素の画素値を記憶し、
   前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
   前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
   ことを特徴とする画像生成装置。
2. 前記取得管理データは、それぞれ複数の前記画素に対応付けられる個別取得管理データを複数含み、
   前記取得決定部は、前記個別取得管理データに基づいて、当該個別取得管理データに対応付けられる複数の画素の画素値を前記画素値記憶部から取得するか否かを決定し、
   前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される、前記個別取得管理データに対応付けられる複数の画素についてはすべて、所定値を当該複数の画素の画素値として決定する、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記個別取得管理データは、前記画像内の矩形領域を占める複数の画素に対応付けられる、
   ことを特徴とする請求項２に記載の画像生成装置。
4. 前記画素値記憶部は、画素値及びアルファ値を記憶し、
   前記画素値決定部は、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値及びアルファ値を当該画素の画素値及びアルファ値として決定し、
   前記画素値決定部は、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値及びアルファ値として決定し、
   前記画素値決定部により画素値及びアルファ値が決定される画像と他の画像とを重畳することにより重畳画像を生成する画像生成部、をさらに含む、
   ことを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
5. 前記取得管理データは、前記画像内の所与の領域を占める画素については前記画素値記憶部から画素値を取得しないことを示す、
   ことを特徴とする請求項１から４のいずれか一項に記載の画像生成装置。
6. 画素値を画素値記憶部に記憶させる画素値記憶ステップと、
   画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶ステップと、
   前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定ステップと、
   前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得ステップと、
   前記各画素の画素値を決定する画素値決定ステップと、を含み、
   前記画素値記憶ステップでは、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、
   前記画素値決定ステップでは、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
   前記画素値決定ステップでは、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
   ことを特徴とする画像生成方法。
7. 画素値を画素値記憶部に記憶させる画素値記憶手順、
   画像に含まれる各画素の画素値を前記画素値記憶部から取得するか否かを示す取得管理データを取得管理データ記憶部に記憶させる取得管理データ記憶手順、
   前記取得管理データに基づいて、前記各画素について前記画素値記憶部から画素値を取得するか否かを決定する取得決定手順、
   前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部から取得する画素値取得手順、
   前記各画素の画素値を決定する画素値決定手順、をコンピュータに実行させ、
   前記画素値記憶手順では、前記画素値記憶部から画素値を取得することが決定される画素の画素値を前記画素値記憶部に記憶させ、
   前記画素値決定手順では、前記画素値記憶部から画素値を取得することが決定される画素については、前記画素値記憶部から取得される画素値を当該画素の画素値として決定し、
   前記画素値決定手順では、前記画素値記憶部から画素値を取得しないことが決定される画素については、所定値を当該画素の画素値として決定する、
   ことを特徴とするプログラム。

Images