JP4432355B2 - Image composition apparatus, method and program thereof, and image reproduction processing apparatus - Google Patents

Description

【００４３】
一方、図３（Ｂ）の方法においては、まず、画像データＩｍＵとその下位階層の画像データＩｍＭとの合成が行われる。画像データＩｍＵの合成割合β１、画像データＩｍＭの合成割合（１−β１）を用いると、合成結果の画像データＩｍＳ３は次式のように表される。
【００４４】
【数７】
ＩｍＳ３＝β１×ＩｍＵ＋（１−β１）×ＩｍＭ … （１０）
【００４５】
次いで、この合成結果の画像データＩｍ３と、画像データＩｍＭに対して下位階層の画像データＩｍＬとの合成が行われる。合成画像データＩｍＳ３の合成割合β２、画像データＩｍＬの合成割合（１−β２）を用いると、合成結果の画像データＩｍＳ４は次式のように表される。
【００４６】
【数８】

【００４７】
式（９）に示す合成画像データＩｍＳ２と式（１１）に示す合成画像データＩｍＳ４とが等しいものとすると、次式が成立する。
【００４８】
【数９】
αＵ＝β１×β２ … （１２）
（１−αＵ）×αＭ＝β２×（１−β１） … （１３）
（１−αＵ）×（１−αＭ）＝１−β２ … （１４）
【００４９】
式（１３）における合成割合β２を式（１２）の関係を用いて消去すると、合成割合β１は、透明度αＵおよびαＭを用いて次式のように表される。
【００５０】
【数１０】
β１＝αＵ／（αＵ＋αＭ−αＵ×αＭ） … （１５）
【００５１】
図３における画像データＩｍＵとその下位階層の画像データＩｍＭを、図１における画像データＩｍＢとその下位階層の画像データＩｍＡに置き換えると、透明度αＵ、αＭはそれぞれ透明度αＢ、αＡに置き換えられる。したがって、式（１５）に示す関係から、式（６）に示す画像データＩｍＢの合成割合Ｓ１１Ｂが導かれる。
【００５２】
（第２の合成部２０）
第２の合成部２０は、第１の合成部１０から出力される合成画像データＩｍＥと、合成画像データＩｍＥの合成元の画像データＩｍＢに対して上位階層の画像データＩｍＣとを入力し、入力した２つの画像データ（ＩｍＥ、ＩｍＣ）を、それぞれの透明度αＥおよびαＣに応じた割合で合成する。この合成結果として、画像データＩｍＦを出力する。
【００５３】
第１の合成部２０についても、たとえば図２に示す第１の合成部１０と同様な構成を用いて実現することができる。すなわち、図２に示す第１の合成部１０と同様な構成を有する第１の合成部２０に対して、画像データＩｍＡ、ＩｍＢの代わりに画像データＩｍＥ、ＩｍＣを入力し、透明度αＡ、αＢの代わりに透明度αＥ、αＣを入力することにより、合成結果として画像データＩｍＦを得ることができる。
【００５４】
（第２の合成部３０）
第２の合成部３０は、第１の合成部２０から出力される合成画像データＩｍＦと最下位階層の画像データＩｍＤとを、後述する透明度決定部５０において決定される合成画像データＩｍＦの透明度αＦに応じた割合で合成する。
【００５５】
図４は、第２の合成部３０の構成の一例を示すブロック図である。
図４に示す第２の合成部３０は、合成割合演算部３１および合成処理部３２を有する。
【００５６】
合成割合演算部３１は、合成画像データＩｍＦの透明度αＦに応じて、最下位階層の画像データＩｍＤの合成割合Ｓ３１を演算する。合成割合Ｓ３１は、次式のように表される。
【００５７】
【数１１】
Ｓ３１＝１−αＦ … （１６）
【００５８】
合成処理部３２は、合成画像データＩｍＦの合成割合を透明度αＦ、画像データＩｍＤの合成割合を合成割合演算部３１において演算された合成割合Ｓ３１として、これら２つの画像データを合成する。合成結果の画像データＩｍＧは、次式のように表される。
【００５９】
【数１２】

【００６０】
式（１７）から分かるように、第２の合成部３０においては、合成画像データＩｍＦを画像データＩｍＤに対する上位階層の画像データとした場合のアルファ・ブレンディングによる画像合成と同等な処理が実行される。
【００６１】
（透明度決定部４０）
透明度決定部４０は、第１の合成部１０から出力される合成画像データＩｍＥの透明度αＥを、合成画像データＩｍＥの合成元の２つの画像データ（ＩｍＡ、ＩｍＢ）の透明度αＡおよびαＢに応じて決定する。すなわち、合成画像データＩｍＥの透明度αＥは、次式のように決定される。
【００６２】
【数１３】
αＥ＝αＡ＋αＢ−αＡ×αＢ … （１８）
【００６３】
式（１８）の関係は、図３（Ｂ）において示す合成割合β２が合成画像データＩｍ３の透明度と等価であることから導き出される。すなわち、式（１１）によって演算される合成画像データＩｍＳ４は、合成画像データＩｍ３を上位階層の画像データ、画像データＩｍＬを下位階層の画像データとし、上位階層の画像データＩｍ３が透明度β２を持つものとした場合における、アルファ・ブレンディング処理と等価である。
合成割合β２は、式（１５）を式（１２）へ代入することにより、次式のように求められる。
【００６４】
【数１４】
β２＝αＵ＋αＭ−αＵ×αＭ … （１９）
【００６５】
図３における画像データＩｍＵとその下位階層の画像データＩｍＭを、図１における画像データＩｍＢとその下位階層の画像データＩｍＡに置き換えると、透明度αＵ、αＭはそれぞれ透明度αＢ、αＡに置き換えられる。したがって、式（１９）に示す関係から、式（１８）に示す透明度αＥが導かれる。
【００６６】
（透明度決定部５０）
透明度決定部５０は、第１の合成部２０から出力される合成画像データＩｍＦＦの透明度αＦを、合成画像データＩｍＦの合成元の２つの画像データ（ＩｍＥ、ＩｍＣ）の透明度αＥおよびαＣに応じて決定する。
透明度αＦは、透明度決定部４０における透明度αＥの式（１８）と同様の関係を用いて決定される。すなわち、式（１８）における透明度αＡおよびαＢを透明度αＥおよびαＣに置き換えることにより、透明度αＦが得られる。
【００６７】
ここで、上述した構成を有する、図１に示す画像合成装置１００の動作を説明する。
第１の合成部１０では、画像データＩｍＡとその上位階層の画像データＩｍＢとが、それぞれの透明度αＡおよびαＢに応じた割合で合成される。この合成結果として、合成画像データＩｍＥが得られる。
透明度決定部４０では、第１の合成部１０において合成される２つの画像データ（ＩｍＡ、ＩｍＢ）の透明度αＡおよびαＢに応じて、第１の合成部１０から出力される合成画像データＩｍＥの透明度αＥが決定される。
【００６８】
また、第１の合成部２０では、第１の合成部１０から出力される合成画像データＩｍＥと、この合成画像データＩｍＥの合成元の画像データＩｍＢに対して上位階層の画像データＩｍＣとが、それぞれの透明度αＥおよびαＣに応じた割合で合成される。この合成結果として、合成画像データＩｍＦが得られる。
透明度決定部５０では、第２の合成部２０において合成される２つの画像データ（ＩｍＥ、ＩｍＣ）の透明度αＥおよびαＣに応じて、第１の合成部２０から出力される合成画像データＩｍＦの透明度αＦが決定される。
【００６９】
第２の合成部３０では、第１の合成部２０から出力される合成画像データＩｍＦと最下位階層の画像データＩｍＤとが、透明度決定部５０において決定される合成画像データＩｍＦの透明度αＦに応じた割合で合成される。この合成結果として、合成画像データＩｍＧが得られる。
【００７０】
以上説明したように、図１に示す画像合成装置１００によれば、上位階層の３つの画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）を合成した結果として得られる合成画像データＩｍＦに対して、これら３つの画像データよりも下位階層に、画像データＩｍＤを合成することができる。すなわち、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。
これにより、最下位階層の画像データＩｍＤを含まない上位階層の合成画像データＩｍＦを取得することが可能になり、合成画像データを利用した画像処理の自由度を高めることができる。
【００７１】
なお、図１に示す例では、初段の第１の合成部１０に縦続接続されている次段の第１の合成部２０において、初段から出力される合成画像データＩｍＥの上位階層に画像データＩｍＣが合成されているが、これを合成画像データＩｍＥの下位階層に合成することも可能である。この場合、第１の合成部２０においては、式（１５）に示す合成割合β１における透明度αＵ、αＭを透明度αＥ、αＣに置き換えた式を用いて、合成画像データＩｍＥを合成割合β１とし、画像データＩｍＣを合成割合（１−β１）として画像合成を実行すれば良い。
【００７２】
また、図１に示す例では、縦続接続される２つの第１の合成部（１０，２０）を用いて４階層の画像を合成する例が示されているが、縦続接続される第１の合成部の段数を更に増やすことによって、５階層以上の画像を合成することも可能である。この場合も、初段の第１の合成部に縦続接続されている次段以降の第１の合成部において、前段から出力される合成画像データの上位階層または下位階層の何れにも画像データを合成することができる。
また、縦続接続される第１の合成部の段数を１段として、３階層の画像を合成することも可能である。
【００７３】
また、第１の合成部は、画像の重ね合わせ順序を設定する順序設定信号に応じて、合成を行なう２つの画像データの階層（上位階層、下位階層）を変更可能な構成にすることもできる。これにより、最下位階層より上位の階層における画像の重ね合わせ順序を自由に変更することが可能になる。
【００７４】
＜第２の実施形態＞
図５は、本発明の第２の実施形態に係る画像合成装置１００Ａの構成の一例を示すブロック図である。
図５に示す画像合成装置１００Ａは、第１の合成手段の実施形態である第１の合成部１０と、第２の合成手段の実施形態である第２の合成部３０と、透明度決定手段の実施形態である透明度決定部４０と、データ取得手段の実施形態であるデータ取得部６０と、記憶部７０とを有する。なお、図１と図５における同一の符号は同一の構成要素を示す。
【００７５】
上述した第１の実施形態においては、第１の合成部を複数段直列に接続することによって４階層以上の画像合成を行うことが可能であるが、第２の実施形態においては、第１の合成部に対してその合成結果を再入力する処理を反復することにより、４階層以上の画像合成が行われる。
【００７６】
データ取得部６０は、画像データＩｍＡおよびＩｍＢとその透明度αＡおよびαＢを、画像データＩｍ１およびＩｍ２とその透明度α１およびα２として、第１の合成部１０および透明度決定部４０に入力する。そして、この入力に応じて第１の合成部１０から出力される合成画像データＩｍ３と、透明度決定部４０において決定される合成画像データＩｍ３の透明度α３とを、記憶部７０に随時格納する。第１の合成部１０における合成画像データＩｍ３の合成処理ならびに透明度決定部４０における透明度α３の決定処理が完了した後で、記憶部７０に格納したこれらの合成画像データＩｍ３および透明度α３を読み出し、画像データＩｍＢの上位階層の画像データＩｍＣとその透明度αＣとともに、第１の合成部１０へ再び入力する。このような第１の合成部１０および透明度決定部４０に対する再入力処理を反復した結果として、最下位階層より上位の階層の各画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）を合成した合成画像データＩｍＦを取得する。
【００７７】
上述した構成を有する画像合成装置１００Ｂについて、データ取得部６０における処理を中心に、その動作を説明する。
図６は、データ取得部６０における処理の流れを説明するためのフローチャートである。
【００７８】
まず、ステップＳＴ１０１において、第１の合成部１０に対する画像データＩｍ１およびＩｍ２の入力、ならびに、透明度決定部４０に対する透明度α１およびα２の入力が行われる。
合成画像データＩｍ３および透明度α３が記憶部７０に格納されていない初期状態においては、外部から与えられる画像データＩｍＡおよびＩｍＢとその透明度αＡおよびαＢが第１の合成部１０および透明度決定部４０に対して入力される。
画像データＩｍＡおよびＩｍＢの合成結果としての合成画像データＩｍ３とその透明度α３が記憶部７０に格納されている状態においては、これらの格納データが記憶部７０から読み出され、画像データＩｍ１および透明度α１として、第１の合成部１０および透明度決定部４０に再び入力される。またこのとき、合成画像データＩｍ３の合成元の画像データＩｍＢに対して上位階層の画像データＩｍＣとその透明度αＣが、画像データＩｍ２および透明度α２として、第１の合成部１０および透明度決定部４０に入力される。
画像データおよび透明度の入力に応じて第１の合成部１０から出力される合成画像データＩｍ３、ならびに、透明度決定部４０において決定される透明度α３は、記憶部７０に随時格納される。
【００７９】
第１の合成部１０における合成画像データＩｍ３の合成処理、ならびに、透明度決定部４０における透明度α３の決定処理が完了すると、次にステップＳＴ１０２において、最下位階層より上位の階層の各画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）の合成が完了したか否かが判定される。合成が完了していないと判定された場合は、ステップＳＴ１０１へ処理が戻され、第１の合成部１０および透明度決定部４０に対する画像データＩｍ１、Ｉｍ２、透明度α１、α２の入力が再び反復される。合成が完了したと判定された場合は、データ取得部６０における処理が終了する。
【００８０】
第２の合成部３０においては、データ取得部６０において取得される合成画像データＩｍＦと最下位階層の画像データＩｍＤとが、データ取得部６０において取得される透明度αＦに応じた割合で合成される。この合成結果として、画像データＩｍＡ、ＩｍＢ、ＩｍＣおよびＩｍＤの合成画像データＩｍＧが得られる。
【００８１】
以上説明したように、図５に示す画像データ合成装置１００Ａにおいても、上位階層の３つの画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）を合成した結果として得られる合成画像データＩｍＦに対して、これら３つの画像データよりも下位階層に、画像データＩｍＤを合成することができる。すなわち、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。
【００８２】
なお、上述の説明では、画像データＩｍＡおよびＩｍＢの合成画像データＩｍ３に対して、その上位階層に画像データＩｍＣを合成するものとしたが、下位階層に画像データＩｍＣを合成しても良い。
【００８３】
また、図１に示す例では、第１の合成部１０および透明度決定部４０に対する入力処理を２回繰り返すことにより、４階層の画像を合成する例が示されているが、入力処理の反復回数を更に増やすことによって、５階層以上の画像を合成することも可能である。この場合においても、第１の合成部１０の合成画像データＩｍ３に対して、その上位階層または下位階層の何れにも画像データを合成することができる。
【００８４】
また、データ取得部６０は、順序設定信号に応じて、与えられる画像データと合成画像データＩｍ３との重ね合わせ順序（上位階層、下位階層の順序）をステップＳＴ１０１の入力処理の度に決定しても良い。これにより、最下位階層より上位の階層における画像の重ね合わせ順序を自由に変更することが可能になる。
【００８５】
＜第３の実施形態＞
図７は、本発明の第３の実施形態に係る画像合成装置１００Ｂの構成の一例を示すブロック図である。
図７に示す画像合成装置１００Ｂは、図１に示す画像合成装置１００と同一の構成を有するとともに、データ変換処理手段の実施形態である画質改善処理部８０を有する。
【００８６】
第３の実施形態に係る画像合成装置においては、上述した第１の実施形態に係る画像合成装置の第１の合成部から出力される合成画像データに対して、画質改善処理などのデータ変換処理が施される。
【００８７】
画質改善処理部８０は、第１の合成部２０から出力される合成画像データＩｍＦに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理を実行する。
図７の例において、画質改善処理部８０は、第１の合成部２０と第２の合成部３０との間に接続されている。画質改善処理部８０において画質改善処理が施された画像データＩｍＦＡは、第２の合成部３０において画像データＩｍＤと合成される。
【００８８】
上述した構成を有する画像合成装置１００Ｂによれば、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成画像データに対して画質改善処理を施した上で、その下位階層に画像データＩｍＤを合成することができる。したがって、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０の処理によってかえって画質が劣化してしまうような画像データＩｍＤについては画質改善処理を施すことなく、これを最下位階層に合成することができる。
【００８９】
たとえば、画質改善処理部８０においてアンチフリッカ・フィルタ処理が行われるものとし、画像データＩｍＡ、ＩｍＢ、ＩｍＣとして静止画像データ、画像データＩｍＤとして動画像データが入力されるものとすると、動画像データに対してアンチフリッカ・フィルタ処理を施すことなく静止画像データの画質改善を図ることができるとともに、動画像を静止画像よりも下位の階層に合成することが可能となる。
【００９０】
なお、図７の例においては、画質改善処理部８０が第１の合成部２０と第２の合成部３０との間に挿入されているが、この例に限らず、たとえば第１の合成部１０と第１の合成部２０との間に挿入しても良い。
また、第１の実施形態において述べた画像合成装置１００に対する種々の変形は、画像合成装置１００Ｂについても適用可能である。この変形により第１の合成部の段数が３段以上になる場合においても、画質改善処理部の挿入位置は任意であり、何れの段の出力に挿入しても良い。画質改善処理部の挿入数は任意であり、複数の段に挿入しても良い。
【００９１】
また、画質改善処理部の代わりに、他の種々のデータ変換処理を行うユニットを適用しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの下位階層に合成することが可能になる。
【００９２】
＜第４の実施形態＞
図８は、本発明の第４の実施形態に係る画像合成装置１００Ｃの構成の一例を示すブロック図である。
図８に示す画像合成装置１００Ｃは、図５に示す画像合成装置１００Ａと同一の構成を有するとともに、データ変換処理手段の実施形態である画質改善処理部８０Ａを有する。
【００９３】
第４の実施形態に係る画像合成装置においては、上述した第２の実施形態に係る画像合成装置のデータ取得部において取得される合成画像データまたは第１の合成部から出力される合成画像データに対して、画質改善処理などのデータ変換処理が施される。
【００９４】
画質改善処理部８０Ａは、図７に示す画質改善処理部８０と同等の機能を有するユニットであり、データ取得部６０から出力される合成画像データＩｍＦに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理を実行する。
図８の例において、画質改善処理部８０Ａは、データ取得部６０と第２の合成部３０との間に接続されている。画質改善処理部８０Ａにおいて画質改善処理が施された画像データＩｍＦＡは、第２の合成部３０において画像データＩｍＤと合成される。
【００９５】
上述した構成を有する画像合成装置１００Ｃにおいても、既に述べた画像合成装置１００Ｂと同様の効果を奏することができる。すなわち、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０Ａの処理によってかえって画質が劣化してしまうような画像データＩｍＤについては画質改善処理を施すことなく、これを最下位階層に合成することができる。
【００９６】
なお、図７の例においては、画質改善処理部８０Ａがデータ取得部６０と第２の合成部３０との間に挿入されているが、この例に限らず、たとえばデータ取得部６０と第１の合成部１０との間に挿入しても良い。
また、第２の実施形態において述べた画像合成装置１００Ａに対する種々の変形は、画像合成装置１００Ｃについても適用可能である。
また、画質改善処理部の代わりに、他の種々のデータ変換処理を行うユニットを適用しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの下位階層に合成することが可能になる。
【００９７】
＜第５の実施形態＞
第５の実施形態においては、上述した第１ないし第４の実施形態における第１の合成部および第２の合成部の処理が変更される。すなわち、第２の合成部において最下位階層の画像データの合成を行うか、または最上位階層の画像データの合成を行うかが、順序設定信号に応じて設定される。第１の合成部および第２の合成部における画像データの合成割合は、この順序設定に応じて変更される。
【００９８】
まず、第５の実施形態に係る画像合成装置に含まれる第１の合成部１０Ａ、２０Ａおよび第２の合成部３０Ａについて説明する。
【００９９】
（第１の合成部１０Ａ）
図１、図５、図７、図８に示す画像合成装置における第１の合成部１０は、第５の実施形態に係る画像合成装置において、たとえば図９に示す第１の合成部１０Ａに置き換えられる。
図９は、本発明の第５の実施形態に係る画像合成装置に含まれる第１の合成部１０Ａの構成の一例を示す図である。図９に示す第１の合成部１０Ａは、図２に示す第１の合成部１０と同一の構成を有するとともに、合成割合演算部１３と、選択部１４、１５とを有する。
【０１００】
合成割合演算部１３は、画像データＩｍＢの透明度αＢに応じて、画像データＩｍＡの合成割合Ｓ１３を演算し、選択部１４に出力する。合成割合Ｓ１３は、次式のように表される。
【０１０１】
【数１５】
Ｓ１３＝１−αＢ … （２０）
【０１０２】
選択部１４は、合成割合演算部１１において演算される合成割合Ｓ１１Ａと、合成割合演算部１３において演算される合成割合Ｓ１３とを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＡの合成割合Ｓ１４として合成処理部１２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、合成割合Ｓ１１Ａを選択し、重ね合わせ順序が第２の順序に設定される場合、合成割合Ｓ１３を選択する。
【０１０３】
選択部１５は、合成割合演算部１１において演算される合成割合Ｓ１１Ｂと、画像データＩｍＢの透明度αＢとを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＢの合成割合Ｓ１５として合成処理部１２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、合成割合Ｓ１１Ｂを選択し、重ね合わせ順序が第２の順序に設定される場合、透明度αＢを選択する。
【０１０４】
（第１の合成部２０Ａ）
図１、図７に示す画像合成装置における第２の合成部２０は、第５の実施形態に係る画像合成装置において、図９に示す第１の合成部１０Ａと同等な構成を有する第１の合成部２０Ａに置き換えられる。
すなわち、図９に示す第１の合成部１０Ａと同等な構成を有する第１の合成部２０Ａに対して、画像データＩｍＡおよびＩｍＢの代わりに画像データＩｍＥおよびＩｍＣを入力し、透明度αＡおよびαＢの代わりに透明度αＥおよびαＣを入力することにより、合成結果として合成画像データＩｍＦが得られる。
【０１０５】
（第２の合成部３０Ａ）
図１、図５、図７、図８に示す画像合成装置における第２の合成部３０は、第５の実施形態に係る画像合成装置において、たとえば図１０に示す第２の合成部３０Ａに置き換えられる。
図１０は、本発明の第５の実施形態に係る画像合成装置に含まれる第２の合成部３０Ａの構成の一例を示す図である。図１０に示す第２の合成部３０Ａは、図４に示す第２の合成部３０と同等の構成を有するとともに、合成割合演算部３３と、選択部３４、３５とを有する。
【０１０６】
合成割合演算部３３は、画像データＩｍＤの透明度αＤに応じて、合成画像データＩｍＦの合成割合Ｓ３３を演算する。合成割合Ｓ３３は、次式のように表される。
【０１０７】
【数１６】
Ｓ３３＝１−αＤ … （２１）
【０１０８】
選択部３４は、合成画像データＩｍＦの透明度αＦと、合成割合演算部３３において演算される合成割合Ｓ３３とを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＦの合成割合Ｓ３４として合成処理部３２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、透明度αＦを選択し、重ね合わせ順序が第２の順序に設定される場合、合成割合Ｓ３３を選択する。
【０１０９】
選択部３５は、画像データＩｍＤの透明度αＤと、合成割合演算部３１において演算される合成割合Ｓ３１とを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＤの合成割合Ｓ３５として合成処理部３２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、合成割合Ｓ３１を選択し、重ね合わせ順序が第２の順序に設定される場合、透明度αＤを選択する。
【０１１０】
次に、上述した構成を有する第５の実施形態に係る画像合成装置の動作を説明する。
ここでは、図１、図５、図７、図８に示す画像合成装置における第１の合成部１０および２０ならびに第２の合成部３０を、上述した第１の合成部１０Ａおよび２０Ａならびに第２の合成部３０Ａへ置き換えた構成を有する画像合成装置についてそれぞれ説明する。
【０１１１】
（画像合成装置１００＿１）
画像合成装置１００＿１は、図１に示す画像合成装置１００における第１の合成部１０および２０ならびに第２の合成部３０を、上述した第１の合成部１０Ａおよび２０Ａならびに第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
【０１１２】
この画像合成装置１００＿１に対して、画像の重ね合わせ順序を第１の順序に設定する順序設定信号Ｓｏが入力される場合、第１の合成部１０Ａおよび２０Ａにおける選択部１４では、合成割合演算部１１において演算される合成割合Ｓ１１Ａが選択され、選択部１５においては、合成割合演算部１１において演算される合成割合Ｓ１１Ｂが選択されて、合成処理部１２に出力される。また、第２の合成部３０Ａにおける選択部３４では、画像データＩｍＦの透明度αＦが合成割合として選択され、選択部３５では、合成割合演算部１３において演算される合成割合Ｓ３１が選択されて、合成処理部３２に出力される。
この場合、第１の合成部１０Ａおよび２０Ａにおいては上述した第１の合成部１０および２０と同等な合成処理が行われ、第２の合成部３０Ａにおいても上述した第２の合成部３０と同等な合成処理が行われる。
したがって、画像合成装置１００＿１においては、既に述べた画像合成装置１００と同様の画像合成処理が実行される。
【０１１３】
一方、画像合成装置１００＿１に対して、画像の重ね合わせ順序を第２の順序に設定する順序設定信号Ｓｏが入力される場合、第１の合成部１０Ａにおける選択部１４では、合成割合演算部１３において演算される合成割合Ｓ１３が選択され、選択部１５では透明度αＢが選択されて、合成処理部１２に出力される。このため、第１の合成部１０Ａにおいては、画像データＩｍＡを下位階層、画像データＩｍＢを上位階層とする、アルファ・ブレンディングによる画像合成が行われる。同様に、第１の合成部２０Ａにおいては、合成画像データＩｍＥを下位階層、画像データＩｍＣを上位階層とする、アルファ・ブレンディングによる画像合成が行われる。
また、第２の合成部３０Ａにおける選択部３４では、合成割合演算部３３において演算される合成割合Ｓ３３が選択され、選択部３５では透明度αＤが選択されて、合成処理部３２に出力される。このため、第２の合成処理部３０Ａにおいては、合成画像データＩｍＦを下位階層、画像データＩｍＤを上位階層とする、アルファ・ブレンディングによる画像合成が行われる。
したがって、画像合成装置１００＿１においては、画像データＩｍＡ、ＩｍＢ、ＩｍＣの順に下位階層から上位階層へ向かって合成された合成画像データＩｍＦに対して、そのさらに上位階層に、画像データＩｍＤが合成される。
【０１１４】
このように、画像合成装置１００＿１によれば、第２の合成部３０Ａにおいて最下位階層の画像データの合成を行うか、または最上位階層の画像データの合成を行うかを、順序設定信号Ｓｏに応じて設定することができる。これにより、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１１５】
（画像合成装置１００Ａ＿１）
画像合成装置１００Ａ＿１は、図５に示す画像合成装置１００Ａにおける第１の合成部１０、第２の合成部３０を、上述した第１の合成部１０Ａ、第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
【０１１６】
この画像合成装置１００Ａ＿１に対して、画像の重ね合わせ順序を第１の順序に設定する順序設定信号Ｓｏが入力される場合、第１の合成部１０Ａにおいては上述した第１の合成部１０と同等な合成処理が行われ、第２の合成部３０Ａにおいても上述した第２の合成部３０と同等な合成処理が行われる。
したがって、画像合成装置１００Ａ＿１においては、既に述べた画像合成装置１００と同様の画像合成処理が実行される。
【０１１７】
一方、画像合成装置１００Ａ＿１に対して、画像の重ね合わせ順序を第２の順序に設定する信号が入力される場合、第１の合成部１０Ａに入力される画像データＩｍＡおよびＩｍＢは、画像データＩｍＡを下位階層、画像データＩｍＢを上位階層とするアルファ・ブレンディング処理によって合成される。この合成画像データは、さらに第１の合成部１０Ａに入力され、その上位階層に画像データＩｍＣを合成するアルファ・ブレンディング処理が実行される。これにより、画像データＩｍＡ、ＩｍＢ、ＩｍＣの合成画像データＩｍＦがデータ取得部６０において取得される。
また、第２の合成部３０Ａでは、データ取得部６０において取得された合成画像データＩｍＦを下位階層、画像データＩｍＤを上位階層とするアルファ・ブレンディングによる画像合成が行われる。
したがって、画像合成装置１００Ａ＿１においては、画像データＩｍＡ、ＩｍＢ、ＩｍＣの順に下位階層から上位階層へ向かって合成された合成画像データＩｍＦに対して、そのさらに上位階層に、画像データＩｍＤが合成される。
【０１１８】
このように、画像合成装置１００Ａ＿１においても、第２の合成部３０Ａにおいて最下位階層の画像データの合成を行うか、または最上位階層の画像データの合成を行うかを、順序設定信号Ｓｏに応じて自由に設定することができる。これにより、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１１９】
（画像合成装置１００Ｂ＿１）
画像合成装置１００Ｂ＿１は、図７に示す画像合成装置１００Ｂにおける第１の合成部１０および２０ならびに第２の合成部３０を、上述した第１の合成部１０Ａおよび２０Ａならびに第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
画像合成装置１００Ｂ＿１の動作は、第１の合成部２０Ａの合成画像データＩｍＦに対して画質改善処理が行われる点を除いて、上述した画像合成装置１００＿１と同様であり、これと同等の効果を奏することができる。
また、合成画像データＩｍＦに対して画質改善処理が行われるため、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０の処理によってかえって画質が劣化してしまうような画像データＩｍＤについてはそうした画質改善処理を施すことなく、これを最下位階層または最上位階層に合成することができる。
【０１２０】
（画像合成装置１００Ｃ＿１）
画像合成装置１００Ｃ＿１は、図８に示す画像合成装置１００Ｃにおける第１の合成部１０、第２の合成部３０を、上述した第１の合成部１０Ａ、第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
画像合成装置１００Ｃ＿１の動作は、データ取得部６０の合成画像データＩｍＦに対して画質改善処理が行われる点を除いて、上述した画像合成装置１００Ａ＿１と同様であり、これと同等の効果を奏することができる。
また、合成画像データＩｍＦに対して画質改善処理が行われるため、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０の処理によってかえって画質が劣化してしまうような画像データＩｍＤについてはそうした画質改善処理を施すことなく、これを最下位階層または最上位階層に合成することができる。
【０１２１】
なお、上述した各画像合成装置（１００＿１、１００Ａ＿１、１００Ｂ＿１、１００Ｃ＿１）においては、画像の重ね合わせ順序を第１の順序に設定する順序設定信号Ｓｏが入力される場合、何れにおいても、既に述べた各実施形態に係る画像合成装置（１００、１００Ａ、１００Ｂ、１００Ｃ）と同等な画像合成処理が実現される。したがって、この場合は、第５の実施形態に係る画像合成装置においても、既に述べた各実施形態と同様の効果を奏することが可能である。
また、各実施形態に係る画像合成装置（１００、１００Ａ、１００Ｂ、１００Ｃ）の説明において示唆した各種変形は、第５の実施形態に係る画像合成装置についても適用可能である。
【０１２２】
＜第６の実施形態＞
図１１は、本発明の第６の実施形態に係る画像合成装置１００Ｄの構成の一例を示すブロック図である。
図１１に示す画像合成装置１００Ｄは、処理部９０と、記憶部７０および７１とを有する。
【０１２３】
処理部９０は、記憶部７１に格納されたプログラムに基づいて、それぞれ透明度が設定された画像データＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ（ｉは、２より大きい任意の整数を示す）に対する後述の画像合成処理を実行し、その処理結果として合成画像データＩｍＨを出力する。処理の過程において一時的に保持することが必要となるデータ、たとえば合成画像データや透明度については、記憶部７０に一時的に格納される。
【０１２４】
処理部９０としては、たとえばＣＰＵやＤＳＰなど、プログラムに基づいて処理を実行する種々のプロセッサを適用することができる。また、記憶部７１としては、たとえばフラッシュＲＯＭやマスクＲＯＭなどの不揮発型の記憶装置を適用することが可能である。記憶部７０としては、たとえば同期ＤＲＡＭなどの高速かつ大容量の記憶装置を適用することが可能である。
【０１２５】
（画像合成処理の第１の例）
図１２は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第１の例を示すフローチャートである。
【０１２６】
ステップＳＴ２０１〜ＳＴ２０２：
ステップＳＴ２０１においては、階層が異なる２つの画像データが、それぞれの透明度に応じた割合で合成される。合成割合は、たとえば式（１５）に示す関係を用いて決定される。すなわち、２つの画像データのうち上位階層の画像データが透明度αＵ、下位階層の画像データが透明度αＭを有するものとすると、上位階層の画像データは式（１５）に示す合成割合β１で合成され、下位階層の画像データは合成割合（１−β１）で合成される。
【０１２７】
また、ステップＳＴ２０１においては、合成結果の画像データの透明度が、合成元の２つの画像データの透明度に応じて決定される。透明度の決定には、たとえば式（１９）に示す関係が用いられる。すなわち、上位階層の画像データの透明度αＵ、下位階層の画像データの透明度αＭを用いて、式（１９）に示す透明度β２が決定される。
【０１２８】
ステップＳＴ２０１において画像データの合成処理および透明度の決定処理が行われると、次にステップＳＴ２０２において、最下位階層より上位の階層の各画像データ（たとえばＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１）の合成が完了したか否かが判定される。
【０１２９】
ステップＳＴ２０２において上位階層の合成が完了していないと判定された場合は、再びステップＳＴ２０１に戻り、上述した画像データの合成処理および透明度の決定処理が行われる。
この場合、合成される２つの画像データのうちの一方には、前回のステップＳＴ２０１における合成結果の画像データが用いられ、その透明度としては、前回のステップＳＴ２０１において決定された透明度が用いられる。
また、合成される他方の画像データとしては、前回のステップＳＴ２０１における合成結果の画像データの合成元となった画像データに対して階層が隣接する画像データが用いられる。すなわち、ステップＳＴ２０１の処理によって合成された画像データに対し、その上位階層または下位階層に合成すべき新たな画像データとその透明度が処理部９０に入力され、上記した前回の合成結果との合成に用いられる。
【０１３０】
ステップＳＴ２０２において上位階層の合成が完了したと判定された場合は、ステップＳＴ２０３に処理が移る。
【０１３１】
ステップＳＴ２０３：
ステップＳＴ２０３においては、ステップＳＴ２０１およびＳＴ２０２における画像合成処理の反復によって取得される画像データと最下位階層の画像データ（たとえばＩｍＬｉ）とが、ステップＳＴ２０１において取得される当該画像データの透明度に応じた割合で合成される。
【０１３２】
以上説明したように、第６の実施形態に係る画像合成処理の第１の例によれば、上位階層の画像データ（ＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１）を合成した結果として得られる合成画像データに対して、これらの画像データよりも下位階層に、画像データ（ＩｍＬｉ）を合成することができる。すなわち、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。これにより、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１３３】
なお、ステップＳＴ２０１の画像合成処理において、前回の合成結果の画像データと処理部９０に入力される画像データとを合成する場合、どちらの画像データを上位階層とするかは、プログラムにおいて任意に設定可能である。
【０１３４】
（画像合成処理の第２の例）
図１３は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第２の例を示すフローチャートであり、図１２と図１３の同一符号は同一内容の処理を示す。
【０１３５】
図１３に示すように、画像合成処理の第２の例においては、ステップＳＴ２０２とステップＳＴ２０３との間にステップＳＴ２０４が挿入される。
ステップＳＴ２０４では、ステップＳＴ２０１およびＳＴ２０２における画像合成処理の反復によって取得される画像データに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理が実行される。
ステップＳＴ２０４における画質改善処理後の画像データは、既に述べたステップＳＴ２０３の処理によって、最下位階層の画像データと合成される。
【０１３６】
このような画質改善処理を行うステップを設けることにより、上位階層の画像データ（たとえばＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１）の合成後の画質を改善することができるとともに、ステップＳＴ２０４の画質改善処理によってかえって画質が劣化してしまうような画像データ（たとえばＩｍＬｉ）についてはそうした画質改善処理を施すことなく、これを最下位階層に合成することができる。
【０１３７】
たとえば、ステップＳＴ２０４においてアンチフリッカ・フィルタ処理が行われるものとし、画像データＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１として静止画像データ、画像データＩｍＬｉとして動画像データが入力されるものとすると、動画像データに対してアンチフリッカ・フィルタ処理を施すことなく静止画像データの画質改善を図ることができるとともに、動画像を静止画像よりも下位の階層に合成することが可能となる。
【０１３８】
なお、図１３に示すフローチャートでは、最下位階層より上位の階層の合成画像データに対して画質改善処理が施されているが、この例に限らず、たとえばステップＳＴ２０１の画像合成処理が反復される過程において、合成結果の画像データに対して画質改善処理を行うステップを随時挿入しても良い。
また、画質改善処理の代わりに、他の種々のデータ変換処理を行うステップを挿入しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの下位階層に合成することが可能になる。
【０１３９】
（画像合成処理の第３の例）
図１４は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第３の例を示すフローチャートであり、図１２と図１４の同一符号は同一内容の処理を示す。
【０１４０】
ステップＳＴ２０５〜ＳＴ２０６：
まず、ステップＳＴ２０５において、画像の重ね合わせ順序が第１の順序または第２の順序に設定される。たとえば、処理部９０に入力される順序設定信号に応じて、この重ね合わせ順序が設定される。
次いで、ステップＳＴ２０６において、重ね合わせ順序が第１の順序または第２の順序の何れに設定されたかが判定される。第１の順序に設定されたと判定された場合はステップＳＴ２０１〜ＳＴ２０３が実行され、第２の順序に設定されたと判定された場合はステップＳＴ２０７〜ＳＴ２０８が実行される。
【０１４１】
ステップＳＴ２０１〜ＳＴ２０３：
図１２に示すフローチャートと同様の処理が実行される。すなわち、上位階層の画像データの合成結果に対して、最下位階層の画像データが合成される。
【０１４２】
ステップＳＴ２０７〜ＳＴ２０８：
ステップＳＴ２０７においては、階層が異なる２つの画像データが、上位階層の画像データの透明度に応じた割合で合成される。すなわち、透明度α１を有する上位階層の画像データＩｍ１と下位階層の画像データＩｍ２とを合成するものとすると、合成結果の画像データＩｍ３は式（１）の関係を用いて合成される。
【０１４３】
ステップＳＴ２０７において画像データの合成処理が行われると、次にステップＳＴ２０８において、全階層の画像データ（ＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ）の合成が完了したか否かが判定される。
【０１４４】
ステップＳＴ２０８において全階層の合成が完了していないと判定された場合は、再びステップＳＴ２０７に戻り、上述した画像データの合成処理が行われる。
この場合、合成される２つの画像データのうちの一方には、前回のステップＳＴ２０７における合成結果の画像データが用いられる。
また、合成される他方の画像データとしては、前回のステップＳＴ２０７における合成結果の画像データの合成元となった画像データに対して上位階層の画像データが用いられる。すなわち、ステップＳＴ２０７の処理によって合成された画像データに対し、その上位階層に合成すべき新たな画像データとその透明度が処理部９０に入力され、上記した前回の合成結果との合成に用いられる。
ステップＳＴ２０８において全階層の合成が完了した判定された場合、画像合成処理を終了する。
【０１４５】
以上説明したように、第６の実施形態に係る画像合成処理の第３の例によれば、画像の重ね合わせ順序が第１の順序に設定された場合、上位階層の画像の合成結果に対してその下位階層に画像が合成され、この重ね合わせ順序が第２の順序に設定された場合、下位階層の画像の合成結果に対してその上位階層に画像が合成される。このように、画像の重ね合わせ順序を自由に設定することが可能になり、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１４６】
（画像合成処理の第４の例）
図１５は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第４の例を示すフローチャートであり、図１４と図１５の同一符号は同一内容の処理を示す。
【０１４７】
図１５に示すように、画像合成処理の第４の例では、画像の重ね合わせ順序が第１の順序に設定される場合、既に述べた図１３に示すフローチャートと同等の画像合成処理が実行される。また、画像の重ね合わせ順序が第１の順序に設定される場合は、次に述べるステップＳＴ２０７、ステップＳＴ２０９〜ＳＴ２１１の処理が実行される。
【０１４８】
ステップＳＴ２０７、ＳＴ２０９：
ステップＳＴ２０７においては、階層が異なる２つの画像データが、上位階層の画像データの透明度に応じた割合で合成される。すなわち、２つの画像データが式（１）の関係を用いて合成される。
【０１４９】
ステップＳＴ２０７において画像データの合成処理が行われると、次にステップＳＴ２０９において、最上位階層より下位の階層の画像データの合成が完了したか否かが判定される。
【０１５０】
ステップＳＴ２０９において下位階層の合成が完了していないと判定された場合は、再びステップＳＴ２０７に戻り、上述した画像データの合成処理が行われる。
この場合、合成される２つの画像データのうちの一方には、前回のステップＳＴ２０７における合成結果の画像データが用いられる。
また、合成される他方の画像データとしては、前回のステップＳＴ２０７における合成結果の画像データの合成元となった画像データに対して上位階層の画像データが用いられる。すなわち、ステップＳＴ２０７の処理によって合成された画像データに対し、その上位階層に合成すべき新たな画像データとその透明度が処理部９０に入力され、上記した前回の合成結果との合成に用いられる。
ステップＳＴ２０８において下位階層の合成が完了した判定された場合、ステップＳＴ２１０に処理が移る。
【０１５１】
ステップＳＴ２１０：
ステップＳＴ２１０では、ステップＳＴ２０７およびＳＴ２０９における画像合成処理の反復によって取得される画像データに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理が実行される。
【０１５２】
ステップＳＴ２１１：
ステップＳＴ２１０における画質改善処理後の画像データは、最上位階層の画像データと合成される。この合成割合は、最上位階層の画像データの透明度に応じて決定される。
【０１５３】
以上説明したように、第６の実施形態に係る画像合成処理の第４の例によれば、既に述べた第３の例と同様に、画像の重ね合わせ順序を自由に設定することが可能になり、合成画像データを利用した画像処理の自由度をより一層高めることができる。
さらに、ステップＳＴ２０７またはステップＳＴ２０１において合成される画像データに対して画質改善処理が行われるため、これらの画像データに関わる画質を改善することができるとともに、この画質改善処理によってかえって画質が劣化してしまうような画像データについてはそうした画質改善処理を施すことなく、これを最下位階層または最上位階層に合成することができる。
【０１５４】
たとえば、ステップＳＴ２０４、ＳＴ２１０においてアンチフリッカ・フィルタ処理が行われるものとし、画像データＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１として静止画像データ、画像データＩｍＬｉとして動画像データが入力されるものとすると、動画像データに対してアンチフリッカ・フィルタ処理を施すことなく静止画像データの画質改善を図ることができるとともに、動画像を静止画像よりも下位または上位の階層に合成することが可能となる。
【０１５５】
なお、図１５に示すフローチャートでは、最下位階層または最上位階層を除く各階層の合成画像データに対して画質改善処理が施されているが、この例に限らず、たとえばステップＳＴ２０１やステップＳＴ２０７の画像合成処理が反復される過程において、合成結果の画像データに対して画質改善処理を行うステップを随時挿入しても良い。
また、画質改善処理の代わりに、他の種々のデータ変換処理を行うステップを挿入しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの上位階層または下位階層に合成することが可能になる。
【０１５６】
＜第７の実施形態＞
図１６は、本発明の第７の実施形態に係る画像再生処理装置１０００の構成の一例を示すブロック図である。
図１６に示す画像再生処理装置１０００は、デコード部２００と、コーデック部３００と、記憶部４００と、ＤＶＤ部５００と、グラフィックス処理部６００と、画像メモリ７００と、制御部８００とを有する。
【０１５７】
（デコード部２００）
デコード部２００は、アンテナ１００の受信信号から復調されるビデオ信号や、ケーブルを介して入力されるビデオ信号ＳＶ−ｉｎを復号し、画像データを再生する。たとえば、ＮＴＳＣ（national television system committee）方式やＰＡＬ（phase alternation by line）方式のビデオ信号を復号する。また、ビデオ信号ＳＶ−ｉｎとしては、たとえばＳビデオ信号（separate video signal）が入力される。
【０１５８】
（コーデック部３００）
コーデック部３００は、デコード部２００において復号された画像データを、記憶部４００やＤＶＤ部５００において格納されるデータの形式に適合した所定の符号化方式で符号化し、これらの装置に出力する。
また、コーデック部３００は、記憶部４００やＤＶＤ部５００に格納される符号化データを読み出して復号し、グラフィックス処理部６００に出力する。
【０１５９】
（記憶部４００）
記憶部４００は、コーデック部３００から出力される符号化データを格納する。また、コーデック部３００からの要求に応じて、格納した符号化データをコーデック部３００に出力する。
記憶部４００としては、たとえば、ハードディスクなどの大容量の記憶装置が適用される。
【０１６０】
（ＤＶＤ部５００）
ＤＶＤ部５００は、コーデック部３００から出力される符号化データをＤＶＤへ書き込む処理を行う。また、コーデック部３００からの要求に応じて、ＤＶＤに書き込まれた符号化データを読み取り、コーデック部３００に出力する。
【０１６１】
（グラフィックス処理部６００）
グラフィックス処理部６００は、デコード部２００やコーデック部３００から出力される画像データに対して種々の画像処理を実行し、その処理結果を再びビデオ信号Ｖ−ｏｕｔ、ＳＶ−ｏｕｔに変換して、ディスプレイ装置などの外部装置に供給する。
画像処理としては、たとえばＯＳＤ機能を実現するための画像合成処理や、画質改善処理などが実行される。
【０１６２】
図１７は、図１６に示す画像再生処理装置１０００におけるグラフィックス処理部６００の構成の一例を示すブロック図である。
図１７に示すグラフィックス処理部６００は、制御バス・インターフェース部６０１と、メモリバス・インターフェース部６０２と、選択部６０３と、画像合成部６０４と、ビデオ信号出力部６０５とを有する。
【０１６３】
制御バス・インターフェース部６０１は、後述の制御部８００から制御バスＢＳ１を介して伝送される各種の制御信号を入力し、グラフィックス処理部６００の各ユニットに出力する。また、グラフィックス処理部６００の各ユニットから制御部８００に向けて出力される信号を入力し、制御バスＢＳ１を介して制御部８００に伝送する。
【０１６４】
メモリバス・インターフェース部６０２は、後述の画像メモリ７００に対するグラフィックス処理部６００の読み書き動作を制御する。画像データは、グラフィックス処理部６００と画像メモリ７００とを接続するメモリバスＢＳ２を介して伝送される。
なお、グラフィックス処理部６００と他のユニット（デコード部２００やコーデック部３００）との間における画像データの伝送に、メモリバスＢＳ２を用いることも可能である。この場合は、これらのユニットにおいても同様なメモリバス・インターフェース部が設けられる。
【０１６５】
選択部６０３は、デコード部２００やコーデック部３００から供給される画像データ（たとえば動画像データＩｍ１、Ｉｍ２）、および、メモリバスＢＳ２を介して画像メモリ７００から読み出される画像データ（たとえば静止画像データＩｍ３〜Ｉｍ６）の中から、画像合成部６０４へ入力する画像データを選択し、画像合成部６０４の適切な画像データ入力端子へ供給する。
選択部６０３におけるこの選択動作は、制御部８００が生成する制御信号により制御される。制御信号は、合成すべき所望の画像データとその所望の重ね合わせ順序に応じて生成される。
【０１６６】
なお、画像メモリ７００に格納される静止画像データとしては、たとえば、制御部８００によって設定される文字や図形の情報に基づいて、図示しない静止画像生成部により生成される画像データを利用しても良いし、あるいは、デコード部２００、コーデック部３００から出力される画像データの一部を利用しても良い。
【０１６７】
画像合成部６０４は、本発明に係る画像合成処理を行うユニットであり、たとえば、既に述べた第１ないし第６の実施形態に係る画像合成装置と同様な処理を実行する。
【０１６８】
なお、第５の実施形態に係る画像合成装置が適用される場合や、第６の実施形態に係る画像処理装置によって図１４または図１５に示すフローチャートの処理が実行される場合は、画像の重ね合わせ順序を設定する順序設定信号が制御部８００によって与えられる。
【０１６９】
また、上述した画像合成装置１００Ｄのように３以上の画像データの合成が並列に実行されない場合には、選択部６０３を省略して、合成に必要な画像データを随時入力する構成としても良い。
【０１７０】
ビデオ信号出力部６０５は、画像合成部６０４において合成された画像データを、たとえばＮＴＳＣ方式やＰＡＬ方式などの所定の方式のビデオ信号に変換して出力する。図１７の例では、画像合成部６０４の合成画像データをコンポジット・ビデオ信号Ｖ−ｏｕｔとＳビデオ信号ＳＶ−ｏｕｔに変換して出力する。
以上が、グラフィックス処理部６００の説明である。
【０１７１】
（画像メモリ７００）
画像メモリ７００は、グラフィックス処理部６００において処理される画像データを一時的に格納するための記憶装置である。画像メモリ７００としては、たとえば同期ＤＲＡＭなどの高速、大容量の記憶装置が適用される。
【０１７２】
（制御部８００）
制御部８００は、コーデック部３００やグラフィックス処理部６００に対して各種の制御信号を出力し、これらの動作を制御する処理を行う。たとえば、グラフィックス部６００において画像合成処理が行われる場合に、画像の重ね合わせ順序を設定する順序設定信号を出力する。また、コーデック部３００における画像データの符号化・復号化方式の設定や、記憶部４００、ＤＶＤ部５００に対するデータの書き込み・読み出し処理の制御を行う。これらの制御信号は、たとえば、図示しないインターフェース部を介して入力されるユーザの操作情報に基づいて生成される。
【０１７３】
次に、上述した構成を有する画像再生処理装置の動作を説明する。
アンテナ１００の受信信号から復調されるビデオ信号や、ケーブルを介して入力されるビデオ信号ＳＶ−ｉｎは、デコード部２００において画像データに復号される。また、記憶部４００に格納される符号化データやＤＶＤ部５００においてＤＶＤから読み取られる符号化データは、コーデック部３００において画像データに復号される。デコード部２００およびコーデック部３００において復号された画像データ、ならびに、画像メモリ７００に格納された画像データは、グラフィックス処理部６００において合成され、ビデオ信号Ｖ−ｏｕｔ、ＳＶ−ｏｕｔに変換されて、ディスプレイ装置などの外部装置に出力される。
【０１７４】
また、グラフィックス処理部６００では、デコード部２００、コーデック部３００、画像メモリ７００から供給される画像データの中から、合成に用いられる画像データが選択部６０３において選択され、所望の重ね合わせ順序が得られるように決定された画像合成装置６０４の入力端子に入力される。
画像合成部６０４では、上述した第１ないし第６の実施形態に係る画像合成装置と同様の画像合成処理が実行される。
画像合成部６０４において合成された画像データは、ビデオ信号出力部６０５においてビデオ信号Ｖ−ｏｕｔ、ＳＶ−ｏｕｔに変換される。
【０１７５】
以上説明したように、図１６に示す画像再生処理装置１０００によれば、グラフィックス処理部６００において、第１ないし第６の実施形態に係る画像合成装置と同様の画像合成処理が実行されるため、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。これにより、最下位階層の画像データを含まない上位階層の合成画像データを取得することが可能になり、合成画像データを利用した画像処理の自由度を高めることができる。
【０１７６】
たとえば、文字や図形を含む静止画像を動画像の上に重ねるＯＳＤ機能を実現する場合、上位階層の静止画像の合成結果にアンチフリッカ・フィルタ処理を施した後で、その下位階層に動画像を重ねることが可能になる。これにより、静止画像の画質を高めることができるとともに、静止画像の色合いを動画像に影響され難くすることができる。
【０１７７】
また、画像の重ね合わせ順序を自由に設定することが可能になり、合成画像を利用した画像処理の自由度を高めることができる。たとえば、複数の合成画像データにそれぞれ別の画像処理を施した後で、これらをさらに合成する処理も可能である。このように画像処理の自由度を高められることから、再生画像の品質や表現性を高めることができる。
【０１７８】
なお、本発明は上述した実施形態に限定されない。
たとえば、上述した各実施形態において１つの画像データに設定される透明度は１つだけとは限らない。画像データに含まれるそれぞれの画素データに独立の透明度を設定しても良い。
【０１７９】
図１６においてはＤＶＤ装置５００を含む画像再生処理装置の例が示されているが、本発明はこの例に限定されない。ＤＶＤに限らず、他の種々の記録媒体から画像の情報を読み出す構成としても良い。また、コーデック部３００、記憶部４００、ＤＶＤ部５００を省略した構成でも良いし、その逆に、デコード部２００を省略した構成でも良い。その他、複数の画像の合成結果をディスプレイ装置に画像として再生させるための処理を行う種々の画像再生処理装置に本発明を適用するこが可能である。
【０１８０】
【発明の効果】
本発明の画像合成装置、画像合成方法、プログラム、画像再生処理装置によれば、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図２】第１の合成部の構成の一例を示すブロック図である。
【図３】２階層の画像データの透明度と合成割合との関係を説明するための図である。
【図４】本発明の第１の実施形態に係る第２の合成部の構成の一例を示すブロック図である。
【図５】本発明の第２の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図６】データ取得部における処理の流れを説明するためのフローチャートである。
【図７】本発明の第３の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図８】本発明の第４の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図９】本発明の第５の実施形態に係る画像合成装置に含まれる第１の合成部の構成の一例を示す図である。
【図１０】本発明の第５の実施形態に係る画像合成装置に含まれる第２の合成部の構成の一例を示す図である。
【図１１】本発明の第６の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図１２】図１１に示す画像合成装置における画像合成処理の第１の例を示すフローチャートである。
【図１３】図１１に示す画像合成装置における画像合成処理の第２の例を示すフローチャートである。
【図１４】図１１に示す画像合成装置における画像合成処理の第３の例を示すフローチャートである。
【図１５】図１１に示す画像合成装置における画像合成処理の第４の例を示すフローチャートである。
【図１６】本発明の第７の実施形態に係る画像再生処理装置の構成の一例を示すブロック図である。
【図１７】図１６に示す画像再生処理装置におけるグラフィックス処理部の構成の一例を示すブロック図である。
【図１８】アルファ・ブレンディングによる画像合成を行うための画像合成装置の一般的な構成例を示す図である。
【図１９】アンチフリッカ・フィルタによる画質改善処理を行うフィルタ部を備えた画像合成装置の構成例を示すブロック図である。
【図２０】図１９に示す画像合成装置におけるフィルタ部の挿入位置を変更したブロック図である。
【符号の説明】
１０，２０，１０Ａ，２０Ａ…第１の合成部、３０，３０Ａ…第２の合成部、４０，５０…透明度決定部、６０…データ取得部、７０，７１…記憶部、８０…画質改善処理部、９０…処理部、１１，１３，３１，３３…合成割合演算部、１２，３２…合成処理部、１４，１５，３４，３５…選択部、１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ…画像合成装置、２００…デコード部、３００…コーデック部、４００…記憶部、５００…ＤＶＤ部、６００…グラフィックス処理部、６０１…制御バス・インターフェース部、６０２…メモリバス・インターフェース部、６０３…選択部、６０４…画像合成部、６０５…ビデオ信号出力部６０２、７００…画像メモリ、８００…制御部、１０００…画像再生処理装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image composition device that composes a plurality of images, a method and program thereof, and an image reproduction processing device.
[0002]
[Prior art]
As a method of synthesizing a plurality of images, there is simply a method of adding data (pixel data) of each pixel forming an image to each other. For example, when one pixel data has three color data of red, blue, and green, a composite image can be created from a plurality of images by adding the same color data of the same pixel. it can. According to this method, the pixel value after the addition always increases, and therefore the pixel value tends to be saturated when the number of images to be combined is large or when an image with high brightness is combined. When the pixel value is saturated, the information of the original image is lost, so that the image quality is impaired.
[0003]
On the other hand, in an image composition method called alpha blending, an image having a certain transparency is superimposed on the other image to compose the image. Here, the transparency means the degree to which the lower layer image can be seen through the upper layer image. The images of the upper layer and the lower layer are combined at a ratio according to the transparency of the image of the upper layer.
For example, when an upper layer image having transparency α1 (0 ≦ α1 ≦ 1) is superimposed on a lower layer image, the combined image data Im3 is obtained by using the upper layer image data Im1 and the lower layer image data Im2. It is expressed as an expression.
[0004]
[Expression 1]
Im3 = α1 × Im1 + (1−α1) × Im2 (1)
[0005]
However, the image data Im1 to Im3 in Expression (1) indicate a set of pixel data. That is, Expression (1) represents that the pixel data of the same pixel included in the image data are combined at a ratio of “α1” to “1-α1”, respectively.
As can be seen from the above equation, the smaller the transparency α1, the smaller the ratio of the image data Im1 in the composite image data Im3, and the lower-level image P2 can be seen through easily.
[0006]
Such an image blending method by alpha blending is, for example, an OSD (on screen display) function for displaying characters and figures on a television screen in a digital television receiver, a DVD (digital versatile disc) playback device, or the like. It is widely used to realize
[0007]
Patent Document 1 describes a technique related to an image processing apparatus including a synthesis unit that performs alpha blending processing.
[0008]
[Patent Document 1]
JP 2000-285256 A
[Patent Document 2]
JP 2000-20044 A
[0009]
[Problems to be solved by the invention]
FIG. 18 is a diagram illustrating a general configuration example of an image composition apparatus for performing image composition by alpha blending.
The image composition apparatus shown in FIG. 18 includes image composition units 1 to 3 that perform alpha blending processing, and synthesizes four input image data (Im1 to Im4) to output composite image data Im7. To do.
[0010]
The image composition unit 1 performs alpha blending processing on the image data Im1 in the lowest layer and the image data Im2 in the upper layer, and outputs composite image data Im5.
The image composition unit 2 performs alpha blending processing on the upper layer image data Im3 with respect to the image data Im2 and the composite image data Im5 output from the image composition unit 1, and outputs composite image data Im6.
The image composition unit 3 performs alpha blending processing on the upper layer image data Im4 with respect to the image data Im3 and the composite image data Im6 output from the image composition unit 3, and outputs the image data Im7.
[0011]
The combined image data Im5 to Im7 output from the image combining units 1 to 3 are represented by the following equations, respectively.
[0012]
[Expression 2]
Im5 = α2 × Im2 + (1−α2) × Im1 (2)
Im6 = α3 × Im3 + (1−α3) × Im5 (3)
Im7 = α4 × Im4 + (1−α4) × Im6 (4)
[0013]
However, the transparency α2, α3, and α4 indicate the transparency of the image data Im2, Im3, and Im4, respectively, and have values of “0” to “1”.
[0014]
When characters and figures are displayed on the television screen by the OSD function, usually, a process of superimposing a still image including characters and figures on a base moving image is performed. In particular, when a still image is displayed on an interlace display device, flickering of an image called flicker is more noticeable than a moving image having movement. As a technique for reducing flicker, for example, there is a technique for improving image quality called an anti-flicker filter as described in Patent Document 2.
[0015]
FIG. 19 is a block diagram illustrating a configuration example of an image composition apparatus including the filter unit 4 that performs image quality improvement processing using an anti-flicker filter, and the same reference numerals in FIGS. 18 and 19 denote the same components.
The image synthesizing apparatus shown in FIG. 19 is provided with a filter unit 4 in the subsequent stage of the image synthesizing apparatus shown in FIG. In the filter unit 4, anti-flicker filter processing is performed on the combined image data Im 7 output from the image combining unit 3. Thereby, composite image data Im7A in which flickering of the still image is suppressed is obtained.
[0016]
By the way, the anti-flicker filter process is generally a process for suppressing flickering of a still image, and if this is performed on a moving image, there is a problem that the definition of the image is lost. For this reason, when the anti-flicker filter process is performed on the image obtained by combining the moving image and the still image as in the image combining apparatus shown in FIG. 19, the moving image portion becomes blurred and the image quality deteriorates. Resulting in.
[0017]
Therefore, in the image composition device shown in FIG. 20, the insertion position of the filter unit 4 is set to the image composition device shown in FIG. 19 so that the anti-flicker filter process is executed on the composite image data of only the still image. has been edited.
That is, in the image synthesizing apparatus shown in FIG. 20, the anti-flicker / filter process of the filter unit 4 is performed on the synthesized image data Im6 output from the image synthesizing unit 2, and the combined image data Im6A after the filter process is the final. The image synthesizer 3 synthesizes the upper layer image data Im4.
[0018]
When image data of a still image is input as image data Im1 to Im3 in the lower layer and image data of a moving image is input as image data Im4 in the uppermost layer, the anti-flicker filter process is performed. It is performed only on still images and not on moving images. For this reason, it is possible to avoid the above-described degradation of the image quality of the moving image.
[0019]
However, the image synthesizing apparatus shown in FIG. 20 has a disadvantage that the hierarchy for synthesizing moving images is limited to a hierarchy higher than the still image on which the filtering process is performed.
In general, in image synthesis by alpha blending, the hue of the image after synthesis tends to be strongly influenced by the upper layer image, so if a moving image whose hue changes momentarily is synthesized in the upper layer than the still image In some cases, the tint of a still image that should be displayed constantly tends to change due to the influence of a moving image. In such a case, it is desirable to synthesize a moving image in a lower hierarchy than the previously synthesized still image. However, in the alpha blending process of the image synthesis units 1 to 3, image synthesis is performed using only the transparency of the upper layer image, and therefore a synthesized image having no transparency cannot be synthesized to the upper layer.
[0020]
As described above, in the conventional image blending based on alpha blending, an image can be synthesized with the higher hierarchy later than the previously synthesized image, but the image cannot be synthesized with the lower hierarchy. There is a disadvantage.
[0021]
The present invention has been made in view of such circumstances, and an object of the present invention is to further synthesize an image to a lower layer of the previously synthesized image when synthesizing a plurality of images each having transparency set. An image synthesizing apparatus and method thereof, a program for causing a processing apparatus to execute such an image synthesizing process, and an image reproduction processing apparatus including such an image synthesizing apparatus.
[0022]
  In order to achieve the above object, an image composition apparatus according to a first aspect of the present invention is an image composition apparatus that superimposes an upper layer image having transparency on an image of a lower layer, and the layer is Transparency of two different still image data at a ratio corresponding to the set transparency, respectively, and the transparency of the synthesized still image data output from the first synthesis means, Transparency determining means for determining according to the transparency of still image data, image quality improvement processing means for performing image quality improvement processing for improving the image quality of a still image on the composite still image data output from the first combining means, and the above The composite still image data subjected to the image quality improvement processing by the image quality improvement processing means and the moving image data of the lowest hierarchy are determined according to the transparency of the composite still image data determined by the transparency determination means. Yes and second synthesizing means for synthesizing a ratio, theIn the case where the image superposition order is set to the first order in the input order setting signal, the first combining means selects two still image data having different hierarchies in accordance with the respective transparency levels. The second combining means determines the combined still image data subjected to the image quality improvement processing by the image quality improvement processing means and the moving image data of the lowest hierarchy in the transparency determining means. In the case where the synthesized still image data is synthesized at a ratio according to the transparency and the superposition order is set to the second order in the order setting signal, the first synthesizing unit is configured to use two still image data having different layers. Are combined at a ratio corresponding to the transparency of the still image data of the upper layer, and the second combining unit adds the moving image data of the highest layer and the image quality improvement processing unit in the second order. Ri and image quality improvement processing the applied synthetic still image data is synthesized at a rate corresponding to the transparency of the moving image data of the highest layer.
[0023]
  An image composition method according to a second aspect of the present invention includes:By an image composition device having a first composition means, a transparency determination means, a data acquisition means, an image quality improvement processing means, and a second composition means,An image composition method for superimposing an upper layer image having transparency on a lower layer image,The first combining means comprises:A synthesizing step of synthesizing two still image data having different hierarchies at a ratio corresponding to each set transparency;The transparency determining means isA transparency determination step for determining the transparency of the still image data as a synthesis result in the synthesis step according to the transparency of the two still image data of the synthesis source,The data acquisition means isThe still image data obtained as a result of the synthesis in the synthesis step and the still image data whose hierarchy is adjacent to the still image data that is the synthesis source of the still image data are used as new two-level still image data. A first step of repeating the transparency determination step, and as a result of the repetition, obtaining still image data obtained by combining the still image data of the upper layers above the lowest layer and the transparency thereof;The image quality improvement processing means isA second step of applying an image quality improvement process for improving the image quality of the still image to the synthesized still image data synthesized in the first step;The second synthesis means comprises:A third step of combining the synthesized still image data subjected to the image quality improvement process in the second step and the moving image data of the lowest hierarchy at a ratio according to the transparency acquired in the first step. In the composition step of the first step, the image superposition order is set to the first order in the input order setting signal.The first synthesizing means includesIn the third step, two still image data having different hierarchies are combined at a ratio corresponding to the transparency.The second synthesis means includesThe synthesized still image data subjected to the image quality improvement processing and the moving image data of the lowest hierarchy are synthesized at a ratio according to the transparency of the synthesized still image data determined in the first step, and the order setting signal When the superposition order is set to the second order in the synthesis step in the first step,The first synthesizing means includesIn the third step, two still image data having different layers are combined at a ratio corresponding to the transparency of still image data of the upper layer.The second synthesis means includesIn the second order, the moving image data of the highest hierarchy and the synthesized still image data that has been subjected to the image quality improvement processing are synthesized at a ratio according to the transparency of the moving image data of the highest hierarchy.
[0024]
  A program according to a third aspect of the present invention is a processing apparatus that performs processing for superimposing an upper layer image having transparency on an image of a lower layer and combining the images.The computer hasThe composition procedure for synthesizing two still image data of different hierarchies at a ratio corresponding to the set transparency, and the transparency of the still image data resulting from the composition in the above composition procedure, A transparency determination procedure that is determined according to the transparency, and a new image is generated by combining still image data as a result of the synthesis in the synthesis procedure and still image data having a layer adjacent to the still image data that is the synthesis source of the still image data. As the still image data of two layers, the above synthesis procedure and the above transparency determination procedure are repeated, and as a result of the repetition, still image data obtained by combining each still image data of a layer higher than the lowest layer and its transparency are acquired. FirstprocedureA second procedure for performing image quality improvement processing for improving the image quality of the still image on the synthesized still image data synthesized in the first procedure, and a synthesized still image that has been subjected to the image quality improvement processing in the second procedure A third procedure for synthesizing the data and the moving image data of the lowest hierarchy at a ratio according to the transparency acquired in the first procedure;When the image superposition order is set to the first order in the input order setting signal, two still image data having different hierarchies in the composition procedure of the first procedure Are synthesized in proportions corresponding to the respective transparency, and in the third procedure, the synthesized still image data subjected to the image quality improvement processing and the moving image data in the lowest hierarchy are determined in the first procedure. When the composite still image data is synthesized at a ratio according to the transparency and the superposition order is set to the second order in the order setting signal, in the synthesis procedure in the first procedure, Two different still image data are synthesized at a ratio corresponding to the transparency of the still image data in the upper layer, and in the third procedure, the highest order floor is obtained in the second order. Moving image data and the above-mentioned image quality improving processing subjected synthetic still image data is synthesized at a rate corresponding to the transparency of the moving image data of the highest layer.
[0025]
  An image reproduction processing apparatus according to a fourth aspect of the present invention is an image reproduction processing apparatus that performs superimposition of a transparent upper layer image on a lower layer image and performs reproduction processing of the synthesized image. The first synthesis unit that synthesizes two still image data having different hierarchies at a ratio corresponding to the set transparency, and the transparency of the synthesized still image data output from the first synthesis unit Transparency determining means for determining the transparency of the two still image data, and image quality improvement processing means for performing image quality improvement processing for improving the image quality of the still image on the composite still image data output from the first combining means; The transparency of the composite still image data determined by the transparency determination means is the combined still image data subjected to the image quality improvement processing by the image quality improvement processing means and the moving image data of the lowest hierarchy. And a second combining means for combining in a proportion corresponding to,In the case where the order of image superposition is set to the first order in the input order setting signal, the first synthesizing unit is configured to output two still image data having different hierarchies at a ratio corresponding to the transparency. The second combining means combines the combined still image data subjected to the image quality improvement processing by the image quality improvement processing means and the moving image data of the lowest hierarchy, and the combined still image determined by the transparency determining means. When the image data is synthesized at a ratio corresponding to the transparency of the image data and the superposition order is set to the second order in the order setting signal, the first composition means outputs the two still image data having different hierarchies as the upper order. The second still image is synthesized by the highest order moving image data and the image quality improvement processing means in the second order. And it has been subjected to quality improvement processing synthetic still image data is synthesized at a rate corresponding to the transparency of the moving image data of the highest hierarchy.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Seven embodiments of the present invention will be described with reference to the drawings.
[0031]
<First Embodiment>
FIG. 1 is a block diagram showing an example of the configuration of an image composition device 100 according to the first embodiment of the present invention.
An image composition device 100 shown in FIG. 1 includes first composition units 10 and 20 that are embodiments of first composition means, a second composition unit 30 that is an embodiment of second composition means, and transparency determination. Transparency determination units 40 and 50 which are embodiments of the means.
[0032]
(First synthesis unit 10)
The first synthesizing unit 10 synthesizes the image data ImA and ImB of the two layers at a ratio according to the respective transparency αA and αB.
[0033]
FIG. 2 is a block diagram illustrating a configuration example of the first combining unit 10, and the first combining unit 10 illustrated in the example of FIG. 2 includes a combining ratio calculation unit 11 and a combining processing unit 12.
[0034]
The composition ratio calculation unit 11 calculates the composition ratio of each image data according to the transparency αA of the image data ImA and the transparency αB of the image data ImB.
For example, if the image data ImB is image data at a higher hierarchy than the image data ImA, the composition ratio S11A of the image data ImA and the composition ratio S11B of the image data ImB are respectively expressed by the following equations.
[0035]
[Equation 3]
S11A = 1−αB / (αA + αB−αA × αB) (5)
S11B = αB / (αA + αB−αA × αB) (6)
[0036]
When the transparency αA and αB are both “0”, the composition ratio S11A is “1” and the composition ratio S11B is “0”.
The synthesis processing unit 12 synthesizes the image data ImA and ImB with the synthesis rates S11A and S11B calculated by the synthesis rate calculation unit 11. The resultant image data ImE is expressed by the following equation.
[0037]
[Expression 4]
ImE = S11A × ImA + S11B × ImB (7)
[0038]
Here, the reason why the relationship of Expressions (5) to (7) is established will be described with reference to FIG.
FIG. 3 is a diagram for explaining the relationship between the transparency of image data in two layers and the composition ratio.
3A shows a method of performing image composition from the lower layer to the upper layer, and FIG. 3B shows a method of performing image composition from the upper layer to the lower layer.
[0039]
In the method of FIG. 3A, first, the image data ImL and the image data ImM of the upper hierarchy are synthesized. This synthesizing method is the same as the method by alpha blending already described, and only the transparency (αM) of the image data of the upper layer is used for synthesizing. The combined image data ImS1 is expressed by the following equation using the relationship of equation (1).
[0040]
[Equation 5]
ImS1 = αM × ImM + (1−αM) × ImL (8)
[0041]
Next, the image data ImS1 obtained as a result of the synthesis and the image data ImU in the upper layer are synthesized with respect to the image data ImM. Also in this image composition, only the transparency (αU) of the upper layer image data is used as described above. The combined image data ImS2 is expressed by the following equation.
[0042]
[Formula 6]

[0043]
On the other hand, in the method of FIG. 3B, first, the image data ImU and the image data ImM of the lower hierarchy are synthesized. When the synthesis ratio β1 of the image data ImU and the synthesis ratio (1-β1) of the image data ImM are used, the resultant image data ImS3 is expressed by the following equation.
[0044]
[Expression 7]
ImS3 = β1 × ImU + (1−β1) × ImM (10)
[0045]
Next, the image data Im3 obtained as a result of the synthesis and the image data ImL in the lower hierarchy are synthesized with respect to the image data ImM. When the composite ratio β2 of the composite image data ImS3 and the composite ratio (1-β2) of the image data ImL are used, the composite image data ImS4 is expressed by the following equation.
[0046]
[Equation 8]

[0047]
Assuming that the composite image data ImS2 shown in Expression (9) is equal to the composite image data ImS4 shown in Expression (11), the following expression is established.
[0048]
[Equation 9]
αU = β1 × β2 (12)
(1-αU) × αM = β2 × (1-β1) (13)
(1-αU) × (1-αM) = 1−β2 (14)
[0049]
When the composition ratio β2 in the equation (13) is eliminated using the relationship of the equation (12), the composition ratio β1 is expressed by the following equation using the transparency αU and αM.
[0050]
[Expression 10]
β1 = αU / (αU + αM−αU × αM) (15)
[0051]
When the image data ImU and its lower layer image data ImM in FIG. 3 are replaced with the image data ImB and its lower layer image data ImA in FIG. 1, the transparency αU and αM are replaced with the transparency αB and αA, respectively. Therefore, the composition ratio S11B of the image data ImB shown in Expression (6) is derived from the relationship shown in Expression (15).
[0052]
(Second synthesis unit 20)
The second synthesizing unit 20 inputs the composite image data ImE output from the first synthesizing unit 10 and the image data ImC of the higher hierarchy with respect to the image data ImB that is the composition source of the composite image data ImE. The two pieces of image data (ImE, ImC) are synthesized at a ratio corresponding to the respective transparency αE and αC. As this synthesis result, image data ImF is output.
[0053]
The first combining unit 20 can also be realized by using a configuration similar to that of the first combining unit 10 shown in FIG. That is, the image data ImE and ImC are input instead of the image data ImA and ImB to the first composition unit 20 having the same configuration as the first composition unit 10 shown in FIG. Instead, by inputting the transparency αE and αC, the image data ImF can be obtained as a synthesis result.
[0054]
(Second synthesis unit 30)
The second synthesizing unit 30 uses the synthesized image data ImF output from the first synthesizing unit 20 and the image data ImD of the lowest hierarchy, the transparency αF of the synthesized image data ImF determined by the transparency determining unit 50 described later. Synthesize at a ratio according to.
[0055]
FIG. 4 is a block diagram illustrating an example of the configuration of the second synthesis unit 30.
The second synthesis unit 30 illustrated in FIG. 4 includes a synthesis ratio calculation unit 31 and a synthesis processing unit 32.
[0056]
The composition ratio calculation unit 31 calculates the composition ratio S31 of the image data ImD in the lowest hierarchy according to the transparency αF of the composite image data ImF. The composition ratio S31 is expressed as the following equation.
[0057]
## EQU11 ##
S31 = 1-αF (16)
[0058]
The composition processing unit 32 synthesizes these two image data with the composition ratio of the composite image data ImF as the transparency αF and the composition ratio of the image data ImD as the composition ratio S31 calculated by the composition ratio calculation unit 31. The resultant image data ImG is expressed as the following equation.
[0059]
[Expression 12]

[0060]
As can be seen from the equation (17), the second synthesis unit 30 executes a process equivalent to the image synthesis by alpha blending when the synthesized image data ImF is image data of an upper layer relative to the image data ImD. .
[0061]
(Transparency determining unit 40)
The transparency determination unit 40 determines the transparency αE of the composite image data ImE output from the first synthesis unit 10 according to the transparency αA and αB of the two image data (ImA, ImB) that are the synthesis source of the composite image data ImE. decide. That is, the transparency αE of the composite image data ImE is determined as follows.
[0062]
[Formula 13]
αE = αA + αB−αA × αB (18)
[0063]
The relationship of Expression (18) is derived from the fact that the composition ratio β2 shown in FIG. 3B is equivalent to the transparency of the composite image data Im3. That is, the composite image data ImS4 calculated by the equation (11) has the composite image data Im3 as the upper layer image data, the image data ImL as the lower layer image data, and the upper layer image data Im3 has the transparency β2. This is equivalent to the alpha blending process.
The composition ratio β2 is obtained as follows by substituting Equation (15) into Equation (12).
[0064]
[Expression 14]
β2 = αU + αM−αU × αM (19)
[0065]
When the image data ImU and its lower layer image data ImM in FIG. 3 are replaced with the image data ImB and its lower layer image data ImA in FIG. 1, the transparency αU and αM are replaced with the transparency αB and αA, respectively. Therefore, the transparency αE shown in equation (18) is derived from the relationship shown in equation (19).
[0066]
(Transparency determining unit 50)
The transparency determination unit 50 determines the transparency αF of the composite image data ImFF output from the first synthesis unit 20 according to the transparency αE and αC of the two image data (ImE and ImC) that are the synthesis source of the composite image data ImF. decide.
The transparency αF is determined using the same relationship as the equation (18) of the transparency αE in the transparency determination unit 40. That is, the transparency αF is obtained by replacing the transparency αA and αB in the equation (18) with the transparency αE and αC.
[0067]
Here, the operation of the image composition apparatus 100 shown in FIG. 1 having the above-described configuration will be described.
In the first combining unit 10, the image data ImA and the image data ImB of the upper layer are combined at a ratio according to the respective transparency αA and αB. As a result of this synthesis, composite image data ImE is obtained.
In the transparency determination unit 40, the transparency of the composite image data ImE output from the first synthesis unit 10 in accordance with the transparency αA and αB of the two image data (ImA, ImB) synthesized in the first synthesis unit 10 αE is determined.
[0068]
Further, in the first combining unit 20, the combined image data ImE output from the first combining unit 10, and the image data ImC of the higher hierarchy with respect to the image data ImB that is the combination source of the combined image data ImE, They are synthesized in proportions according to the respective transparency αE and αC. As a result of the synthesis, synthesized image data ImF is obtained.
In the transparency determination unit 50, the transparency of the composite image data ImF output from the first synthesis unit 20 in accordance with the transparency αE and αC of the two image data (ImE, ImC) synthesized in the second synthesis unit 20 αF is determined.
[0069]
In the second synthesis unit 30, the composite image data ImF output from the first synthesis unit 20 and the image data ImD in the lowest hierarchy correspond to the transparency αF of the composite image data ImF determined by the transparency determination unit 50. Synthesized at a certain rate. As a result of the synthesis, synthesized image data ImG is obtained.
[0070]
As described above, according to the image synthesizing apparatus 100 shown in FIG. 1, these three image data (ImA, ImB, ImC) obtained as a result of synthesizing three upper layer image data (ImA, ImB, ImC) The image data ImD can be synthesized at a lower hierarchy than the image data. That is, when a plurality of images each having a set transparency are combined, it is possible to further combine the images to the lower layer of the previously combined image.
As a result, it is possible to acquire composite image data ImF in an upper layer that does not include image data ImD in the lowest layer, and the degree of freedom of image processing using the composite image data can be increased.
[0071]
In the example shown in FIG. 1, in the first synthesis unit 20 in the next stage that is cascade-connected to the first synthesis unit 10 in the first stage, the image data ImC is placed on the upper layer of the composite image data ImE output from the first stage. Are synthesized, but it is also possible to synthesize them in the lower hierarchy of the synthesized image data ImE. In this case, the first composition unit 20 uses the expression in which the transparency αU and αM in the composition ratio β1 shown in the expression (15) are replaced with the transparency αE and αC, the composite image data ImE as the composition ratio β1, and the image Image synthesis may be executed with the data ImC as a synthesis ratio (1-β1).
[0072]
In the example illustrated in FIG. 1, an example in which images of four layers are combined using two first combining units (10, 20) connected in cascade is shown. It is also possible to synthesize images of five or more layers by further increasing the number of synthesizers. Also in this case, the image data is combined with either the upper hierarchy or the lower hierarchy of the synthesized image data output from the previous stage in the first and subsequent synthesis units cascaded to the first synthesis unit in the first stage. can do.
It is also possible to synthesize three layers of images with the number of stages of the first composition units connected in cascade as one stage.
[0073]
In addition, the first composition unit can be configured so that the hierarchy (higher hierarchy, lower hierarchy) of two image data to be synthesized can be changed according to an order setting signal for setting the image superposition order. . As a result, it is possible to freely change the image superposition order in the hierarchy higher than the lowest hierarchy.
[0074]
<Second Embodiment>
FIG. 5 is a block diagram showing an example of the configuration of an image composition device 100A according to the second embodiment of the present invention.
An image composition device 100A shown in FIG. 5 includes a first composition unit 10 that is an embodiment of a first composition unit, a second composition unit 30 that is an embodiment of a second composition unit, and a transparency determination unit. It has the transparency determination part 40 which is embodiment, the data acquisition part 60 which is embodiment of a data acquisition means, and the memory | storage part 70. FIG. 1 and 5 indicate the same components.
[0075]
In the first embodiment described above, it is possible to combine four or more layers of images by connecting a plurality of first combining units in series. In the second embodiment, the first combining unit By repeating the process of re-inputting the synthesis result to the synthesis unit, image synthesis of four or more layers is performed.
[0076]
The data acquisition unit 60 inputs the image data ImA and ImB and their transparency αA and αB as the image data Im1 and Im2 and their transparency α1 and α2 to the first composition unit 10 and the transparency determination unit 40. In response to this input, the composite image data Im3 output from the first composition unit 10 and the transparency α3 of the composite image data Im3 determined by the transparency determination unit 40 are stored in the storage unit 70 as needed. After the synthesis process of the composite image data Im3 in the first synthesis unit 10 and the determination process of the transparency α3 in the transparency determination unit 40 are completed, the composite image data Im3 and the transparency α3 stored in the storage unit 70 are read out, and the image The image data ImC in the upper hierarchy of the data ImB and its transparency αC are input again to the first combining unit 10. As a result of repeating the re-input processing for the first combining unit 10 and the transparency determining unit 40 as described above, combined image data ImF obtained by combining the image data (ImA, ImB, ImC) of the higher hierarchy than the lowest hierarchy is obtained. get.
[0077]
The operation of the image composition device 100B having the above-described configuration will be described focusing on the processing in the data acquisition unit 60.
FIG. 6 is a flowchart for explaining the flow of processing in the data acquisition unit 60.
[0078]
First, in step ST101, image data Im1 and Im2 are input to the first combining unit 10, and transparency α1 and α2 are input to the transparency determining unit 40.
In the initial state where the composite image data Im3 and the transparency α3 are not stored in the storage unit 70, the image data ImA and ImB and the transparency αA and αB given from the outside are supplied to the first synthesis unit 10 and the transparency determination unit 40. Is input.
In a state where the composite image data Im3 as a result of combining the image data ImA and ImB and the transparency α3 thereof are stored in the storage unit 70, these stored data are read from the storage unit 70, and the image data Im1 and the transparency α1 are read out. Are input to the first combining unit 10 and the transparency determining unit 40 again. At this time, the image data ImC and the transparency αC of the higher hierarchy with respect to the original image data ImB of the composite image data Im3 are set as the image data Im2 and the transparency α2 in the first composition unit 10 and the transparency determination unit 40. Entered.
The combined image data Im3 output from the first combining unit 10 according to the input of the image data and the transparency, and the transparency α3 determined by the transparency determining unit 40 are stored in the storage unit 70 as needed.
[0079]
When the synthesis process of the composite image data Im3 in the first synthesis unit 10 and the determination process of the transparency α3 in the transparency determination unit 40 are completed, next, in step ST102, each image data (ImA in the hierarchy higher than the lowest hierarchy) , ImB, ImC) is determined. If it is determined that the composition has not been completed, the process returns to step ST101, and the input of the image data Im1, Im2, transparency α1, α2 to the first composition unit 10 and the transparency determination unit 40 is repeated again. . If it is determined that the synthesis has been completed, the processing in the data acquisition unit 60 ends.
[0080]
In the second combining unit 30, the combined image data ImF acquired by the data acquiring unit 60 and the image data ImD of the lowest hierarchy are combined at a ratio according to the transparency αF acquired by the data acquiring unit 60. . As a composite result, composite image data ImG of image data ImA, ImB, ImC, and ImD is obtained.
[0081]
As described above, in the image data composition device 100A shown in FIG. 5 as well, for the composite image data ImF obtained as a result of compositing three image data (ImA, ImB, ImC) in the upper layer, these three The image data ImD can be synthesized at a lower hierarchy than the image data. That is, when a plurality of images each having a set transparency are combined, it is possible to further combine the images to the lower layer of the previously combined image.
[0082]
In the above description, the image data ImC is combined with the upper layer of the combined image data Im3 of the image data ImA and ImB, but the image data ImC may be combined with the lower layer.
[0083]
In the example shown in FIG. 1, an example in which four layers of images are synthesized by repeating the input processing for the first synthesis unit 10 and the transparency determination unit 40 twice is shown. By further increasing the number, it is also possible to synthesize images of five or more layers. Even in this case, the image data can be combined with the combined image data Im3 of the first combining unit 10 in either the upper layer or the lower layer.
[0084]
Further, the data acquisition unit 60 determines the superposition order (upper hierarchy, lower hierarchy) of the given image data and the composite image data Im3 for each input process in step ST101 according to the order setting signal. Also good. As a result, it is possible to freely change the image superposition order in the hierarchy higher than the lowest hierarchy.
[0085]
<Third Embodiment>
FIG. 7 is a block diagram showing an example of the configuration of an image composition device 100B according to the third embodiment of the present invention.
An image composition device 100B shown in FIG. 7 has the same configuration as the image composition device 100 shown in FIG. 1, and has an image quality improvement processing unit 80 that is an embodiment of a data conversion processing unit.
[0086]
In the image composition device according to the third embodiment, data conversion processing such as image quality improvement processing is performed on the composite image data output from the first composition unit of the image composition device according to the first embodiment described above. Is given.
[0087]
The image quality improvement processing unit 80 performs processing related to image quality improvement, such as anti-flicker filter processing, on the composite image data ImF output from the first synthesis unit 20.
In the example of FIG. 7, the image quality improvement processing unit 80 is connected between the first combining unit 20 and the second combining unit 30. The image data ImFA subjected to the image quality improvement processing in the image quality improvement processing unit 80 is combined with the image data ImD in the second combining unit 30.
[0088]
According to the image synthesizing apparatus 100B having the above-described configuration, the image data ImD can be synthesized in the lower hierarchy after image quality improvement processing is performed on the synthesized image data of the image data ImA, ImB, and ImC. Therefore, the image quality of the image data ImA, ImB, and ImC can be improved, and image quality improvement processing is performed on the image data ImD whose image quality is deteriorated by the processing of the image quality improvement processing unit 80. This can be combined into the lowest hierarchy.
[0089]
For example, assuming that anti-flicker filter processing is performed in the image quality improvement processing unit 80, and still image data is input as image data ImA, ImB, and ImC, and moving image data is input as image data ImD. On the other hand, it is possible to improve the image quality of still image data without performing anti-flicker filter processing, and it is possible to synthesize a moving image in a lower hierarchy than the still image.
[0090]
In the example of FIG. 7, the image quality improvement processing unit 80 is inserted between the first combining unit 20 and the second combining unit 30. However, the present invention is not limited to this example. For example, the first combining unit 10 and the first combining unit 20 may be inserted.
Various modifications to the image composition device 100 described in the first embodiment can also be applied to the image composition device 100B. Even when the number of stages of the first combining unit is three or more due to this modification, the insertion position of the image quality improvement processing unit is arbitrary and may be inserted into the output of any stage. The number of insertions of the image quality improvement processing unit is arbitrary, and it may be inserted in a plurality of stages.
[0091]
Further, instead of the image quality improvement processing unit, other various data conversion processing units may be applied. As a result, for image data that requires certain data conversion processing, after performing the data conversion processing on the composite image data, the image data that does not require the data processing is converted to a lower level of the composite image data after the data conversion processing. It becomes possible to compose into a hierarchy.
[0092]
<Fourth Embodiment>
FIG. 8 is a block diagram showing an example of the configuration of an image composition device 100C according to the fourth embodiment of the present invention.
An image composition device 100C shown in FIG. 8 has the same configuration as the image composition device 100A shown in FIG. 5 and has an image quality improvement processing unit 80A that is an embodiment of a data conversion processing unit.
[0093]
In the image composition device according to the fourth embodiment, the composite image data acquired by the data acquisition unit of the image composition device according to the second embodiment described above or the composite image data output from the first composition unit. On the other hand, data conversion processing such as image quality improvement processing is performed.
[0094]
The image quality improvement processing unit 80A is a unit having a function equivalent to that of the image quality improvement processing unit 80 shown in FIG. 7, and performs, for example, anti-flicker filter processing on the composite image data ImF output from the data acquisition unit 60. Processing related to image quality improvement is executed.
In the example of FIG. 8, the image quality improvement processing unit 80 </ b> A is connected between the data acquisition unit 60 and the second synthesis unit 30. The image data ImFA subjected to the image quality improvement processing in the image quality improvement processing unit 80A is combined with the image data ImD in the second combining unit 30.
[0095]
The image synthesizing apparatus 100C having the above-described configuration can achieve the same effect as the image synthesizing apparatus 100B described above. That is, the image quality after the composition of the image data ImA, ImB, and ImC can be improved, and the image quality improvement processing is performed on the image data ImD whose image quality is deteriorated by the processing of the image quality improvement processing unit 80A. This can be combined into the lowest hierarchy.
[0096]
In the example of FIG. 7, the image quality improvement processing unit 80A is inserted between the data acquisition unit 60 and the second synthesis unit 30, but the present invention is not limited to this example. It may be inserted between the combining unit 10.
Various modifications to the image composition device 100A described in the second embodiment can also be applied to the image composition device 100C.
Further, instead of the image quality improvement processing unit, other various data conversion processing units may be applied. As a result, for image data that requires certain data conversion processing, after performing the data conversion processing on the composite image data, the image data that does not require the data processing is converted to a lower level of the composite image data after the data conversion processing. It becomes possible to compose into a hierarchy.
[0097]
<Fifth Embodiment>
In the fifth embodiment, the processes of the first combining unit and the second combining unit in the first to fourth embodiments described above are changed. In other words, whether to synthesize the lowest hierarchy image data or the highest hierarchy image data in the second synthesis unit is set according to the order setting signal. The composition ratio of the image data in the first composition unit and the second composition unit is changed according to the order setting.
[0098]
First, the first combining units 10A and 20A and the second combining unit 30A included in the image combining device according to the fifth embodiment will be described.
[0099]
(First synthesis unit 10A)
The first composition unit 10 in the image composition apparatus shown in FIGS. 1, 5, 7, and 8 is replaced with, for example, the first composition unit 10A shown in FIG. 9 in the image composition apparatus according to the fifth embodiment. It is done.
FIG. 9 is a diagram illustrating an example of the configuration of the first combining unit 10A included in the image combining device according to the fifth embodiment of the present invention. A first combining unit 10A illustrated in FIG. 9 has the same configuration as the first combining unit 10 illustrated in FIG. 2, and includes a combining ratio calculation unit 13 and selection units 14 and 15.
[0100]
The composition ratio calculation unit 13 calculates the composition ratio S13 of the image data ImA according to the transparency αB of the image data ImB and outputs it to the selection unit 14. The composition ratio S13 is expressed as the following equation.
[0101]
[Expression 15]
S13 = 1−αB (20)
[0102]
The selection unit 14 inputs the synthesis rate S11A calculated by the synthesis rate calculation unit 11 and the synthesis rate S13 calculated by the synthesis rate calculation unit 13, and selects either one according to the order setting signal So. The image data ImA is output to the composition processing unit 12 as a composition ratio S14. That is, when the image superposition order is set to the first order in the order setting signal So, the composition ratio S11A is selected, and when the superposition order is set to the second order, the composition ratio S13 is selected. .
[0103]
The selection unit 15 receives the combination ratio S11B calculated by the combination ratio calculation unit 11 and the transparency αB of the image data ImB, selects either one according to the order setting signal So, and combines the image data ImB. It outputs to the synthetic | combination process part 12 as S15. That is, when the image overlapping order is set to the first order in the order setting signal So, the composition ratio S11B is selected, and when the overlapping order is set to the second order, the transparency αB is selected.
[0104]
(First synthesis unit 20A)
The second synthesizing unit 20 in the image synthesizing apparatus shown in FIGS. 1 and 7 is the first synthesizing unit according to the fifth embodiment having the same configuration as the first synthesizing unit 10A shown in FIG. It is replaced with the synthesis unit 20A.
That is, the image data ImE and ImC are input instead of the image data ImA and ImB to the first combining unit 20A having the same configuration as the first combining unit 10A shown in FIG. Instead, by inputting transparency αE and αC, composite image data ImF is obtained as a composite result.
[0105]
(Second synthesis unit 30A)
The second synthesizing unit 30 in the image synthesizing apparatus shown in FIGS. 1, 5, 7, and 8 is replaced with, for example, the second synthesizing unit 30A shown in FIG. 10 in the image synthesizing apparatus according to the fifth embodiment. It is done.
FIG. 10 is a diagram illustrating an example of the configuration of the second combining unit 30A included in the image combining device according to the fifth embodiment of the present invention. The second combining unit 30A illustrated in FIG. 10 has a configuration equivalent to that of the second combining unit 30 illustrated in FIG. 4, and includes a combining ratio calculation unit 33 and selection units 34 and 35.
[0106]
The composition ratio calculation unit 33 calculates the composition ratio S33 of the composite image data ImF according to the transparency αD of the image data ImD. The composition ratio S33 is expressed as the following equation.
[0107]
[Expression 16]
S33 = 1-αD (21)
[0108]
The selector 34 receives the transparency αF of the composite image data ImF and the composite ratio S33 calculated by the composite ratio calculator 33, selects either one according to the order setting signal So, and combines the image data ImF. The ratio is output to the composition processing unit 32 as S34. That is, the transparency αF is selected when the image overlay order is set to the first order in the order setting signal So, and the composition ratio S33 is selected when the overlay order is set to the second order.
[0109]
The selection unit 35 receives the transparency αD of the image data ImD and the synthesis rate S31 calculated by the synthesis rate calculation unit 31, selects either one according to the order setting signal So, and combines the image data ImD. It outputs to the synthetic | combination process part 32 as S35. That is, when the image overlapping order is set to the first order in the order setting signal So, the composition ratio S31 is selected, and when the overlapping order is set to the second order, the transparency αD is selected.
[0110]
Next, the operation of the image composition device according to the fifth embodiment having the above-described configuration will be described.
Here, the first synthesizing units 10 and 20 and the second synthesizing unit 30 in the image synthesizing apparatus shown in FIGS. 1, 5, 7, and 8 are replaced with the first synthesizing units 10A and 20A and the second synthesizing units described above. Each of the image composition apparatuses having a configuration replaced with the composition unit 30A will be described.
[0111]
(Image composition apparatus 100_1)
The image composition device 100_1 transfers the first composition units 10 and 20 and the second composition unit 30 in the image composition device 100 shown in FIG. 1 to the first composition units 10A and 20A and the second composition unit 30A described above. Each has a replaced configuration.
[0112]
When the order setting signal So for setting the image superposition order to the first order is input to the image composition device 100_1, the selection unit 14 in the first composition units 10A and 20A has a composition ratio calculation unit. 11 is selected, and the selection unit 15 selects the combination rate S11B calculated in the combination rate calculation unit 11 and outputs it to the combination processing unit 12. In addition, in the selection unit 34 in the second synthesis unit 30A, the transparency αF of the image data ImF is selected as the synthesis rate, and in the selection unit 35, the synthesis rate S31 calculated in the synthesis rate calculation unit 13 is selected and combined. The data is output to the processing unit 32.
In this case, the first synthesizing units 10A and 20A perform synthesizing processing equivalent to that of the first synthesizing units 10 and 20, and the second synthesizing unit 30A is also equivalent to the second synthesizing unit 30 described above. The compositing process is performed.
Therefore, in the image composition device 100_1, the same image composition processing as that of the image composition device 100 described above is executed.
[0113]
On the other hand, when the order setting signal So for setting the image superposition order to the second order is input to the image composition device 100_1, the selection unit 14 in the first composition unit 10A performs the composition ratio calculation unit 13. The composition ratio S13 calculated in step S13 is selected, and the selection unit 15 selects the transparency αB and outputs it to the composition processing unit 12. Therefore, in the first synthesizing unit 10A, image synthesis by alpha blending is performed with the image data ImA as the lower hierarchy and the image data ImB as the upper hierarchy. Similarly, in the first composition unit 20A, image composition by alpha blending is performed with the composite image data ImE as the lower layer and the image data ImC as the upper layer.
Further, in the selection unit 34 in the second synthesis unit 30A, the synthesis rate S33 calculated in the synthesis rate calculation unit 33 is selected, and the transparency αD is selected in the selection unit 35 and output to the synthesis processing unit 32. For this reason, in the second composition processing unit 30A, image composition by alpha blending is performed with the composite image data ImF as the lower layer and the image data ImD as the upper layer.
Therefore, in the image composition device 100_1, the image data ImD is synthesized in the higher hierarchy with respect to the synthesized image data ImF synthesized from the lower hierarchy to the upper hierarchy in the order of the image data ImA, ImB, and ImC. .
[0114]
As described above, according to the image composition device 100_1, whether the second composition unit 30A composes the image data of the lowest hierarchy or the image data of the highest hierarchy is used as the order setting signal So. It can be set accordingly. Thereby, the freedom degree of the image process using synthetic image data can be raised further.
[0115]
(Image composition apparatus 100A_1)
Image synthesizing device 100A_1 is configured by replacing first synthesizing unit 10 and second synthesizing unit 30 in image synthesizing device 100A shown in FIG. 5 with first synthesizing unit 10A and second synthesizing unit 30A described above, respectively. Have
[0116]
When the order setting signal So for setting the image superposition order to the first order is input to the image composition device 100A_1, the first composition unit 10A is equivalent to the first composition unit 10 described above. Thus, the second synthesizing unit 30A performs synthesizing processing equivalent to that of the second synthesizing unit 30 described above.
Therefore, in the image composition device 100A_1, an image composition process similar to that of the image composition device 100 already described is executed.
[0117]
On the other hand, when a signal for setting the image superposition order to the second order is input to the image composition device 100A_1, the image data ImA and ImB input to the first composition unit 10A are the image data ImA. Is a lower hierarchy, and image data ImB is an upper hierarchy, and is synthesized by alpha blending processing. This synthesized image data is further input to the first synthesizing unit 10A, and an alpha blending process for synthesizing the image data ImC in its upper layer is executed. As a result, the combined image data ImF of the image data ImA, ImB, and ImC is acquired by the data acquisition unit 60.
Further, in the second synthesizing unit 30A, image synthesis is performed by alpha blending in which the synthesized image data ImF acquired by the data acquiring unit 60 is a lower hierarchy and the image data ImD is an upper hierarchy.
Therefore, in the image composition device 100A_1, the image data ImD is synthesized in the higher hierarchy with respect to the composite image data ImF synthesized from the lower hierarchy to the upper hierarchy in the order of the image data ImA, ImB, and ImC. .
[0118]
As described above, also in the image composition device 100A_1, whether the second composition unit 30A composes the image data of the lowest hierarchy or the image data of the highest hierarchy depends on the order setting signal So. Can be set freely. Thereby, the freedom degree of the image process using synthetic image data can be raised further.
[0119]
(Image composition apparatus 100B_1)
The image composition device 100B_1 transfers the first composition units 10 and 20 and the second composition unit 30 in the image composition device 100B shown in FIG. 7 to the first composition units 10A and 20A and the second composition unit 30A described above. Each has a replaced configuration.
The operation of the image composition device 100B_1 is the same as that of the image composition device 100_1 described above except that the image quality improvement processing is performed on the composite image data ImF of the first composition unit 20A, and the same effect as this is obtained. Can play.
In addition, since the image quality improvement process is performed on the composite image data ImF, the image quality after the image data ImA, ImB, and ImC are combined can be improved, and the image quality is deteriorated by the process of the image quality improvement processing unit 80. Such image data ImD can be combined with the lowest hierarchy or the highest hierarchy without performing such image quality improvement processing.
[0120]
(Image composition apparatus 100C_1)
The image composition device 100C_1 has a configuration in which the first composition unit 10 and the second composition unit 30 in the image composition device 100C shown in FIG. 8 are replaced with the first composition unit 10A and the second composition unit 30A described above, respectively. Have
The operation of the image composition device 100C_1 is the same as that of the image composition device 100A_1 described above except that the image quality improvement process is performed on the composite image data ImF of the data acquisition unit 60, and the same effect as this is achieved. Can do.
In addition, since the image quality improvement process is performed on the composite image data ImF, the image quality after the image data ImA, ImB, and ImC are combined can be improved, and the image quality is deteriorated by the process of the image quality improvement processing unit 80. Such image data ImD can be combined with the lowest hierarchy or the highest hierarchy without performing such image quality improvement processing.
[0121]
Note that, in each of the above-described image composition apparatuses (100_1, 100A_1, 100B_1, 100C_1), the order setting signal So for setting the image superposition order to the first order is input in any case. An image composition process equivalent to the image composition apparatus (100, 100A, 100B, 100C) according to each embodiment is realized. Therefore, in this case, the image synthesizing apparatus according to the fifth embodiment can achieve the same effects as those of the above-described embodiments.
The various modifications suggested in the description of the image composition apparatuses (100, 100A, 100B, 100C) according to the embodiments are also applicable to the image composition apparatus according to the fifth embodiment.
[0122]
<Sixth Embodiment>
FIG. 11 is a block diagram showing an example of the configuration of an image composition device 100D according to the sixth embodiment of the present invention.
An image composition device 100D illustrated in FIG. 11 includes a processing unit 90 and storage units 70 and 71.
[0123]
Based on the program stored in the storage unit 71, the processing unit 90 performs image synthesis described later on image data ImL1, ImL2,..., IMLi (i is an arbitrary integer greater than 2) for which transparency is set. The processing is executed, and the composite image data ImH is output as the processing result. Data that needs to be temporarily stored in the course of processing, for example, composite image data and transparency, are temporarily stored in the storage unit 70.
[0124]
As the processing unit 90, for example, various processors that execute processing based on a program, such as a CPU and a DSP, can be applied. As the storage unit 71, for example, a nonvolatile storage device such as a flash ROM or a mask ROM can be applied. As the storage unit 70, for example, a high-speed and large-capacity storage device such as a synchronous DRAM can be applied.
[0125]
(First example of image composition processing)
FIG. 12 is a flowchart illustrating a first example of image composition processing in the image composition device 100D illustrated in FIG.
[0126]
Steps ST201 to ST202:
In step ST201, two pieces of image data having different hierarchies are combined at a ratio corresponding to each transparency. The composition ratio is determined using, for example, the relationship shown in Expression (15). That is, when the upper layer image data of the two image data has transparency αU and the lower layer image data has transparency αM, the upper layer image data is combined at the combining ratio β1 shown in Expression (15), The lower layer image data is synthesized at the synthesis ratio (1-β1).
[0127]
In step ST201, the transparency of the image data obtained as a result of the synthesis is determined according to the transparency of the two image data as the synthesis source. For example, the relationship shown in Equation (19) is used to determine the transparency. That is, the transparency β2 shown in Expression (19) is determined using the transparency αU of the upper layer image data and the transparency αM of the lower layer image data.
[0128]
When image data composition processing and transparency determination processing are performed in step ST201, next, in step ST202, image data (for example, ImL1, ImL2,..., IMLi-1) higher than the lowest layer is combined. It is determined whether it has been completed.
[0129]
If it is determined in step ST202 that upper layer composition has not been completed, the process returns to step ST201 again, and the above-described image data composition processing and transparency determination processing are performed.
In this case, for one of the two image data to be combined, the image data obtained as a result of the previous step ST201 is used, and as the transparency, the transparency determined in the previous step ST201 is used.
Further, as the other image data to be combined, image data whose layer is adjacent to the image data that is the combination source of the image data as the combination result in the previous step ST201 is used. That is, new image data to be synthesized in the upper hierarchy or lower hierarchy and the transparency thereof are input to the processing unit 90 with respect to the image data synthesized in the process of step ST201, and are combined with the previous synthesis result. Used.
[0130]
If it is determined in step ST202 that upper layer synthesis has been completed, the process moves to step ST203.
[0131]
Step ST203:
In step ST203, the ratio between the image data acquired by repetition of the image composition processing in steps ST201 and ST202 and the image data of the lowest hierarchy (for example, IMLi) according to the transparency of the image data acquired in step ST201. Is synthesized.
[0132]
As described above, according to the first example of the image compositing process according to the sixth embodiment, a composite image obtained as a result of compositing upper layer image data (IML1, ImL2,..., IMLi-1). Image data (IMLi) can be combined with the data at a lower hierarchy than these image data. That is, when a plurality of images each having a set transparency are combined, it is possible to further combine the images to the lower layer of the previously combined image. Thereby, the freedom degree of the image process using synthetic image data can be raised further.
[0133]
In the image composition processing in step ST201, when combining the image data of the previous composition result and the image data input to the processing unit 90, it is arbitrarily set in the program which image data is set as the upper layer. Is possible.
[0134]
(Second example of image composition processing)
FIG. 13 is a flowchart showing a second example of the image composition process in the image composition apparatus 100D shown in FIG. 11, and the same reference numerals in FIG. 12 and FIG.
[0135]
As shown in FIG. 13, in the second example of the image composition process, step ST204 is inserted between step ST202 and step ST203.
In step ST204, processing related to image quality improvement, such as anti-flicker filter processing, is performed on the image data acquired by repeating the image synthesis processing in steps ST201 and ST202.
The image data after the image quality improvement processing in step ST204 is synthesized with the image data of the lowest hierarchy by the processing in step ST203 already described.
[0136]
By providing the step of performing such image quality improvement processing, the image quality after the synthesis of the upper layer image data (for example, ImL1, ImL2,..., IMLi-1) can be improved, and the image quality improvement processing of step ST204 is performed. Therefore, image data (for example, IMLi) whose image quality deteriorates depending on the image quality can be synthesized in the lowest layer without performing such image quality improvement processing.
[0137]
For example, assuming that anti-flicker filter processing is performed in step ST204, still image data is input as image data ImL1, ImL2,..., IMLi-1, and moving image data is input as image data IMLi. Therefore, it is possible to improve the image quality of still image data without performing anti-flicker filter processing, and to synthesize a moving image in a lower hierarchy than the still image.
[0138]
In the flowchart shown in FIG. 13, the image quality improvement processing is performed on the composite image data higher than the lowest layer. However, the present invention is not limited to this example. For example, the image composition processing in step ST201 is repeated. In the process, a step of performing an image quality improvement process on the image data as a synthesis result may be inserted as needed.
Further, instead of the image quality improvement processing, other various data conversion processing steps may be inserted. As a result, for image data that requires certain data conversion processing, after performing the data conversion processing on the composite image data, the image data that does not require the data processing is converted to a lower level of the composite image data after the data conversion processing. It becomes possible to compose into a hierarchy.
[0139]
(Third example of image composition processing)
FIG. 14 is a flowchart showing a third example of the image composition processing in the image composition device 100D shown in FIG. 11, and the same reference numerals in FIG. 12 and FIG.
[0140]
Steps ST205 to ST206:
First, in step ST205, the image superposition order is set to the first order or the second order. For example, the overlapping order is set according to the order setting signal input to the processing unit 90.
Next, in step ST206, it is determined whether the superposition order is set to the first order or the second order. If it is determined that the first order is set, steps ST201 to ST203 are executed, and if it is determined that the second order is set, steps ST207 to ST208 are executed.
[0141]
Steps ST201 to ST203:
Processing similar to the flowchart shown in FIG. 12 is executed. That is, the image data of the lowest hierarchy is synthesized with the synthesis result of the image data of the upper hierarchy.
[0142]
Steps ST207 to ST208:
In step ST207, two image data having different hierarchies are combined at a ratio corresponding to the transparency of the image data of the upper hierarchy. That is, when the upper layer image data Im1 having transparency α1 and the lower layer image data Im2 are combined, the combined image data Im3 is combined using the relationship of Expression (1).
[0143]
When image data composition processing is performed in step ST207, it is next determined in step ST208 whether composition of image data (IML1, ImL2,..., IMLi) of all layers is completed.
[0144]
If it is determined in step ST208 that all layers have not been combined, the process returns to step ST207 again, and the above-described image data combining process is performed.
In this case, the image data resulting from the synthesis in the previous step ST207 is used as one of the two image data to be synthesized.
Further, as the other image data to be combined, image data of a higher hierarchy is used with respect to the image data that is the combination source of the image data obtained as a result of the combination in the previous step ST207. That is, new image data to be synthesized in the upper hierarchy and its transparency are input to the processing unit 90 with respect to the image data synthesized by the process of step ST207, and are used for synthesis with the previous synthesis result.
If it is determined in step ST208 that all layers have been combined, the image combining process ends.
[0145]
As described above, according to the third example of the image composition processing according to the sixth embodiment, when the image superposition order is set to the first order, Then, when the image is synthesized in the lower hierarchy and the superposition order is set to the second order, the image is synthesized in the upper hierarchy with respect to the synthesis result of the lower hierarchy image. In this way, it is possible to freely set the order of overlaying images, and the degree of freedom of image processing using composite image data can be further increased.
[0146]
(Fourth example of image composition processing)
FIG. 15 is a flowchart showing a fourth example of image composition processing in the image composition device 100D shown in FIG. 11, and the same reference numerals in FIG. 14 and FIG.
[0147]
As shown in FIG. 15, in the fourth example of the image composition process, when the image superposition order is set to the first order, an image composition process equivalent to the flowchart shown in FIG. 13 is executed. The Further, when the image superposition order is set to the first order, the processes of step ST207 and steps ST209 to ST211 described below are executed.
[0148]
Steps ST207 and ST209:
In step ST207, two image data having different hierarchies are combined at a ratio corresponding to the transparency of the image data of the upper hierarchy. That is, the two image data are synthesized using the relationship of Expression (1).
[0149]
If image data composition processing has been performed in step ST207, it is next determined in step ST209 whether or not composition of image data in a layer lower than the highest layer has been completed.
[0150]
If it is determined in step ST209 that the lower layer has not been combined, the process returns to step ST207, and the above-described image data combining process is performed.
In this case, the image data resulting from the synthesis in the previous step ST207 is used as one of the two image data to be synthesized.
Further, as the other image data to be combined, image data of a higher hierarchy is used with respect to the image data that is the combination source of the image data obtained as a result of the combination in the previous step ST207. That is, new image data to be synthesized in the upper hierarchy and its transparency are input to the processing unit 90 with respect to the image data synthesized by the process of step ST207, and are used for synthesis with the previous synthesis result.
If it is determined in step ST208 that the lower hierarchy has been combined, the process moves to step ST210.
[0151]
Step ST210:
In step ST210, processing related to image quality improvement, such as anti-flicker filter processing, is performed on the image data acquired by repeating the image synthesis processing in steps ST207 and ST209.
[0152]
Step ST211:
The image data after the image quality improvement processing in step ST210 is combined with the image data of the highest hierarchy. This composition ratio is determined according to the transparency of the image data of the highest hierarchy.
[0153]
As described above, according to the fourth example of the image compositing process according to the sixth embodiment, it is possible to freely set the overlapping order of the images as in the third example already described. Thus, the degree of freedom of image processing using the composite image data can be further increased.
Furthermore, since the image quality improvement processing is performed on the image data synthesized in step ST207 or step ST201, the image quality related to these image data can be improved, and the image quality is deteriorated by this image quality improvement processing. Such image data can be combined with the lowest hierarchy or the highest hierarchy without performing such image quality improvement processing.
[0154]
For example, assuming that anti-flicker filter processing is performed in steps ST204 and ST210, still image data is input as image data ImL1, ImL2,..., IMLi-1, and moving image data is input as image data IMLi. Image quality of still image data can be improved without performing anti-flicker filter processing on the image data, and a moving image can be combined with a lower or higher hierarchy than the still image.
[0155]
In the flowchart shown in FIG. 15, the image quality improvement processing is performed on the composite image data of each layer excluding the lowest layer or the highest layer. However, the present invention is not limited to this example, and for example, in step ST201 and step ST207 In the process of repeating the image synthesis process, a step of performing an image quality improvement process on the image data as a synthesis result may be inserted as needed.
Further, instead of the image quality improvement processing, other various data conversion processing steps may be inserted. As a result, for image data that requires a certain data conversion process, after the data conversion process is performed on the combined image data, the image data that does not require the data process is converted to a higher level of the combined image data after the data conversion process. It becomes possible to compose into a hierarchy or a lower hierarchy.
[0156]
<Seventh Embodiment>
FIG. 16 is a block diagram showing an example of the configuration of an image reproduction processing apparatus 1000 according to the seventh embodiment of the present invention.
An image reproduction processing apparatus 1000 illustrated in FIG. 16 includes a decoding unit 200, a codec unit 300, a storage unit 400, a DVD unit 500, a graphics processing unit 600, an image memory 700, and a control unit 800.
[0157]
(Decoding unit 200)
The decoding unit 200 decodes a video signal demodulated from a reception signal of the antenna 100 and a video signal SV-in input via a cable, and reproduces image data. For example, NTSC (national television system committee) or PAL (phase alternation by line) video signals are decoded. As the video signal SV-in, for example, an S video signal (separate video signal) is input.
[0158]
(Codec unit 300)
The codec unit 300 encodes the image data decoded by the decoding unit 200 with a predetermined encoding method suitable for the format of data stored in the storage unit 400 or the DVD unit 500, and outputs the encoded data to these devices.
The codec unit 300 also reads and decodes encoded data stored in the storage unit 400 and the DVD unit 500 and outputs the decoded data to the graphics processing unit 600.
[0159]
(Storage unit 400)
The storage unit 400 stores encoded data output from the codec unit 300. Further, in response to a request from the codec unit 300, the stored encoded data is output to the codec unit 300.
As the storage unit 400, for example, a large-capacity storage device such as a hard disk is applied.
[0160]
(DVD unit 500)
The DVD unit 500 performs a process of writing the encoded data output from the codec unit 300 to the DVD. Further, in response to a request from the codec unit 300, the encoded data written on the DVD is read and output to the codec unit 300.
[0161]
(Graphics processing unit 600)
The graphics processing unit 600 performs various types of image processing on the image data output from the decoding unit 200 and the codec unit 300, converts the processing results into video signals V-out and SV-out again, Supply to an external device such as a display device.
As the image processing, for example, image composition processing for realizing the OSD function, image quality improvement processing, and the like are executed.
[0162]
FIG. 17 is a block diagram showing an example of the configuration of the graphics processing unit 600 in the image reproduction processing apparatus 1000 shown in FIG.
17 includes a control bus interface unit 601, a memory bus interface unit 602, a selection unit 603, an image synthesis unit 604, and a video signal output unit 605.
[0163]
The control bus interface unit 601 receives various control signals transmitted from the control unit 800 described later via the control bus BS1 and outputs the various control signals to each unit of the graphics processing unit 600. In addition, a signal output from each unit of the graphics processing unit 600 to the control unit 800 is input and transmitted to the control unit 800 via the control bus BS1.
[0164]
The memory bus interface unit 602 controls the read / write operation of the graphics processing unit 600 with respect to the image memory 700 described later. The image data is transmitted via a memory bus BS2 that connects the graphics processing unit 600 and the image memory 700.
Note that the memory bus BS2 can also be used for transmission of image data between the graphics processing unit 600 and other units (decoding unit 200 or codec unit 300). In this case, a similar memory bus interface unit is also provided in these units.
[0165]
The selection unit 603 includes image data (for example, moving image data Im1 and Im2) supplied from the decoding unit 200 and the codec unit 300, and image data (for example, still image data Im3) read from the image memory 700 via the memory bus BS2. To Im6), image data to be input to the image composition unit 604 is selected and supplied to an appropriate image data input terminal of the image composition unit 604.
This selection operation in the selection unit 603 is controlled by a control signal generated by the control unit 800. The control signal is generated according to the desired image data to be synthesized and the desired overlapping order.
[0166]
As still image data stored in the image memory 700, for example, image data generated by a still image generation unit (not shown) based on character or graphic information set by the control unit 800 may be used. Alternatively, part of the image data output from the decoding unit 200 and the codec unit 300 may be used.
[0167]
The image composition unit 604 is a unit that performs image composition processing according to the present invention. For example, the image composition unit 604 executes processing similar to that of the image composition device according to the first to sixth embodiments already described.
[0168]
In addition, when the image composition device according to the fifth embodiment is applied, or when the processing of the flowchart shown in FIG. 14 or FIG. 15 is executed by the image processing device according to the sixth embodiment, the images are superimposed. The control unit 800 gives an order setting signal for setting the alignment order.
[0169]
Further, when three or more pieces of image data are not combined in parallel as in the image combining apparatus 100D described above, the selection unit 603 may be omitted and image data necessary for combining may be input as needed.
[0170]
The video signal output unit 605 converts the image data synthesized by the image synthesis unit 604 into a video signal of a predetermined system such as NTSC system or PAL system and outputs the video signal. In the example of FIG. 17, the combined image data of the image combining unit 604 is converted into a composite video signal V-out and an S video signal SV-out and output.
The above is the description of the graphics processing unit 600.
[0171]
(Image memory 700)
The image memory 700 is a storage device for temporarily storing image data processed by the graphics processing unit 600. As the image memory 700, for example, a high-speed, large-capacity storage device such as a synchronous DRAM is applied.
[0172]
(Control unit 800)
The control unit 800 outputs various control signals to the codec unit 300 and the graphics processing unit 600, and performs processing for controlling these operations. For example, when an image composition process is performed in the graphics unit 600, an order setting signal for setting an image superposition order is output. In addition, the encoding / decoding method of image data in the codec unit 300 is set, and the data writing / reading process for the storage unit 400 and the DVD unit 500 is controlled. These control signals are generated, for example, based on user operation information input via an interface unit (not shown).
[0173]
Next, the operation of the image reproduction processing apparatus having the above-described configuration will be described.
A video signal demodulated from a received signal of the antenna 100 and a video signal SV-in input via a cable are decoded into image data by the decoding unit 200. Also, the encoded data stored in the storage unit 400 and the encoded data read from the DVD in the DVD unit 500 are decoded into image data in the codec unit 300. The image data decoded by the decoding unit 200 and the codec unit 300 and the image data stored in the image memory 700 are combined by the graphics processing unit 600 and converted into video signals V-out and SV-out, Output to an external device such as a display device.
[0174]
In the graphics processing unit 600, image data used for composition is selected from the image data supplied from the decoding unit 200, the codec unit 300, and the image memory 700 by the selection unit 603, and a desired overlapping order is set. The image is input to the input terminal of the image composition device 604 determined to be obtained.
In the image composition unit 604, the same image composition processing as that of the image composition device according to the first to sixth embodiments described above is executed.
The image data synthesized in the image synthesis unit 604 is converted into video signals V-out and SV-out in the video signal output unit 605.
[0175]
As described above, according to the image reproduction processing device 1000 shown in FIG. 16, the graphics processing unit 600 executes the same image composition processing as the image composition device according to the first to sixth embodiments. In the case where a plurality of images each set with transparency are synthesized, it is possible to further synthesize an image to a lower layer of the previously synthesized image. As a result, it is possible to acquire higher-layer composite image data that does not include the lowest-layer image data, and the degree of freedom of image processing using the composite image data can be increased.
[0176]
For example, when realizing an OSD function that superimposes still images including characters and figures on a moving image, after applying anti-flicker filter processing to the combined result of still images in the upper layer, moving images are displayed in the lower layer. It becomes possible to overlap. As a result, the image quality of the still image can be improved and the color of the still image can be made less affected by the moving image.
[0177]
In addition, it is possible to freely set the image superposition order, and the degree of freedom of image processing using the composite image can be increased. For example, it is also possible to further synthesize these after applying different image processing to a plurality of synthesized image data. Since the degree of freedom of image processing can be increased in this way, the quality and expression of reproduced images can be improved.
[0178]
In addition, this invention is not limited to embodiment mentioned above.
For example, in each of the above-described embodiments, the transparency set for one image data is not limited to one. Independent transparency may be set for each pixel data included in the image data.
[0179]
Although FIG. 16 shows an example of an image reproduction processing apparatus including the DVD apparatus 500, the present invention is not limited to this example. Not only the DVD but also various other recording media may be used to read image information. In addition, a configuration in which the codec unit 300, the storage unit 400, and the DVD unit 500 are omitted may be used, and conversely, a configuration in which the decoding unit 200 is omitted may be used. In addition, the present invention can be applied to various image reproduction processing devices that perform processing for causing a display device to reproduce a composite result of a plurality of images as an image.
[0180]
【The invention's effect】
According to the image synthesizing apparatus, the image synthesizing method, the program, and the image reproduction processing apparatus of the present invention, when synthesizing a plurality of images each set with transparency, the image is further synthesized to the lower layer of the previously synthesized image. can do.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of an image composition device according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating an example of a configuration of a first combining unit.
FIG. 3 is a diagram for explaining a relationship between transparency of two-layer image data and a composition ratio.
FIG. 4 is a block diagram illustrating an example of a configuration of a second synthesis unit according to the first embodiment of the present invention.
FIG. 5 is a block diagram showing an example of a configuration of an image composition device according to a second embodiment of the present invention.
FIG. 6 is a flowchart for explaining a processing flow in a data acquisition unit;
FIG. 7 is a block diagram showing an example of a configuration of an image composition device according to a third embodiment of the present invention.
FIG. 8 is a block diagram showing an example of a configuration of an image composition device according to a fourth embodiment of the present invention.
FIG. 9 is a diagram illustrating an example of a configuration of a first combining unit included in an image combining apparatus according to a fifth embodiment of the present invention.
FIG. 10 is a diagram illustrating an example of a configuration of a second combining unit included in an image combining apparatus according to a fifth embodiment of the present invention.
FIG. 11 is a block diagram illustrating an example of a configuration of an image composition device according to a sixth embodiment of the present invention.
12 is a flowchart showing a first example of an image composition process in the image composition apparatus shown in FIG. 11;
13 is a flowchart showing a second example of image composition processing in the image composition apparatus shown in FIG.
14 is a flowchart showing a third example of image composition processing in the image composition apparatus shown in FIG. 11; FIG.
FIG. 15 is a flowchart illustrating a fourth example of image composition processing in the image composition apparatus illustrated in FIG. 11;
FIG. 16 is a block diagram illustrating an example of a configuration of an image reproduction processing apparatus according to a seventh embodiment of the present invention.
17 is a block diagram showing an example of a configuration of a graphics processing unit in the image reproduction processing apparatus shown in FIG.
FIG. 18 is a diagram illustrating a general configuration example of an image composition apparatus for performing image composition by alpha blending.
FIG. 19 is a block diagram illustrating a configuration example of an image synthesis apparatus including a filter unit that performs image quality improvement processing using an anti-flicker filter.
20 is a block diagram in which the insertion position of the filter unit in the image composition device shown in FIG. 19 is changed.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10, 20, 10A, 20A ... 1st synthetic | combination part, 30, 30A ... 2nd synthetic | combination part, 40, 50 ... Transparency determination part, 60 ... Data acquisition part, 70, 71 ... Memory | storage part, 80 ... Image quality improvement process , 90 ... processing unit, 11, 13, 31, 33 ... composition ratio calculation unit, 12, 32 ... composition processing unit, 14, 15, 34, 35 ... selection unit, 100, 100A, 100B, 100C, 100D ... image Synthesizer, 200 ... decode unit, 300 ... codec unit, 400 ... storage unit, 500 ... DVD unit, 600 ... graphics processing unit, 601 ... control bus interface unit, 602 ... memory bus interface unit, 603 ... selection unit 604, an image composition unit, 605, a video signal output unit 602, 700, an image memory, 800, a control unit, 1000, an image reproduction processing device.

Claims (8)

An image composition device that superimposes an upper layer image having transparency on an image of a lower layer,
First combining means for combining two still image data having different layers at a ratio according to the set transparency;
Transparency determining means for determining the transparency of the composite still image data output from the first combining means according to the transparency of the two still image data of the composition source;
Image quality improvement processing means for performing image quality improvement processing for improving the image quality of a still image on the composite still image data output from the first synthesis means;
The synthesized still image data subjected to the image quality improvement processing by the image quality improvement processing means and the moving image data of the lowest hierarchy are synthesized at a ratio according to the transparency of the synthesized still image data determined by the transparency determining means. A second synthesis means;
Have
When the order of image superposition is set to the first order in the input order setting signal,
The first synthesizing unit synthesizes two still image data having different hierarchies at a ratio corresponding to the transparency.
The second synthesizing unit combines the synthesized still image data subjected to the image quality improvement processing by the image quality improvement processing unit and the moving image data of the lowest hierarchy with the synthesized still image data determined by the transparency determining unit. Synthesize at a ratio according to transparency,
When the superposition order is set to the second order in the order setting signal,
The first synthesizing unit synthesizes two still image data having different hierarchies at a ratio corresponding to the transparency of the still image data of the upper hierarchy,
The second synthesizing unit converts the highest order moving image data in the second order and the combined still image data subjected to the image quality improvement processing by the image quality improvement processing unit into the highest order moving image data. An image synthesizer that synthesizes in proportions to the degree of transparency. In the first stage, still image data of two adjacent layers is input, and in each stage following the first stage, the synthesized still image data output from the previous stage and the still image data that is the synthesis source of the synthesized still image data are input. A plurality of cascaded first composition means for inputting still image data having adjacent layers,
A plurality of the transparency determining means for respectively determining the transparency of the combined still image data output from each stage of the cascaded first combining means,
The image composition device according to claim 1. The hierarchy of the synthesized still image data output from the first synthesizing unit and the transparency of the still image data determined by the transparency determining unit is adjacent to the still image data from which the synthesized still image data is synthesized. A process of repeating the process of inputting the still image data and its transparency together with the first combining means and the transparency determining means again, and combining the still image data of the higher hierarchy than the lowest hierarchy as a result of the repetition Having data acquisition means for acquiring still image data and transparency thereof;
The second synthesizing unit synthesizes the synthesized still image data acquired by the data acquiring unit and the moving image data of the lowest hierarchy at a ratio corresponding to the transparency acquired by the data acquiring unit;
The image composition device according to claim 1. In the first stage, still image data of two adjacent layers is input, and in each stage following the first stage, the synthesized still image data output from the previous stage and the still image data that is the synthesis source of the synthesized still image data are input. A plurality of cascaded first composition means for inputting still image data having adjacent layers,
A plurality of the transparency determining means for respectively determining the transparency of the combined still image data output from each stage of the cascaded first combining means,
The image composition device according to claim 1. The hierarchy of the synthesized still image data output from the first synthesizing unit and the transparency of the still image data determined by the transparency determining unit is adjacent to the still image data from which the synthesized still image data is synthesized. When the process of inputting the still image data and its transparency together with the first composition unit and the transparency determination unit is repeated, and as a result of the repetition, the superposition order is set to the first order, In the case where the combined still image data obtained by combining the still image data of the higher hierarchy than the lowest hierarchy in the first order and the transparency thereof and the superposition order is set to the second order, Data acquisition means for acquiring combined still image data obtained by combining the still image data of the lower hierarchy than the highest hierarchy in the second order;
When the superposition order is set to the first order, the second synthesizing unit converts the synthesized still image data acquired by the data acquiring unit and the moving image data of the lowest hierarchy to the data When the composition is combined at a ratio according to the transparency acquired by the acquisition means, and the superposition order is set to the second order, the composite still image data acquired by the data acquisition means and the moving image of the highest hierarchy And image data are synthesized at a ratio according to the transparency of the moving image data in the highest hierarchy.
The image composition device according to claim 1. An upper layer image having transparency is converted into a lower layer image by an image composition device having first composition means, transparency determination means, data acquisition means, image quality improvement processing means, and second composition means. An image composition method for compositing on top of each other,
The first synthesizing unit synthesizes two still image data having different hierarchies at a ratio corresponding to each set transparency, and the transparency determining unit sets the still image data as a synthesis result in the synthesizing step. A transparency determining step for determining the transparency of the two still image data of the composition source in accordance with the transparency of the composition source, and the data acquisition means composes the still image data of the composition result in the composition step and the still image data The synthesis step and the transparency determination step are repeated with still image data having a layer adjacent to the original still image data as new two-layer still image data. A first step of acquiring still image data obtained by combining the still image data of the layers and transparency thereof;
A second step in which the image quality improvement processing means performs an image quality improvement process for improving the image quality of the still image on the synthesized still image data synthesized in the first step;
The second synthesizing unit determines the synthesized still image data subjected to the image quality improvement process in the second step and the moving image data in the lowest hierarchy according to the transparency acquired in the first step. A third step of compositing in proportion;
Have
When the order of image superimposition is set to the first order in the input order setting signal, the first synthesizing unit in the synthesizing step of the first step includes two still image data having different hierarchies. Are combined at a ratio corresponding to each transparency, and in the third step, the second combining means combines the combined still image data subjected to image quality improvement processing and the moving image data of the lowest layer. Synthesize at a ratio according to the transparency of the synthesized still image data determined in the first step,
When the superposition order is set to the second order in the order setting signal, in the composition step in the first step, the first composition unit converts two still image data having different layers into an upper layer. In the third step, the second synthesizing unit performs the image quality improvement process with the moving image data of the highest hierarchy in the second order. An image synthesis method for synthesizing the synthesized still image data with a ratio corresponding to the transparency of the moving image data in the highest hierarchy. A computer having a processing device that performs processing for superimposing an upper layer image with transparency on an image of a lower layer,
The composition procedure for synthesizing two still image data of different layers at a ratio corresponding to the set transparency, and the transparency of the still image data as a result of the composition in the above composition procedure, the transparency of the two still image data of the composition source Transparency determination procedure determined according to the above, and still image data obtained as a result of the synthesis in the synthesis procedure and still image data whose layer is adjacent to the still image data that is the synthesis source of the still image data. As the still image data of the hierarchy, the above synthesis procedure and the transparency determination procedure are repeated, and as a result of the iteration, still image data obtained by synthesizing each still image data of the hierarchy higher than the lowest hierarchy and its transparency are acquired. 1 procedure and
A second procedure for performing image quality improvement processing for improving the image quality of a still image on the synthesized still image data synthesized in the first procedure;
A third procedure for synthesizing the synthesized still image data subjected to the image quality improvement processing in the second procedure and the moving image data in the lowest hierarchy at a ratio according to the transparency acquired in the first procedure. When,
A program for executing
In the case where the order of image superposition is set to the first order in the input order setting signal, two still image data having different hierarchies are selected in accordance with the respective transparency in the composition procedure of the first procedure. The synthesized still image data subjected to the image quality improvement process and the moving image data in the lowest hierarchy in the third procedure are combined with the synthesized still image data determined in the first procedure. Synthesize at a ratio according to transparency,
When the superposition order is set to the second order in the order setting signal, two still image data having different hierarchies are set in accordance with the transparency of the still image data of the upper hierarchy in the synthesis procedure in the first procedure. In the third procedure, the highest order moving image data and the synthesized still image data subjected to the image quality improvement process in the second order are combined with the highest order moving image data. A program that synthesizes in proportions to the degree of transparency. An image reproduction processing apparatus that superimposes and superimposes an upper layer image having transparency on a lower layer image and performs reproduction processing of the synthesized image,
First combining means for combining two still image data having different layers at a ratio according to the set transparency;
Transparency determining means for determining the transparency of the composite still image data output from the first combining means according to the transparency of the two still image data of the composition source;
Image quality improvement processing means for performing image quality improvement processing for improving the image quality of a still image on the composite still image data output from the first synthesis means;
The synthesized still image data subjected to the image quality improvement processing by the image quality improvement processing means and the moving image data of the lowest hierarchy are synthesized at a ratio according to the transparency of the synthesized still image data determined by the transparency determining means. A second synthesis means;
Have
When the order of image superposition is set to the first order in the input order setting signal,
The first synthesizing unit synthesizes two still image data having different hierarchies at a ratio corresponding to the transparency.
The second synthesizing unit combines the synthesized still image data subjected to the image quality improvement processing by the image quality improvement processing unit and the moving image data of the lowest hierarchy with the synthesized still image data determined by the transparency determining unit. Synthesize at a ratio according to transparency,
When the superposition order is set to the second order in the order setting signal,
The first synthesizing unit synthesizes two still image data having different hierarchies at a ratio corresponding to the transparency of the still image data of the upper hierarchy,
The second synthesizing unit converts the highest order moving image data in the second order and the combined still image data subjected to the image quality improvement processing by the image quality improvement processing unit into the highest order moving image data. An image reproduction processing device that synthesizes at a ratio corresponding to the transparency of the image.

Images