JP3906167B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理技術に関し、特に複数の画像を混合して表示する技術に関する。
【０００２】
【従来の技術】
デジタル放送の開始に向けて、新しい放送形態やサービスの提案がなされている。そのうちの一つに、放送される映像の画面上に任意の文字や記号（キャラクタ）を重畳させて表示するオン・スクリーン・ディスプレイ（ＯＳＤ）がある。ＯＳＤにより、たとえば、画面に字幕スーパーを表示したり、ニュース速報を表示したり、電子番組案内（Electronic Program Guide：ＥＰＧ）などを表示したりすることができる。これらの副画像には、透明度の指標となるα値が与えられており、任意の透明度により、主画像である放送画面に混合される。
【０００３】
図１は、社団法人電波産業会発行の、標準規格「デジタル放送におけるデータ放送符号化方式と伝送方式」（ＡＲＩＢ ＳＴＤ−Ｂ２４ ３．０版（第一分冊）平成１１年１０月２６日策定、平成１３年５月３１日３．０改定）の１９ページに掲載されたプレーン間の合成制御の説明図である。静止画プレーンの画素（ＳＰ）と動画プレーンの画素（ＶＰ）は、動画静止画切替えプレーンの１ビットの値（ＣＰ）により切替えが行われる。したがって、動画プレーンと静止画プレーンの合成プレーンの画素（ＳＶＰ）は下式に従う。

動画と静止画が合成された合成プレーンの画素はさらに文字図形プレーンの画素（ＴＰ）と、ＣＬＵＴより出力されるα値により合成される。このα値をα１とすると、合成プレーンの画素（ＴＳＶＰ）は下式とする。
ＴＳＶＰ＝（１−α１）×ＳＶＰ＋α１×ＴＰ
字幕プレーンの画素（ＧＰ）は、さらに字幕プレーンのＣＬＵＴより出力されるα値により合成される。このα値をα２とすると、合成プレーンの画素（ＧＴＳＶＰ）は、下式とする。
ＧＴＳＶＰ＝（１−α２）×ＴＳＶＰ＋α２×ＧＰ
【０００４】
【発明が解決しようとする課題】
このようなＯＳＤ機能は、次世代の放送サービスにおいて必須の機能と目されているが、ＯＳＤ機能が広く受け入れられ、普及するためには、さらに利便性の高い技術の開発が求められる。
【０００５】
本発明は、そうした課題に鑑みてなされたものであり、その目的は、利便性の高い画像合成技術を提供することにある。
【０００６】
【課題を解決するための手段】
本発明のある態様は画像処理装置に関する。この画像処理装置は、第１の画像の画素値と、第１の画像に合成される少なくとも１つの第２の画像の画素値とを、所定の混合割合により混合する合成部を備え、合成部は、第２の画像の画素値を混合するとともに、第１の画像の画素値に乗じるべき混合係数を演算する第１の合成部と、第１の合成部により合成された合成画像の画素値と第１の画像の画素値とを、乗じるべき混合係数に基づいて混合する第２の合成部とを含む。
【０００７】
第１の画像に第２の画像を順次合成するのではなく、複数の第２の画像を先に合成しておき、最後に第１の画像に合成することで、後述するように、第２の画像への一括変換処理が可能となり、また、第１の画像を取得してから表示までの時間を短縮することが可能となる。
【０００８】
この画像処理装置は、第２の画像の画素値を指定するためのインデックスに対して、混合係数と画素値が対応づけて記録されているテーブルをさらに備え、テーブルは、画素値に混合係数を予め乗算した乗算値を保持し、合成部における乗算の少なくとも一部をテーブルから乗算値を読み出すことにより取得してもよい。これにより、演算に必要な乗算器を削減することができるので、回路構成を簡略化し、装置の小型化、軽量化に寄与することができる。
【０００９】
この画像処理装置は、第１の合成部により合成された合成画像の画素値を一時的に保持する格納部をさらに備えてもよい。これにより、第１の画像を取得したときに、予め演算された合成画像を格納部から読み出し、第１の画像と合成するだけでよいので、第１の画像の取得から表示までの時間を短縮することができる。たとえば、第１の画像が放送波により送られるテレビ画面や、インターネットなどを介して送られる動画などの場合、表示までの遅延時間を軽減することができるので、とくに効果的である。
【００１０】
この画像処理装置は、格納部に格納された合成画像の画素値を再び第１の合成部に入力することにより、第２の画像を順次混合することが可能に構成されてもよい。画像処理装置は、第１の合成部に、第２の画像の画素値と、格納部に格納された合成画像の画像値のいずれを入力するかを選択する第１の選択部をさらに備えてもよい。これにより、第１の合成部により第２の画像をサイクリックに重畳することができるので、比較的簡便な構成で多数の第２の画像を混合することができる。
【００１１】
この画像処理装置は、少なくとも２つの格納部を備え、第１の合成部により合成された合成画像の画素値をいずれの格納部に格納するかを選択する第２の選択部をさらに備えてもよい。画像処理装置は、少なくとも２つの格納部を備え、いずれの格納部に格納された合成画像の画素値を第１の合成部に入力するかを選択する第３の選択部をさらに備えてもよい。画像処理装置は、少なくとも２つの格納部を備え、いずれの格納部に格納された合成画像の画素値を第２の合成部に入力するかを選択する第３の選択部をさらに備えてもよい。画像処理装置は、少なくとも２つの格納部を備え、格納部のうちの少なくとも１つは第１の合成部に合成画像の画素値を入力するために用いられ、格納部のうちの少なくとも１つは第２の合成部に合成画像の画素値を入力するために用いられてもよい。格納部を複数設けておくことにより、複数の画像合成処理を同時に並行して行うことができるので、処理を高速化することができる。また、格納部を表示用のフレームバッファと兼用する場合、合成画像の画素値を第１の合成部にフィードバックするための格納部と、表示用の格納部を分けることで、表示に乱れが発生することを防止することができる。
【００１２】
この画像処理装置は、第１の合成部により合成された合成画像に対して所定の変換処理を施す変換部をさらに備えてもよい。変換処理は、合成画像のサイズを変更する処理であってもよい。変換処理は、合成画像の画素値のビット数を変更する処理であってもよい。先に複数の第２の画像を合成しておくことで、合成画像全体に対してスケーリングやビット数変換などの処理を一括して行うことができる。
【００１３】
第１の合成部および第２の合成部は、第２の画像の画素値および第１の画像の画素値に対して、所定のオフセット値を加算するオフセット加算部と、第１の画像と合成画像が合成されたときに発生しうるオフセットのずれを予め調整するオフセット調整部と、をそれぞれ含んでもよい。変換部は、合成画像のある画素の画素値を、それに近接する画素の画素値で代用させることにより、合成画像の画素値のビット数を減少させ、オフセット調整部は、変換部により省略された画素の画素値の演算に際して、その画素の現実の画素値を含むオフセット項と、代用された画素値を含むオフセット項とを相殺すべく、予めオフセットのずれを調整しておいてもよい。これにより、オフセットのずれに起因する表示色の異常を防止することができる。
【００１４】
本発明の別の態様は、画像処理方法に関する。この画像処理方法は、第１の画像の画素値と、第１の画像に合成される複数の第２の画像の画素値とを、所定の混合割合により混合するとき、まず、複数の第２の画像の画素値を混合して、合成画像の画素値を取得する工程と、第１の画像の画素値に乗じるべき混合係数を演算する工程と、合成画像の画素値と第１の画像の画素値とを、乗じるべき混合係数に基づいて混合する工程と、を含む。
【００１５】
本発明のさらに別の態様も、画像処理方法に関する。この画像処理方法は、第１および第２の画像のαブレンディングに先立ち、少なくとも第２の画像の画素値およびそれに対応するα値を削減してデータを圧縮する工程と、削減された画素値およびα値をその画素に近接する画素によって補填する工程と、補填の後、第１および第２の画像を画素単位で混合する際に、補填によって本来とは異なるα値をもった画素が混合されたときに発生しうる画素値のオフセット値のずれを防止すべく、オフセット値に演算処理を施す工程と、を含む。
【００１６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
【００１７】
【発明の実施の形態】
（第１の実施の形態）
図２は、本発明の実施の形態に係る画像処理装置の一例としてのテレビジョン受像機１０の全体構成を示す。このテレビジョン受像機１０は、放送波から映像と音声を再生出力するテレビジョン受像機の一般的な機能のほかに、放送波により送られる第１の画像（以下、「主画像」ともいう）に、文字情報などを含む少なくとも１つの第２の画像（以下、「副画像」ともいう）を重畳させて出力する機能を有する。なお、第１の画像は、地上放送、衛星放送、有線放送など、任意の方式で取得されてもよいし、アナログ、デジタル、ハイブリッドなどいずれの形式であってもよい。本実施の形態では、デジタル放送受像機を例にとって説明する。
【００１８】
アンテナ１２により受信された放送波は、チューナ１４に送られる。チューナ１４は、ユーザが選んだチャネルを含むトランスポンダを選択し、ＱＰＳＫ復調を施す。復調で得られた複数のトランスポートパケットを含むストリームは、パケット分離部１６へ送られる。パケット分離部１６はデマルチプレクサであり、所望のチャネルに対応するパケットを分離して、デコーダ１８へ出力する。デコーダ１８は、例えばＭＰＥＧデコーダであり、入力されたパケットを復号し、音声データを音声信号処理部３０へ、映像データを映像信号処理部３２へ、それぞれ出力する。このとき、放送波に副画像データが含まれていた場合は、副画像データを主制御部２０または副画像入力部３４へ出力する。
【００１９】
音声信号処理部３０は、入力された音声データに所定の処理を施し、スピーカ４０へ出力する。映像信号処理部３２は、入力された映像データに所定の処理を施し、処理後のデータを合成部３６へ出力する。副画像入力部３４は、副画像データを取得して合成部３６へ出力する。合成部３６は、後で詳述するように、主画像データと副画像データとを合成し、合成後のデータをＮＴＳＣエンコーダ３８へ出力する。ＮＴＳＣエンコーダ３８でビデオ信号に変換された映像信号は、モニタ４２へ出力され表示される。なお、映像データまたは音声データは、デジタル信号のまま外部の任意の機器へ出力されてもよい。
【００２０】
主制御部２０は、テレビジョン受像機１０全体を統括的に制御する。主制御部２０は、ＣＰＵ２２、システムの起動に必要なプログラムなどが格納されたＲＯＭ２４、およびプログラムエリアまたはワークエリアとして利用されるＤＲＡＭ２６を含む。主制御部２０は、デコーダ１８を介して放送波から、または放送波とは異なる通信形式をサポートする通信部２８を介して外部から取得した副画像データに所定の処理を施し、処理後のデータを副画像入力部３４へ送る。主制御部２０は、その他、ユーザからの要求などに応じて、電子番組案内などの副画像を生成し、副画像入力部３４へ送ってもよい。
【００２１】
図３は、合成部３６の一般的な構成および動作を説明するための図である。この例では、主画像（レイヤＡ）に、２つの副画像（レイヤＢおよびレイヤＣ）を合成する。レイヤＡは、たとえば図１における動画プレーンＶＰまたは静止画プレーンＳＰに、レイヤＢは文字図形プレーンＴＰに、レイヤＣは字幕プレーンＧＰに対応する。レイヤＡの映像データは、映像信号処理部３２を介して合成部３６に入力される。一般に、レイヤＡの映像データは、輝度信号Ｙ、色差信号ＣｂおよびＣｒを含み、それぞれが４画素で、４、４、４バイト、または、４、２、２バイトで構成される。色差信号ＣｂおよびＣｒが２バイトで構成されていた場合は、図１に示したように、４２２→４４４変換部により、４バイトに変換されてから合成部３６に入力されてもよい。レイヤＢおよびレイヤＣの映像データは、この例では、８ビットのインデックス信号として与えられ、カラールックアップテーブル１００ｂおよび１００ｃを参照して、そのインデックス信号に対応する輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ、および混合係数αが読み出される。合成部３６における演算は、Ｙ、Ｃｂ、Ｃｒのそれぞれの画素値について施されるが、ここでは説明の便宜のため、レイヤＡの画素値を「Ａ」で、レイヤＢの画素値を「Ｂ」で、レイヤＣの画素値を「Ｃ」で代表させる。
【００２２】
図４は、カラールックアップテーブル１００ｂおよび１００ｃの内部データを示す。カラールックアップテーブル１００ｂおよび１００ｃには、インデックス欄３００、混合係数α値欄３０２、輝度信号Ｙ値欄３０４、色差信号Ｃｂ値欄３０６、および色差信号Ｃｒ値欄３０８が設けられており、たとえば、レイヤＢ内のあるピクセルの画素値として、インデックス信号「０」が指定されると、インデックス「０」に対応する、α値「１」、Ｙ値「２００」、Ｃｂ値「１００」、Ｃｒ値「１００」が読み出されて合成部３６の回路に出力される。レイヤＢのカラールックアップテーブル１００ｂとレイヤＣのカラールックアップテーブル１００ｃは、同一のテーブルを共通に利用してもよい。
【００２３】
図３に戻り、画像の合成の手順を説明する。まず、１段目の合成回路により、レイヤＡの画素値ＡとレイヤＢの画素値Ｂが合成される。ここで、図１において説明したように、レイヤＢの合成係数をα_Ｂとすると、合成レイヤの画素値Ｄは下式となる。
Ｄ＝（１−α_Ｂ）×Ａ＋α_Ｂ×Ｂ
この合成レイヤＤの画素値Ｄを算出するために、まず、カラールックアップテーブル１００ｂから、指定されたインデックス信号に対応する混合係数α_Ｂおよび画素値Ｂを読み出す。そして、乗算器１１０に、レイヤＡの画素値Ａと、混合係数α_Ｂより演算された１−α_Ｂとを入力して、（１−α_Ｂ）×Ａを演算する。また、乗算器１１２に、レイヤＢの画素値Ｂと、混合係数α_Ｂとを入力して、α_Ｂ×Ｂを演算する。さらに、それぞれの演算結果を加算器１２０に入力して加算することにより、合成レイヤの画素値Ｄが出力される。
【００２４】
同様にして、２段目の合成回路により、合成レイヤＤの画素値ＤとレイヤＣの画素値Ｃが合成される。すなわち、乗算器１１６によりα_Ｃ×Ｃが演算され、乗算器１１４により（１−α_Ｃ）×Ｄが演算され、加算器１２２によりそれらが加算される。出力される合成レイヤＥの画素値Ｅは下式となる。

合成された映像信号は、ＮＴＳＣエンコーダ３８へ出力される。
【００２５】
図３に示した合成回路では、合成の各段において、前段までの合成レイヤの画素値に（１−α）を乗じる乗算器と、合成すべきレイヤの画素値にαを乗じる乗算器の２個が必要であり、ｎ個のレイヤを合成するために２ｎ個の乗算器が必要である。実際には、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒのそれぞれについて合成を施すため、２ｎ×３個の乗算器が必要となる。装置のさらなる小型化、軽量化のためには、合成部３６における回路構成を簡略化し、ハードウェア構成を削減することが好ましい。
【００２６】
図５は、改良された合成部３６の構成および動作を説明するための図であり、図６は、図５に示された合成部３６で用いられるカラールックアップテーブル１０２ｂおよび１０２ｃの内部データを示す図である。
【００２７】
図６に示したカラールックアップテーブル１０２ｂおよび１０２ｃには、
インデックス欄３００、１−α値欄３１２、αＹ値欄３１４、αＣｂ値欄３１６、およびαＣｒ値欄３１８が設けられており、たとえば、レイヤＢ内のあるピクセルの画素値として、インデックス信号「０」が指定されると、インデックス「０」に対応する、１−α値「０」、αＹ値「２００」、αＣｂ値「１００」、αＣｒ値「１００」が読み出されて合成部３６の回路に出力される。このように、Ｙ、Ｃｂ、Ｃｒの値の代わりに、それぞれに予めαを乗じた値をテーブルに格納しておくことで、画素値とαとの乗算に用いていた乗算器が不要となる。カラールックアップテーブル１０２は、固定的に保持されていてもよいが、テーブルを更新するときは、たとえばＣＰＵ２２などにより、カラールックアップテーブル１０２の各データを算出してもよい。
【００２８】
図５に戻り、画像の合成の手順を説明する。レイヤＡの画素値Ａと、カラールックアップテーブル１０２ｂから読み出された１−α_Ｂは、乗算器１３０にそれぞれ入力され、（１−α_Ｂ）×Ａが演算される。そして、その演算結果と、カラールックアップテーブル１０２ｂから読み出されたα_ＢＢが加算器１４０に入力され、合成レイヤＤの画素値Ｄ＝（１−α_Ｂ）Ａ＋α_ＢＢが出力される。
【００２９】
同様にして、合成レイヤＤの画素値ＤとレイヤＣの画素値Ｃが合成される。すなわち、乗算器１３２により、（１−α_Ｃ）×Ｄが演算され、その演算結果に加算器１４２によりカラールックアップテーブル１０２ｃから読み出されたα_ＣＣが加算される。出力される合成レイヤＥの画素値Ｅは、図３の場合と同じであり、下式となる。

合成された映像信号は、ＮＴＳＣエンコーダ３８へ出力される。
【００３０】
図５に示した合成部３６は、副画像の画素値を読み出すためのカラールックアップテーブル１０２に、画素値に混合係数αを予め乗算した値を記録しておき、各レイヤを混合するときには、（１−α）×Ａ＋α×Ｂの演算に含まれる乗算のうち、α×Ｂをテーブルからのデータ読出しにて代行するので、図３に示した合成部３６に比べて乗算器の数を半分にすることができる。これにより、ハードウェア構成を削減し、装置のさらなる小型化、軽量化に寄与することができる。また、ハードウェア構成を減らすことで、消費電力を軽減することもできる。
【００３１】
（第２の実施の形態）
図７は、第２の実施の形態に係るテレビジョン受像機の合成部の内部構成を示す。本実施の形態の合成部３６は、主画像へ副画像を１段ずつ合成していくのではなく、複数の副画像同士を先に合成しておき、最後に、合成した副画像を主画像に合成する。本実施の形態のテレビジョン受像機１０の全体構成は、図２に示した第１の実施の形態のテレビジョン受像機１０と同様であるから、ここでは合成部３６の構成および動作について説明する。
【００３２】
合成部３６は、第１合成部２００、変換部２１０、フレームメモリ２１２、および第２合成部２０２を含む。第１合成部２００は、副画像であるレイヤＢとレイヤＣを合成するとともに、主画像であるレイヤＡの画素値に乗算すべきα値を算出する。まず、レイヤＢのα値α_Ｂおよび画素値Ｂとが、カラールックアップテーブル１００ｂなどから、また、レイヤＣのα値α_Ｃおよび画素値Ｃとが、カラールックアップテーブル１００ｃなどから、それぞれ読み出される。レイヤＢの画素値Ｂには、乗算器１５０によりα_Ｂが、乗算器１５４により（１−α_Ｃ）がそれぞれ乗算される。レイヤＣの画素値Ｃには、乗算器１５６によりα_Ｃが乗算される。これらの乗算結果が、加算器１６０により加算され、副画像の合成レイヤＦの画素値Ｆが演算される。すなわち、合成レイヤＦの画素値Ｆは、下式となる。
Ｆ＝α_Ｂ（１−α_Ｃ）Ｂ＋α_ＣＣ
一方、第１合成部２００では、主画像であるレイヤＡに乗算すべきα値が算出される。この例では、乗算器１５２により、（１−α_Ｂ）（１−α_Ｃ）が算出される。
【００３３】
第１合成部２００で算出された画素値Ｆとα値は、変換部２１０に出力される。変換部２１０は、第１合成部２００により得られた副画像の合成レイヤＦに対して所定の処理を施して画像を変換し、変換後のデータをフレームメモリ２１２に出力する。たとえば、副画像の合成レイヤＦの画像サイズを拡大縮小してもよいし、合成レイヤＦの画素値のバイト数を変更してもよい。このように、先に副画像を合成しておくことで、副画像全体に対してスケーリングやバイト数変換などの処理を一括して行うことができる。
【００３４】
フレームメモリ２１２は、変換部２１０により変換された後の副画像データＦと、レイヤＡに乗算すべきα値とを格納する。第２合成部２０２は、レイヤＡの画像データＡのストリームに合わせて、フレームメモリ２１２からα値および副画像データＦを読み出し、レイヤＡと副画像の合成レイヤＦとを合成する。まず、乗算器１５８により、（１−α_Ｂ）（１−α_Ｃ）Ａを演算し、この演算結果に、加算器１６２により副画像データＦを加算して、合成レイヤＥの画素値Ｅが得られる。
【００３５】
複数の副画像を先に合成しておき、フレームメモリ２１２に格納しておくことで、レイヤＡのデータストリームを取得してから合成レイヤＥの画素値を得るまでの演算回数を減らすことができるので、放送波を受信してから映像が表示されるまでの遅延時間を短くすることができる。今後、画面の解像度が増加したり、画素値のバイト数が増加するなどして、処理すべきデータ量が増加した場合には、特に有効である。
【００３６】
（第３の実施の形態）
図８は、第３の実施の形態に係るテレビジョン受像機の合成部の内部構成を示す。本実施の形態の合成部３６も、第２の実施の形態と同様に、主画像へ副画像を１段ずつ合成していくのではなく、複数の副画像を先に合成しておき、最後に、合成した副画像を主画像に合成する。本実施の形態のテレビジョン受像機１０の全体構成は、図２に示した第１の実施の形態のテレビジョン受像機１０と同様であるから、ここでは合成部３６の構成および動作について説明する。
【００３７】
本実施の形態の合成部３６は、図７に示した第２の実施の形態の合成部３６のうち、第１合成部２００の回路構成が変更されている。第２の実施の形態では、レイヤＢの画素データとして、α_ＢおよびＢが第１合成部２００に入力されたが、本実施の形態では、図５に示した第１の実施の形態と同様に、１−α_Ｂおよびα_ＢＢが入力される。すなわち、図６に示したカラールックアップテーブル１０２を用いることで、α_Ｂ×Ｂの演算をテーブルからの読出しにて代行する。これにより、第１合成部２００の回路構成を簡略化し、ハードウェア構成を削減することができる。本発明者の実験によれば、従来のＯＳＤに比べて１０％程度の回路を削減できたことが分かっている。その他の構成および動作は、第２の実施の形態と同様である。
【００３８】
（第４の実施の形態）
図９は、第４の実施の形態に係るテレビジョン受像機の合成部の内部構成を示す。本実施の形態のテレビジョン受像機１０の全体構成は、図２に示した第１の実施の形態のテレビジョン受像機１０と同様であるから、ここでは合成部３６の構成および動作について説明する。本実施の形態でも、第２および第３の実施の形態と同様に、先に副画像を合成し、最後に副画像の合成レイヤを主画像レイヤに合成するが、図９では、説明の便宜のため、１枚の副画像レイヤＢを主画像レイヤＡに合成する場合を例にとって説明する。
【００３９】
レイヤＢのインデックス信号が入力されると、カラールックアップテーブル１００ｂを参照して、α_ＢおよびＢが出力される。画素値Ｂのうち、輝度信号Ｙはそのまま演算に用いられるが、色差信号ＣｂおよびＣｒは、一般に負の値を含むので、演算に先立って、オフセット加算部２２０によりオフセット値を加算して正の値に変換しておく。たとえば、色差信号ＣｂおよびＣｒが−１２７から＋１２７までの値をとり得る場合は、オフセット加算部２２０で１２８を加算しておく。オフセット加算部２２０の出力（Ｂ＋１２８）に、乗算器１９２によりα_Ｂを乗算して、α_Ｂ（Ｂ＋１２８）を得るが、ここで、後述するオフセット値のずれを防止するために、オフセット調整部２２２により、（１−α_Ｂ）×１２８を加算しておく。オフセット調整部２２２の出力は、下式となる。
α_Ｂ（Ｂ＋１２８）＋（１−α_Ｂ）×１２８＝α_ＢＢ＋１２８
この演算結果は、４４４→４２２変換部２２４に入力され、色差信号ＣｂおよびＣｒが４バイトから２バイトに変換される。具体的には、奇数番目の画素の色差信号を偶数番目の画素の色差信号で代用することで、色差信号のバイト数を半分にしている。４４４→４２２変換部２２４の出力である副画像レイヤの画素値と、主画像レイヤＡに乗算すべきα値とが、フレームメモリ２１２に格納される。
【００４０】
主画像であるレイヤＡの色差信号も、同様に、オフセット加算部２２６により１２８が加算される。フレームメモリ２１２から読み出されたα値が乗算器１９４により（Ａ＋１２８）に乗算され、（１−α_Ｂ）（Ａ＋１２８）が出力される。ここで、後述するオフセット値のずれを防止するために、オフセット調整部２２８により（１−α_Ｂ）×１２８を減算する。オフセット調整部２２８の出力（１−α_Ｂ）Ａと、フレームメモリ２１２から読み出された（α_ＢＢ＋１２８）が、加算器１９６により加算され、（１−α_Ｂ）Ａ＋α_ＢＢ＋１２８が算出される。
【００４１】
ここで、オフセット調整部２２２および２２８を設けなかったときの演算の様子を説明する。図１０は、レイヤＡの画素値を、図１１は、レイヤＢの画素値およびα値を示す。それぞれ、４つのピクセルについて、画素値およびα値を示している。下付きの添え字はレイヤの種類を示し、上付きの添え字はピクセル番号を示す。
【００４２】
図１２は、乗算器１９２から出力された演算結果を示す。輝度信号Ｙについてはオフセット値が加算されず、α_ＢＹが出力されているが、色差信号ＣｂおよびＣｒについてはオフセット値が加算されており、α_Ｂ（Ｃｂ＋１２８）が出力されている。図１３は、４４４→４２２変換部２２４から出力された演算結果を示す。奇数画素の色差信号ＣｂおよびＣｒは、隣接する偶数画素の色差信号により代用され、バイト数が半分になっている。
【００４３】
図１４は、乗算器１９４から出力された演算結果を示す。フレームメモリから読み出された（１−α_Ｂ）がレイヤＡの画素値に乗算されている。図１５は、加算器１９６から出力された演算結果を示す。偶数画素であるピクセル０および２については、正しい演算結果が得られているが、奇数画素であるピクセル１および３については、オフセット項にずれが生じている。ピクセル１を例にとって説明すると、副画像の色差信号ＣｂおよびＣｒが隣のピクセル０の値で代用されているため、オフセット項にα_Ｂ ^０×１２８という項が残る一方で、主画像レイヤＡの演算にはα_Ｂ ^１が用いられるため、オフセット項にα_Ｂ ^１×１２８という項が残る。α_Ｂ ^０とα_Ｂ ^１が同じ値であれば、これら２つの項は相殺してずれは生じないが、異なる値であれば、本来は相殺するはずの項が残り、ずれが生じてしまう。
【００４４】
このような問題を解決するために、副画像の合成時に、オフセット調整部２２２にてα_Ｂ ^０を含むオフセット項をキャンセルしておき、主画像の合成時に、オフセット調整部２２８にてα_Ｂ ^１を含むオフセット項をキャンセルしておく。これにより、オフセット値のずれを防止することができる。
【００４５】
図１６は、オフセット調整部２２２から出力された演算結果を示す。オフセット調整部２２２では、乗算器１９２の演算結果に、（１−α_Ｂ）×１２８を加算することで、α_Ｂを含むオフセット項をキャンセルしている。図１７は、４４４→４２２変換部２２４から出力された演算結果を示す。奇数画素の色差信号ＣｂおよびＣｒが、隣接する偶数画素の色差信号で代用されている。図１８は、オフセット調整部２２８から出力された演算結果を示す。オフセット調整部２２８では、乗算器１９４の演算結果から、（１−α_Ｂ）×１２８を減算することで、α_Ｂを含むオフセット項をキャンセルしている。図１９は、加算器１９６から出力された演算結果を示す。α_Ｂを含むオフセット項がキャンセルされているので、偶数画素も奇数画素もオフセット値のずれがない正しい値が得られている。
【００４６】
ここでは、２枚の画像を合成する場合を例にとって説明したが、３枚以上の画像を合成するときも、同様にオフセット項を調整することで、画素値のずれを防止することができる。また、オフセット調整部２２２および２２８によりオフセット項を調整することに代えて、α値についても色差信号と同様に、奇数画素のα値を偶数画素のα値で代用することにより、オフセット値のずれを防止することができる。
【００４７】
（第５の実施の形態）
図２０は、第５の実施の形態に係るテレビジョン受像機の合成部の内部構成を示す。本実施の形態のテレビジョン受像機１０の全体構成は、図２に示した第１の実施の形態のテレビジョン受像機１０と同様であるから、ここでは合成部３６の構成および動作について説明する。本実施の形態でも、第２、第３、および第４の実施の形態と同様に、複数の副画像を先に合成しておき、最後に、合成した副画像を主画像に合成する。本実施の形態では、第１合成部２００により合成した副画像を再び第１合成部２００に入力して、さらに他の副画像と合成することにより、複数の副画像を順次重畳させる技術を提案する。このような技術により、比較的簡便な構成で多数の副画像を合成することが可能となる。
【００４８】
本実施の形態の合成部３６は、図８に示した第３の実施の形態の合成部３６の構成に加えて、第１の選択部の一例としてのセレクタ２１４、第２の選択部の一例としてのセレクタ２１６、および第３の選択部の一例としてのセレクタ２１８を備える。また、第３の実施の形態の合成部３６は、１つのフレームメモリ２１２を備えていたが、本実施の形態の合成部３６は、２つのフレームメモリ２１２ａおよび２１２ｂを備える。これらの構成は、第１合成部２００において副画像をサイクリックに合成するために設けられている。ここでは、図８に示した第３の実施の形態の合成部３６に上述の構成を加えた例について説明するが、図７に示した第２の実施の形態の合成部３６、または図９に示した第４の実施の形態の合成部３６に上述の構成を加えて、本実施の形態の技術を適用することも可能である。
【００４９】
セレクタ２１４は、第１合成部２００に、合成前の副画像の映像データを入力するか、フレームメモリ２１２ａまたは２１２ｂに既に格納されている合成後の副画像の映像データを入力するかを選択する。セレクタ２１６は、変換部２１０から出力された合成画像の映像データをフレームメモリ２１２ａまたは２１２ｂのいずれに格納するかを選択する。セレクタ２１８は、フレームメモリ２１２ａまたは２１２ｂに格納されている合成画像の映像データを、第１合成部２００または第２合成部２０２のいずれに入力するかを選択する。セレクタ２１４、２１６、および２１８は、主制御部２０により制御される。以下、主画像であるレイヤＡと、副画像であるレイヤＢ、Ｃ、およびＤとを合成して、合成レイヤＪを生成する手順について説明する。
【００５０】
図２１は、レイヤＢとレイヤＣを合成して合成レイヤＨを生成する様子を示す。第１合成部２００は、レイヤＢおよびレイヤＣのインデックス信号を入力し、第１の実施の形態で説明した手順と同様にして、レイヤＢとレイヤＣを合成する。このとき、セレクタ２１４は、レイヤＢの映像データを第１合成部２００における演算に供給すべく乗算器１７０および１７２に入力する。第１合成部２００により合成された合成レイヤＨの画素値Ｈと、レイヤＡの画素値に乗じるべき係数α_Ａは、以下のようになる。
Ｈ＝α_Ｂ（１−α_Ｃ）Ｂ＋α_ＣＣ
α_Ａ＝（１−α_Ｂ）（１−α_Ｃ）
セレクタ２１６は、変換部２１０から出力される合成レイヤＨの映像データをフレームメモリ２１２ｂに格納する。この合成レイヤＨは、複数の副画像のうちの一部を合成した中間的な合成副画像レイヤであり、第１合成部２００によりさらに他の副画像と合成される。
【００５１】
図２２は、フレームメモリ２１２ｂに格納された合成レイヤＨにレイヤＤを合成して合成レイヤＩを生成する様子を示す。セレクタ２１８は、フレームメモリ２１２ｂに格納された合成レイヤＨの映像データをセレクタ２１４に送る。セレクタ２１４は、セレクタ２１８により選択された合成レイヤＨの映像データを第１合成部２００における演算に供給すべく乗算器１７０および１７２に入力する。第１合成部２００により合成された合成レイヤＩの画素値Ｉと、レイヤＡの画素値に乗じるべき係数α_Ａは、以下のようになる。
Ｉ＝α_Ｂ（１−α_Ｃ）（１−α_Ｄ）Ｂ＋α_Ｃ（１−α_Ｄ）Ｃ＋α_ＤＤ
α_Ａ＝（１−α_Ｂ）（１−α_Ｃ）（１−α_Ｄ）
セレクタ２１６は、変換部２１０から出力される合成レイヤＩの映像データをフレームメモリ２１２ａに格納する。こうして合成されたレイヤＩは、全ての副画像Ｂ、Ｃ、およびＤを合成して生成された最終的な合成副画像レイヤである。この合成レイヤＩをレイヤＡに合成するために、つづいて、第２合成部２０２により演算が行われる。
【００５２】
図２３は、フレームメモリ２１２ａに格納された合成レイヤＩに主画像レイヤＡを合成する様子を示す。セレクタ２１８は、フレームメモリ２１２ａに格納された合成レイヤＩの映像データを第２合成部２０２に入力する。第２合成部２０２は、レイヤＡおよびレイヤＩの映像データを入力し、第１の実施の形態で説明した手順と同様にして、レイヤＡとレイヤＩを合成する。第２合成部２０２により合成された合成レイヤＪの画素値Ｊは、以下のようになる。
Ｊ＝（１−α_Ｂ）（１−α_Ｃ）（１−α_Ｄ）Ａ＋
α_Ｂ（１−α_Ｃ）（１−α_Ｄ）Ｂ＋α_Ｃ（１−α_Ｄ）Ｃ＋α_ＤＤ
合成された映像信号は、ＮＴＳＣエンコーダ３８へ出力される。
【００５３】
図２０に示した例では、合成部３６は３つのレイヤを合成するための回路構成しか備えていないが、上述のようにサイクリックに合成を行うことで、この回路により４つ以上のレイヤを合成することができる。
【００５４】
第２合成部２０２において主画像レイヤＡと合成レイヤＩを合成しているときに、並行して、第１合成部２００において次の副画像の合成処理を行ってもよい。図２３に示した例では、フレームメモリを２つ用意しているので、フレームメモリ２１２ａから合成レイヤＩの映像データを読み出している間に、第１合成部２００においてレイヤＢ’とレイヤＣ’を合成して合成レイヤＤ’を生成し、合成レイヤＤ’の映像データをフレームメモリ２１２ｂに格納することができるので、同時並行処理が可能となる。これにより、処理を高速化することができる。
【００５５】
２つのフレームメモリ２１２ａおよび２１２ｂのうち、一方を中間的な合成レイヤの格納に用い、他方を最終的な合成レイヤの格納に用いてもよい。たとえば、フレームメモリ２１２ｂは、さらに他の副画像を合成する必要のある中間的な合成レイヤを一時的に格納し、第１合成部２００へフィードバックするために用いる。フレームメモリ２１２ａは、全ての副画像を合成した最終的な合成レイヤを格納し、第２合成部２０２へ出力するために用いる。この場合、セレクタ２１８を設けなくてもよく、たとえば、フレームメモリ２１２ｂをセレクタ２１４に接続し、フレームメモリ２１２ａを第２合成部２０２に接続してもよい。また、フレームメモリ２１２ａを表示用のフレームメモリと兼ねてもよく、第２合成部２０２により演算された映像データ、または、ＮＴＳＣエンコーダ３８から出力された映像データをフレームメモリ２１２ａに再び格納してもよい。
【００５６】
上述の例では、２つのフレームメモリ２１２ａおよび２１２ｂを設けたが、フレームメモリは１つであってもよい。このとき、副画像の合成を行っている間は、フレームメモリ２１２に格納された中間的な合成レイヤを第１合成部２００に入力し、副画像の合成が終了したときに、フレームメモリ２１２に格納された最終的な合成レイヤを第２合成部２０２に入力するようセレクタ２１８を制御すればよい。
【００５７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を述べる。
【００５８】
実施の形態では、２または３枚のレイヤを合成したが、それ以上のレイヤを合成する場合も、同様である。実施の形態では、テレビジョン受像機を例にとって説明したが、本発明の技術は、コンピュータや携帯電話など、画像を表示する機能を有する表示装置全般に利用可能である。
【００５９】
【発明の効果】
本発明によれば、利便性の高い画像合成技術を提供することができる。
【図面の簡単な説明】
【図１】 プレーン間の合成制御の説明図である。
【図２】 実施の形態に係るテレビジョン受像機の全体構成を示す図である。
【図３】 合成部の一般的な構成および動作を説明するための図である。
【図４】 図３に示した合成部で用いられるカラールックアップテーブルの内部データを示す図である。
【図５】 第１の実施の形態に係る合成部の構成および動作を説明するための図である。
【図６】 図５に示した合成部で用いられるカラールックアップテーブルの内部データを示す図である。
【図７】 第２の実施の形態に係る合成部の構成および動作を説明するための図である。
【図８】 第３の実施の形態に係る合成部の構成および動作を説明するための図である。
【図９】 第４の実施の形態に係る合成部の構成および動作を説明するための図である。
【図１０】 レイヤＡの画素値を示す図である。
【図１１】 レイヤＢの画素値を示す図である。
【図１２】 オフセット調整を行わないときの、乗算器から出力された演算結果を示す図である。
【図１３】 オフセット調整を行わないときの、４４４→４２２変換部から出力された演算結果を示す図である。
【図１４】 オフセット調整を行わないときの、乗算器から出力された演算結果を示す図である。
【図１５】 オフセット調整を行わないときの、加算器から出力された演算結果を示す図である。
【図１６】 オフセット調整を行ったときの、オフセット調整部から出力された演算結果を示す図である。
【図１７】 オフセット調整を行ったときの、４４４→４２２変換部から出力された演算結果を示す図である。
【図１８】 オフセット調整を行ったときの、オフセット調整部から出力された演算結果を示す図である。
【図１９】 オフセット調整を行ったときの、加算器から出力された演算結果を示す図である。
【図２０】 第５の実施の形態に係るテレビジョン受像機の合成部の内部構成を示す図である。
【図２１】 レイヤＢとレイヤＣを合成して合成レイヤＨを生成する様子を示す図である。
【図２２】 フレームメモリに格納された中間合成レイヤＨにレイヤＤを合成して合成レイヤＩを生成する様子を示す図である。
【図２３】 フレームメモリに格納された合成レイヤＩに主画像レイヤＡを合成する様子を示す図である。
【符号の説明】
１０ テレビジョン受像機、 ３２ 映像信号処理部、 ３４ 副画像入力部、 ３６ 合成部、 １００ カラールックアップテーブル、 １０２ カラールックアップテーブル、 ２００ 第１合成部、 ２０２ 第２合成部、 ２１０ 変換部、 ２１２ フレームメモリ、 ２１４ セレクタ、 ２１６ セレクタ、 ２１８ セレクタ、 ２２０ オフセット加算部、 ２２２ オフセット調整部、 ２２４ ４４４→４２２変換部、 ２２６ オフセット加算部、 ２２８ オフセット調整部。

Claims (14)

1. 第１の画像の画素値と、前記第１の画像に合成される複数の第２の画像の画素値とを、所定の合成割合により合成する合成部と、
   前記第２の画像の画素値を指定するためのインデックスに対して、前記第２の画像に乗じるべき合成係数と画素値が対応づけて記録されているテーブルと、を備え、
   前記合成部は、
   前記複数の第２の画像の画素値同士を合成するとともに、前記第１の画像の画素値に乗じるべき合成係数を演算する第１の合成部と、
   前記第１の合成部により合成された前記複数の第２の画像の合成画像の画素値と前記第１の画像の画素値とを、前記第１の画像の画素値に乗じるべき合成係数に基づいて合成する第２の合成部とを含み、
   前記テーブルは、画素値に前記第２の画像に乗じるべき合成係数を予め乗算した乗算値を保持し、
   前記合成部における乗算の結果の少なくとも一部を前記テーブルから前記乗算値を読み出すことにより取得することを特徴とする画像処理装置。
2. 前記第１の合成部により合成された前記複数の第２の画像の合成画像の画素値を一時的に保持する格納部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記格納部に格納された合成画像の画素値を再び前記第１の合成部に入力することにより、前記第２の画像を順次混合することが可能であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の合成部に、前記第２の画像の画素値と、前記格納部に格納された前記合成画像の画像値のいずれを入力するかを選択する第１の選択部をさらに備えることを特徴とする請求項２または３に記載の画像処理装置。
5. 少なくとも２つの前記格納部を備え、前記第１の合成部により合成された合成画像の画素値をいずれの格納部に格納するかを選択する第２の選択部をさらに備えることを特徴とする請求項２から４のいずれかに記載の画像処理装置。
6. 少なくとも２つの前記格納部を備え、いずれの格納部に格納された合成画像の画素値を前記第１の合成部に入力するかを選択する第３の選択部をさらに備えることを特徴とする請求項２から５のいずれかに記載の画像処理装置。
7. 少なくとも２つの前記格納部を備え、いずれの格納部に格納された合成画像の画素値を前記第２の合成部に入力するかを選択する第３の選択部をさらに備えることを特徴とする請求項２から５のいずれかに記載の画像処理装置。
8. 少なくとも２つの前記格納部を備え、前記格納部のうちの少なくとも１つは前記第１の合成部に合成画像の画素値を入力するために用いられ、前記格納部のうちの少なくとも１つは前記第２の合成部に合成画像の画素値を入力するために用いられることを特徴とする請求項２から７のいずれかに記載の画像処理装置。
9. 前記第１の合成部により合成された合成画像に対して所定の変換処理を施す変換部をさらに備えることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 前記変換処理は、前記合成画像のサイズを変更する処理であることを特徴とする請求項９に記載の画像処理装置。
11. 前記変換処理は、前記合成画像の画素値のビット数を変更する処理であることを特徴とする請求項９に記載の画像処理装置。
12. 前記変換部は、前記合成画像のある画素の画素値を、それに近接する画素の画素値で代用させることにより、前記合成画像の画素値のビット数を減少させ、
    前記第２の画像の画素値および前記第１の画像の画素値に対して、所定のオフセット値を加算するオフセット加算部と、
    前記変換部により省略された画素の画素値の演算に際して、その画素の現実の画素値を含むオフセット項と、代用された画素値を含むオフセット項とを相殺すべく、予めオフセットのずれを調整しておくオフセット調整部と、
    を更に含むことを特徴とする請求項１１に記載の画像処理装置。
13. 第１の画像の画素値と、前記第１の画像に合成される複数の第２の画像の画素値とを、所定の合成割合により合成するとき、まず、前記複数の第２の画像の画素値を合成して、合成画像の画素値を取得する工程と、
    前記第１の画像の画素値に乗じるべき合成係数を演算する工程と、
    前記合成画像の画素値と前記第１の画像の画素値とを、前記第１の画像の画素値に乗じるべき合成係数に基づいて合成する工程と、を含み、
    前記合成画像の画素値を取得する工程は、前記複数の第２の画像の画素値を合成する際に行う乗算の少なくとも一部を、前記第２の画像の画素値を指定するためのインデックスに対して混合係数と画素値が対応づけて記録されているテーブルに格納された、前記画素値に前記混合係数を予め乗算した乗算値を読み出すことにより取得することを特徴とする画像処理方法。
14. 第１の画像の画素値に第１の合成係数を乗算する第１の乗算器と、
    前記第１の画像に合成される少なくとも１つの第２の画像の画素値に第２の合成係数を乗算する第２の乗算器と、
    前記第１の乗算器の出力と前記第２の乗算器の出力とを加算する加算器と、
    前記第１又は第２の乗算器に前記第１又は第２の画像の画素値を入力する前に、前記第１又は第２の画像の画素値に所定のオフセット値を加算するオフセット加算部と、
    前記第２の画像のある画素の画素値を、それに近接する画素の画素値で代用させることにより、前記第２の画像の画素値のビット数を減少させる変換部と、
    前記変換部により省略された画素の画素値の演算に際して、その画素の現実の画素値を含むオフセット項と、代用された画素値を含むオフセット項とのずれを相殺すべく、補正値を加算するオフセット調整部と、
    を含むことを特徴とする画像処理装置。

Images