JP5022324B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に関し、特に、複数の画像データを画素ごとに合成する画像処理装置及び方法に関する。

社団法人電波産業会発行の標準規格ＡＲＩＢ ＳＴＤ−Ｂ２４「デジタル放送におけるデータ放送符号化方式と伝送方式」の第７章には、動画プレーン、静止画プレーン、動画静止画切替えプレーン、文字図形プレーン及び字幕プレーンの５種のプレーンが定義され、プレーン間の合成制御（以降、ＡＲＩＢ規定）が規定されている。

図６は、ＡＲＩＢ規定のプレーン合成制御の概念を示す図である。図６に示すように、当該プレーン合成制御の入力データは、ＡＲＩＢ規定で定義されている動画プレーン２１、静止画プレーン２２、動画静止画切替えプレーン２３、文字図形プレーン２４及び字幕プレーン２５である。スイッチ２６は、画素ごとに動画静止画切替えプレーン２３の１ビットの値ＣＰに応じて、静止画プレーン２２の画素ＳＰ又は動画プレーン２１の画素ＶＰのいずれかを選択して画素ＳＶＰとしてα合成回路２７へ出力する。ここで、スイッチ２６は、以下の式１に基づいて、静止画プレーン２２の画素ＳＰ又は動画プレーン２１の画素ＶＰから選択して画素ＳＶＰとする。

また、α合成回路２７は、スイッチ２６からの画素ＳＶＰと文字図形プレーン２４の画素ＴＰとを、文字図形プレーン２４において画素単位に設定された不透明度αに基づいてアルファ合成することで合成画素データ（不図示）を生成し、当該合成画素をα合成回路２８へ出力する。そして、α合成回路２８は、α合成回路２７から入力された合成画素データと字幕プレーン２５の画素ＧＰとを、字幕プレーン２５において画素単位に設定された不透明度αに基づいてアルファ合成することで合成画素データを生成し、合成プレーンとして出力する。

ここで、アルファ合成とは、前面プレーンの画素データの不透明度αによりプレーン合成を行う処理であり、不透明度αは画素の不透明度を０％〜１００％という数値を用いて示すものである。また、アルファ合成の概念を図７に示し、以下に説明する。

図７に示すように、当該プレーン合成制御の入力データは、画素単位に任意の不透明度αが設定された前面プレーン３１及び後面プレーン３２である。α合成回路３３は、画素ごとに前面プレーン３１の画素Ｓと後面プレーン３２の画素Ｖとを、以下の式２に代入することにより、合成プレーン３４の画素Ｘを求める。この処理を全画素分繰り返すことにより、合成プレーン３４が得られる。
Ｘ ＝ （１-α）×Ｖ ＋ α×Ｓ ・・・ （式２）
デジタル放送用受信装置では、このように、上述したＡＲＩＢ規定のプレーン合成制御を行っている。

続いて、図８に、デジタル放送用受信装置における表示切替の概念を示す。図８に示すリモコン４１は、当該デジタル放送用受信装置に対してデジタル放送表示を指示するボタン４１１と、当該デジタル放送用受信装置に対して当該デジタル放送用受信装置固有のメニュー画面表示等を指定するボタン４１２とを有する。そして、当該デジタル放送用受信装置は、これらの指示に対し、上述したＡＲＩＢで定義されている５種のプレーンにて表示処理を行う。

ここで、当該デジタル放送用受信装置により視聴するユーザは、視聴する内容を切り替えるために、リモコン４１のボタン４１１又はボタン４１２のいずれかを押下する。そして、ボタン４１１が押下された場合、当該デジタル放送用受信装置は、受信したデジタル放送用のプレーンに対して上述したアルファ合成により、表示画面４２に示すようなデジタル放送表示を行う。また、ボタン４１２が押下された場合、当該デジタル放送用受信装置は、当該デジタル放送用受信装置のメニュー表示に関する画像データに対して上述したアルファ合成により、表示画面４３に示すようなメニュー表示を行う。

ここで、アルファ合成に関連する技術が記載された文献として、下記のものが挙げられる。

特許文献１には、デジタル映像とアルファ合成する少なくとも１以上のオブジェクト映像を設定し、設定したオブジェクト映像に対して第１のモードと第２のモードとのいずれかを指定し、第１のモードを指定した場合には、第１のモードが指定されたオブジェクト映像および該オブジェクト映像の階層とデジタル映像との間にある階層のオブジェクト映像を、各階層のオブジェクト映像の透明度に応じてデジタル映像とアルファ合成し、第２のモードが指定された場合には、第２のモードが指定されたオブジェクト映像の階層とデジタル映像との間にある階層のオブジェクト映像を無視し、第２のモードが指定されたオブジェクト映像を該オブジェクト映像の透明度に応じてデジタル映像とアルファ合成する技術が開示されている。

また、特許文献２には、第１の画像の画素値Ａと、第１の画像に合成される少なくとも１つの第２の画像の画素値Ｂとを、所定の混合係数αにより混合する合成部と、画素値Ａを合成部に入力する第１の入力部と、画素値Ｂを指定するインデックス値を合成部に入力する第２の入力部と、各インデックスに対して混合係数αと画素値Ｂが対応づけて記録されているカラールックアップテーブルと、を備える画像処理装置及び方法に関する技術が開示されている。特許文献２に記載の技術によれば、カラールックアップテーブルは、画素値Ｂに混合係数αを予め乗算したα×Ｂを保持し、合成部における（１−α）×Ａ＋α×Ｂの演算に含まれる乗算のうち、（１−α）×Ａを乗算器により演算し、α×Ｂをカラールックアップテーブルからのデータ読出しにより取得する。すなわち、第２の画像の画素値Ｂを指定するインデックス信号に対応する画素値Ｂをカラールックアップテーブルから取得し、第１の画像の画素値Ａと合成する。

また、特許文献３には、特許文献２を改良した画像処理装置及び方法に関する技術が開示されている。特許文献３に記載の技術によれば、まず、合成部において、レイヤＡ、レイヤＢ、およびレイヤＣを、所定の混合係数により混合する際、まず、第１合成部により、副画像であるレイヤＢとレイヤＣを混合しておく。このとき、レイヤＡの画素値に乗じるべき混合係数も算出しておく。これらの演算結果は、変換部により所定の変換処理が施されたあと、いったんフレームメモリに格納される。レイヤＡを取得すると、フレームメモリから演算に必要な値が読み出され、第２合成部によりレイヤＡが合成される。これにより、レイヤＡを取得してから表示までの時間を短縮することができる。特許文献３では、特に、合成画像の画素値を格納すること及び前回合成した画素値を入力するか否かを選択することを行うものである。

また、特許文献４には、画像プレーンに複数の付加情報プレーンをアルファ合成するために、付加情報プレーンのアルファ合成に利用するパレットメモリを有する画像データ処理回路に関する技術が開示されている。特許文献４に記載の技術によれば、パレットメモリは、対応する付加情報プレーンのデータに基づいてアルファ値データや色差データを並列出力可能である。また、パレットメモリは、付加情報プレーンのデータに応じてアルファ値も可変に出力可能である。これにより、映像プレーンに重ねられる別プレーンの文字や図形に対する輪郭強調補正等を容易化する。
特開２００２−３１１９４４号公報 特開２００３−２５９２１３号公報 特開２００３−３２４６５２号公報 特開２００４−０２３３３２号公報

上述した特許文献１乃至４に示すような、上述したＡＲＩＢ規定に基づく画像処理方法は、アルファ合成処理に関するものである。しかしながら、特許文献１乃至４では、表示する画面内容に関わらず、常にアルファ合成を行うため、受信装置固有のメニュー画面の背景画像データ等のように、定められた領域を所定の色で塗りつぶす処理（塗りつぶし描画処理）に多大な時間を要すという問題点がある。そこで、以下では、上述したＡＲＩＢ規定に基づくアルファ合成を行うための受信装置を分析し、課題を明らかにする。

まず、図９に、上述したＡＲＩＢ規定に基づくプレーン合成制御のための画像処理装置１２０の全体構成をブロック図で示す。画像処理装置１２０は、画像処理回路１０１、制御部１０２及び記憶部１０３を備える。記憶部１０３は、動画プレーン１０４、静止画プレーン１０５、動画静止画切替えプレーン１０６、文字図形プレーン１０７及び字幕プレーン１０８に対応する画素データを格納する領域を備えた記憶装置である。

画像処理回路１０１は、動画プレーン１０４、静止画プレーン１０５、動画静止画切替えプレーン１０６、文字図形プレーン１０７及び字幕プレーン１０８を画素ごとに入力し、ＡＲＩＢ規定に基づいて、アルファ合成し、ビデオ出力１１４として出力する。

画像処理回路１０１は、スイッチ回路１０９、α合成回路１１２及びα合成回路１１３を備える。スイッチ回路１０９は、入力された動画プレーン１０４の画素ＶＰを画素ごとに一時的に格納する領域であるバッファ１１６と、入力された静止画プレーン１０５の画素ＳＰを画素ごとに一時的に格納する領域であるバッファ１１７と、スイッチ１１５と、スイッチ１１５の出力を画素ごとに一時的に格納する領域であるバッファ１１８とを備える。尚、バッファ１１６乃至１１８に格納される画素データは、ＡＲＩＢ規定に基づいた、所定のビット幅の不透明度α及び所定のカラーフォーマットにより色情報を示すカラーコンポーネントとから構成されるものである。スイッチ１１５は、バッファ１１６及びバッファ１１７に格納された画素データと、動画静止画切替えプレーン１０６の１ビットの値ＣＰとを入力し、値ＣＰに基づいて、画素ＶＰ又は画素ＳＰのいずれかを選択してバッファ１１８へ出力する。スイッチ１１５は、例えば、ＣＰ＝０である画素については、バッファ１１６に格納された画素データをバッファ１１８へ出力し、ＣＰ＝１である画素については、バッファ１１７に格納された画素データをバッファ１１８へ出力することで、合成プレーン１１０の画素ＳＶＰを生成する。

α合成回路１１２は、スイッチ回路１０９から出力された合成プレーン１１０の画素ＳＶＰ及び文字図形プレーン１０７の画素ＴＰを入力し、文字図形プレーン１０７の画素ＴＰに設定された不透明度αに基づいて、アルファ合成により合成画素データ（不図示）を生成し、当該合成画素データをα合成回路１１３へ出力する。α合成回路１１３は、α合成回路１１２から出力された合成画素データ及び字幕プレーン１０８の画素ＧＰを入力し、字幕プレーン１０８の画素ＧＰに設定された不透明度αに基づいて、アルファ合成により合成画素データ（不図示）を生成し、当該合成画素データをビデオ出力１１４として外部へ出力する。

制御部１０２は、外部からデジタル放送表示の指示に応じて、画像処理装置１２０が受信したデジタル放送データのデコード結果をプレーンの種類に応じて、記憶部１０３の各プレーンに対応する領域へ格納する。また、制御部１０２は、外部からメニュー表示の指示に応じて、メニュー表示用の静止画等を記憶部１０３の文字図形プレーン１０７及び字幕プレーン１０８に対応する領域へ格納する。すなわち、制御部１０２は、記憶部１０３に対して静止画を描画する塗りつぶし描画処理を行う。

次に、図１０に、画像処理装置１２０の制御処理の一例をフローチャート図で示す。まず、制御部１０２は、画像処理装置１２０によりにより視聴するユーザの操作からの表示要求を受け付け、デジタル放送表示又はメニュー表示であるかを判定する（Ｓ１０１）。ここで、デジタル放送表示と判定した場合、制御部１０２は、受信及びデコードしたデジタル放送データを記憶部１０３のプレーンごとの対応する領域に格納する（Ｓ１０２）。具体的には、制御部１０２は、ＹＣｒＣｂ４：２：２の動画データを動画プレーン１０４へ、ＹＣｒＣｂ４：２：２の静止画データを静止画プレーン１０５へ、動画静止画切替えを示す１ｂｐｐ（bits per pixel）のデータを動画静止画切替えプレーン１０６へ、ＹＣｒＣｂ４：４：４の文字図形データを文字図形プレーン１０７へ、及びＣＬＵＴ８の字幕データを字幕プレーン１０８へ格納する。

この後、上述したように、画像処理回路１０１のスイッチ１１５は、画素ごとに動画プレーン１０４の画素ＶＰと静止画プレーン１０５の画素ＳＰとを入力し、動画静止画切替えプレーン１０６の値ＣＰにより、画素ＶＰ及び画素ＳＰのいずれかを選択して合成プレーン１１０の画素ＳＶＰを出力する。そして、α合成回路１１２及びα合成回路１１３により、画素ごとに合成プレーン１１０の画素ＳＶＰ、文字図形プレーン１０７の画素ＴＰ及び字幕プレーン１０８の画素ＧＰからアルファ合成し、ビデオ出力１１４として出力する。これにより、画像処理装置１２０は、デジタル放送を表示することができる。

また、ステップＳ１０１において、メニュー表示と判定した場合、制御部１０２は、ＹＣｂＣｒ４：４：４のメニュー画面の塗りつぶし領域を文字図形プレーン１０７へ格納する（Ｓ１０３）。そして、制御部１０２は、当該メニュー画面の文字データを字幕プレーン１０８へ格納する（Ｓ１０４）。

この後、画像処理回路１０１のα合成回路１１３は、文字図形プレーン１０７の画素ＴＰと字幕プレーン１０８の画素ＧＰとをアルファ合成し、ビデオ出力１１４として出力する。これにより、画像処理装置１２０は、メニュー画面を表示することができる。

以下に、上述したメニュー表示の場合において、ステップＳ１０３における塗りつぶし描画処理のビット数を算出する。尚、ここでは、画素データのカラーフォーマットがＹＣｂＣｒ４：４：４、ビデオ出力の解像度が１０８０Ｐであるとする。まず、当該メニュー画面は、ＹＣｂＣｒ４：４：４の画素データで構成されるため、以下の式３に示すように、１画素あたり３２ビットである。また、当該メニュー画面は、解像度が１０８０Ｐであるため、１画面あたりの画素は、以下の式４に示すように、２，０７３，６００画素となる。そのため、制御部１０２は、当該メニュー画面を記憶部１０３の文字図形プレーン１０７へ格納するために、以下の式５に示すように、１画面あたり６６，３５５，２００ビット分の塗りつぶし描画処理が必要となる。
文字図形プレーン１０７の画素ＴＰ（ＹＣｂＣｒ４：４：４）：
α［８ビット］＋Ｙ［８ビット］＋Ｃｂ［８ビット］＋Ｃｒ［８ビット］ ＝ ３２ビット ・・・ （式３）
画面全体の画素数（１０８０Ｐ）：
縦１，０８０×横１，９２０ ＝ ２，０７３，６００画素 ・・・ （式４）
塗りつぶし描画処理：
３２ビット × ２，０７３，６００画素
＝ ６６，３５５，２００ビット ・・・ （式５）

塗りつぶし描画処理は、メニュー画面の背景画像データのように、デジタル放送における画面データに比べて比較的少ない種類の色を広い領域に渡って塗りつぶす場合に行われる。しかしながら、上述した画像処理装置１２０は、メニュー画面においてもデジタル放送と同レベルのＡＲＩＢ規定に基づくプレーン合成制御を行うため、式５に示される画素数を塗りつぶす必要がある。

本発明にかかる画像処理装置は、第１の画像データと第２の画像データとを含む複数の画像データを画素ごとに合成するものであって、前記画素ごとに定義された選択情報に基づき、前記第１の画像データと前記第２の画像データとを所定の割合により合成するための合成割合情報を前記第１の画像データの画素ごとに設定する第１のモードと、前記選択情報に基づき、前記画素ごとに色情報及び前記合成割合情報を定義するカラーデータを選択するか否かを判定し、選択すると判定した場合に当該カラーデータを当該画素に設定する第２のモードとを切り替えて、前記第１のモード又は前記第２のモードにより設定された画素ごとのデータを第３の画像データとして出力するスイッチ回路と、を備える。

本発明にかかる画像処理方法は、第１の画像データと第２の画像データとを含む複数の画像データを画素ごとに合成するものであって、前記画素ごとに定義された選択情報に基づき、前記第１の画像データと前記第２の画像データとを所定の割合により合成するための合成割合情報を前記第１の画像データの画素ごとに設定する第１の設定ステップと、前記選択情報に基づき、前記画素ごとに画素当たりの色情報及び前記合成割合情報を定義するカラーデータを選択するか否かを判定する判定ステップと、前記判定ステップにより前記カラーデータを選択すると判定した場合に当該カラーデータを当該画素に設定する第２の設定ステップと、前記第１の設定ステップにより設定する第１のモードと、前記第２の設定ステップにより設定する第２のモードとを切り替えて、前記第１のモード又は前記第２のモードにより設定された画素ごとのデータを第３の画像データとして出力するモード切替ステップと、を有する。

上述した本発明にかかる画像処理装置及び方法によれば、例えば、第１のモードを、デジタル放送表示とし、第２のモードをデジタル放送表示より軽減させたメニュー表示とした場合、塗りつぶし描画処理の効率を上げることができる。それは、本発明にかかる画像処理装置は、第２のモードにおいて、動画静止画切替えプレーンに設定された各画素における１ビットの値を選択情報とし、１画素あたりの画素データであるカラーデータとを組み合わせることで、メニュー画面における背景画像データを生成することができるからである。また、本発明にかかる画像処理装置は、第１のモードにおいて、動画静止画切替えプレーンに基づいて、静止画プレーンの画素ごとの不透明度αを設定することで、第２のモードとモードを切り替え可能な画像処理装置とすることができるからである。

関連技術では、塗りつぶし描画処理では、例えば、ＹＣｂＣｒ４：４：４の場合、１画面あたり３２ビットの塗りつぶし描画が必要であったが、本発明では、１画面あたり最低限１ビットの選択情報と１画素分の画素データ３２ビットとを塗りつぶすことで同等の出力を実現できる。そのため、塗りつぶし描画処理の量を相対的に減らすことができ処理効率を高めることができる。

本発明により、複数の画像データを画素ごとに合成する際の塗りつぶし描画処理にかかる時間を減らすことができる画像処理装置及び方法を提供することができる。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜発明の実施の形態１＞
図１は、本発明の実施の形態にかかる画像処理装置２０の全体構成を示すブロック図である。画像処理装置２０は、画像処理回路１、制御部２及び記憶部３を備える。記憶部３は、動画プレーン４、静止画プレーン５、動画静止画切替えプレーン６、文字図形プレーン７及び字幕プレーン８に対応する画素データを格納する領域を備えた記憶装置である。尚、記憶部３は、ハードディスクドライブ、光磁気ディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置でもよいし、ＤＲＡＭ（Dynamic Random Access Memory）、レジスタ等の揮発性の記憶装置であってもよい。

画像処理回路１は、動画プレーン４、静止画プレーン５、動画静止画切替えプレーン６、文字図形プレーン７及び字幕プレーン８を画素ごとに入力し、ＡＲＩＢ規定に基づいて、アルファ合成し、ビデオ出力１４として出力する。すなわち、画像処理回路１は、複数の画像データを画素ごとに合成するものである。

画像処理回路１は、スイッチ回路９、α合成回路１１、α合成回路１２、α合成回路１３を備える。スイッチ回路９は、制御部２からの指示に応じて、デジタル放送表示を行うためのＡＲＩＢモードと、ＥＰＧ（Electronic Program Guide）等のメニュー表示を行うための塗りつぶしモードとのいずれかにＳＷモードを切り替えるスイッチ回路である。スイッチ回路９は、バッファ９１と、バッファ９２と、バッファ９３と、カラーデータバッファ９４と、スイッチ１５と、スイッチ１６と、スイッチ１７とを備える。尚、バッファ９１乃至９３及びカラーデータバッファ９４に格納される画素データは、図２に後述する画素データであり、ここでは、不透明度α及びカラーコンポーネントとから構成されるものである。

バッファ９１は、静止画プレーン５の画素ＳＰの入力を画素ごとに一時的に格納するバッファである。スイッチ１６は、ＡＲＩＢモードの場合に動画静止画切替えプレーン６の値ＣＰに応じてバッファ９２に格納された画素データの不透明度αを設定するスイッチである。バッファ９２は、ＡＲＩＢモードの場合に、スイッチ１６から入力される不透明度αと、バッファ９１のカラーコンポーネント部分と、を格納するバッファである。スイッチ１６は、例えば、ＣＰ＝０である画素については、不透明度αを０％としてバッファ９２に格納された画素データに設定し、ＣＰ＝１である画素については、不透明度αを１００％としてバッファ９２に格納された画素データに設定する。すなわち、スイッチ１６は、ＡＲＩＢモードの場合に、画素ごとに定義された選択情報である値ＣＰに基づき、第１の画像データである静止画プレーン５と第２の画像データである動画プレーン４とを所定の割合により合成するための合成割合情報を、画素ごとに静止画プレーン５の画素ＳＰの不透明度αに設定する。

カラーデータバッファ９４は、塗りつぶしモードの場合に制御部２から得る、画素単位に定義された色情報であるカラーデータの設定を格納するバッファである。スイッチ１７は、塗りつぶしモードの場合に動画静止画切替えプレーン６の値ＣＰに応じてバッファ９１又はカラーデータバッファ９４に格納された画素データのいずれかを選択し、画素ごとにスイッチ１５へ出力するスイッチである。スイッチ１７は、例えば、ＣＰ＝０である画素については、カラーデータバッファ９４に格納された画素データを、ＣＰ＝１である画素については、バッファ９１に格納された画素データをスイッチ１５へ出力する。すなわち、スイッチ１７は、塗りつぶしモードの場合に、画素ごとに定義された選択情報である値ＣＰに基づき、画素ごとにカラーデータを選択するか否かを判定し、選択すると判定した場合に当該カラーデータを当該画素に設定して出力する。また、スイッチ１７は、カラーデータを選択しないと判定した場合に、静止画プレーン５における該当する画素の画素ＳＰを設定して出力する。

スイッチ１５は、制御部２からのＡＲＩＢモード又は塗りつぶしモードの設定を受け付ける。そして、スイッチ１５は、ＡＲＩＢモードが設定された場合、バッファ９２に格納された画素データをバッファ９３へ出力する。また、スイッチ１５は、塗りつぶしモードが設定された場合、スイッチ１７から出力されるバッファ９１又はカラーデータバッファ９４に格納された画素データのいずれかをバッファ９３へ出力する。つまり、スイッチ回路９は、ＡＲＩＢモード又は塗りつぶしモードにより設定された画素ごとのデータをα合成回路１１へ出力する。その際、スイッチ回路９は、画像データとして出力してもよい。

α合成回路１１は、記憶部３から動画プレーン４の画素ＶＰ及びスイッチ回路９からバッファ９３に格納された画素データを入力し、バッファ９３に格納された画素データに設定された不透明度αに基づいてアルファ合成し、合成プレーン１０の画素ＳＶＰを出力する。ここで、ＡＲＩＢモードの場合、バッファ９３に格納された画素データは、不透明度αが０％又は１００％のいずれかである。そのため、α合成回路１１は、画素ごとに画素ＶＰ又はバッファ９３に格納された画素データのいずれかを選択して画素ＳＶＰを出力することができる。つまり、画像処理回路１は、スイッチ回路９及びα合成回路１１により、図９のスイッチ回路１０９と同等の出力をすることができる。また、α合成回路１１は、塗りつぶしモードの場合、バッファ９３に格納された画素データに設定された不透明度αに応じてアルファ合成する。

α合成回路１２は、α合成回路１１から出力された合成プレーン１０の画素ＳＶＰ及び文字図形プレーン７の画素ＴＰを入力し、文字図形プレーン７の画素ＴＰに設定された不透明度αに基づいて、アルファ合成により合成画素データ（不図示）を生成し、当該合成画素データをα合成回路１３へ出力する。α合成回路１３は、α合成回路１２から出力された合成プレーン（不図示）及び字幕プレーン８の画素ＧＰを入力し、字幕プレーン１０８の画素ＧＰに設定された不透明度αに基づいて、アルファ合成により合成画素データ（不図示）を生成し、当該合成画素データをビデオ出力１４として外部へ出力する。

制御部２は、外部からデジタル放送表示の指示に応じて、画像処理装置２０が受信したデジタル放送データのデコード結果をプレーンの種類に応じて、記憶部３の各プレーンに対応する領域へ格納する。また、制御部２は、外部からメニュー表示の指示に応じて、メニュー画面の背景画像データの塗りつぶし領域を定義した選択情報を記憶部３の動画静止画切替えプレーン６に対応する領域へ格納し、当該背景画像データの画素当たりの色情報を定義するカラーデータをカラーデータバッファ９４へ格納し、当該メニュー画面の文字情報を字幕プレーン８に対応する領域へ格納する。すなわち、制御部２は、記憶部３及びカラーデータバッファ９４に対して静止画を描画する塗りつぶし描画処理を行う。

ここで、本発明の実施の形態にかかる画素データ５０の構成例を図２に示す。画素データ５０は、１画素あたりの色情報を定義するデータである。画素データ５０は、複数の画像データを画素ごとに合成するための割合である合成割合情報である不透明度５１と、任意のカラーフォーマットに基づく色情報であるカラーコンポーネント５２とを含むものである。また、カラーコンポーネント５３は、カラーコンポーネント５３のように、不透明度５１を含まないものであってもよい。この場合、合成割合情報は、外部から与えられるものか、予め設定済みのものを用いてもよい。

カラーコンポーネント５２又はカラーコンポーネント５３は、例えば、ＹＣｂＣｒで表現されるカラーフォーマット５４、ＲＧＢで表現されるカラーフォーマット５５又はＣＬＵＴで表現されるカラーフォーマット５６としてもよいが、カラーフォーマットはこれらに限定されない。

また、画素データ５０は、例えば、ビット幅を３２ビットとし、カラーフォーマットがＹＣｂＣｒ４：４：４の場合、不透明度５１、Ｙデータ、Ｃｂデータ及びＣｒデータをそれぞれ８ビットで表すことができる。ただし、ビット幅はこれに限定されない。

尚、不透明度５１が未設定の場合、画像処理装置２０は、不透明度αを１００％として動作するようにしてもよい。

図３は、本発明の実施の形態にかかる画像処理装置の制御処理の一例を示すフローチャート図である。まず、制御部２は、画像処理装置２０により視聴するユーザの操作からの表示要求を受け付け、デジタル放送表示又はメニュー表示のいずれであるかを判定する（Ｓ１）。ここで、デジタル放送表示と判定した場合、制御部２は、スイッチ１５へＳＷモードをＡＲＩＢモードとするように設定する（Ｓ２）。そして、制御部２は、受信及びデコードしたデジタル放送データを記憶部３のプレーンごとの対応する領域に格納する（Ｓ３）。具体的には、制御部２は、ＹＣｒＣｂ４：２：２の動画データを動画プレーン４へ、ＹＣｒＣｂ４：２：２の静止画データを静止画プレーン５へ、動画静止画切替えを示す１ｂｐｐのデータを動画静止画切替えプレーン６へ、ＹＣｒＣｂ４：４：４の文字図形データを文字図形プレーン７へ、及びＣＬＵＴ８の字幕データを字幕プレーン８へ格納する。

この後、画像処理回路１は、ＡＲＩＢモードとして動作し、デジタル放送のためのビデオ出力１４を出力する。ＡＲＩＢモードの場合の画像処理回路１の動作の詳細は、図４に詳述する。

また、図３のステップＳ１において、メニュー表示と判定した場合、制御部２は、スイッチ１５へＳＷモードを塗りつぶしモードとするように設定する（Ｓ４）。そして、制御部２は、メニュー画面の塗りつぶし領域を１ｂｐｐで表現したデータを動画静止画切替えプレーン６へ格納する（Ｓ５）。続いて、制御部２は、当該メニュー画面の塗りつぶし領域におけるＹＣｂＣｒ４：４：４の画素データをカラーデータバッファ９４へ格納する（Ｓ６）。その後、制御部２は、当該メニュー画面の文字データを字幕プレーン８へ描画する（Ｓ７）。

この後、画像処理回路１は、塗りつぶしモードとして動作し、メニュー表示のためのビデオ出力１４を出力する。塗りつぶしモードの場合の画像処理回路１の動作の詳細は、図５に詳述する。

図４は、本発明の実施の形態にかかる画像処理装置２０のＡＲＩＢモードにおけるプレーン合成処理の概念を示す図である。図４では、図３で説明したように、制御部２は、デジタル放送表示の表示要求を受け付けたため、スイッチ１５にＳＷモードをＡＲＩＢモードへ設定し、記憶部３に動画プレーン４ａ、静止画プレーン５ａ、動画静止画切替えプレーン６ａ、文字図形プレーン７ａ及び字幕プレーン８ａを格納する。

そして、画像処理回路１のスイッチ回路９は、画素ごとに静止画プレーン５ａの画素ＳＰ及び動画静止画切替えプレーン６ａの値ＣＰを入力する。そして、スイッチ１６は、値ＣＰに応じて不透明度αを０％又は１００％のいずれかを選択して、バッファ９２に格納された画素データに設定する。また、このとき、バッファ９１のカラーコンポーネント部分がバッファ９２に格納される。そして、スイッチ１５は、バッファ９２に格納された画素データを選択して、バッファ９３へ出力する。その後、α合成回路１１は、バッファ９３に格納された画素データ及び動画プレーン４ａの画素ＶＰをアルファ合成し、合成プレーン１０ａの画素ＳＶＰを出力する。以後は、α合成回路１２及びα合成回路１３によりビデオ出力１４ａが出力される。これにより、ＡＲＩＢモードにおいて、関連技術と同等にデジタル放送の出力をすることができる。

図５は、本発明の実施の形態にかかる画像処理装置の塗りつぶしモードにおけるプレーン合成処理の概念を示す図である。図５では、図３で説明したように、制御部２は、メニュー表示の表示要求を受け付けたため、スイッチ１５にＳＷモードを塗りつぶしモードへ設定し、記憶部３の動画静止画切替えプレーン６ｂ及び字幕プレーン８ｂに対応する領域へ格納する。また、制御部２は、カラーデータバッファ９４に１画素分の画素データを格納する。尚、このとき、制御部２は、動画プレーン４ｂ、静止画プレーン５ｂ及び文字図形プレーン７ｂに対応する領域へ所定の画像データを格納しても構わない。

そして、画像処理回路１のスイッチ回路９は、画素ごとに静止画プレーン５ｂの画素ＳＰ及び動画静止画切替えプレーン６ｂの値ＣＰを入力する。そして、スイッチ１７は、値ＣＰに応じてバッファ９１又はカラーデータバッファ９４に格納された画素データのいずれかを選択して、スイッチ１５へ出力する。そして、スイッチ１５は、スイッチ１７から出力される画素データを選択して、バッファ９３へ出力する。その後、α合成回路１１は、バッファ９３に格納された画素データ及び動画プレーン４ａの画素ＶＰをアルファ合成し、合成プレーン１０ｂの画素ＳＶＰを出力する。このとき、合成プレーン１０ｂには、メニュー画面の背景画像データの塗りつぶし領域９５が生成される。以後は、α合成回路１２及びα合成回路１３によりビデオ出力１４ｂが出力される。これにより、塗りつぶしモードにおいて、関連技術と同等に、メニュー表示の出力をすることができる。尚、ここでは、動画プレーン４ｂ、静止画プレーン５ｂ及び文字図形プレーン７ｂに対応する領域にデータが格納されていないため、各画素データは、０としてアルファ合成してもよい。

以下に、上述した本発明の実施の形態にかかるメニュー表示の場合において、ステップＳ５及びＳ６における塗りつぶし描画処理のビット数を算出する。尚、ここでは比較のため、関連技術の場合と同様に、画素データのカラーフォーマットがＹＣｂＣｒ４：４：４、ビデオ出力の解像度が１０８０Ｐであるとする。まず、当該メニュー画面の塗りつぶし領域は、動画静止画切替えプレーン６ｂにより表現するため、以下の式６に示すように、１画素あたり１ビットである。また、当該メニュー画面は、解像度が１０８０Ｐであるため、１画面あたりの画素は、以下の式７に示すように、２，０７３，６００画素となる。さらに、当該メニュー画面の塗りつぶし領域の色情報は、カラーデータとしてカラーデータバッファ９４に格納しているため、以下の式８に示すように、３２ビットである。そのため、制御部２は、当該メニュー画面を記憶部３の動画静止画切替えプレーン６ｂ及び画像処理回路１のカラーデータバッファ９４へ格納するために、以下の式９に示すように、１画面あたり２，０７３，６３２ビット分の塗りつぶし描画処理が必要となる。
動画静止画切替えプレーン６ｂの値ＣＰ（１ｂｐｐ）：1ビット ・・・ （式６）
画面全体の画素数（１０８０Ｐ）：
縦１，０８０×横１，９２０ ＝ ２，０７３，６００画素 ・・・ （式７）
カラーデータの画素（ＹＣｂＣｒ４：４：４）：
α［８ビット］＋Ｙ［８ビット］＋Ｃｂ［８ビット］＋Ｃｒ［８ビット］
＝ ３２ビット ・・・ （式８）
塗りつぶし描画処理：１ビット × ２，０７３，６００画素 ＋ ３２ビット
＝ ２，０７３，６３２ビット ・・・ （式９）

受信装置固有のメニュー表示等の静止画表示における制御部の塗りつぶし描画処理において、関連技術の画面全体の塗りつぶし処理（図１０のＳ１０３）のビット数（式５）と本発明の画面全体の塗りつぶし処理（図３のＳ５、Ｓ６）のビット数（式９）とを比較すると、その効果は約１／３２（式１０）となり、塗りつぶし描画処理の効率が上がっていると言える。
関連技術：６６，３５５，２００ビット ÷ 本発明：２，０７３，６３２ビット
＝ ３１．９９９５０６１８ ・・・ （式１０）

以上のように、本発明の実施の形態は、ＡＲＩＢ規定におけるプレーン合成処理において、動画静止画の切替え情報として用いられていた選択情報を、塗りつぶし領域自体の定義情報として用い、さらに、塗りつぶし領域の色情報を別途、定義するものである。そして、本発明の実施の形態にかかる画像処理装置２０は、メニュー表示等の塗りつぶし描画処理においては、選択情報に基づいて、画素ごとに色情報を定義したカラーデータを選択するか否かを判定し、選択すると判定した場合に当該カラーデータを当該画素に設定して画像データを出力するものである。また、画像処理装置２０は、デジタル放送表示においては、第１の画像データと第２の画像データとを所定の割合により合成するための合成割合情報を前記画素ごとに前記第１の画像データに設定して出力するものである。これにより、合成割合情報に基づいた合成をおこなうことを可能とするものである。そのため、一つの画像処理装置２０により、デジタル放送データを出力するような高度な画像合成処理を行う第１のモードと、所定の色情報を塗りつぶすことで簡易に背景画像データを生成する第２のモードとを実現することができる。

すなわち、本発明の実施の形態は、ＡＲＩＢモードと塗りつぶしモードを切り替え可能なスイッチ回路９を用いることにより、デジタル放送については、ＡＲＩＢ規定に則ったプレーン合成を行うことができ、メニュー画面については、塗りつぶし領域自体の定義と、塗りつぶし領域のカラーデータとを分離して描画を行うことができる。よって、本発明では、式９に示される画素数を塗りつぶすことでメニュー画面を生成することができ、関連技術に比べて塗りつぶし描画処理の量を相対的に減らし、処理時間を短縮させることができる。

＜その他の発明の実施の形態＞
デジタル放送用受信装置は、ハイビジョン（ＨＤＴＶ）対応により画素数が増えたが、現在、ＮＨＫ放送技術研究所にて進められている次世代のスーパーハイビジョン対応においては、画素数がＨＤＴＶのさらに１６倍程度に増えることが見込まれている。そのため、今後のデジタル放送用受信装置における重要な課題としては、デジタル放送用受信装置に内蔵される画像処理回路１の負荷低減、制御部２の描画処理の負荷低減、記憶部３に格納するデータのサイズを抑えることであると予測される。

本発明における装置固有のメニュー表示等の静止画表示では、メモリに描画するビット数を約１／３２とすることで、画像処理回路１のメモリ読出し負荷、制御部２の描画処理時間、記憶部３の容量をさらに抑えることができる。

尚、本発明の実施の形態にかかるカラーデータの個数及び動画静止画切替えプレーン６の値ＣＰのビット幅は、上述したものに限定しない。例えば、カラーデータが１つの場合、上述したように、動画静止画切替えプレーン６の値ＣＰのビット幅は、１ｂｐｐであり、静止画プレーン５の画素ＳＰとカラーデータバッファ９４に格納された１つのカラーデータとの切替えが可能である。また、カラーデータが複数種類の場合、動画静止画切替えプレーン６の値ＣＰのビット幅は、静止画プレーン５の画素ＳＰとカラーデータバッファ９４に格納された複数のカラーデータとの切替え可能なビット幅であればよい。その場合、制御部２からカラーデータバッファ９４へ複数のカラーデータを格納するようにすればよい。すなわち、画像処理回路１は、カラーデータバッファ９４に複数のカラーデータを格納し、スイッチ１７は、塗りつぶしモードにおいて、値ＣＰのビット値に応じてカラーデータバッファ９４から複数のカラーデータのいずれかを取得することで実現できる。

尚、本発明の実施の形態にかかる画像処理回路１が切り替え可能なモードは、上述したものに限定されない。また、本発明の実施の形態で対象とする画像の合成処理は、ＡＲＩＢ規定に限定されない。

尚、本発明の実施の形態で対象とする塗りつぶし描画処理は、デジタル放送受信装置固有のメニュー画面に限定されない。たとえば、ＤＶＤ（Digital Versatile Disk）又はＢＤ（Blu-ray Disc）の再生時における静止画を描画する場合、また、ＢＤにおけるインタラクティブ技術における画像を描画する場合等にも適用可能である。

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本発明の実施の形態にかかる画像処理装置の全体構成を示すブロック図である。 画素データの構成例を示す図である。 本発明の実施の形態にかかる画像処理装置の制御処理の一例を示すフローチャート図である。 本発明の実施の形態にかかる画像処理装置のＡＲＩＢモードにおけるプレーン合成処理の概念を示す図である。 本発明の実施の形態にかかる画像処理装置の塗りつぶしモードにおけるプレーン合成処理の概念を示す図である。 ＡＲＩＢ規定のプレーン合成制御の概念を示す図である。 アルファ合成の概念を示す図である。 デジタル放送用受信装置における表示切替の概念を示す図である。 関連技術にかかる画像処理装置の全体構成を示すブロック図である。 関連技術にかかる画像処理装置の制御処理の一例を示すフローチャート図である。

符号の説明

１ 画像処理回路
２ 制御部
３ 記憶部
４ 動画プレーン
４ａ 動画プレーン
４ｂ 動画プレーン
５ 静止画プレーン
５ａ 静止画プレーン
５ｂ 静止画プレーン
６ 動画静止画切替えプレーン
６ａ 動画静止画切替えプレーン
６ｂ 動画静止画切替えプレーン
７ 文字図形プレーン
７ａ 文字図形プレーン
７ｂ 文字図形プレーン
８ 字幕プレーン
８ａ 字幕プレーン
８ｂ 字幕プレーン
９ スイッチ回路
１０ 合成プレーン
１０ａ 合成プレーン
１０ｂ 合成プレーン
１１ α合成回路
１２ α合成回路
１３ α合成回路
１４ ビデオ出力
１４ａ ビデオ出力
１４ｂ ビデオ出力
１５ スイッチ
１６ スイッチ
１７ スイッチ
２０ 画像処理装置
２１ 動画プレーン
２２ 静止画プレーン
２３ 動画静止画切替えプレーン
２４ 文字図形プレーン
２５ 字幕プレーン
２６ スイッチ
２７ α合成回路
２８ α合成回路
３１ 前面プレーン
３２ 後面プレーン
３３ α合成回路
３４ 合成プレーン
４１ リモコン
４１１ ボタン
４１２ ボタン
４２ 表示画面
４３ 表示画面
５０ 画素データ
５１ 不透明度
５２ カラーコンポーネント
５３ カラーコンポーネント
５４ カラーフォーマット
５５ カラーフォーマット
５６ カラーフォーマット
９１ バッファ
９２ バッファ
９３ バッファ
９４ カラーデータバッファ
９５ 塗りつぶし領域
１０１ 画像処理回路
１０２ 制御部
１０３ 記憶部
１０４ 動画プレーン
１０５ 静止画プレーン
１０６ 動画静止画切替えプレーン
１０７ 文字図形プレーン
１０８ 字幕プレーン
１０９ スイッチ回路
１１０ 合成プレーン
１１２ α合成回路
１１３ α合成回路
１１４ ビデオ出力
１１５ スイッチ
１１６ バッファ
１１７ バッファ
１１８ バッファ
１２０ 画像処理装置
ＶＰ 画素
ＳＰ 画素
ＣＰ 値
ＴＰ 画素
ＧＰ 画素
ＳＶＰ 画素
Ｓ 画素
Ｖ 画素
Ｘ 画素
α 不透明度

Claims (12)

1. 画像データを画素ごとに処理する画像処理装置であって、
   前記画素ごとに定義された選択情報に基づき、第１の画像データと第２の画像データとを所定の割合により合成するための合成割合情報を前記第１の画像データの画素ごとに設定する第１のモードと、前記選択情報に基づき、前記画素ごとに色情報及び前記合成割合情報を定義するカラーデータを選択するか否かを判定し、選択すると判定した場合に当該カラーデータを当該画素に設定する第２のモードとのいずれかを前記第１の画像データの画素ごとに切り替えて、前記第１のモード又は前記第２のモードにより設定された画素ごとのデータを、前記第２の画像データと合成するための第３の画像データとして出力するスイッチ回路を備える画像処理装置。
2. 前記スイッチ回路は、前記第２のモードにおいて、前記カラーデータを選択しないと判定した場合に、前記第１の画像データにおける該当する画素値を当該画素に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記カラーデータを格納するカラーデータ格納部をさらに備え、
   前記スイッチ回路は、前記第２のモードにおいて、前記カラーデータを選択すると判定した場合に、前記カラーデータ格納部から取得されるカラーデータを当該画素に設定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記カラーデータ格納部は、前記カラーデータを複数種類格納し、
   前記スイッチ回路は、前記第２のモードにおいて、前記カラーデータを選択すると判定した場合に、前記選択情報に応じて前記カラーデータ格納部から前記複数種類のカラーデータのいずれかを取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記スイッチ回路により出力された前記第３の画像データに設定された合成割合情報に基づいて、前記第２の画像データと前記第３の画像データとを画素ごとに合成する合成部をさらに備える、請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記スイッチ回路は、前記第１のモードにおいて、前記選択情報に基づき、前記画素ごとに０％又は１００％のいずれかを前記合成割合情報に設定することを特徴とする、請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像データを画素ごとに処理する画像処理方法であって、
   前記画素ごとに定義された選択情報に基づき、第１の画像データと第２の画像データとを所定の割合により合成するための合成割合情報を前記第１の画像データの画素ごとに設定する第１の設定ステップと、
   前記選択情報に基づき、前記画素ごとに色情報及び前記合成割合情報を定義するカラーデータを選択するか否かを判定する判定ステップと、
   前記判定ステップにより前記カラーデータを選択すると判定した場合に当該カラーデータを当該画素に設定する第２の設定ステップと、
   前記第１の設定ステップにより設定する第１のモードと、前記第２の設定ステップにより設定する第２のモードとのいずれかを前記第１の画像データの画素ごとに切り替えて、前記第１のモード又は前記第２のモードにより設定された画素ごとのデータを、前記第２の画像データと合成するための第３の画像データとして出力するモード切替ステップと、を有する画像処理方法。
8. 前記第２の設定ステップは、前記判定ステップにより前記カラーデータを選択しないと判定した場合に、前記第１の画像データにおける該当する画素値を当該画素に設定することを特徴とする請求項７に記載の画像処理方法。
9. 前記カラーデータを格納するカラーデータ格納ステップをさらに備え、
   前記第２の設定ステップは、前記判定ステップにより前記カラーデータを選択すると判定した場合に、前記カラーデータ格納ステップにより格納されたカラーデータを当該画素に設定することを特徴とする請求項７又は８に記載の画像処理方法。
10. 前記カラーデータ格納ステップは、前記カラーデータを複数種類格納し、
    前記第２の設定ステップは、前記判定ステップにより前記カラーデータを選択すると判定した場合に、前記選択情報に応じて前記カラーデータ格納ステップにより格納された前記複数種類のカラーデータのいずれかを取得することを特徴とする請求項９に記載の画像処理方法。
11. 前記モード切替ステップにより出力された前記第３の画像データに設定された合成割合情報に基づいて、前記第２の画像データと前記第３の画像データとを画素ごとに合成する合成ステップをさらに備える、請求項７乃至１０のいずれか１項に記載の画像処理方法。
12. 前記第１の設定ステップは、前記選択情報に基づき、前記画素ごとに０％又は１００％のいずれかを前記合成割合情報に設定することを特徴とする、請求項７乃至１１のいずれか１項に記載の画像処理方法。

Images