JP4063158B2 - 画像合成装置及び方法、並びに画像再生装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、プログレッシブ方式で順次、得られる第２の画像と、インタレース方式で順次、得られる第１の画像とをプログレッシブな画像として合成するための画像合成装置及び方法、更には、そのような画像合成装置を含む画像再生装置に関する。
【０００２】
【従来の技術】
図５に、従来技術に係る画像再生装置、例えばＤＶＤ（Digital Versatile Disc）再生装置における再生機能のブロック構成を示す。図示のように、その再生機能の主要部としてのＤＶＤデコーダ５１には、サブピクチャデコーダ（字幕画像用）５１１及びＭＰＥＧ（Moving Picture Coding Experts Group）２ビデオデコーダ（主画像用）５１２が装備されており、これらデコーダ５１１，５１２それぞれからは、インタレース（interlace、飛越し走査）画像としてのサブピクチャ、デコード画像が出力されるようになっている。これらサブピクチャ、デコード画像は、その後、一旦、画像合成部５１３でそのままインタレース画像として合成された後、ＩＰ（Ｉ，Ｐはそれぞれinterlace、progressiveであることを示す）変換装置５２内のＩＰ変換部５２１でプログレッシブ（progressive、順次走査（非飛越し走査））画像に変換されている。
【０００３】
ところで、デコード画像がプログレッシブ画像をプルダウン変換（テレシネ変換）することで得られたインタレース画像である場合、ＩＰ変換部５２１においては、プルダウン変換を行う前に同じフレーム、つまり、１枚のプログレッシブ画像を構成していた２つのフィールド画像を合成し元のフレーム画像を再構築することにより、画質を劣化させることなく、プログレッシブ画像が得られるようになっている。しかしながら、この場合、サブピクチャに対しては、１枚のプログレッシブ画像を構成するデコード画像のフィールドの境界と、サブピクチャの変化するフィールド画像の境界が一致しない場合には、フィールドの合成で変化前と変化後のサブピクチャが合成されることになり、ＩＰ変換された映像に櫛状の乱れ（コーミング）を生じるという不具合が生じる。
【０００４】
一方、また、ＩＰ変換部５２１においては、入力された画像がプルダウン変換されたものであるかの検出等のために、フレーム画像間の相関が求められることがあるが、図５に示すような構成では、デコード画像にサブピクチャが既に合成されていると、サブピクチャの変化により、デコード画像がプルダウン変換されたものか否かの検出に誤りが生じるようになる。
【０００５】
以上の不具合に対しては、図６に示すように、サブピクチャ合成装置６２としての画像合成部６２１をＩＰ変換部６１の後段に配置し、サブピクチャデコーダ５１１からプログレッシブ画像として出力されるサブピクチャと、ＩＰ変換後のプログレッシブなデコード画像とが画像合成部６２１で合成されるようにすることで、一応の解決が図れるようになっている。
【０００６】
因みに、特許文献１，２による場合、字幕が本来の表示タイミングとは異なるタイミングで字幕が表示される虞があるものの、プルダウン変換された映像のフレームの切替わりにタイミングを合せ字幕を合成することで、字幕に生じる乱れが防止されている。
【０００７】
【特許文献１】
特開２００１−３３９６３７号公報
【特許文献２】
特開２００２−１１２１１４号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、図６に示す構成による場合、従来、見受けられていた不具合は一応、解決されるとしても、新たな不具合が生じるようになる。というのは、ＤＶＤデコーダからサブピクチャ合成装置に転送されるサブピクチャはそのデータ量が膨大となり、例えば図６に示す構成では、サブピクチャデコーダからサブピクチャ合成装置へのピクセルデータは１ピクセル当り３１ビット必要になるからである。これがために、特にＤＶＤデコーダとサブピクチャ合成装置が同一ＬＳＩ内に実装されていなく、異なるＬＳＩそれぞれに実装される場合には、端子数や配線数の削減は不可能となる。
【０００９】
本発明の目的は、プログレッシブ方式で順次、得られる第２の画像と、インタレース方式で順次、得られる第１の画像とがプログレッシブな画像として合成される際に、プルダウンされた第１の画像に対し、画像劣化のない、フィールド合成によるＩＰ変換が適用されても、第２の画像にコーミングを生ぜず、また、第２の画像の変化するタイミングが変更されることがなく、特に画像合成前の第２の画像のデータ量が低減化された状態として合成可能とされている画像合成装置及び方法、更には、そのような画像合成装置を含む、少なくとも、再生機能が具備された画像再生装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の画像合成装置は、プログレッシブ方式で順次、得られる第２の画像が、ピクセルデータとしてのインデックスと、この第２の画像をカラーパレット展開制御するためのカラーパレット制御情報とから構成されていることを前提として、第１の画像に対し、第１の画像の垂直ブランキング期間、または水平ブランキング期間内にカラーパレット制御情報を挿入するカラーパレット制御情報挿入手段と、このカラーパレット制御情報挿入手段からのカラーパレット制御情報と第２の画像のインデックスとに基づき、第２の画像をカラーパレット展開するカラーパレット展開手段と、カラーパレット制御情報挿入手段からの第１の画像をプログレッシブ方式の画像に変換するプログレッシブ変換手段と、カラーパレット展開された第２の画像とプログレッシブ変換された第１の画像とを合成する画像合成手段とが含まれるよう、構成されたものである。
【００１１】
要は、第２の画像はそのピクセルデータが、データ量が少ないインデックス（例えばピクセル当り２ビット）としてカラーパレット展開手段に転送される一方、カラーパレット制御情報については、第１の画像の水平／垂直ブランキング期間を利用してカラーパレット展開手段に転送されるようにしたものである。カラーパレット展開手段では、その第２の画像はそのインデックスとカラーパレット制御情報によりカラーパレット展開された後、プログレッシブ変換された第１の画像と合成されることによって、所期の目的が達成されるようにした。
【００１２】
【発明の実施の形態】
以下、本発明の一実施の形態を図１から図４により説明する。
先ず本発明による画像再生装置（例えばＤＶＤ再生装置）における再生機能の一例でのブロック構成を図１に示す。図示のように、ＤＶＤデコーダ１１におけるＭＰＥＧ２ビデオデコーダ１１２からは、従来の場合と同様にして、第１の画像としてのデコード画像がインタレース方式で順次、出力される。一方、サブピクチャデコーダ１１１からは、第２の画像としてのサブピクチャがプログレッシブ方式で順次、出力されるが、従来の場合とは異なり、そのサブピクチャはピクセルデータそのものとしてではなく、例えば１ピクセル当り２ビットのインデックスとして出力された上、サブピクチャ合成装置１２側に直接転送される。
【００１３】
そのサブピクチャデコーダ１１１からはまた、インデックスと色・コントラストとの対応関係やサブピクチャ表示領域情報、サブピクチャ表示タイミング情報等を含む表示制御情報が併せて出力可能とされているが、それらの情報はカラーパレット制御情報として、インデックスとは分離された状態でサブピクチャ合成装置１２側に転送される。後述のように、カラーパレット展開部１２１では、サブピクチャデコーダ１１１からのインデックスとカラーパレット設定情報（インデックスと色・コントラストとの対応関係を示す情報）とによるカラーパレット展開により、ピクセル各々には色情報が付加されることで、プログレッシブ画像としてのサブピクチャが得られている。
【００１４】
以上のように、サブピクチャデコーダ１１１からは、ピクセルデータがインデックスとして、プログレッシブのタイミングで出力されているが、ピクセルデータはトップフィールドとボトムフィールドの内容が時差を持たず、また、ストリーム中でライン毎に圧縮された構造をとるため、例えばトップフィールドのピクセルデータとボトムフィールドのピクセルデータを１ラインずつ交互に、倍速でデコードし、また、同じフレームを２回出力することで、容易にプログレッシブ出力とすることが可能となっている。
【００１５】
カラーパレット制御情報には、カラーパレット設定情報やサブピクチャ表示領域情報等、カラーパレット展開部１２１を制御するための情報が含まれているが、このカラーパレット制御情報はカラーパレット制御情報挿入部１１３を介しサブピクチャ合成装置１２側に転送される。図示のように、ＭＰＥＧ２ビデオデコーダ１１２からのデコード画像もカラーパレット制御情報挿入部１１３を介しＩＰ変換部１３に転送されているが、カラーパレット制御情報は、そのデコード画像の垂直ブランキング期間、または水平ブランキング期間に挿入される状態として転送される。後述のように、カラーパレット設定情報に基づき、カラーパレットテーブルにはカラーパレット情報が設定されるが、このカラーパレット設定情報はフレーム毎、あるいはライン毎に更新される情報であるため、デコード画像の垂直ブランキング期間、または水平ブランキング期間を利用して、カラーパレット展開部１２１に転送可能とされている。
【００１６】
以上のように、カラーパレット制御情報は、デコード画像の垂直ブランキング期間、または水平ブランキング期間に挿入されているが、水平ブランキング期間に挿入されるカラーパレット制御情報とデコード画像、及びサブピクチャピクセルデータ（インデックス）送出タイミングの例を図２に示す。
【００１７】
さて、カラーパレット展開部１２１では、サブピクチャデコーダ１１１からのインデックス各々は、カラーパレットテーブルに設定されているカラーパレット情報に基づき、カラーパレット展開、即ち、実際に表示される色とコントラスト値に置換される。カラーパレットテーブルは、インデックスと、色、コントラスト値を対応付けるためのものであるが、このカラーパレットテーブルの例を図３（Ａ），（Ｂ）に示す。図３（Ａ），（Ｂ）においては、輝度信号Ｙ及び色差信号Ｃｒ（＝Ｒ（赤）−Ｙ），Ｃｂ（＝Ｂ（青）−Ｙ）から表現される色（Ｙ／Ｃｒ／Ｃｂ）については、インデックスの指すフィールドにはパレット番号が格納されており、更に、各パレット番号に対応するフィールドには色（Ｙ／Ｃｒ／Ｃｂ）が格納されている。また、コントラスト値については、インデックスの指すフィールドにコントラスト値が格納されている。因みに、本例では、色（Ｙ／Ｃｒ／Ｃｂ）は１０進表示の数値として示されており、１６／１２８／１２８は黒色を、２３５／１２８／１２８は白色を示している。
【００１８】
ここで、そのカラーパレット展開について簡単ながら説明すれば、以下のようである。
即ち、図４に示すように、例えば丸い領域は“１”、四角い領域は“２”、その他の領域は“３”といった具合に、領域対応に色区別番号としてのインデックスが対応付けされているとすれば、インデックス“１”，“２”，“３”それぞれに対するコントラスト値は、図３（Ａ）より、“１５”，“１３”，“０”として置換される。また、それらインデックス“１”，“２”，“３”それぞれに対するパレット番号は、図３（Ａ）より、“３”，“１”，“０”として求められることになる。したがって、インデックスが“１”の領域に対する色は、図３（Ｂ）から、６５／１００／２１２として置換される。同様にして、インデックスがそれぞれ“２”、“３”の領域に対する色は、図３（Ｂ）から、１６２／４４／１４２、１６／１２８／１２８として置換されることになる。
【００１９】
因みに、コントラスト値について説明すれば、コントラスト値とは、サブピクチャとＭＰＥＧ２デコード画像が合成される際での、そのサブピクチャの透明度を表す値として定義され、例えば以下の式に基づき、画像合成が行われる。
【００２０】
【数１】
ｄ＝ａ×ｃ／１６＋ｂ×（１−ｃ／１６）
但し、ａ：サブピクチャの画素値
ｂ：ＭＰＥＧ２デコード画像の画素値
ｃ：コントラスト値
ｄ：合成結果
である。
この式から、コントラスト値ｃが“０”であれば、サブピクチャは透明となり、また、それが“１６”であれば、サブピクチャは不透明となることが判る。
【００２１】
ここで、再びカラーパレットテーブルについて説明すれば、このカラーパレットテーブル上の情報の更新は、カラーパレット制御情報により行われる。パレット番号に対応する色データの更新はフレーム単位で行われるので、例えばパレット番号に対応する色データは、垂直ブランキング期間に挿入されるようになっている。また、インデックスの指すパレット番号とコントラスト値のフィールドは、フレーム毎の初期値だけでなく、ＤＶＤストリームに含まれるＨＬＩ（Highlight Information）及びＣＨＧ＿ＣＯＬＣＯＮと称されるサブピクチャ表示を制御する情報により、フレーム途中で変更される可能性がある。その変更回数は、ＨＬＩでは、1ライン当り最高1回、ＣＨＧ＿ＣＯＬＣＯＮでは、1ライン当り最高で8回と定められているが、これら更新情報は水平ブランキング期間に情報を挿入することで、転送可能となっている。なお、フレーム毎の初期値に関しては、０ピクセル目の更新情報として、水平ブランキング期間に挿入してもよく、初期値として垂直ブランキング期間に挿入してもよい。
【００２２】
更に、サブピクチャの非表示状態を表すために、例えばサブピクチャ表示領域情報もカラーパレット制御情報として送り、カラーパレット展開部１２１では、サブピクチャ表示領域以外では、強制的にサブピクチャのコントラスト値は透明色に設定される。サブピクチャ表示領域情報は、例えば１フレームに１回、水平方向と垂直方向の情報を送るか、あるいは１ライン毎に水平方向の情報のみ送ればよいので、垂直ブランキング期間、または水平ブランキング期間に挿入される。これらブランキング期間中に挿入されるデータは、予めその挿入位置が決定されてもよく、挿入位置が決定されない場合は、ヘッダ等を用いて任意の位置から抽出されるようにすればよい。
【００２３】
ここで、最終段としての画像合成部１２２での動作について説明すれば、画像合成部１２２では、ＩＰ変換部１３でプログレッシブ変換されたデコード画像に対しては、カラーパレット展開部１２１から出力されるプログレッシブなサブピクチャが合成されることで、プログレッシブな合成画像が得られた上、外部に出力されるようになっている。その際、ＩＰ変換部１３としては、少なくとも、プルダウン変換された入力画像に対しては、元々フレームを構成していた２つのフィールドを合成する機能を有するものであればよい。
【００２４】
最後に、遅ればせながら、サブピクチャのデコードタイミングについて説明すれば、ＩＰ変換部１３にフレーム遅延がある場合には、その遅延量に応じてそのデコードタイミングをサブピクチャデコーダ１１１内部で遅延させて、サブピクチャがデコードされればよく、結果的に、画像合成部１２２で画像合成が行われる際に、両画像タイミングが一致するようにすればよい。サブピクチャは、通常、既述の表示制御情報に含まれている画像表示タイミング情報に合せてデコードされているので、例えばこの画像表示タイミング情報をフレーム遅延に合せて遅延させることで、そのフレーム遅延に対処し得るものである。したがって、サブピクチャのデコードタイミングが最適に遅延される場合には、ＩＰ変換部１３からのプログレッシブ画像の出力タイミングとカラーパレット展開部１２１からのサブピクチャの出力タイミングとを容易に一致させ得、この結果として、画像合成部１２２では、単純に画像合成のみが行われるだけで済まされることになる。
【００２５】
以上、説明したように、プログレッシブ出力可能なＤＶＤ再生機能を有する装置において、プルダウンされたデコード画像に対して画像劣化のないフィールド合成によるＩＰ変換を適用し、且つ表示タイミングを変更することなく、サブピクチャにコーミングの生じない、プログレッシブ画像を生成することができる。特にＤＶＤデコーダとサブピクチャ合成装置との間のインターフェイスが容易になる。例えば図６の構成では、サブピクチャデコーダからサブピクチャ合成装置に転送されるピクセルデータは１ピクセル当り３１ビット必要になるが、図１の構成では、１ピクセル当り僅か２ビットで済まされることになる。これは、特にＤＶＤデコーダとサブピクチャ合成装置が異なるＬＳＩに実装される場合に、端子数および配線数の削減化上、有利となる。
【００２６】
なお、以上の説明では、ＤＶＤ再生装置における再生機能、したがって、主にＤＶＤプレーヤーが想定されているが、ＤＶＤプレーヤーに限らず、録画機能が具備されているＤＶＤ録画再生装置にも適用可能であり、本発明は、一般に主画像に対して合成されるインデックスカラーを用いた画像とＩＰ変換を有するアプリケーションに対しても有効である。
【００２７】
以上、本発明者によってなされた発明を実施の形態に基づき、具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変更可能であることはいうまでもない。
【００２８】
【発明の効果】
プログレッシブ方式で順次、得られる第２の画像と、インタレース方式で順次、得られる第１の画像とがプログレッシブな画像として合成される際に、画像合成前の第２の画像のデータ量が低減化された状態として合成可能とされている画像合成装置及び方法、更には、そのような画像合成装置を含む、少なくとも、再生機能が具備された画像再生装置が提供される。
【図面の簡単な説明】
【図１】本発明による画像再生装置における再生機能の一例でのブロック構成を示す図である。
【図２】カラーパレット制御情報がデコード画像の水平ブランキング期間に挿入される場合でのデコード画像、カラーパレット制御情報及びサブピクチャピクセルデータ（インデックス）送出タイミングの例を示す図である。
【図３】カラーパレットテーブルの例を示す図である。
【図４】カラーパレット展開を説明するための図である。
【図５】従来技術に係るＤＶＤ再生装置における再生機能のブロック構成（その１）を示す図である。
【図６】同じく、従来技術に係るＤＶＤ再生装置における再生機能のブロック構成（その２）を示す図である。
【符号の説明】
１１…ＤＶＤデコーダ、１１１…サブピクチャデコーダ、１１２…ＭＰＥＧ２ビデオデコーダ、１１３…カラーパレット制御情報挿入部、１２…サブピクチャ合成装置、１２１…カラーパレット展開部、１２２…画像合成部、１３…ＩＰ変換部

Claims (12)

1. プログレッシブ方式で順次、得られる第２の画像が、ピクセルデータとしてのインデックスと、該第２の画像をカラーパレット展開制御するためのカラーパレット制御情報とから構成されている場合に、該第２の画像と、インタレース方式で順次、得られる第１の画像とを合成するための画像合成装置であって、
   第１の画像に対し、該第１の画像の垂直ブランキング期間、または水平ブランキング期間内にカラーパレット制御情報を挿入するカラーパレット制御情報挿入手段と、
   該カラーパレット制御情報挿入手段からのカラーパレット制御情報と第２の画像のインデックスとに基づき、該第２の画像をカラーパレット展開するカラーパレット展開手段と、
   上記カラーパレット制御情報挿入手段からの第１の画像をプログレッシブ方式の画像に変換するプログレッシブ変換手段と、
   上記カラーパレット展開手段からの、カラーパレット展開された第２の画像と上記プログレッシブ変換手段からの、プログレッシブ変換された第１の画像とを合成する画像合成手段と
   を含む画像合成装置。
2. 請求項１記載の画像合成装置において、
   上記カラーパレット制御情報には、少なくとも、インデックスと色・コントラストとの対応関係を示すカラーパレット設定情報の他、画像表示領域情報が含まれる画像合成装置。
3. 請求項１記載の画像合成装置において、
   上記プログレッシブ変換手段での処理遅延に応じて、第２の画像が遅延された状態として順次、得られる画像合成装置。
4. 請求項２記載の画像合成装置において、
   上記カラーパレット展開手段では、更新可能とされているカラーパレット設定情報に基づき、カラーパレット展開が行われる画像合成装置。
5. プログレッシブ方式で順次、得られる第２の画像が、ピクセルデータとしてのインデックスと、該第２の画像をカラーパレット展開制御するためのカラーパレット制御情報とから構成されている場合に、該第２の画像と、インタレース方式で順次、得られる第１の画像とを合成するための画像合成方法であって、
   第１の画像に対し、該第１の画像の垂直ブランキング期間、または水平ブランキング期間内にカラーパレット制御情報を挿入するカラーパレット制御情報挿入ステップと、
   該カラーパレット制御情報挿入ステップを経たカラーパレット制御情報と第２の画像のインデックスとに基づき、該第２の画像をカラーパレット展開するカラーパレット展開ステップと、
   上記カラーパレット制御情報挿入ステップを経た第１の画像をプログレッシブ方式の画像に変換するプログレッシブ変換ステップと、
   上記カラーパレット展開ステップを経た、カラーパレット展開された第２の画像と上記プログレッシブ変換ステップを経た、プログレッシブ変換された第１の画像とを合成する画像合成ステップと
   を含む画像合成方法。
6. 請求項５記載の画像合成方法において、
   上記カラーパレット制御情報には、少なくとも、インデックスと色・コントラストとの対応関係を示すカラーパレット設定情報の他、画像表示領域情報が含まれる画像合成方法。
7. 請求項５記載の画像合成方法において、
   上記プログレッシブ変換ステップでの処理遅延に応じて、第２の画像が遅延された状態として順次、得られる画像合成方法。
8. 請求項６記載の画像合成方法において、
   上記カラーパレット展開ステップでは、更新可能とされているカラーパレット設定情報に基づき、カラーパレット展開が行われる画像合成方法。
9. サブピクチャデコーダからプログレッシブ方式で順次、出力される第２の画像が、ピクセルデータとしてのインデックスと、該第２の画像をカラーパレット展開制御するためのカラーパレット制御情報とから構成されている場合に、該第２の画像と、ビデオデコーダからインタレース方式で順次、出力される第１の画像とを合成した状態として外部出力するための、少なくとも、再生機能が具備された画像再生装置であって、
   第１の画像に対し、該第１の画像の垂直ブランキング期間、または水平ブランキング期間内にカラーパレット制御情報を挿入するカラーパレット制御情報挿入手段と、
   該カラーパレット制御情報挿入手段からのカラーパレット制御情報と第２の画像のインデックスとに基づき、該第２の画像をカラーパレット展開するカラーパレット展開手段と、
   上記カラーパレット制御情報挿入手段からの第１の画像をプログレッシブ方式の画像に変換するプログレッシブ変換手段と、
   上記カラーパレット展開手段からの、カラーパレット展開された第２の画像と上記プログレッシブ変換手段からの、プログレッシブ変換された第１の画像とを合成する画像合成手段と
   を含む画像再生装置。
10. 請求項９記載の画像再生装置において、
    上記カラーパレット制御情報には、少なくとも、インデックスと色・コントラストとの対応関係を示すカラーパレット設定情報の他、画像表示領域情報が含まれる画像再生装置。
11. 請求項９記載の画像再生装置において、
    上記プログレッシブ変換手段での処理遅延に応じて、サブピクチャデコーダからは第２の画像が遅延された状態として順次、出力される画像再生装置。
12. 請求項１０記載の画像再生装置において、
    上記カラーパレット展開手段では、更新可能とされているカラーパレット設定情報に基づき、カラーパレット展開が行われる画像再生装置。

Images