JP5742049B2 - カラー動画像符号化方法及びカラー動画像符号化装置 - Google Patents

Description

本発明は、テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するための映像信号処理で、特に合理的な信号形態で形成されたカラー動画像をより少ない符号量で効率的に符号化するフレーム間予測符号化処理に属する。

動画像に限らずカラー画像信号は、赤(Red)、緑(Green)、青(Blue)の３原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、サブサンプリングされない４：４：４、水平方向に２分の１にサブサンプリングされた４：２：２、水平と垂直の両方で２分の１にサブサンプリングされた４：２：０がある。各動画像カラーフォーマットは、規格で詳細に定義されており、放送などで広く使われている。

カラー動画像の撮像において、最も簡易な方式として、各フレーム(インターレース走査画像ではフィールド)で色プレーンを切り替えるシーケンシャルカラー(カラー)方式(以下ＳＣと略す)が過去に検討されている。この方式は、動き補償無しで色補間を行うと動いた部分は原色間のズレを生じ、実用的な画像にならない。なお、３倍速で撮像と表示を行なえばこのような問題は無いが、色差サブサンプリングのような合理化ができないので、現在はまったく使われていない。しかし、通常と同じフレームレートでも適正な動き補償を使って色補間を行うことができれば、問題の無い画像が得られる。

通常のＲＧＢ画像とそれに対応するＳＣ画像を図９に示す。図９では、フレームにより撮像タイミングが異なり画像内容が変化していることを、色の濃さの異なる丸印の移動で表している。ＲＧＢ画像は、各フレームに３色すべての色プレーンが存在する。ＳＣ画像はひとつのフレームにひとつの色プレーンしか存在しない。そして、各フレームの色プレーンは、所定パターンでフレーム毎に入れ替わる。色プレーンは３種類なのでパターンは３フレーム周期となるので、３フレーム経過すると同じ色プレーンとなる。

ＳＣ画像の非圧縮データ量は、ＲＧＢ画像の３分の１であり、単色(白黒)画像と同じになる。これは、現在最も一般的に使われているコンポーネントカラー信号の４：２：０より少なく、機器間の接続において非圧縮で使われることの多い４：２：２の半分となる。

一方、表示装置において、３原色を時分割で表示する方法がある。各色がフレーム(フィールド)で順次となるので、フレーム(フィールド)シーケンシャル方式と呼ばれる。この場合は、通常１フレーム(フィールド)が提示される６０分の１秒間に、３原色のすべてを表示するので、色プレーンの表示速度は３倍となる。また、そもそも同一フレームの各色プレーンを表示タイミングだけ変えるので、画像内容の時間による動き変化は無い。この方式は、各色プレーンで動きによる画像変化があるシーケンシャルカラー方式とは異なるものである。

従来例のカラー動画像符号化について説明するが、ＳＣ画像のためのフレーム間予測符号化は、文献などに示されていないので、１フレームが１プレーンだけの場合の基本処理をＳＣ画像に適用した場合を示す。フレーム間予測符号化では、被符号化画像に対して最も画像間相関の高い隣接フレームのうち、符号化済みである直前フレームを予測に用いるのが基本である。図１０は従来例のフレーム間色プレーン予測関係を示したもので、前フレームからの予測となっている。被符号化フレーム(G2)は１フレーム前(R1)との間で動き推定を行い、（R1）を動き補償して（G2）を予測する。（B3）は局部復号された（G2）から予測される。図１１は、従来のカラー動画像符号化装置の機能ブロックを示したものである。

図１１に示されるカラー動画像符号化装置では、シーケンシャルカラー画像入力１から入来するＳＣ画像信号は、参照画像メモリ１３に格納され、おおよそ１フレーム遅延して出力される。動き推定器４１は、現在フレームの画像と参照画像メモリ１３に格納されている前フレームの画像から動きベクトルを求める。動き推定はブロックマッチングにより行われる。被符号化フレームはブロック位置が固定され、探索の空間移動は前フレームの画像のみに適用される。ブロックサイズ(動きベクトルを求める単位)は、１６×１６画素から４×４画素で、探索精度は０.５画素か０.２５画素精度である。
動き補償器１１は、参照画像メモリ１５に格納されている前フレームの局部復号画像を、動きベクトルに従って動き補償し、予測信号として予測減算器２と加算器１２に与える。予測減算器２の出力は予測残差であり、ＤＣＴ３、量子化器４、可変長符号化器５で符号化され符号列となる。

ＤＣＴ３は、予測残差を８×８ＤＣＴ(離散コサイン変換)または４×４ＤＣＴで変換した係数を量子化器４に与える。量子化器４では視覚特性及びビットレート制御に基づき設定される量子化ステップ幅でＤＣＴ係数を量子化し、固定長符号を可変長符号化器５に与える。可変長符号化器５は固定長符号を１次元配列にし、ハフマン符号や算術符号でより短い符号に変換して符号列を形成する。
逆量子化器８、ＩＤＣＴ９、加算器１２は、それぞれ量子化器４、ＤＣＴ３、予測減算器２の逆処理を行い、被符号化フレームの局部復号画像を得る。得られた局部復号画像は、参照画像メモリ１５に前フレームのものとして格納される。
ＳＣ画像はフレームにより色プレーンが異なるので、隣接フレームは異なった色プレーンとなり、異なった色プレーン間動き推定とフレーム間予測を行なうことになる。なお、カラー動画像でも、フレームによりプレーンが変化しない通常のフォーマットの場合は、各プレーンに対して上記と同様な予測処理を行なうことができる。

これまで、カラー動画像の符号化については種々検討されており、例えば、特開平９−２２４２６２号公報（特許文献１）では、差分パルスコード変調による予測エラーを視感色差の範囲を用いて低減するために、現在の元映像と以前の復元映像から差分パルスコード変調により予測映像を生成する映像入力部と、そこから出力される現在の元映像の各画素の色成分に対する視感色差の範囲を決める視感色差範囲決め部と、前記映像入力部から出力される予測映像と現在の元映像との予測エラーを発生させる予測エラー発生部と、そこから出力される予測エラーと前記視感色差範囲決め部から出力される各画素の視感色差の範囲とを比べる視感予測エラー比較部とを備え、視感予測エラーと予測映像を用いて前記現在の元映像を符号化して復元する映像符号化方法および装置が開示されている。

また、特開平１０−７０７３８号公報（特許文献２）では、カラー画像の視感誤差を改善するために、元の画像と復元画像との差から予測誤差画像を生成する手段を設け、復号化された予測誤差画像から動き推定及び補償により復元画像を予測する手段と、予測誤差画像を視感色差ルックアップテーブルを用いて視感誤差画像に再構成する画像符号化装置が開示されている。

さらに、特開２００２−１１８８５０号公報（特許文献３）では、フレーム間符号化方法を用いて動画像の符号化を行い符号を伝送する際に、差分情報にある誤差を一定期間内に減衰させて再生画像の誤差を減らす動画像符号化方式が記載されている。また、特開２００５−３９８４２号公報（特許文献４）では、カラー画像のためのビデオ符号化装置および方法であって、第１動き予測部は、入力映像の第１動き予測結果に基づいて入力映像に対する第１予測誤差映像を算出し、映像情報把握部は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分に設定し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分が基準色成分であるか否かを把握することで、カラー映像の符号化／復号化を行う点が記載されている。

この他、特開２００８−１７２５９９号公報（特許文献５）では、４：２：０、４：２：２、４：４：４等の複数の異なるクロマフォーマットに対して効率的な装置構成で統一的に符号化・復号するために、入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、入力動画像信号の輝度成分に第１のイントラ予測モード決定部と第１のイントラ予測画像生成部を、色差成分に前記第２のイントラ予測モード決定部と第２のイントラ予測画像生成部を適用し、クロマフォーマットが４：４：４の場合は、入力動画像信号の全色成分に第１のイントラ予測モード決定部と第１のイントラ予測画像生成部を適用して符号化を行い、可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化する点を記載している。さらに、特開２００９−３０３２６３号公報（特許文献６）では、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた、符号化装置、復号装置、符号化方法、および、復号方法が記載されている。

特開平９−２２４２６２号公報 特開平１０−７０７３８号公報 特開２００２−１１８８５０号公報 特開２００５−３９８４２号公報 特開２００８−１７２５９９号公報 特開２００９−３０３２６３号公報

フレーム毎に原色が入れ替わるシーケンンシャルカラー動画像を、フレーム間予測符号化しようとした場合、前フレームの色プレーンは異なった色となっているので、画像に色が付いている部分では、適切な動き推定ができず、色差成分がすべて予測残差となってしまい、発生符号量が非常に多くなるという問題が生じる。

本発明は以上の点に着目してなされたもので、シーケンシャルカラー画像で適切な動き推定を行い、信頼性が高い動きベクトルを任意のフレーム間で得ることができるカラー動画像符号化方法及びカラー動画像符号化装置を提供することを目的とする。

本発明は、被符号化フレームと同一色プレーンを持つ符号化済み隔離フレームを参照画像として動きベクトルを求め、前記参照画像を動き補償してフレーム間予測を行う。また、被符号化フレームと隔離した同一色プレーンによる予測画像の低周波数成分と、隣接する異なった色プレーンによる予測画像の高周波数成分を混合した画像によりフレーム間予測を行なう。さらに、所定周期で存在する特定色プレーンのフレームを、特定色の符号化済みフレームを参照画像としてフレーム間予測符号化復号化し、特定色以外のフレームに対しては、特定色の局部復号画像を参照画像としてフレーム間予測を行なう。

本発明は同一色の隔離フレームを参照画像として動きベクトルを求め、動き補償してフレーム間予測を行うことで、動き推定でのブロックマッチングやフレーム間予測が常に同一色間で行なわれるので、色がある画像部分でも適切に動き推定が行え、予測残差もフレーム間で画像が変化した分のみとなる。また、同一色プレーン予測の低周波数成分と、隣接色プレーン予測の高周波数成分を混合した画像により、同一色で画像概況が予測され、相関の高い隣接する他の色で輝度情報の精細成分が予測される。さらに、所定周期の特定色プレーンのフレーム間で予測符号化復号化された画像を、他のフレームの参照画像とすることで、双方向の画像間予測が可能になり、予測残差を減らすことができる。

また、被符号化フレームと隔離した同一色プレーンの符号化済みフレームを参照画像とした予測画像の低周波数成分と、被符号化フレームに隣接する他の色プレーンの符号化済みフレームを参照画像とした予測画像の高周波数成分を混合した画像によりフレーム間予測を行なうことで、同一色で画像概況が予測され、相関の高い隣接する他の色で輝度情報の精細成分が予測されるので、色差の精細成分以外の予測が適切にできる。

さらに、一定周期で存在する特定色プレーンのフレームを、特定色の符号化済みフレームを参照画像としてフレーム間予測符号化復号化し、特定色プレーンのフレーム以外のフレームに対しては、特定色プレーンの局部復号画像を参照画像としてフレーム間予測を行なうことで、全体の３分の２を占める非特定色で双方向の画像間予測が可能になり、主たる情報である輝度情報の精細成分について予測残差を減らすことができる。これら予測性能の改善により総合的な符号化効率が改善される。

本発明の第１の実施形態におけるカラー動画像符号化の機能ブロックを示す図である。 本発明の第２の実施形態におけるカラー動画像符号化の機能ブロックを示す図である。 本発明の第３の実施形態におけるカラー動画像符号化の機能ブロックを示す図である。 実施形態のフレーム間色プレーン予測の処理を示す図である。 実施形態の合成フレーム間色プレーン予測の処理を示す図である。 実施形態の２段フレーム間色プレーン予測の処理を示す図である。 実施形態の２段合成フレーム間色プレーン予測の処理を示す図である。 実施形態の３段合成フレーム間色プレーン予測の処理を示す図である。 実施形態のシーケンシャルカラー画像を示す図である。 従来のフレーム間色プレーン予測の処理を示す図である。 従来のカラー動画像フレーム間予測符号化の機能ブロックを示す図である。

＜第１の実施形態＞
本発明の第１の実施形態におけるカラー動画像フレーム間予測符号化について説明する。図１は、第１の実施形態のカラー動画像符号化装置の機能ブロックを示す。なお、本明細書では、同一の機能を提供する機能ブロックには、従来例についても同一の参照符号を用いて参照する。図１の機能ブロックには、図１１と比較して、動き推定器４１の代わりに、処理動作の異なる動き推定器１４がある。また、画像メモリ７，１０，１６，１７が追加されている。図４は本実施形態のフレーム間色プレーン予測関係を示したもので、被符号化フレーム(R4)と３フレーム前(R1)との間で動き推定を行い、（R1）を動き補償してフレーム間予測画像を得る。

第１の実施形態において、従来構成と異なるのは、動き推定とフレーム間予測での参照フレームとその動作であり、その他予測減算器２、ＤＣＴ(Discrete Cosine Transformer)３、量子化器４、可変長符号化器５、逆量子化器８、ＩＤＣＴ(Inverse Discrete Cosine Transformer) ９、加算器１２の処理動作は基本的に従来構成と同じである。

本実施形態で、シーケンシャルカラー（ＳＣ）画像とは、同一の色属性を有するフレームが、色属性の数、例えばＲＧＢであれば３フレーム周期で配置された構成を有する。シーケンシャルカラー画像入力１から入来するシーケンシャルカラー(ＳＣ)画像は、画像メモリ７に格納され、１フレーム遅延して次の画像メモリ１０に与えられる。画像メモリ７にはおおよそ１フレーム分が格納されるが、ＳＣ画像なのでひとつの色プレーンのみである。画像メモリ１０は、画像メモリ７と同様なもので、画像信号を１フレーム分時間遅延させ、参照画像メモリ１３に与えれる。これにより、参照画像メモリ１３には３フレーム前の画像が格納される。格納されているのはＳＣ画像なので、それぞれのメモリの色プレーンはフレーム単位で更新される。

動き推定器１４は、現在フレームの画像と参照画像メモリ１３の３フレーム前の画像を用いて動きベクトルを求める。ＳＣ画像がＲＧＢの３種類の色プレーンで構成されていると、３フレームで１周期となり、両者の色プレーンは同一となる。

動き推定処理はブロックマッチングにより行われる。被符号化フレームはブロック位置が固定され、探索の空間移動は３フレーム前の画像のみに適用される。ブロックサイズ(動きベクトルを求める単位)は、１６×１６画素から４×４画素とし、探索精度は０.５画素か０.２５画素精度である。基本的なブロックマッチングでは処理量が多く誤ベクトルが生じやすいので、低解像度画像を使う階層型探索などが使われる。また、時間間隔が３フレームになるので、探索範囲はフレーム間隔に比例して広げる必要がある。

動き補償器１１は、参照画像メモリ１３に格納されている３フレーム前の局部復号画像を、動きベクトルに従って動き補償し、予測信号として予測減算器２と加算器１２に与える。予測減算器２の出力は予測残差であり、ＤＣＴ３、量子化器４、可変長符号化器５で符号化され符号列となる。これらのフレーム内処理は、通常の輝度と色差に対する符号化と基本的に同じであるが、輝度と色差のうち輝度に対する処理のみと同じになるので、非常にシンプルとなる。

ＤＣＴ３は、予測残差を８×８ＤＣＴ(離散コサイン変換)または４×４ＤＣＴで変換した係数を量子化器４に与える。量子化器４では視覚特性及びビットレート制御に基づき設定される量子化ステップ幅でＤＣＴ係数を量子化し、固定長符号を可変長符号化器５に与える。可変長符号化器５は固定長符号を１次元配列にし、ハフマン符号や算術符号でより短い符号に変換して符号列を形成する。

逆量子化器８、ＩＤＣＴ９、加算器１２は、それぞれ量子化器４、ＤＣＴ３、予測減算器２の逆処理を行い、被符号化フレームの局部復号画像を得る。得られた局部復号画像は、画像メモリ１７と画像メモリ１６でそれぞれ１フレーム分遅延させられ、参照画像メモリ１５に与えられる。参照画像メモリ１５はさらに１フレーム分遅延させ、３フレーム前の局部復号画像として動き推定や動き補償のための空間移動出力に備えて格納される。

本実施形態において、動き推定は同一色プレーン間で行なわれるので、ブロックマッチングは一般的な輝度信号におけるものと同等の処理で、同等の結果が得られる。一方、フレーム間予測も同一色プレーン間で行なわれるので、予測残差は輝度信号におけるものと同等となる。ただし、前フレームからの予測と比較するとフレーム距離は離れているので、画像間相関の低下により予測残差が少し多くなる。

また、被符号化フレームと参照画像となるフレームの時間関係は常に一定なので、動き推定のための入力画像のフレーム遅延もフレーム間予測のための局部復号画像の遅延も常に一定であり、色プレーンが替わっても処理方法を変える必要は無く、合理的な処理となっている。

＜第２の実施形態＞
次に本発明の第２の実施形態のカラー動画像構造変換について説明する。図２は、第２の実施形態のカラー動画像符号化装置の機能ブロックを示したものである。図２では、図１の機能ブロックと比較して、動きベクトルスケーラ２１、加算器２２、空間ＨＰＦ(High Pass Filter)２３、動き補償器２４、空間ＬＰＦ２６が追加されており、また画像メモリ１７が動き補償に対応した参照画像メモリ２５に替わっている。

第２の実施形態では、性質の異なる２種類の参照画像を混合して予測に利用するもので、そのフレーム間色プレーン予測関係を図５に示す。図において、被符号化フレーム(R4)と３フレーム前(R1)との間で動き推定を行い、３フレーム前(R1)を動き補償した同一色予測画像と、直前フレーム(B3)を動き補償した他色予測画像の両方を使ってフレーム間予測を行なう。

第２の実施形態において、第１の実施形態と異なるのはフレーム間予測での参照フレームとその動作であり、画像メモリ７，１０、動き推定器１４、予測減算器２、ＤＣＴ３、量子化器４、可変長符号化器５、逆量子化器８、ＩＤＣＴ９、加算器１２の処理動作は基本的に第１の実施形態と同じである。

シーケンシャルカラー画像入力１から入来するＳＣ画像信号は、３フレーム遅延後に動き推定器１４に与えられ、現在フレームとの間で動き推定される。得られた３フレーム前の画像に対する動きベクトルは、動きベクトルスケーラ２１と動き補償器１１に与えられる。動きベクトルスケーラ２１は、動きベクトルの水平及び垂直の各成分の値を３分の１にし、動き補償器２４に与える。

動き補償器１１は、参照画像メモリ１５に格納されている３フレーム前の局部復号画像を、動きベクトルに従って動き補償して空間ＬＰＦ２６に与える。空間ＬＰＦ２６は、垂直及び水平の各方向で通過周波数帯域を４分の１から８分の１程度に帯域制限するものである。これにより得られた３フレーム前の予測画像の低周波数成分は、加算器２２に与えられる。

一方、動き補償器２４は、参照画像メモリ２５に格納されている直前フレームの局部復号画像を、スケーリングされた動きベクトルに従って動き補償し、空間ＨＰＦ２３に与える。空間ＨＰＦ２３は、空間ＬＰＦ２６の逆特性で、空間ＬＰＦ２６で削除される周波数帯域を通過させる。これにより得られた直前フレームの予測画像の高周波数成分は、加算器２２に与えられる。

帯域制限の具体的方法は、通常のＦＩＲ型フィルタを用い予測画面全体を処理しても良いが、より簡易で、ブロック境界の影響を受けにくい手法としてはブロック単位のものがある。これは８×８画素ないし４×４画素のブロック平均値を低周波数成分とし、平均値と各画素の差分を高周波数成分とするものである。ブロック単位の処理は、動き補償のブロックと適合させるのが好都合である。この場合、空間ＬＰＦ２６はブロック平均値を出力し、空間ＨＰＦ２３はブロック平均値を減じた画素値を出力すればよい。

加算器２２は、３フレーム前の予測画像の低周波数成分の信号と直前フレームの予測画像の高周波数成分の信号を加算する。ここで、ＬＰＦとＨＰＦは逆特性なので、加算結果画像の周波数特性は平坦となる。加算により得られた予測画像は予測減算器２と加算器１２に与えられる。一方、加算器１２で得られた局部復号画像は、参照画像メモリ２５に格納され、直前フレームの動き補償のために使われる。

本実施形態のフレーム間予測信号は、被符号化フレームと隔離した３フレーム前の予測画像の低周波数成分と、隣接する直前フレームの予測画像の高周波数成分であるが、その特徴を説明する。３フレーム前の予測画像は同一色プレーンであるので、色の有無に関わらず予測に使用できるが、画像間相関が低く特に高い周波数成分で予測残差が出やすい。一方、直前フレームの予測画像は他色プレーンであるので、色があると色差成分が予測残差となってしまう。しかし色差成分は空間的な変化が少なく、高周波数成分は僅かなので、色プレーンの高周波成分の予測残差は通常符号化の輝度プレーンと大差ない。

見方を変えると、色プレーンの符号化において全周波数成分を持つ輝度成分は、低周波数成分が３フレーム前で、高周波数成分が直前フレームで予測され、主に低周波数成分である色差成分は、低周波数成分が同一色である３フレーム前で予測される。色差の高周波数成分は予測残差となるが、その量は僅かである。

＜第３の実施形態＞
本発明の第３の実施形態カラー動画像フレーム間予測符号化について、図３を用いて説明する。図３のカラー動画像符号化装置は、図１と比較して、スイッチ３１，３２，３５、乗算器３３，３７、可変動きベクトルスケーラ３４，３６、動き補償器２４、参照画像メモリ２５が追加されている。

第３の実施形態では、符号化処理を２段階に行ない、双方向予測が使われるもので、そのフレーム間色プレーン予測関係を図６に示す。図６において、第１の符号化として特定色フレーム(R4)と同一色プレーンである３フレーム前(R1)との間で符号化復号化を行い、その間のフレーム(G2,B3)を特定色フレーム(R1,R4)の局部復号画像を使ってフレーム間予測を行う。

第３の実施形態において、第１の実施形態と異なるのは、フレーム間予測構造や参照フレームとその動作であり、画像メモリ７，１０、参照画像メモリ１３、動き推定器１４、予測減算器２、ＤＣＴ３、量子化器４、可変長符号化器５、逆量子化器８、ＩＤＣＴ９、加算器１２の処理動作は基本的に第１の実施形態と同じである。
シーケンシャルカラー画像入力１から入来するＳＣ画像信号は、３フレーム遅延後に動き推定器１４に与えられ、現在フレームとの間で動き推定される。得られた３フレーム前の画像に対する動きベクトルは、可変動きベクトルスケーラ３４、３６に与えられる。

特定色に対する第１の符号化では、入来信号はスイッチ３１を介して予測減算器に与えられ、フレーム間予測が行なわれる。同時にスイッチ３２を介して固定長係数が逆量子化器８に与えられ、加算器１２で局部復号画像を得る。局部復号画像はスイッチ３５を介して参照画像メモリ２５または参照画像メモリ１５に与えられる。参照画像メモリ２５、１５は、特定色プレーンのフレームで交互に局部復号画像が蓄えられる。例えば、参照画像メモリ２５に（R1）,（R7）,（R13）・・・、参照画像メモリ１５に（R4）,（R10）,（R16）・・・となる。

非特定色に対する第２の符号化では、参照画像メモリで３フレーム遅延した入来信号がスイッチ３１を介して特定色プレーンのフレームで予測減算器２に与えられ、フレーム間予測が行なわれる。その際、スイッチ３２は接続されず局部復号は行なわれない。また、参照画像メモリ２５，１５に格納されている画像は更新されない。

一方、可変動きベクトルスケーラ３４、３６は、動き補償するフレームと動きベクトルを求めたフレームの関係で乗ずる値を変える。特定色に対する第１の符号化では、そのまま(１.０倍)とする。一方、非特定色に対する第２の符号化では、（G2）では３４が３分の１、３６がマイナス３分の２となり、（B3）では、３４が３分の２、３６がマイナス３分の１となる。

動き補償器２４は、参照画像メモリ２５に格納されている特定フレームの局部復号画像を、動きベクトルに従って動き補償して乗算器３３に与える。動き補償器１１は、参照画像メモリ１５に格納されている特定フレームの局部復号画像を、動きベクトルに従って動き補償して乗算器３７に与える。

乗算器３３，３７は、符号化の段階と画像距離に応じて乗ずる値を変える。特定色に対する第１の符号化では、３フレーム前の画像のみ使うように片方が1.0で他方が0.0となる。非特定色に対する第２の符号化では両方を２分の１とするか、１フレーム間となる方を３分の２、２フレーム間となる方を３分の１とする。

加算器２２は、乗算器３３の出力と乗算器３７の出力を加算するが、特定色に対する第１の符号化では実質的に片方の画像のみが通過し、非特定色に対する第２の符号化では混合により予測画像を形成することになる。得られた予測画像は予測減算器２と加算器１２に与えられる。

本実施形態は、特定色に対して３フレーム間の予測を行なうが、３フレーム前の予測画像は同一色プレーンであるので、色の有無に関わらず予測に使用できる。非特定色に対しては、双方向の予測が適用されるので画像変化にも対応した予測が可能になる。ただし、他色からの予測となるので、色差成分は予測残差となる。

＜第４の実施形態＞
第３の実施形態で非特定色フレームの予測残差を減らすため、非特定色フレームでも同色プレーン間の予測を併用するのが良い。第４の実施形態は同色プレーン間の予測を併用する実施形態である。第４の実施形態における処理のフレーム予測色プレーン関係を図７に示す。図７に示す予測処理のための機能ブロックは、図２および図３に示した機能ブロックを組み合わせたものとなる。図３をベースにすると、加算器２２の出力に図２の空間ＨＰＦ２３が適用される形になり、図２の空間ＬＰＦ２６から参照画像メモリ２５まではそのまま使われ、空間ＬＰＦ２６の出力と図３の加算器２２の出力が加算されて、予測画像となる。なお、非特定色の動き補償のための動き推定は別途必要になる。また、局部復号画像は全フレームで必要となるので、図３のスイッチ３２は常時通過となる。

これにより非特定色フレームでは、他色プレーンによる双方向予測の高周波数成分と、同一色プレーンによる３フレーム間片側予測の低周波数成分でフレーム間予測が行なわれる。第２の実施形態と比較した場合、高周波数成分の予測が双方向になる。なお、特定色フレームは第３の実施形態と同じになる。

本実施形態の場合、特定色の符号化は、ＩＢＰの各ピクチャタイプを持つＭＰＥＧ型符号化でのＰピクチャと等価であり、非特定色の符号化はＢピクチャに近いものとなるので、総合的にＭＰＥＧ型符号化に近いフレーム間予測性能が得られる。一方、各フレームにはひとつの色プレーンしかないので、発生符号量は、カラー動画像符号化でありながら輝度色差画像に対する符号化の輝度画像のみに近いものとなる。つまり、輝度成分と色差成分が一体化され符号化されていると見ることもできる。

画像メモリ量はフレーム数で見ると増加するが、ＳＣ画像のサンプル数(非圧縮データ量)は４：２：２の半分、４：２：０の３分の２しかないので、実効的にはむしろ少なくなる。また、非特定色も参照画像となるが、予測に使われるのは低周波数成分のみなので、Ｂピクチャを参照しないＭＰＥＧ型符号化と同様に非得定色フレームの予測残差符号化の量子化を粗くすることができる。この場合、最終的な画質も特定色に対して非特定色が若干劣ることになるので、輝度成分への影響を考慮すると、特定色を緑(Ｇ)、非特定色を赤(Ｒ)と青(Ｂ)とするのが適当となる。

＜第５の実施形態＞
第３の実施形態または第４の実施形態において、ＳＣ画像が毎秒６０フレーム(６０ｆｐｓ)だったとすると、特定色フレームの符号化は２０ｆｐｓの通常符号化と等価になる。そこで、この符号化をＢピクチャを持つＭＰＥＧ型符号化とすることができる。この処理を使用するのが第５の実施形態のカラー動画像符号化装置であり、第５の実施形態における符号化予測の実施形態を、フレーム間色プレーン予測関係として図８に示す。なお、符号化処理における各機能処理部は、第３および第４の実施形態において、ＭＰＥＧエンコーディング処理に適合するフォーマットとされている。

ただし、図８では、Ｐ(Ｉ)ピクチャ間隔は、特定色フレームが２０ｆｐｓなので、３０ｆｐｓで一般的な３フレームでなく２フレームとされる。また、非特定色フレームの予測を行なうため、特定色フレーム局部復号画像の品質は一定であることが望ましく、Ｂピクチャの量子化を粗くすることは適当でない。以上の適合化を行うことにより、第５の実施形態では、ＭＰＥＧエンコードにおける特定色の予測性能が改善され符号化効率が向上し、全体での発生符号量が低減できる。

以上説明したように、本発明は、シーケンシャルカラー画像を高画質にＲＧＢ画像に変換可能にするもので、シーケンシャルカラー方式で撮像するカメラを実現できる。また、ディスプレイに適用することで、現在デジタル放送やＤＶＤなどで使われている輝度色差４：２：０方式などの動画像フォーマットの代わりに、より合理的なシーケンシャルカラー方式を使用可能とするものである。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１…シーケンシャルカラー画像入力、２…予測減算器、３…ＤＣＴ，４…量子化器、５…可変長符号化器、６…符号列出力、７，１０，１７，１６…画像メモリ、８…逆量子化器、９…ＩＤＣＴ、１３，１５，２５…参照画像メモリ、１１，２４…動き補償器、１２，２２…加算器、１４，４１…動き推定器、２１…動きベクトルスケーラ、２３…空間ＨＰＦ、２６…空間ＬＰＦ、３１，３２，３５…スイッチ、３３，３７…乗算器、３４，３６…可変動きベクトルスケーラ、

Claims (6)

1. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償フレーム間予測符号化において、
   入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、前記被符号化フレームと一定間隔で隔離した前記既存色と同一色プレーンを持つ符号化済みフレームの色プレーンを参照画像として、動きベクトルを求める工程と、
   前記動きベクトルにより、前記符号化済みフレームの局部復号色プレーンを動き補償して予測画像を得る工程と、
   前記動き補償で得られた予測画像と被符号化フレームの既存色プレーンとの予測残差を得る工程と
   前記予測残差を符号化する工程と
   を含む、カラー動画像符号化方法。
2. フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、
   入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、前記被符号化フレームと一定間隔で隔離した前記既存色と同一色プレーンを持つ符号化済みフレームの色プレーンを参照画像として動きベクトルを求め、被符号化フレームと隔離した符号化済みフレームの前記被符号化フレームと同一色プレーンを参照画像として第１の予測画像を得る工程と、
   前記被符号化フレームに隣接する符号化済みフレームの前記被符号化フレームと異なる色プレーンを参照画像として第２の予測画像を得る工程と、
   前記第１の予測画像の低周波数成分と前記第２の予測画像の高周波数成分を混合した合成予測画像と被符号化フレームの色プレーンとの予測残差を得る工程と、
   前記予測残差を符号化する工程と
   を含む、カラー動画像符号化方法。
3. フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、
   入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、一定周期で存在する特定色プレーンのフレームを、前記特定色の符号化済みフレームを参照画像として動きベクトルを求めフレーム間予測符号化する工程と、
   前記特定色符号化で符号化された特定色プレーンを復号化して、特定色プレーンの局部復号画像を得る工程と、
   前記特定色プレーンのフレーム以外のフレームに対して、前記特定色プレーンの局部復号画像を参照画像としてフレーム間予測して予測残差を得る工程と、
   前記予測残差を符号化する工程と
   を含む、カラー動画像符号化方法。
4. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償フレーム間予測符号化において、
   入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、前記被符号化フレームと一定間隔で隔離した前記既存色と同一色プレーンを持つ符号化済みフレームの色プレーンを参照画像として、動きベクトルを求める動き推定手段と、
   前記動きベクトルにより、前記符号化済みフレームの局部復号色プレーンを動き補償して予測画像を得る動き推定手段と、
   前記動き補償で得られた予測画像と被符号化フレームの既存色プレーンとの予測残差を得る予測手段と、
   前記予測残差を符号化する手段を
   を含む、カラー動画像符号化装置。
5. フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、
   入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、一定周期で存在する特定色プレーンのフレームを、前記特定色の符号化済みフレームを参照画像として動きベクトルを求め第１の予測画像を得る第１の予測手段と、
   前記被符号化フレームに隣接する符号化済みフレームの前記被符号化フレームと異なる色プレーンを参照画像として第２の予測画像を得る第２の予測手段と、
   前記第１の予測画像の低周波数成分と前記第２の予測画像の高周波数成分を混合した合成予測画像と被符号化フレームの色プレーンとの予測残差を得る予測手段と、
   前記予測残差を符号化する手段と
   を含む、カラー動画像符号化装置。
6. フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、
   入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、前記被符号化フレームと一定間隔で隔離した前記既存色と同一色プレーンを持つ符号化済みフレームの色プレーンを参照画像として動きベクトルを求め、被符号化フレームと隔離した符号化済みフレームの前記被符号化フレームと同一色プレーンを参照画像として第１の予測画像を得る第１の予測手段と、
   前記被符号化フレームに隣接する符号化済みフレームの前記被符号化フレームと異なる色プレーンを参照画像として第２の予測画像を得る第２の予測手段と、
   前記第１の予測画像の低周波数成分と前記第２の予測画像の高周波数成分を混合した合成予測画像と被符号化フレームの色プレーンとの予測残差を得る予測手段と、
   前記予測残差を符号化する手段と
   を含む、カラー動画像符号化装置。