JP5195032B2 - 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム - Google Patents

Description

本発明は、動画像データの符号化及び復号化の技術に関し、さらに詳しくは符号化の前段の処理で、映像信号を縮小化する技術に関する。

動画像データは、音声データや文字データに比べて、圧倒的にデータ量が大きいので、その処理やデータ転送には、データの圧縮符号化を行うことが必須となっている。
そしてこの符号化の手法としては、様々なものが提案されている。

例えば、特許文献１においては、画像データの絵柄の難易度を算出し、算出した難易度に応じた圧縮率で適応的に圧縮符号化することにより、圧縮後のデータの大きさを自由に変更できる圧縮符号化の手法が開示されている。

また特許文献２には、画像の絵柄が一様でない画像データを画質を一様にして符号化する。特許文献２では、マクロブロック（ＭＢ）毎に符号化の難易度を画質劣化の目立ちやすさを示す重み係数を計算し、符号化難易度と重み係数から複雑度を計算し、複雑度を用いてＭＢの符号化の量子化スケールを計算する技術が開示されている。

さらに特許文献３には画像データの圧縮の効率化を図るために、映像信号のフレーム間及びフィールド間動き検出において、輝度信号成分と色差信号成分をそれぞれある比率で加えた混合信号で動き検出を行うようにした動き検出方法が開示されている。

被圧縮動画像のデータは、輝度信号（Ｙ）が各色差信号（Ｃｂ，ＣｒもしくはＰｂ，ＰｒもしくはＵ，Ｖ）の２倍の画素数である４：２：２フォーマットや、輝度信号と色差信号が同画素数である４：４：４フォーマットなどがある。それに対して動画像符号化においては、圧縮率を高める為に画素信号レベルの処理において、総数を減らしたいという理由や、輝度信号の方が人間の視覚特性的に劣化を認知し易いという理由から、色差信号の画素数をサブサンプルにより削減した、４：２：０フォーマットや４：２：２フォーマットに変換した後に符号化処理されることが多い。

一般的に、色差成分の処理画素数を削減する符号化方式は、品質を極力保ちながら圧縮効率を向上するのに貢献している。
図１４に映像フォーマットの簡単な概念図を示す。

動画像は、複数の静止画の集まりであり、複数のフレームからなっている。符号化装置のフレームメモリには、この複数のフレームが格納されている。
その１枚の静止画のフレームを取り出すと、４：２：２フォーマットの信号の場合には、Ｙ：Ｃｂ：Ｃｒ＝４：２：２の比率で構成される。この４：２：２フォーマットの具体例には、ＩＴＵ−Ｒ Ｒｅｃ．７０９やＩＴＵ−Ｒ Ｒｅｃ．６５６などがある。

また１枚のフレームは複数のＭＢからなっており、各ＭＢは、４ブロックのＹ、１ブロックのＣｂ、及び１ブロックのＣｒからなっている。なお１ブロックは８×８画素から構成されている。

この４：４：２フォーマットの信号を、各々の静止画毎に、４：２：０フォーマットと呼ばれる、Ｙ：Ｃｂ：Ｃｒ＝４：１：１の比率の映像フォーマットに変換してから符号化処理を行う。画像符号化処理では、各静止画をマクロブロック（ＭＢ）と呼ばれるサブブ
ロックに分割して、その単位で符号化処理を行うが、その際には４：２：０フォーマットのＹ：Ｃｂ：Ｃｒ＝４：１：１の状態に変換した映像信号が用いられる。

図１５は従来の符号化装置の構成を、また図１６は従来の復号化装置の構成を示す図である。
図２の符号化装置１ａは、色差縮小変換部１１、フレームメモリ１２、動きベクトル探索部１３、動き予測部１４、直交変換（Ｔ（ＤＣＴ））部１５、量子化（Ｑ）部１６、可変長符号化（ＶＬＣ）部１７、逆量子化（ＩＱ）部１８、逆直交変換（ＩＤＣＴ）部１９、加算器２０及び減算器２１からなる。

色差縮小変換部１１は、入力される映像信号の色差信号を縮小して、例えば４：４：２フォーマットから４：２：０フォーマットに変換する。フレームメモリ１２は、主に動き予測を行う為にフレームデータを蓄積するもので、過去や未来のフレームの画像データを蓄える。動きベクトル探索部１３は、フレームメモリ１２から原画マクロブロック２２と参照ブロック２３を読み出し、これらから参照ブロック２３の原画マクロブロック２２との移動量である動きベクトルを求める。動きベクトルは、予測残差信号がある規範(絶対値和や二乗和)に基づいて最小のものが選ばれる。動き予測部１４は、フレームメモリ１２内の参照フレームと動きベクトル探索部１３が求めた動きベクトルから順方向予測、逆方向予測及び双方向予測を行い、予測フレームを作成するものである。

減算器１５は、原画マクロブロック２２から動き予測部１４による予測フレームを減算して、直交変換部１６に出力する演算器である。直交変換部１６は、動き補償を行った画素に対して８×８のブロック単位で離散コサイン変換（ＤＣＴ：Ｄｉｒｅｃｔ Ｃｏｓｉｇｎ Ｔｒａｎｓｆｏｒｍ）を行うものである。量子化部１７は、ＤＣＴ変換係数を視覚特性を考慮して量子化するものである。可変長符号化部１８は、量子化値をハフマン符号等の可変長符号に変換し、符号化出力を行うものである。

逆量子化部１９は、量子化値をＤＣＴ変換係数に逆変換するものである。逆直交変換部２０は、逆量子化部１８によって求めたＤＣＴ変換係数に対して逆変換を行って８×８のブロックの画素データに変換するものである。加算器２１は、逆直交変換部２０から出力される差分値の画素データに動き予測部１４から出力される動きベクトルで補償された予測フレームを加えて、圧縮によってひずみが加わっている画像データ新たな参照フレームとしてフレームメモリ１２に書き込む演算器である。

このような構成の符号化装置１ａにおいて、映像信号が入力されると、色差縮小変換部１１によって、映像信号の色差信号を縮小するフォーマット変換を行った後フレームメモリ１２に記憶し、以下ＭＰＥＧ等の画像データ圧縮処理を行って符号化出力を行う。

動画像符号化装置１ａにおいては、原信号の莫大な情報を、時間方向、空間方向の冗長性を省くことによる情報量圧縮を行っている。具体的には、時間方向としては、動きベクトルを用いて前後フレームとの差分を取る動き補償方式、空間方向としては、画面の水平・垂直の平面を周波数成分に変換する直交変換および量子化による直交変換係数の代表値化などがある。また、算術的な情報圧縮の手法として可変長符号化を用いてデータ圧縮を行っている。

また従来の動画像符号化装置１ａでは、圧縮処理の前段階で、色差縮小変換部１１によって色差信号の解像度変換を行い、例えば４：２：２フォーマットの入力信号を４：２：０フォーマットの信号にすることが圧縮効率を高める方式として採用されて来た。

次に従来の復号化装置２ａについて説明する。
図１６に従来の復号化装置２ａの構成例を示す。
図１６の復号化装置２ａは、可変長復号化（ＶＬＤ）部３１、逆量子化（ＩＱ）部３２、逆直交変換（ＩＤＣＴ）部３３、動き補償部３４、加算器３５、フレームメモリ３６、及び色差拡大変換部３７からなる。

可変長復号化部３１は、ハフマン符号等の可変長符号を量子価値に変換するものである。逆量子化部３２は、量子化値をＤＣＴ変換係数に逆変換するものである。逆直交変換部３３は、逆量子化部３２によって求めたＤＣＴ変換係数に対して逆変換を行って８×８のブロックの画素データに変換するものである。ただしここで求められる画素データは、Ｉピクチャの場合は実際の画素データそのものとなるが、Ｐピクチャ及びＢピクチャの場合には対応する画素データ間の差分値となっている。動き補償部３４は、符号化器１ａによって用いられた動きベクトルで補償されたブロックを求めるものである。加算器３５は、逆量子化部３２から出力される差分値と動き補償部３４から出力される動きベクトルによって補償されたブロックを加算して、Ｐピクチャ若しくはＢピクチャを求めるものである。フレームメモリ３６は、求まったフレームの画素データを保持するものである。色差拡大変換部３７は、後処理として、符号化装置１ａによって色差信号を縮小された例えば４：２：０フォーマットの信号を、色差信号を補完して４：２：２フォーマットの信号に変換する。

従来の復号化装置２ａでは、符号化装置１ａで行われた符号化処理の逆変換処理となるので、その構成要素は、符号化装置１ａの一部に含まれるものが多い。逆変換処理で求めた差分値を求め、動き補償部３４では、符号化装置１ａで決定された動きベクトルを用いて復号をおこなう。また色差拡大変換部３７では、では、符号化処理の前段で行われた色差縮小変換を元に戻す拡大処理を行い、映像信号として送出する。
特開２００７−５３７８８号公報 特開平１０−１６４５８１号公報 特開平１１−１９６４３７号公報

しかしながら、符号化／復号化する映像信号は、常に輝度信号の方が劣化を認知し易いかというと必ずしもそうではなく、シーンによっては、色差信号の方が輝度信号より特徴があったりする場合もある。

この様なシーンでは、符号化により色差信号に関する劣化が目立つ結果となっている。それでも、動画像符号化においては、依然として４：２：２入力の場合は、４：２：０で符号化が行われる事が多い。

また、近年、ＨＤＴＶ対応テレビやムービー等の家電製品において、より色差信号の表現を豊かにし、より色の深み詳細に表現することも可能となりつつあり、そういう観点においても色差成分を優遇する処理が広まりつつあると言える。

そこで本発明では、この様な問題や市場の動向に対して、符号化に用いる処理量、すなわち処理ブロック数を保ったまま、この色差信号をより優遇した符号化を実現する符号化装置／復号化装置、符号化方法／復号化方法及びプログラムを提供することを目的とする。

本符号化装置は、入力映像信号を圧縮符号化することを前提とし、上記課題を解決するため、輝度信号複雑度計算部、色差信号複雑度計算部、縮小変換部及び符号化部を備える
。

輝度信号複雑度計算部は、前記入力映像信号内の輝度信号の複雑さを求める。
色差信号複雑度計算部は、前記入力映像信号内の色差信号の複雑さを求める。
縮小変換部は、前記輝度信号複雑度計算部及び前記色差信号複雑度計算部が求めた輝度信号及び色差の複雑さから前記入力映像信号のフォーマットを変換する。

符号化部は、前記縮小変換部がフォーマット変換した映像信号を圧縮符号化して符号化データを生成する。
この構成により、本符号化装置では、前記入力映像信号内の輝度信号及び色差信号の複雑さに基づいたフォーマットの変更が行われる。

また復号化装置は、入力される符号化信号を復号化することを前提とし、画像変換指示部、復号化部、及び拡大変換部を備える。
画像変換指示部は、符号化の際に行われたフォーマット変換の種類を求める。

復号化部は、前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記符号化信号を復号化する。
拡大変換部は、前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記復号化部が復号化した信号のフォーマット変換を行う
この構成により、本復号化装置は、本符号化装置でフォーマットの変更された符号化信号を復号化することができる。

また本発明は、符号化方法、復号化方法及びプログラムもその範囲に含む。

本符号化装置によれば、入力映像信号のフォーマットの変換を行う際に、入力映像信号の特性に基づいて輝度信号又は色差信号のフォーマット変換を行うので、色差成分に符号化劣化が目立つシーンに関する符号化効率向上をより簡潔に実現することができる。

また、入力映像信号の特性として、輝度信号と色差信号の複雑度を求めこの複雑度に基づいてフォーマット変換を行うことで、色差成分に符号化劣化が目立つシーンを的確に判断可能となる。

更に、本復号化装置によれば、本符号化装置によって符号化された符号化信号を復号化することができる。

以下に図面を参照しながら本発明の一実施形態について説明する。
本実施形態の符号化装置は、入力される映像信号の複雑さを元に、輝度信号もしくは色差信号のいずれかを解像度変換するかを適応的に変更することにより、符号化処理性能を向上させる。

また、本実施形態の復号装置は、符号化信号に付加された情報を元にする等の方法により、輝度信号もしくは色差信号のいずれかを解像度変換された符号化データであるかを識別し、符号化データを復号化する。

例えば復号化装置においては、復号化装置の前段のフォーマットを変換して、色差信号を縮小変換する部分を、場合によっては輝度信号を縮小変換し、色差信号の解像度を保つ機能を追加する。また、これから符号化を行う入力信号に対して、輝度・色差別の複雑度
を解析する機能および、それら解析部より得られる統計情報から判断して、輝度信号、色差信号のいずれを縮小するかの縮小判定の機能を追加する。

また、復号化器においては、色差・輝度のどちらの成分が縮小されているかを判断して、復号化処理や復号化処理の後処理として、色差・輝度のいずれかを拡大する機能を追加する。色差と輝度のいずれの信号が縮小変換処理されたかの情報は、符号化信号のビットストリームに多重化されていても良いし、符号化器と復号化器で同一処理を行うことにより暗黙的に決定しても良い。

このような構成とすることにより、輝度信号を優遇した符号化を行いたい場合にはこれまで通り色差信号を縮小し、色差信号を優遇した符号化を実施したい場合には、色差信号の変わりに輝度信号を縮小した符号化を行うことが可能となる。

図１は、本実施形態における符号化装置１ｂの構成例を示す図である。
同図では、図１５の従来の符号化装置１ａと同じ構成要素については同一の符号が付せられている。

図１の符号化装置１ｂを図１５の符号化装置１ａと比較すると、輝度信号複雑度計算部４１、色差信号複雑度計算部４２、及び符号化制御部４３が新たに設けられ、また色差縮小変換部１１の代わりに縮小変換部４４が設けられている。

輝度信号複雑度計算部４１は、入力映像信号内の輝度信号の複雑さを求める。また色差信号複雑度計算部４２、入力映像信号内の色差信号の複雑さを求める。
この複雑さの評価値の求め方について計算式の１例を以下に示す。

ピクチャ内画素値をｘｉ、ピクチャ内画素数をＮとしたとき、ピクチャ内画素平均値μは、

と表せる。このとき、ピクチャ内画素分散σ² 、標準偏差σは、ピクチャ内画素平均値μからの差分自乗誤差Ｓを

と定義すると、

で求められる。

輝度信号複雑度計算部４１は、輝度成分の分散値σＹ、色差信号複雑度計算部４２は、色差成分の分散値σＣｂ、σＣｒを式（１）を用いて計算して求め、これを符号化制御部４３に入力する。
符号化制御部４３は、縮小判定部４５、ピクチャフォーマット判定部４６、画像読出し部４７、予測タイプ判定部４８、及び量子化判定部４９を含む。

縮小判定部４５は、輝度信号複雑度計算部４１及び色差信号複雑度計算部４２から入力された分散値σＹとσＣｂ、σＣｒから、入力映像信号が輝度に対する複雑さが大きいのか、色差に対する複雑さが大きいのかの判定を行う。なお判定結果が頻繁に変わらないように、このとき判定を行うための比較は、単純にσＹとσＣｂ＋σＣｒを比較するのではなく、色差の分散値にはオフセットαを加え、σＹとσＣｂ＋σＣｒ＋αの比較を行って判定する。ピクチャフォーマット判定部４６は、縮小判定部４５の判定結果に基づいて、映像信号のフォーマットを輝度信号を縮小したものにするのか、あるいは色差信号を縮小したものにするのかを決定して縮小変換部４４に指示する。画像読出し部４７は、フレームメモリ１２から読み出すブロックを制御するものである。予測タイプ判定部４８は、フレーム内予測を行うかフレーム間予測を行うかとか、フレーム間予測でもフレーム予測を行うのかフィールド予測を行うのか等予測の仕方に基づいて演算器１５及び２５を制御するものである。量子化判定部４９は、圧縮率に基づいて量子化の粗さの制御を量子化部１７に対して行うものである。

縮小変換部４４は、ピクチャフォーマット判定部４６の制御指示に基づいて、入力映像信号を色差信号を縮小したフォーマットの信号若しくは輝度信号を縮小したフォーマットの信号に変換する。

このような構成の符号化装置１ｂにおいて、映像信号が入力されると、その入力映像信号の輝度信号及び色差信号の複雑度を計算し、映像信号は輝度信号の複雑度が小さい場合には輝度信号を縮小し、色差信号の複雑度が小さい場合には色差信号を縮小したフォーマットに変換する。そしてこの映像信号のフォーマットの変換を行った後に、映像信号の圧縮符号化を行う。

次に本実施形態の符号化装置１ｂの動作処理について説明する。
まず比較のため、従来の符号化装置１ａの動作処理について説明する。
図２は従来の符号化装置１ａによる入力映像信号の符号化処理時の動作を示すフローチャートである。

同図の処理が開始されると、まず符号化装置１ａは、ステップＳ０として色差縮小変換部１１により映像信号の色差信号を縮小し、ステップＳ１として色差信号が縮小されたフォーマットの信号、例えば４：２：０信号に変換し、これをフレームメモリ１２に保存する。

次にＭＢカウンタ値ｊに０をセットする（ステップＳ２）。以下フレームメモリ内の映像信号に対してＭＢ単位で符号化処理を行う。
この符号化処理としては、まず、原画ＭＢ２２及びその参照ブロック２３を読出し、ステップＳ３として動きベクトル探索部１２によってＭＢ単位で動きベクトルの探索を行う。そしてステップＳ４として、ステップＳ４で探索した動きベクトルを用いて、動き予測部１４によって動き予測を行う。

そしてステップＳ５としてブロックのカウンタ値ｉに０をセットした後、ステップＳ６としてステップＳ５の動き予測の結果を用い、ブロック処理を行う。このブロック処理としては、直交変換、量子化、可変長符号化、逆量子化、及び逆直交変換処理が含まれる。なお説明簡略化の為に省略されているが、ＭＢをどのモードで符号化するかのＭＢＴｙｐｅ判定などもこのブロック処理の中に含まれる。

４：２：０フォーマットの信号の場合、図１４に示したように１つのＭＢは、Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｃｂ、Ｃｒの６ブロックから構成されている。ステップＳ７でブロックカウンタｉをインクリメントしながらこの６つのブロック全てに対してステップＳ６のブロック処理を行う（ステップＳ８、Ｙｅｓ）。そして全てのブロックに対してブロック処理を行ったならば（ステップＳ８、Ｎｏ）、ステップＳ９としてＭＢのカウンタｊをインクリメントし、カウンタｊの値がＭＢの総数に達していなければ（ステップＳ１０、Ｙｅｓ）、次のＭＢに対して上述したステップＳ４乃至Ｓ１０の処理を繰り返し、カウンタｊの値がＭＢの総数に達し（ステップＳ１０、Ｎｏ）、全てのＭＢに対して処理を行ったならば、処理を終了する。

次に本実施形態における符号化装置１ｂの動作処理について説明する。
図３は本実施形態における符号化装置１ｂによる入力映像信号の符号化処理時の動作を示すフローチャートである。

同図の処理では、図２に比べて、輝度もしくは色差のどちらの情報を縮小変換するかの判定処理が入る。
図３の処理が開始されると、まずステップＳ１１として、入力映像信号の輝度及び色差の複雑度を示す分散値σＹ及びσＣｂ、σＣｒを式（１）を用いて求める。

次にステップＳ１２として、符号化制御部４３の縮小判定部４５によって、ステップＳ１１で求めた輝度の分散値σＹと色差の分散値σＣｂ、σＣｒを比較し、色差信号と輝度信号のどちらを縮小した方が影響が少ないか、すなわち輝度の分散値σＹと色差の分散値σＣｂ、σＣｒのどちらが小さいかを判定し、その結果色差信号を縮小すると判断した場合（ステップＳ１２、色差）、ステップＳ１３としてピクチャフォーマット判定部４６は、映像信号の色差信号を縮小して、４：２：０フォーマットの信号を生成する（ステップＳ１４）。

一方ステップＳ１２おいて輝度信号を縮小すると判断した場合（ステップＳ１２、輝度）、ステップＳ１５としてピクチャフォーマット判定部４６は、映像信号の輝度信号を縮小して、輝度信号が縮小されたフォーマットの信号を生成する（ステップＳ１６）。以下の説明ではこの輝度信号が縮小されたフォーマットの信号を２：２：２フォーマットの信号と呼ぶ。

図４に２：２：２フォーマットのＭＢの構成例を示す。
同図に示すように、２：２：２フォーマットのＭＢは、輝度信号のブロックがＹ０、Ｙ１の２つと元の４：２：２フォーマットの信号の半分になっており、また色差信号のブロックはＣｂ０、Ｃｂ１、Ｃｒ０、Ｃｒ１の４ブロックと４：２：２フォーマットの信号と同じ数のままである。

この２：２：２フォーマットの信号は、色差信号はそのままで輝度信号のみが縮小されているので、色差信号の影響が大きな映像に用いても情報量の縮小の影響が小さい。
図３のステップＳ１７以降の処理は、ステップＳ１４で４：２：０フォーマットの信号が生成された場合は、図２のステップＳ３以降の処理と全く同じとなる。

またステップＳ１６で２：２：２フォーマットの信号が生成された場合においても、ＭＢ毎に符号化処理が施される。
図４に示した様に、２：２：２フォーマットの信号の各ＭＢは、Ｙ０、Ｙ１、Ｃｂ０、Ｃｂ１、Ｃｒ０及びＣｒ１の６ブロックからなり、この６ブロックに対して、ＭＢ単位で動きベクトル探索（ステップＳ１８）、動き探索によって求められた動きベクトルによる動き予測（ステップＳ１９）が行われ、そしてＭＢの各ブロックに対してブロック処理（
ステップＳ２１）が施される。これらの処理は、図２のステップＳ２乃至ステップＳ１０の処理の説明の内容とほぼ同じとなる。

このように本実施形態の符号化装置１ｂでは、圧縮処理の前段階において、入力映像信号に対して輝度信号と色差信号の複雑度を求め、影響の小さい方の情報を縮小することができる。

従って、従来の符号化装置が常に入力映像信号の色差信号成分のみを間引いて符号化を行っていたのに対して、本実施形態の符号化装置は、色差信号が映像に大きな影響を持っていると判断した場合には色差信号ではなく輝度信号成分を間引く仕組みを設けることによって、色差成分に符号化劣化が目立つシーンに関する符号化効率向上をより簡潔に実現することができる。

また、上記例では輝度信号もしくは色差信号のいずれかを間引く事についてのみ説明したが、本実施形態の符号化装置１ｂはこのようなものに限定されるものではなく、他にも色差信号の内、特にＣｒ（赤の色差成分）成分のみを特に重視したい場合などに、Ｙ：Ｃｂ：Ｃｒ＝４：２：２の信号を、例えば１：１：４の信号にフォーマット変更するように、Ｙは水平・垂直方向各１／２の縮小、Ｃｂは垂直方向１／２の縮小、Ｃｒは水平方向２倍の拡大とするなど、成分毎に縮小・拡大の比率を変更しながら、処理ブロック数を保ったまま符号化を行ったりする構成とすることもできる。

次に本実施形態の復号化装置について説明する。
図５は本実施形態における復号化装置２ｂの構成例を示す図である。
同図では、図１６の従来の復号化装置２ａと同じ構成要素については同一の符号が付せられている。

図５の復号化装置２ｂを図１６の復号化装置２ａと比較すると、参照フレーム変換読出し部５１及び画像変換指示部５２が新たに設けられ、また色差拡大変換部３７の代わりに変換部５３が設けられている。

参照フレーム変換読出し部５１は、画像変換指示部５２からの信号フォーマットの通知に基づいて動き補償部３４に参照フレームを復号ピクチャの符号化フォーマットと同一のフォーマットに変換し、動き補償の処理を実施する様に制御する。画像変換指示部５２は、入力されるビットストリーム中に多重化されている後述するｃｈｏｒｏｍａ＿ｆｏｒｍａｔ若しくはｍｂ＿ｆｏｒｍａｔを抽出し、これらからフレームメモリ３６に蓄えるピクチャ数分の符号化フォーマット情報を蓄えておき、これらを適宜参照フレーム変換読出し部５１、フレームメモリ３６及び拡大変換部３７に通知する。

このような構成の復号化装置２ｂにおいて、復号化するビットストリーム中が入力されると、これを可変長符号から量子価値に変換後、逆量子化、逆変換処理を行って差分値を求め、動き補償部３４では、ビットストリーム中に多重化されている動きベクトル（ＭＶ）を用いて復号をおこなう。このとき動き保証部３４は、画像変換指示部５２からのフォーマット指示に基づいて参照フレームを求める。また変換部５３では、画像変換指示部５２からのフォーマット指示に基づいて画像変換指示部５２からのフォーマット指示に基づいて符号化処理の前段で行われたフォーマット変換を元に戻す拡大処理を行い、映像信号として送出する。

これにより本実施形態の符号化装置１ｂで色差信号若しくは輝度信号を縮小されて符号化されたビットストリームも復号化装置２ｂによって、復号化することができる。
次に本実施形態の復号化装置２ｂの動作処理を説明する。

まず比較のため従来の復号化装置２ａの動作処理について説明する。
図６は、従来の復号化装置２ａの動作処理を示すフローチャートである。
同図において処理が開始されると、まずステップＳ３１として、ＭＢのカウンタ値ｊの値を０にクリアする。

そしてステップＳ３３として次にブロックのカウンタ値ｉをインクリメントし、カウンタ値ｉに対応するブロックに対するブロック処理を行う。このブロック処理では、可変長符号であるビットストリームの量子価値に変換、逆量子化、逆変換処理を行う。そしてこのステップＳ３３の処理をブロックのカウンタ値ｉをインクリメントしながら（ステップＳ３４）、１つのＭＢ分のデータに対して行う（ステップＳ３５、Ｙｅｓ）。

そして１つのＭＢ分のブロック処理が行われたら（ステップＳ３５、Ｎｏ）、ＭＢ単位で動き補償部３４で動き補償を行う（ステップＳ３６）。
そしてこのステップＳ３２乃至Ｓ３８の処理をＭＢのカウンタｊをインクリメント（ステップＳ３７）しながら行い、全てのＭＢに対して処理行ったならば（ステップＳ３８、Ｎｏ）、ステップＳ３９として色差信号の拡張を行って４：２：２フォーマットの信号を生成して処理を終了する。

このように従来の復号化装置２ａでは、最終的に生成された４：２：０の映像信号は、４：２：２フォーマットの信号に変換される。
次に本実施形態の符号化装置１ｂの動作処理を示す。

図７は本実施形態における復号化装置２ｂの動作処理を示すフローチャートである。
本実施形態における復号化装置２ｂでは、復号化で１枚のピクチャを再構成する部分までは、従来方式と同一であるが、復号化後の後処理として、拡大する成分が適応的に異なる点が、従来方式と異なっている。

具体的には、同図の処理においてはステップＳ４１乃至Ｓ４８までのブロック毎にステップＳ４３のブロック処理を行い、ＭＢ単位でステップＳ４６の動き補償を行うまで処理は、参照フレームを求めるのに信号フォーマットによって異なるため参照フレームを動き補償部３４に通知する必要がある以外は、図６の従来の復号化装置２ａの動作のステップＳ１乃至Ｓ８の処理と基本的には同じである。

本実施形態の復号化装置２ｂでは、ステップＳ４８以降の処理では、ステップＳ４９において、ビットストリームにビットストリーム中に多重化されているｃｈｏｒｏｍａ＿ｆｏｒｍａｔ若しくはｍｂ＿ｆｏｒｍａｔから、ステップＳ４９として拡大変換部５３はステップＳ４８までの処理で復号化された信号のフォーマットを認識し、そのフォーマットが色差信号と輝度信号のどちらを縮小したものかを判断する。

ステップＳ４９の判断で色差信号が縮小されたと判断したならば（ステップＳ５０、色差）、ステップＳ５０として色差信号を拡大して４：２：２フォーマットの信号を生成、出力して処理を終了する。またステップＳ４９の判断で輝度信号が縮小されたと判断したならば（ステップＳ５０、輝度）、ステップＳ５１として輝度信号を拡大して４：２：２フォーマットの信号を生成、出力して処理を終了する。

なお拡大変換部５３が色差信号もしくは輝度信号のいずれかを拡大するかは、上記例のようにピクチャーヘッダの１要素として、フォーマットの種類を示す情報（ｃｈｏｒｏｍａ＿ｆｏｒｍａｔ、ｍｂ＿ｆｏｒｍａｔ）を符号化情報にのせて送信するようにすることも可能であるし、映像の統計情報としてあらかじめ復号化装置２ｂに設定しておき、符号
化側と復号化側で同一の計算を施すことにより、送信情報を付加する事なく暗黙的に決定するように構成することも可能である。

次にフォーマットの種類の変更単位について説明する。
圧縮動画像を構成するピクチャ（＝１フィールド若しくは１フレーム）には、よく知られているように、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の３種類がある。

Ｉピクチャは、基準となるピクチャで、空間型圧縮のみが行われ時間型圧縮は行われておらず、圧縮率が低い。Ｐピクチャは、空間型圧縮の他に、時間軸順方向のみの予測を取り入れ、Ｉピクチャとの差異を元にした時間型圧縮を行っている。Ｂピクチャは、空間型圧縮の他に、前後フレームとの差異を利用した双方向予測的圧縮を行っている。したがって、Ｂピクチャは、Ｐピクチャよりも更に圧縮率が高い。

圧縮符号では、これらのピクチャは独立しているわけではなく動画の最小構成単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）という複数のピクチャの固まり単位で圧縮・伸長が行われる。

本実施形態の符号化装置１ｂにおいても符号化をこのＧＯＰ単位で行い、また符号化前の前段階での信号フォーマットの切り替えもＧＯＰ単位で行う。
図８はＧＯＰの構成を示す図である。

同図は参照されるＩピクチャ若しくはＰピクチャ１枚に対してＢピクチャが２枚続く構成のＧＯＰの例を示している。
信号のフォーマットを切り替えて色差信号若しくは輝度信号を縮小するのを、このＧＯＰ単位で行うように制限することにより、符号化装置１ｂ及び復号化装置２ｂの双方において、動き予測および動き補償の構成が同一解像度での処理となり、構成が容易になる。

なお図８において、Ｂ０、Ｂ１ピクチャはＩ２ピクチャを、Ｂ３、Ｂ４ピクチャはＩ２ピクチャとＰ５ピクチャを、Ｐ５ピクチャはＩ２ピクチャを、Ｂ６、Ｂ７ピクチャはＰ５ピクチャとＰ８ピクチャを、Ｐ８ピクチャはＰ５ピクチャを、Ｂ９、Ｂ１０ピクチャはＰ８ピクチャとＰ１１ピクチャを、Ｐ１１ピクチャはＰ８ピクチャを、Ｂ１２、Ｂ１３ピクチャはＰ１１ピクチャとＰ１４ピクチャを、Ｐ１４ピクチャはＰ１１ピクチャを参照している。

従って、参照されるピクチャは先に処理をしなければならないので、同図においてはＩ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４、Ｐ８、Ｂ６、Ｂ７、Ｐ１１、Ｂ９、Ｂ１０、Ｐ１４、Ｂ１２、Ｂ１３の順で処理される。

また別形態として、信号のフォーマットを切り替えを、ＧＯＰ単位ではなくピクチャ単位で切替える構成としてもよい。
この実施形態の場合、実際にフレームメモリに納める最小単位は、ピクチャ（＝１フィールドｏｒ１フレーム）となる。したがって、切替え単位をピクチャ単位に実施したした場合、より細かい制御が可能となる。

なおこの構成の場合、動き予測の現画像と参照画像で解像度が異なる可能性があるので、そこを考慮した構成とする必要がある。
またピクチャ単位でフォーマットの種類を変更する場合、輝度信号の縮小を行うピクチャは、非参照ピクチャであるＢピクチャのみとする。そしてＩピクチャ、Ｐピクチャは４：２：０フォーマットの信号に変換する。

これにより、ピクチャ単位に解像度変更の成分を切替えても、原画と参照画の解像度の違いの影響を小さくすることができる。
動き予測として参照されないＢピクチャは、精度を落としても時間方向に符号化ノイズが拡散することが無いので、Ｂピクチャの予測の精度は、例えば動きベクトルの簡易変換で済ます等の方法により、精度を落とした符号化を実施することできる。

更に別の実施形態として、ピクチャ単位でフォーマット切替えを行う場合に、原画像と参照画像の解像度に違いが影響を無くす為に、任意の符号化ピクチャにおいて、現画像、参照画像の、輝度と色差の解像度を揃える構成としてもよい。

この構成では、各ピクチャ毎に、色差信号が縮小されたか若しくは輝度信号が縮小されたかの等のそのピクチャのフォーマットを示す情報を、各ピクチャのヘッダー情報として付加し、符号化処理の際にその情報を記憶しておくことにより実現できる。

特に、Ｂピクチャの場合で、現画像、前方向参照画像及び後方向参照画像の縮小成分がそれぞれ異なった場合でも、例えば、現符号化ピクチャの解像度に一度ピクチャ全体を解像度変換して読出し、その解像度で符号化を実施することにより、精度ロスの少ない符号化を実施する事か可能である。

図９は、本実施形態の符号化装置１ｂによって符号化されたビットストリームのＧＯＰ毎に付加されるＳｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ情報の例を示す図である。
同図に示すＳｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ情報にはｃｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１が含まれており、このｃｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１は対応するＧＯＰ内のピクチャのフォーマットを示す情報が格納されている。

図１０は、ｃｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１の構成例を示す図である。
同図（ａ）はｃｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１を２ビットの情報としたもので、ｃｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１が“００”のとき対応するＧＯＰ内のピクチャのフォーマットが２：２：２フォーマットであることを示し、“０１”のとき対応するＧＯＰ内のピクチャのフォーマットが４：２：０フォーマットであることを示す。

また同図（ｂ）は、“０”が続くとＳＴＡＲＴ ＣＯＤＥと認識されてしまうのを防ぐために、ｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１を２ビットの情報としたものである。
同図（ｂ）の場合、ｃｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１が“１００”のとき対応するＧＯＰ内のピクチャのフォーマットが２：２：２フォーマットであることを示し、“００１”のとき対応するＧＯＰ内のピクチャのフォーマットが４：２：０フォーマットであることを示す。

符号化前の前段階での信号フォーマットの切り替えをＧＯＰ単位で行った場合、復号化装置２ｂでは、このｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１を参照することにより、符号化されたビットストリームのフォーマットを知ることができる。

図１１（ａ）は、本実施形態の符号化装置１ｂによって符号化されたビットストリームのピクチャ毎に付加されるＰｉｃｔｕｒｅ ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ情報の例を示す図である。

同図に示すＰｉｃｔｕｒｅ ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ情報にはｍｂ＿ｆｏｒｍａｔ情報７１が新たに付加されており、このＰｉｃｔｕｒｅ ｃｏｄｉｎｇ＿ｅｘｔｅ
ｎｓｉｏｎ情報７１は対応するピクチャのフォーマットを示す情報が格納されている。

図１１（ｂ）は、ｍｂ＿ｆｏｒｍａｔ情報７１の構成例を示す図である。
同図においてｍｂ＿ｆｏｒｍａｔ情報７１は、１ビットの情報でこのビットが“１”のとき対応するピクチャのフォーマットは２：２：２フォーマットに変換されていることを示す、このビットが“０”のときは対応するピクチャのフォーマットは図１０に示したＳｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ情報内のｈｏｒｏｍａ＿ｆｏｒｍａｔ情報６１に従う。

符号化前の前段階での信号フォーマットの切り替えをピクチャ単位で行った場合、復号化装置２ｂでは、このｍｂ＿ｆｏｒｍａｔ情報７１を参照することにより、符号化されたビットストリームのフォーマットを知ることができる。

また本実施形態の符号化装置１ｂ及び復号化装置２ｂは、図１や図５に示したようなハードウエアによって構成するだけでなく、情報処理装置上でプログラムを実行することによるソフトウエア的手法によっても実現することができる。

図１２は、本実施形態の符号化装置１ｂ及び復号化装置２ｂが実現される情報処理装置のシステム環境を示す図である。
同図において情報処理装置は、ＣＰＵ８１、ＲＡＭ等の主記憶装置８２、ハードディスク等の補助記憶装置８３、ディスプレイ、キーボード、ポインティングデバイス等の入出力装置（Ｉ／Ｏ）８４、通信インタフェースやモデム等のネットワーク接続装置８５、及びディスク、磁気テープなどの可搬記憶媒体から記憶内容を読み出す媒体読み取り装置８６を有し、これらが互いにバス８８により接続される構成を備えている。そして各構成要素は、バス８８を介して互いにデータのやり取りを行う。

ＣＰＵ８１は、補助記憶装置８３上のプログラムやネットワーク接続装置８５を介してインストールしたプログラムを、主記憶装置８２をワークメモリとして実行することにより、図１及び図５に示した符号化装置１ｂ及び符号化装置１ｂの各構成要素の機能を実現し、また図３及び図７に示したフローチャートの処理を実現する。

図１２に示した情報処理装置では、媒体読み取り装置８７により磁気テープ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の記憶媒体８８に記憶されているプログラム、データを読み出し、これを外部インタフェース８６を介して本実施形態における情報処理装置にロードする。そしてこのプログラムやデータを主記憶装置８２や補助記憶装置８３に記憶し、ＣＰＵ８１で実行したり用いたりすることにより、上述したフローチャートの処理をソフトウエア的に実現する。

また、図１２に示した情報処理装置では、ＣＤ−ＲＯＭ等の記憶媒体８７を用いてアプリケーションソフトの交換が行われる場合がある。よって、本発明は、符号化装置、復号化装置、符号化方法、復号化方法及びプログラムに限らず、コンピュータにより使用されたときに、上述した本発明の実施形態の機能をコンピュータに行なわせるためのコンピュータ読み出し可能な記憶媒体８７やプログラムとして構成することもできる。

この場合、「記憶媒体」には、例えば図１３に示されるように、ＣＤ−ＲＯＭ、フレキシブルディスク（あるいはＭＯ、ＤＶＤ、メモリーカード、リムーバブルハードディスク等であってもよい）等の媒体駆動装置９７に脱着可能な可搬記憶媒体９６や、ネットワーク回線９３経由で送信される外部の装置（サーバ等）内の記憶部（データベース等）９２、あるいは情報処理装置９１の本体９４内のメモリ（ＲＡＭ又はハードディスク等）９５等が含まれる。可搬記憶媒体９６や記憶部（データベース等）９２に記憶されているプログラムは、本体９４内のメモリ（ＲＡＭ又はハードディスク等）９５にロードされて、実行される。

また、既に説明したＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体には、上記に例として挙げたものの他にも、例えば、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）やＡＯＤ（Ａｄｖａｎｃｅｄ Ｏｐｔｉｃａｌ Ｄｉｓｃ）などの青色レーザーを用いた次世代光ディスク記憶媒体、赤色レーザーを用いるＨＤ−ＤＶＤ９、青紫色レーザーを用いるＢｌｕｅ Ｌａｓｅｒ ＤＶＤ、ホログラムなど、今後開発される種々の大容量記憶媒体を用いて本発明を実施することも可能である。

以上のように本実施形態の符号化装置によれば、入力映像信号の輝度信号若しくは色差信号を間引いて解像度を変換するフォーマットの変換を行う際、輝度信号と色差信号の複雑度を求め、この複雑度に基づいてフォーマット変換を行うので、色差成分に符号化劣化が目立つシーンに関する符号化効率向上をより簡潔に実現することができる。

また、上記例では輝度信号もしくは色差信号のいずれかを間引く事についてのみ述べたが、他にも色差信号の内、特にＣｒ（赤の色差成分）成分のみを特に重視したい場合などに、Ｙ：Ｃｂ：Ｃｒ＝４：２：２信号を、１：１：４信号の様に、Ｙは水平・垂直各１／２の縮小、Ｃｂは垂直１／２の縮小、Ｃｒは水平２倍の拡大とする事など、成分毎に縮小・拡大の比率を変更しながら、処理ブロック数を保ったまま符号化を行ったりすることもできる。

また本実施形態の符号化装置１ｂによって符号化された符号化データは、４：２：０フォーマットの場合も２：２：２フォーマットの場合もブロック数は同じで処理量は同じとなる。
また本実施形態の復号化装置２ｂによれば符号化装置１ｂによって符号化された符号化信号を復号化することができる。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
入力映像信号を圧縮符号化する符号化装置において、
前記入力映像信号の特性に応じて輝度もしくは色差のいずれかのフォーマットを変換する縮小変換部と、
前記縮小変換部がフォーマット変換した映像信号を圧縮符号化して符号化データを生成する符号化部と
を備えることを特徴とする符号化装置。
（付記２）
前記縮小変換部の前段に、さらに
前記入力映像信号内の輝度信号の複雑さを求める輝度信号複雑度計算部と、
前記入力映像信号内の色差信号の複雑さを求める色差信号複雑度計算部と、
を持ち、前記縮小変換部は、
前記輝度信号複雑度計算部及び前記色差信号複雑度計算部が求めた輝度信号及び色差の複雑さから前記入力映像信号のフォーマットを変換することを特徴とする請求項１に記載の符号化装置。
（付記３）
前記縮小変換部は、前記輝度信号の複雑さが小さいとき当該輝度信号を縮小したフォーマットに変換し、前記色差信号の複雑さが小さいとき当該色差信号を縮小したフォーマットに変換することを特徴とする付記２に記載の符号化装置。
（付記４）
前記輝度信号を縮小したフォーマットのブロック数と、前記色差信号を縮小したフォー
マットのブロック数が同じであることを特徴とする付記３に記載の符号化装置。
（付記５）
前記輝度信号を縮小したフォーマットは、前記輝度信号のみを半分の解像度に縮小したフォーマットであり、前記色差信号を縮小したフォーマットは、４：２：０フォーマットであることを特徴とする付記３に記載の符号化装置。
（付記６）
前記縮小変換部は、前記フォーマットの切り替えを、前記入力映像信号のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位で切替えることを特徴とする付記１に記載の符号化装置。
（付記７）
前記縮小変換部は、前記フォーマットの切り替えを、前記入力映像信号のピクチャ単位で切替えることを特徴とする付記１に記載の符号化装置。
（付記８）
前記縮小変換部は、前記複雑さに基づく前記フォーマットの切り替えを、Ｂピクチャに対してのみ行うことを特徴とする付記７に記載の符号化装置。
（付記９）
前記縮小変換部は、前記映像信号の参照元フレームと参照先フレームのフォーマットが同じになるようにフォーマット変換を行うことを特徴とする付記１に記載の符号化装置。（付記１０）
前記輝度信号複雑度計算部及び前記色差信号複雑度計算部は、前記映像信号のピクチャ内画素値をｘｉ、ピクチャ内画素数をＮとしたとき、ピクチャ内画素平均値μを、
ピクチャ内画素平均値μからの差分自乗誤差Ｓを
と定義したときの、標準偏差σ
から前記輝度信号の複雑さ及び色差信号の複雑さを求めることを特徴とする付記２に記載符号化装置。
（付記１１）
入力される符号化信号を復号化する復号化装置において、
符号化の際に行われたフォーマット変換の種類を求める画像変換指示部と、
前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記符号化信号を復号化する復号化部と、
前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記復号化部が復号化した信号のフォーマット変換を行う拡大変換部と、
を備えることを特徴とする復号化装置。
（付記１２）
前記画像変換指示部は、前記フォーマット変換の種類をあらかじめ設定された値から求
めることを特徴とする付記１１に記載の復号化装置。
（付記１３）
前記画像変換指示部は、前記フォーマット変換の種類を前記符号化信号のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）毎に付された情報から求めることを特徴とする付記１１に記載の復号化装置。
（付記１４）
前記画像変換指示部は、前記フォーマット変換の種類を前記符号化信号のピクチャ毎に付された情報から求めることを特徴とする付記１１に記載の復号化装置。（図１１）
（付記１５）
入力映像信号を圧縮符号化する符号化方法において、
前記入力映像信号の特性に応じて輝度もしくは色差のいずれかのフォーマットを変換し、
前記変換されたフォーマットの映像信号を圧縮符号化して符号化データを生成する
ことを特徴とする符号化方法。
（付記１６）
前記フォーマットの変換前に、さらに
前記入力映像信号内の輝度信号の複雑さ、および、前記入力映像信号内の色差信号の複雑さを求め、
前記フォーマットの変換を前記輝度信号及び色差の複雑さに基づいて入力映像信号のフォーマットを変換することを特徴とする付記１５に記載の符号化方法。
（付記１７）
入力される符号化信号を復号化する復号化方法において、
符号化の際に行われたフォーマット変換の種類を求め、
前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記符号化信号を復号化し、
前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記復号化部が復号化した信号のフォーマット変換を行う、
ことを特徴とする復号化方法。
（付記１８）
入力映像信号を圧縮符号化する情報処理装置で実行されたとき、
前記入力映像信号内の輝度信号の複雑さを求め、
前記入力映像信号内の色差信号の複雑さを求め、
前記輝度信号及び色差の複雑さから前記入力映像信号のフォーマットを変換し、
前記変換した映像信号を圧縮符号化して符号化データを生成する
ことを前記情報処理装置に実行させるプログラム。
（付記１９）
入力される符号化信号を復号化する情報処理装置において実行されたとき、
符号化の際に行われたフォーマット変換の種類を求め、
前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記符号化信号を復号化し、
前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記復号化部が復号化した信号のフォーマット変換を行う、
ことを前記情報処理装置に実行させるプログラム。

本実施形態における符号化装置の構成例を示す図である。 従来の符号化装置による入力映像信号の符号化処理時の動作を示すフローチャートである。 本実施形態における符号化装置による入力映像信号の符号化処理時の動作を示すフローチャートである。 ２：２：２フォーマットのＭＢの構成例を示す。 本実施形態における復号化装置の構成例を示す図である。 従来の復号化装置の動作処理を示すフローチャートである。 本実施形態における復号化装置の動作処理を示すフローチャートである。 ＧＯＰの構成を示す図である。 本実施形態の符号化装置によって符号化されたビットストリームのＧＯＰ毎に付加されるＳｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ情報の例を示す図である。 ｃｈｏｒｏｍａ＿ｆｏｒｍａｔ情報の構成例を示す図である。 （ａ）は、Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ情報の例を示す図、（ｂ）は、ｍｂ＿ｆｏｒｍａｔ情報の構成例を示す図である。 本実施形態の符号化装置及び復号化装置が実現される情報処理装置のシステム環境を示す図である。 記憶媒体の例を示す図である。 映像フォーマットの簡単な概念図である。 従来の符号化装置の構成を示す図である。 従来の復号化装置の構成を示す図である。

符号の説明

１ａ、１ｂ 復号化装置
２ａ、２ｂ 復号化装置
１１ 色差縮小変換部
１２、３６ フレームメモリ
１３ 動きベクトル探索部
１４ 動き予測部
１５ 直交変換部
１６ 量子化部
１７ 可変長符号化部
１８ 逆量子化部
１９ 逆直交変換（ＩＤＣＴ）部
２０ 加算器
２１ 減算器
３１ 可変長復号化部
３２ 逆量子化部
３３ 逆直交変換部
３４ 動き補償部
３５ 加算器
３７ 色差拡大変換部
４１ 輝度信号複雑度計算部
４２ 色差信号複雑度計算部
４３ 符号化制御部
４４ 縮小変換部
４５ 縮小判定部
４６ ピクチャフォーマット判定部
４７ 画像読出し部
４８ 予測タイプ判定部
４９ 量子化判定部
５１ 参照フレーム変換読出し部
５２ 画像変換指示部
５３ 変換部
８１ ＣＰＵ
８２ 主記憶装置
８３ 補助記憶装置
８４ 入出力装置
８５ ネットワーク接続装置
８６ 媒体読み取り装置
８７ 記憶媒体
８８ バス

Claims (8)

1. 入力映像信号を圧縮符号化する動画像符号化装置において、
   前記入力映像信号の特性に応じて輝度信号もしくは色差信号のいずれかのフォーマットを変換する縮小変換部と、
   前記縮小変換部がフォーマット変換した映像信号を圧縮符号化して符号化データを生成する符号化部と、
   を備え、
   前記縮小変換部は、前記入力映像信号のフォーマットを、前記輝度信号の複雑さが前記色差信号の複雑さよりも小さいとき前記輝度信号を縮小したフォーマットに変換し、前記色差信号の複雑さが前記輝度信号の複雑さよりも小さいとき前記色差信号を縮小したフォーマットに変換するとともに、前記入力映像信号の参照先フレームの読み出しの際、前記参照先フレームの解像度を前記入力映像信号の解像度に合わせるように、前記参照先フレームのフォーマットを変換する
   ことを特徴とする符号化装置。
2. 前記縮小変換部の前段に、さらに
   前記入力映像信号内の輝度信号の複雑さを求める輝度信号複雑度計算部と、
   前記入力映像信号内の色差信号の複雑さを求める色差信号複雑度計算部と、
   を持ち、前記縮小変換部は、
   前記輝度信号複雑度計算部及び前記色差信号複雑度計算部が求めた輝度信号及び色差信号の複雑さから前記入力映像信号のフォーマットを変換することを特徴とする請求項１に記載の符号化装置。
3. 前記縮小変換部は、前記映像信号の参照元フレームと参照先フレームのフォーマットが同じになるようにフォーマット変換を行うことを特徴とする請求項１に記載の符号化装置。
4. 入力される符号化信号を復号化する復号化装置において、
   入力映像信号のフォーマットが、前記入力映像信号の輝度信号の複雑さが前記入力映像信号の色差信号の複雑さよりも小さいとき前記輝度信号を縮小したフォーマットに変換され、前記色差信号の複雑さが前記輝度信号の複雑さよりも小さいとき前記色差信号を縮小したフォーマットに変換されるとともに、前記入力映像信号の参照先フレームの読み出しの際、前記参照先フレームの解像度を前記入力映像信号の解像度に合せるように、前記参照先フレームのフォーマットが変換される動画像符号化の際に行われたフォーマット変換の種類を求める画像変換指示部と、
   前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記符号化信号を復号化する復号化部と、
   前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記復号化部が復号化した信号のフォーマット変換を行う拡大変換部と、
   を備えることを特徴とする復号化装置。
5. 入力映像信号を圧縮符号化する動画像符号化方法において、
   前記入力映像信号内の輝度信号の複雑さを求め、
   前記入力映像信号内の色差信号の複雑さを求め、
   前記入力映像信号のフォーマットを、前記輝度信号の複雑さが前記色差信号の複雑さよりも小さいとき前記輝度信号を縮小したフォーマットに変換し、前記色差信号の複雑さが前記輝度信号の複雑さよりも小さいとき前記色差信号を縮小したフォーマットに変換するとともに、前記入力映像信号の参照先フレームの読み出しの際、前記参照先フレームの解像度を前記入力映像信号の解像度に合せるように、前記参照先フレームのフォーマットを変換し、
   前記変換した映像信号を圧縮符号化して符号化データを生成する
   ことを特徴とする符号化方法。
6. 入力される符号化信号を復号化する復号化方法において、
   入力映像信号のフォーマットが、前記入力映像信号の輝度信号の複雑さが前記入力映像信号の色差信号の複雑さよりも小さいとき前記輝度信号を縮小したフォーマットに変換され、前記色差信号の複雑さが前記輝度信号の複雑さよりも小さいとき前記色差信号を縮小したフォーマットに変換されるとともに、前記入力映像信号の参照先フレームの読み出しの際、前記参照先フレームの解像度を前記入力映像信号の解像度に合せるように、前記参照先フレームのフォーマットが変換される動画像符号化の際に行われたフォーマット変換の種類を求め、
   前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記符号化信号を復号化し、
   前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記復号化部が復号化した信号のフォーマット変換を行う、
   ことを特徴とする復号化方法。
7. 入力映像信号を動画像圧縮符号化する情報処理装置で実行されたとき、
   前記入力映像信号内の輝度信号の複雑さを求め、
   前記入力映像信号内の色差信号の複雑さを求め、
   前記入力映像信号のフォーマットを、前記輝度信号の複雑さが前記色差信号の複雑さよりも小さいとき前記輝度信号を縮小したフォーマットに変換し、前記色差信号の複雑さが前記輝度信号の複雑さよりも小さいとき前記色差信号を縮小したフォーマットに変換するとともに、前記入力映像信号の参照先フレームの読み出しの際、前記参照先フレームの解像度を前記入力映像信号の解像度に合せるように、前記参照先フレームのフォーマットを変換し、
   前記変換した映像信号を圧縮符号化して符号化データを生成する
   ことを前記情報処理装置に実行させるプログラム。
8. 入力される符号化信号を復号化する情報処理装置において実行されたとき、
   入力映像信号のフォーマットが、前記入力映像信号の輝度信号の複雑さが前記入力映像信号の色差信号の複雑さよりも小さいとき前記輝度信号を縮小したフォーマットに変換され、前記色差信号の複雑さが前記輝度信号の複雑さよりも小さいとき前記色差信号を縮小したフォーマットに変換されるとともに、前記入力映像信号の参照先フレームの読み出しの際、前記参照先フレームの解像度を前記入力映像信号の解像度に合せるように、前記参照先フレームのフォーマットが変換される動画像符号化の際に行われたフォーマット変換の種類を求め、
   前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記符号化信号を復号化し、
   前記画像変換指示部からの前記フォーマット変換の種類に基づいて、前記復号化部が復号化した信号のフォーマット変換を行う、
   ことを前記情報処理装置に実行させるプログラム。