JP4594201B2 - 画像符号化方法、画像符号化装置、プログラムおよび集積回路 - Google Patents

Description

本発明は、動画像信号に対して動き補償を用いて処理を施す画像処理方法、そしてこの画像処理方法を用いて高能率圧縮符号化する際の画像符号化方法および画像復号化に関するものである。

ＭＰＥＧビデオ方式に代表される従来の画像符号化方式においては、画面を予め定められた単位に分割し、その分割単位で符号化を行う。例えば、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式（非特許文献１）においては、画面（ピクチャ）をマクロブロックと呼ばれる水平１６画素、垂直１６画素の単位で処理を行う。そして、動き補償を行う場合には、マクロブロックを矩形のブロック（最小で水平４画素、垂直４画素）に分割して、ブロック毎に異なる動きベクトルを用いて動き補償を行うことができる。

また非特許文献２では、入力画像（高解像度画像）を縮小して低解像度画像に変換し、低解像度画像に対して符号化を実施する第１の符号化部と、第１の符号化部により得られた低解像度画像に対する局所復号画像を拡大処理した画像と入力画像（高解像度画像）との差分画像に対して符号化を実施する第２の符号化部とを有する階層的動画像符号化方式
が開示されている。第１の符号化部の符号化方法としては、ＭＰＥＧ―４ ＡＶＣ方式が用いられる。また第２の符号化部では、第１の符号化部で決定した符号化方法（符号化モードや動きベクトル）を用いて符号化を行うことができる。
ISO/IEC 14496-10 MPEG-4 Advanced Video Coding規格書 Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6), JVT-N015, 2005.1

上記従来の方法では、高解像度画像は、低解像度画像の局所復号画像を拡大した画像との差分画像として符号化される。そしてこの差分画像を符号化する際には、低解像度画像を符号化したときに用いた符号化モードや動きベクトル等の符号化情報が利用される。しかしながら、低解像度画像で用いた符号化情報は高解像度画像を符号化するには最適な情報であるとは言えず、予測後の残差量が増大するという課題を有していた。また、この課題を解決する一手法として、高解像度画像の符号化に適した符号化情報を求め、低解像度画像用の符号化情報と高解像度画像用の符号化情報との差分を符号化するという手法も提案されているが、このような手法では更なる付加情報（符号化情報の差分）が必要となるという課題を有していた。

本発明は、上記従来の課題を解決するものであり、入力画像を高能率符号化する際に、入力画像の符号量を大幅に削減することができる画像処理方法、画像符号化方法および画像復号方法を提供することを目的とする。

この課題を解決するために、画像符号化方法は、高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化方法であって、符号化対象ピクチャのうち、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する符号化制御ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップとを含むことを特徴とする。
また、この課題を解決するために、第１の発明は、第１の低解像度画像の画素または画素群に対して第２の低解像度画像からの動き量を求める動き検出ステップと、前記第２の低解像度画像に対応する第２の高解像度画像に対して、前記動き量を用いて動き補償を施すことにより、動き補償画像を生成する動き補償ステップとからなり、前記動き補償画像を前記第１の低解像度画像に対応する第１の高解像度画像とすることを特徴とする画像処理方法である。

第２の発明は、高解像度画像を入力とし、前記高解像度画像を低解像度画像に変換する縮小ステップと、前記低解像度画像を符号化し低解像度画像符号列を生成する低解像度画像符号化ステップと、前記高解像度画像を符号化し高解像度画像符号列を生成する高解像度画像符号化ステップとを有し、前記高解像度画像符号化ステップは、符号化対象高解像度画像に対応する符号化済みの第１の低解像度画像と、既に符号化済みの第２の高解像度画像と、前記第２の高解像度画像に対応する第２の低解像度画像とを用いて、前記符号化対象高解像度画像の予測画像を生成する画像処理ステップを含むことを特徴とする画像符号化方法である。

第３の発明は、低解像度画像符号列を復号し、低解像度画像を生成する低解像度画像復号ステップと、高解像度画像符号列を復号し、高解像動画像を生成する高解像度画像復号ステップとを有し、前記高解像画像復号ステップは、復号対象高解像度画像に対応する前記低解像度画像復号ステップによる復号済みの第１の低解像度画像と、既に復号済みの第２の高解像度画像と、前記第２の高解像度画像に対応する第２の低解像度画像とを用いて、前記復号対象高解像度画像の予測画像を生成する画像処理ステップを含むことを特徴とする画像復号方法である。

第４の発明は、高解像度画像を入力とし、前記高解像度画像を低解像度画像に変換する画像縮小ステップと、前記高解像度画像の符号化対象ピクチャを前記画像縮小ステップにより低解像度画像に変換するか否かを決定する符号化制御ステップと、前記符号化制御ステップの決定に基づき、符号化対象ピクチャを高解像度画像または低解像度画像として符号化する画像符号化ステップとを有し、前記画像符号化ステップは、前記符号化対象ピクチャを低解像度画像として符号化した場合に、前記符号化対象ピクチャの復号画像である第１の低解像度画像と、既に符号化済みの第２の高解像度画像と、前記第２の高解像度画像に対応する第２の低解像度画像とを用いて、前記第１の低解像度画像に対応する第１の高解像度画像を生成する画像処理ステップを含むことを特徴とする画像符号化方法である。

第５の発明は、高解像度画像を入力とし、前記高解像度画像を低解像度画像に変換する第１の画像縮小ステップと、前記高解像度画像の符号化対象ピクチャを前記第１の画像縮小ステップにより低解像度画像に変換するか否かを決定する符号化制御ステップと、前記符号化制御ステップの決定に基づき、符号化対象ピクチャを高解像度画像または低解像度画像として符号化する画像符号化ステップとを有し、前記画像符号化ステップは、前記符号化対象ピクチャを低解像度画像として符号化する場合に、前記符号化対象ピクチャの参照画像が高解像度画像として符号化されている場合には、前記参照画像を低解像度画像に変換する第２の画像縮小ステップを含むことを特徴とする画像符号化方法である。

第６の発明は、動画像中の各ピクチャが低解像度画像または高解像度画像のいずれかで符号化された画像符号列を入力とし、前記画像符号列を復号する画像復号方法であって、復号対象ピクチャが低解像度画像として符号化されている場合には、前記復号対象ピクチャの復号画像である第１の低解像度画像と、既に復号済みの第２の高解像度画像と、前記第２の高解像度画像に対応する第２の低解像度画像とを用いて、前記復号対象ピクチャの復号画像に対応する第１の高解像度画像を生成する画像処理ステップを含むことを特徴とする画像復号方法である。

第７の発明は、動画像中の各ピクチャが低解像度画像または高解像度画像のいずれかで符号化された画像符号列を入力とし、前記画像符号列を復号する画像復号方法であって、復号対象ピクチャが低解像度画像として符号化されており、前記復号対象ピクチャの参照画像が高解像度画像として符号化されている場合には、前記参照画像を低解像度画像に変換する画像縮小ステップと、復号対象ピクチャが低解像度画像として符号化されている場合には、前記復号対象ピクチャの復号画像である第１の低解像度画像と、既に復号済みの第２の高解像度画像と、前記第２の高解像度画像に対応する第２の低解像度画像とを用いて、前記復号対象ピクチャの復号画像に対応する第１の高解像度画像を生成する画像処理ステップを含むことを特徴とする画像復号方法である。

なお、本発明は、このような画像処理方法、画像符号化方法および画像復号方法として実現することができるだけでなく、このような画像処理方法、画像符号化方法および画像復号方法が備える特徴的な手段をステップとする方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の様に、入力画像を高能率符号化する際に、符号量を大幅に削減することができ、その実用的価値が高い。

以下、本発明の実施の形態について、図１から図１９を用いて説明する。

（実施の形態１）
図１は、本発明の画像処理方法を説明するためのブロック図であり、動き補償部１０１、動き検出部１０２、制御部１０３から構成される。

動き検出部１０２には、参照画像となる低解像度画像ＲＬと処理対象である低解像度画像ＣＬとが入力される。また、動き補償部１０１には参照画像となる高解像動画像ＲＨが入力される。

図２に低解像度画像と高解像度画像の関係を示す。低解像度画像ＲＬと高解像度画像ＲＨは同じ画像から生成された画像である。例えば、低解像度画像ＲＬは高解像度画像ＲＨを縮小した画像である場合、低解像度画像ＲＬと高解像度画像ＲＨとはある画像を階層的画像符号化で符号化した画像のペアである場合、ある画像を異なる縮小率で縮小した画像が低解像度画像ＲＬと高解像度画像ＲＨとである場合、等が考えられる。図２では、低解像度画像と高解像度画像は、水平、垂直共に１：２の解像度比を持つ場合を示しているが、解像度比はこの比には限らない。

動き検出部１０２では、低解像度画像ＣＬの低解像度画像ＲＬに対する動きを検出する。動き検出の際には、制御部５０３から位置、ブロックの大きさが指定される。動き検出の方法を図３（ａ）を用いて説明する。ここでは制御部１０３から指定された位置が（Ｃｘ，Ｃｙ）であり、ブロックの大きさが１画素×１画素であるとする。すなわち、低解像度画像ＣＬ内の位置（Ｃｘ，Ｃｙ）にある画素（×印の画素であり、この場合のブロックの画素数は１。以降、この画素を対象画素と呼ぶ）の、低解像度画像ＲＬに対する動きを求めることになる。対象画素の動きを求める際には、対象画素の周辺の画素も利用することができる。例えば、対象画素を含めた３画素×３画素の領域３０１を用いて動き検出を行うことができる。動き検出の際の領域の大きさは、異なる画素数であっても良いし、元のブロックが複数画素で構成される場合には周辺画素を用いずに動き検出をしても良い。動き検出においてはコスト関数を設定し、そのコスト関数が最小となる低解像度画像ＲＬ内の位置を決定する。ここでコスト関数としては、領域３０１の画素値と、低解像度画像ＲＬ内の領域（領域３０１と同じ大きさを有する領域）の画素値の差分値（差分絶対値和や差分２乗値和）としても良いし、差分値に更に動き量に関する制限（例えば、周辺画素や周辺ブロックの動きとの差など）を加えても良い。ここで対応画素間の差分値を計算する際には、画像の画素値をそのまま用いてもよし、画素値にハニング窓等の窓関数を施して用いても良い。コスト関数が最小となる位置が領域３０３であるとすると、ここで求められた動き量は（Ｍｘ，Ｍｙ）となる。

動き検出部１０２で検出された動き量は動きベクトルＭＶとして動き補償部１０１に入力される。動き補償部１０１には、高解像度画像ＲＨと動きベクトルＭＶが入力される。動き補償部１０２では、制御部１０３から入力された位置情報、動き検出部１０２から入力された動きベクトルＭＶに基づいて、高解像度画像ＲＨから高解像度（動き補償）画像ＭＨを生成する。この様子を図４を用いて説明する。低解像度画像と高解像度画像の解像度比は水平、垂直共に１：２であったので、低解像度度画像ＣＬの位置（Ｃｘ，Ｃｙ）の画素に対応する、高解像度画像ＭＨの画素位置は（２×Ｃｘ，２×Ｃｙ）を左上端とする２画素×２画素の領域となる。また、高解像度画像間での動きベクトルは２×ＭＶ（水平方向および垂直方向の両成分に対して２倍を施す）となる。したがって、高解像度画像ＭＨの画素は、高解像度画像ＲＨの（２×Ｃｘ＋２×Ｍｘ，２×Ｃｙ＋２×Ｍｙ）を左上端とする２画素×２画素の領域の画素となる。

以降、同様の処理を低解像度画像ＣＬに対する全領域に対して施し、対応する高解像度画像ＭＨの全領域に対して動き補償を実施することにより、高解像度画像ＲＨから動き補償して高解像動画像ＭＨを生成する。

なお、本実施の形態においては、動き検出部１０２で動き検出を行う際に低解像度画像ＣＬと低解像度画像ＲＬとを用いて動きを検出する場合について説明したが、これは低解像度画像ＲＬと低解像度画像ＣＬを２倍に拡大した後に動き検出を行い、動きベクトルを求めても良い。この場合、高解像度画像ＭＨを生成する際には１画素毎に高解像度画像ＲＨから動き補償をすることができる。

また、本実施の形態においては、動き検出部１０２で動き検出を行う際に、低解像度画像ＣＬと低解像度画像ＲＬとを用いて１画素精度の動きを検出する場合について説明したが、低解像度画像ＲＬを拡大した後に動き検出を行い、１／４画素、１／８画素精度の動きベクトルを求めても良い。このような処理により、高解像度画像ＭＨを生成する際には小数精度で高解像度画像ＲＨから動き補償をすることができる。この場合には、高解像度画像ＲＨを拡大（内挿）した後に動き補償すれば良い。

また、本実施の形態においては、動き検出部１０２で動き検出を行う際に、低解像度画像ＣＬとＲＬとを用いる方法について説明したが、これは高解像度画像ＲＨとＭＨを用いても良い。図３（ｂ）を用いてこの方法を説明する。この場合、高解像度画像ＭＨには一部生成されていない画素が存在するため、低解像度画像ＣＬの領域３０１の画素と高解像度画像ＭＨの領域３０２の画素とを用いて低解像度画像ＲＬと高解像度画像ＲＨに対して動きを検出する。

また、本実施の形態においては、動き検出および動き補償の参照画像が１枚である場合について説明したが、これは複数の画像を用いても良い。

また、参照画像として用いる高解像度画像ＲＨは、予め得られている画像だけではなく、本実施の形態において生成した高解像度画像であっても良い。

（実施の形態１の変形例）
実施の形態１の変形例を図８を用いて説明する。本変形例は、図１を用いて説明した本発明の画像処理方法に、選択部８０１を追加した構成となっている。実施の形態１では、生成したい第１の高解像度画像に対応する第１の低解像度画像が予め得られている条件の下で、参照画像となる第２の低解像度画像に対する第１の低解像度画像の動きを検出し（または第２の低解像度画像および第２の高解像度画像に対する第１の低解像度画像および第１の高解像度画像の動きを検出し）、検出された動きベクトルを元に第２の高解像度画像を動き補償して第１の高解像度画像を生成したが、本変形例では複数の方法で動きを検出した後に動き検出方法に応じた動き補償画像を生成し、それら複数の動き補償画像の中から、最適な動き補償画像を選択する点に特徴がある。

動き検出部１０２は、参照画像となる低解像度画像ＲＬ、処理対象である低解像度画像ＣＬ、参照画像となる高解像動画像ＲＨ、処理対象であり生成された高解像度画像ＭＨが入力される。また、動き補償部１０１には高解像度画像ＲＨが入力される。ここで、参照画像となる低解像度画像ＲＬ、高解像度画像ＲＨはそれぞれ複数の画像である場合も含む。

動き検出部１０２では、異なる画像の組み合わせを用いて、動き検出を行う。図１４に示すように参照画像が２枚ある場合には、例えば以下のような画像の組み合わせがある。

Ａ．低解像度画像ＣＬ（１３０４）←低解像度画像ＲＬ（１３０３）
Ｂ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０３）と高解像度画像ＲＨ（１３０１）
Ｃ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０５）と高解像度画像ＲＨ（１３０６）
Ｄ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０１）
Ｅ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０６）
Ｆ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０３）、高解像度画像ＲＨ（１３０１）、低解像度画像ＲＬ（１３０５）、高解像度画像ＲＨ（１３０６）
Ｇ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０１）と高解像度画像ＲＨ（１３０６）

ここで「Ｘ←Ｙ」は画像Ｂを参照画像として画像Ａの動きを検出することを意味する。また、「Ｆ」、「Ｇ」においては、２つの参照画像に対して動きを検出し、各参照画像から得られる動き補償画像の平均（または重み付け平均）を動き補償画像とすることを意味している。動き検出の方法は実施の形態１で説明した方法と同様であるので、説明は割愛する。

それぞれの方法で検出された動き量は、動きベクトルＭＶとして動き補償部１０１に入力される。動き補償部１０１では、動き検出部１０２で求めたそれぞれの動きベクトルを用いて動き補償画像を生成し、それを選択部８０１に対して出力する。動きベクトルＭＶを用いた動き補償画像の生成方法は、実施の形態１で説明した方法と同様であるので説明は割愛する。

選択部８０１には、低解像度画像ＣＬと動き補償部１０１で生成された複数の動き補償画像とが入力される。選択部８０１では、入力された複数の動き補償画像の中から最適な動き補償画像を選択する。ここで選択の基準としては、例えば動き補償画像を低解像度画像ＣＬと同じ解像度に縮小し、その縮小画像と低解像度画像ＣＬとの差分値（差分絶対値和や差分二乗和）が最小となるものを選択する方法がある。または、動き補償画像と低解像度画像ＣＬを周波数変換し、その低周波数成分同士の差分値（差分絶対値和や差分二乗和）が最小となるものを選択する方法がある。また、差分値が所定のしきい値よりも小さい値とならないような場合には、低解像度画像ＣＬを画面内で拡大した画像を選択しても良い。ここで、動き補償画像を選択する際には、正方形や長方形のブロック単位や領域単位で行う方法、全画面で行う方法がある。

選択された動き補償画像（または低解像度画像ＣＬを画面内で拡大した画像）は、動き補償画像ＭＨとして出力される。

なお、本実施の形態の変形例においては、７つの方法で動き量を検出し、それぞれの動き量に応じた動き補償画像を生成する場合について説明したが、これは他の方法で動き量を検出しても構わないし、一部の方法のみを用いて動き量を検出しても良い。

以上のように、本発明の画像処理方法では、生成したい第１の高解像度画像に対応する第１の低解像度画像が予め得られている条件の下で、１枚または複数枚の参照画像となる第２の低解像度画像に対する第１の低解像度画像の動きを検出し（または第２の低解像度画像および第２の高解像度画像に対する第１の低解像度画像および第１の高解像度画像の動きを検出し）、検出された動きベクトルを元に第２の高解像度画像を動き補償して第１の高解像度画像を生成する。

上記のような処理を１画素等の小さな領域を単位として施すことにより、高画質な第１の高解像度画像を生成することができる。またこの処理は、低解像度画像間の動き検出結果または既に生成された領域の高解像度画像間の動き検出結果を用いて行うので、付加情報は全く不要である。

（実施の形態２）
本発明の動画像符号化方法を図５を用いて説明する。図５は、フレームメモリ５０１、差分演算部５０２、予測誤差符号化部５０３、符号列生成部５０４、予測誤差復号部５０５、加算演算部５０６、フレームメモリ５０７、画面内予測／動きベクトル検出部５０８、モード選択部５０９、符号化制御部５１０、スイッチ５１４、５１５、画像縮小部５１６、フレームメモリ５１７、低解像度画像符号化部５１８、画像処理部１００（または８００）から構成される動画像符号化装置のブロック図である。画像処理部１００（８００）は、実施の形態１で説明した図１の画像処理装置１００、または実施の形態１の変形例で説明した図８の画像処理装置８００、と同じ構成を有している。

入力画像は時間順にピクチャ単位でフレームメモリ５０１に入力される。フレームメモリ５０１に入力された各ピクチャは、符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替える。

フレームメモリ５０１で並び替えが行われた各ピクチャは、順に符号化される。各ピクチャはまず画像縮小部５１６に入力され、低解像度画像に変換される。低解像度画像は低解像度画像符号化部５１８で符号化される。低解像度画像符号化部５１８では、低解像度画像をＪＰＥＧ方式やＭＰＥＧ方式で符号化するものとする。低解像度画像符号化部５１８で生成された符号列は符号列生成部５０４に対して出力される。また、低解像度画像符号化部５１８で生成された復号画像（符号化対象低解像度画像を符号化し復号して得られる画像）はフレームメモリ５１７で保持される。

続いてフレームメモリ５０１で並び替えが行われた各ピクチャは、高解像度画像として符号化される。この場合各ピクチャは、フレームメモリ５０１からマクロブロックの単位で読み出されるとする。ここでは、マクロブロックは水平１６×垂直１６画素の大きさであるとする。また、動き補償はブロック単位（ここでは８×８画素の大きさとする）単位で行うものとする。以下では、片方向予測符号化ピクチャ（Ｐピクチャ）として符号化を行うものとして、符号化処理を順に説明する。

符号化制御部５１０は、入力されたピクチャをどのタイプのピクチャ（Ｉ、ＰまたはＢピクチャ）で符号化するかを決定し、そのピクチャタイプにより、スイッチスイッチ５１４、５１５を制御する。ここで、ピクチャタイプの決定は、例えば、周期的にピクチャタイプを割り当てる方法が一般的に用いられる。ピクチャタイプの決定により、フレームメモリ５０１内でピクチャの符号化順序の入れ替えが行われる。

Ｐピクチャの符号化においては、符号化制御部５１０は、スイッチ５１４、５１５がオンになるように各スイッチを制御する。したがって、フレームメモリ５０１から読み出された符号化対象ピクチャのマクロブロックは、まず動きベクトル検出部５０８、モード選択部５０９、差分演算部５０２に入力される。

画面内予測／動きベクトル検出部５０８では、フレームメモリ５０７に蓄積された復号画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、画面内予測方法の決定または動きベクトルの検出を行う。ここで画面内予測とは、符号化対象ブロックの周辺画素を用いて予測画像を生成する方法である。決定された画面内予測方法または動きベクトル、および画面内予測により得られる画面内予測画像または動きベクトルにより参照画像から得られる動き補償画像は、モード選択部５０９に対して出力される。

一方、画像処理部１００（８００）には、フレームメモリ５１７から低解像度画像の参照画像ＲＬ、現在の符号化対象画像に対応する低解像度画像ＣＬが入力され、フレームメモリ５０７から低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。そして画像処理部１００（８００）は、本発明の第１の実施の形態または第１の実施の形態の変形例で説明した方法と同様の処理により、動き補償画像ＭＨを生成してモード選択部５０９に対して出力する。

モード選択部５０９では、画面内予測／動きベクトル検出部５０８で検出した画面内予測方法または動きベクトルおよび取得した画面内予測画像または動き補償画像、画像処理部１００（８００）で生成された動き補償画像ＭＨを用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、Ｐピクチャの場合には、画面内予測符号化、動き検出部５０８で検出した動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化、画像処理部１００（８００）で生成した動き補償画像を用いるピクチャ間予測符号化の中から、いずれの方法で符号化するかを決めることができるとする。符号化モードの決定においては、一般的には、より少ないビット量でより符号化誤差が小さくなる方法を選択する。動き検出部５０８で検出した動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化の場合には、動き補償残差の符号以外に、動きベクトルの符号を符号列中に記述する必要がある。また動き補償画像は、８×８画素等の単位で求められた動きベクトルを用いて生成されている。画像処理部１００（８００）で生成した動き補償画像を用いるピクチャ間予測符号化の場合には、動き補償残差の符号のみを符号列に記述する。また動き補償画像は、低解像度画像を用いて最小１画素単位で求められた動き量を用いて生成されている。

モード選択部５０９で決定された符号化モードは符号列生成部５０４に対して出力される。また、動きベクトルは、モード選択部５０９から符号列生成部５０４に対して出力される。

次に、モード選択部５０９で決定された符号化モードに基づいた参照画像が、差分演算部５０２と加算演算部５０６とに出力される。

以下では、モード選択部５０９でピクチャ間予測符号化が選択された場合について説明する。

差分演算部５０２には、マクロブロックの画像データ以外に、モード選択部５０９から参照画像が入力される。差分演算部５０９では、マクロブロックの画像データと参照画像との差分を演算し、予測誤差画像を生成し出力する。

予測誤差画像は予測誤差符号化部５０３に入力される。予測誤差符号化部５０３では、入力された予測誤差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平８×垂直８画素の単位で行うことができる。予測誤差符号化部５０３から出力された符号化データは、符号列生成部５０４と予測誤差復号部５０５に入力される。

符号列生成部５０４では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部５０９から入力された動きベクトルの情報、符号化モードの情報、その他のヘッダ情報、低解像度画像生成部５１８から入力された符号列、等を付加することにより符号列を生成する。またこの際に、ヘッダ情報として画像処理部１００（８００）でどのような処理方法を用いたのかを示すフラグ情報を記述しても良い。このフラグ情報は、例えば画像処理部１００（８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成した中から動き補償画像を選択したか、等の情報を示すものである。フラグ情報の記述位置の例を図６に示す。

予測誤差復号部５０５では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部５０６において、予測画像と加算されることにより復号画像となり、フレームメモリ５０７に蓄積される。

同様の処理により、符号化対象ピクチャの残りのマクロブロックに対して、符号化処理が行われる。

以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、低解像度画像により求めた動きベクトルを用いて動き補償画像を生成する符号化モードを用いる。高解像度画像間の動きベクトルを用いて動き補償画像を生成する従来の符号化モードでは、動きベクトル情報を符号列中に記述する必要が生じる。また従来の符号化モードにおいて動き補償精度を向上させるためには、マクロブロック当たりの動きベクトル数を増加させる必要があるが、動きベクトル情報の符号量が更に増加することになる。本発明の符号化モードでは、動きベクトル情報を符号列中に記述する必要は全くない。したがって、動きベクトル数を増加させることにより動き補償精度を向上させ、それにより符号化効率を大きく向上させることができる。

（実施の形態３）
本発明の画像復号方法の実施の形態について、図７を用いて説明する。図７は、符号列解析部７０１、予測誤差復号化部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、スイッチ７１１、低解像度画像復号部７１２、フレームメモリ７１３、画像処理部１００（または８００）を有する動画像復号装置のブロック図である。以下では、Ｐピクチャの復号処理について説明する。

Ｐピクチャの符号列は符号列解析部７０１に入力される。符号列解析部７０１では、入力された符号列を低解像度画像の符号列と高解像度画像の符号列とに分離する。低解像度画像の符号列は、低解像度画像復号部７１２に対して出力され、低解像度画像復号部７１２で符号化方法に適した（ＪＰＥＧ方式やＭＰＥＧ方式で）復号処理が施される。復号された低解像度画像はフレームメモリ７１３に蓄積される。

一方、符号列解析部７０１で分離された高解像度画像の符号列からは、各種データが抽出される。ここで各種データとは、モード選択情報、動きベクトル情報、ヘッダ情報、等である。抽出されたモード選択の情報は、モード復号部７０３に対して出力される。また、抽出された動きベクトル情報は、画面内予測／動き補償復号部７０５に対して出力される。さらに、予測誤差符号化データは予測誤差復号部７０２に対して出力される。またこの際に、ヘッダ情報として符号化時に画像処理部１００（８００）でどのような処理方法を用いたのかを示すフラグ情報が記述されている場合、このフラグ情報を画像処理部１００（８００）に対して出力する。このフラグ情報は、例えば画像処理部１００（８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成した中から動き補償画像を選択したか、等の情報を示すものである。

モード復号部７０３では、符号列から抽出されたモード選択の情報を参照し、スイッチ７１１の制御を行う。モード選択が符号列に記述された動きベクトル情報を用いるピクチャ間予測符号化である場合には、スイッチ７１１はｆに接続するように制御する。またモード選択が（本発明の第１の実施の形態で説明した）低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、スイッチ７１１はｅに接続するように制御する。

またモード復号部７０３では、モード選択が符号列に記述された動きベクトル情報を用いるピクチャ間予測符号化である場合には、モード選択の情報を画面内予測／動き補償復号部７０５に対して出力する。また、低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、モード選択の情報を画像処理部１００（８００）に対して出力する。

予測誤差復号部７０２では、入力された予測誤差符号化データの復号を行い、予測誤差画像を生成する。生成された予測誤差画像は加算演算部７０８に対して出力される。

モード選択が符号列に記述された動きベクトル情報を用いたピクチャ間予測符号化である場合は、画面内予測／動き補償復号部７０５が処理を行う。画面内予測／動き補償復号部７０５は、符号列解析部７０１から入力された、符号化された動きベクトルに対して、復号処理を行う。そして、復号された参照ピクチャ番号と動きベクトルとに基づいて、フレームメモリ７０７から動き補償画像（ブロック）を取得する。このようにして生成された動き補償画像は加算演算部７０８に対して出力される。

モード選択が低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、画像処理部１００（８００）が処理を行う。画像処理部１００（８００）には、フレームメモリ７１３から低解像度画像の参照画像ＲＬ、現在の復号対象画像に対応する低解像度画像ＣＬが入力され、フレームメモリ７０７から低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。そして画像処理部１００（８００）は、本発明の第１の実施の形態またはその変形例で説明した方法と同様の処理により動き補償画像ＭＨを生成する。生成された動き補償画像ＭＨは、スイッチ７１１を通して加算演算部７０８に対して出力される。

加算演算部７０８では、入力された予測誤差画像と動き補償画像とを加算し、復号化画像を生成する。生成された復号化画像はフレームメモリ７０７に対して出力される。

以上のようにして、Ｐピクチャのマクロブロックが順に復号される。復号対象ピクチャのマクロブロックがすべて復号されると、次のピクチャの復号処理が行われる。

以上のように本発明の画像復号方法では、低解像度画像と高解像度画像とが符号化された符号列から、低解像度画像を復号し、さらに高解像度画像の復号を行う際に低解像度画像により求めた動きベクトルを用いて動き補償画像を生成する符号化モードを用いる。高解像度画像間の動きベクトルを用いて動き補償画像を生成する従来の符号化モードでは、動きベクトル情報を符号列中に記述する必要が生じる。また従来の符号化モードにおいて動き補償精度を向上させるためには、マクロブロック当たりの動きベクトル数を増加させる必要があるが、動きベクトル情報の符号量が更に増加することになる。本発明の符号化モードでは、動きベクトル情報を符号列中に記述する必要は全くない。したがって、動きベクトル数を増加させることにより動き補償精度を向上させ、それにより符号化効率を大きく向上させることができる。

（実施の形態４）
本発明の動画像符号化方法を図９を用いて説明する。図９は、フレームメモリ９０１、差分演算部９０２、予測誤差符号化部９０３、符号列生成部９０４、予測誤差復号部９０５、加算演算部９０６、フレームメモリ９０７、画面内予測/動きベクトル検出部９０８、モード選択部９０９、符号化制御部９１０、スイッチ９１４〜９１７、画像縮小部９１８、９１９、画像処理部１００（または８００）から構成される動画像符号化装置９００のブロック図である。動き補償画像生成部１００は、実施の形態１で説明した図１の画像処理装置１００、または実施の形態１の変形例で説明した図８の画像処理装置８００と同じ構成を有している。

入力画像列の例を図１３（ａ）に示す。ここで、各画像に付与した先頭の記号はピクチャタイプ（Ｉ：画面内予測符号化ピクチャ、Ｐ：一方向画面間予測符号化ピクチャ、Ｂ：二方向画面間予測符号化ピクチャ）を示し、数字は表示順番号を示す。

入力画像は表示順にピクチャ単位でフレームメモリ９０１に入力される。フレームメモリ９０１に入力された各ピクチャは、符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替える。例えば、Ｐピクチャは直前の一枚のＩまたはＰピクチャのみを参照し、Ｂピクチャは直前および直後に位置する一枚ずつのＩまたはＰピクチャを参照するとした場合、ピクチャの符号化順序は、Ｉ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５、．．．のようになる。

フレームメモリ９０１で並び替えが行われた各ピクチャは順に符号化されるが、符号化に先立って特定のピクチャに対しては画像縮小部９１８において低解像度画像への変換が施される。ここでは図１３（ｂ）に示すように、Ｉ、Ｐピクチャにおいては解像度を変換せず、Ｂピクチャに対しては低解像度に変換を行うものとする。または図１３（ｃ）に示すように、Ｉピクチャにおいては解像度を変換せず、Ｐ、Ｂピクチャに対しては低解像度に変換を行うものとする。またここでは水平、垂直共に１／２の大きさに解像度変換している場合を示しているが、解像度変換の比は他の値であっても構わない。またピクチャタイプの決定は、符号化制御部９１０によりなされるものとする。

続いて、符号化対象のピクチャはフレームメモリ９０１からマクロブロックの単位で読み出されるとする。ここでは、マクロブロックは例えば水平１６×垂直１６画素の大きさであるとする。

フレームメモリ９０１から読み出された符号化対象ピクチャのマクロブロックは、まず動きベクトル検出部９０８、モード選択部９０９、差分演算部９０２に入力される。

画面内予測/動きベクトル検出部９０８では、フレームメモリ９０７に蓄積された復号画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、画面内予測または動きベクトル検出を行う。画面内予測方法または検出された動きベクトル、および画面内予測または動きベクトルにより参照画像から得られる動き補償画像は、モード選択部９０９に対して出力される。

モード選択部９０９では、画面内予測／動きベクトル検出部９０８で検出した画面内予測方法または動きベクトル、および取得した動き補償画像、を用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、Ｉピクチャの場合には画面内予測符号化が用いられるとする。Ｐ、Ｂピクチャの場合には、画面内予測符号化、動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化、の中から、いずれの方法で符号化するかを決めることができるとする。符号化モードの決定においては、一般的には、より少ないビット量でより符号化誤差が小さくなる方法を選択する。画面内予測符号化の場合には、画面内予測符号化方法を示す符号を符号列中に記述する必要がある。ピクチャ間予測符号化の場合には、動きベクトルの符号を符号列中に記述する必要がある。

モード選択部９０９で決定された符号化モードは符号列生成部９０４に対して出力される。また、画面内予測方法または動きベクトルは、モード選択部９０９から符号列生成部９０４に対して出力される。次に、モード選択部５０９で決定された符号化モードに基づいた参照画像が、差分演算部９０２とスイッチ９０９とに出力される。

差分演算部９０２には、マクロブロックの画像データ以外に、モード選択部９０９から参照画像が入力される。差分演算部９０９では、マクロブロックの画像データと参照画像との差分を演算し、予測誤差画像を生成し出力する。

予測誤差画像は予測誤差符号化部９０３に入力される。予測誤差符号化部９０３では、入力された予測誤差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平８×垂直８画素の単位で行うことができる。予測誤差符号化部９０３から出力された符号化データは、符号列生成部９０４とスイッチ９１５に入力される。

符号列生成部９０４では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部９０９から入力された符号化モードの情報、画面内予測方法または動きベクトルの情報、その他のヘッダ情報、等を付加することにより符号列を生成する。

符号化制御部９１０は、ピクチャタイプにより、スイッチスイッチ９１４、９１５を制御する。他のピクチャの参照画像として用いられるＩ、Ｐピクチャの符号化においては、符号化制御部９１０は、スイッチ９１４、９１５がオンになるように各スイッチを制御する。また、他のピクチャの参照画像として用いられないＢピクチャの符号化においては、符号化制御部９１０は、スイッチ９１４、９１５がオフになるように各スイッチを制御する。よって、ピクチャタイプがＩまたはＰピクチャである場合、以下の処理が行われる。

予測誤差復号部９０５では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部９０６において、予測画像と加算されることにより復号画像となり、スイッチ９１６に入力される。

符号化制御部９１０は、符号化対象ピクチャが画像縮小部９１８で解像度変換されている場合には、スイッチ９１６をｌに、スイッチ９１７をｊに接続する。この場合、スイッチ９１６に入力された画像は、画像処理部１００（８００）において本発明の第１の実施の形態または第１の実施の形態の変形例で説明した方法と同様の方法により処理され、入力画像ＩＮと同じ解像度に拡大されて動き補償画像ＭＨとしてスイッチ９１７に対して出力される。ここで、高解像度画像の参照画像ＲＨはフレームメモリ９０７から得られ、低解像度画像の参照画像ＲＬは高解像度画像ＲＨを画像縮小部９１９で解像度変換することにより得られ、低解像度画像ＣＬはスイッチ９１６を介して得られる。例えば、図１３（ｂ）のピクチャＢ４を高解像度化する場合には、高解像度画像ＲＨとしてピクチャＩ０、Ｐ３、Ｐ６のすべてまたは一部を用いれば良い。また、図１３（ｃ）のピクチャＢ４を高解像度化する場合には、高解像度画像ＲＨとしてピクチャＩ０を用いれば良い。

また符号化制御部９１０は、符号化対象ピクチャが画像縮小部９１８で解像度変換されていない場合には、スイッチ９１６をｋに、スイッチ９１７をｉに接続する。よってこの場合は、スイッチ９１６に入力された画像は何も処理されないままスイッチ９１７から出力される。

スイッチ９１７から出力された画像は、フレームメモリ９０７に蓄積される。
同様の処理により、符号化対象ピクチャの残りのマクロブロックに対して、符号化処理が行われる。

以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、一部の画像を低解像度化し符号化する。そして低解像度化して符号化した画像は、本発明の画像処理方法により高解像度化した後、他のピクチャを符号化する際の参照画像として用いる。

本発明の画像符号化方法を用いることにより、入力画像を低解像度化するため符号量の大幅な削減を行うことができる。また、一度低解像度化した画像を復号後に本発明の画像処理方法により高画質な高解像度画像に変換するため、一度低解像度化された画像を参照画像として用いる場合でも低解像度化しない画像を参照画像として用いる場合と比較して、動き補償効率がほとんど低下しない。よって、総合的に符号化効率の大幅な向上を図ることができる。

なお、本実施の形態においては、他のピクチャを符号化する際の参照ピクチャとなるピクチャに対してのみ、スイッチ９１５をオンにして復号画像を生成する場合について説明したが、これは画像処理部１００（８００）において高解像度化処理を行う際の参照画像として用いられる画像についてもスイッチ９１５をオンにして復号画像を生成しても良い。

（実施の形態４の変形例）
実施の形態４の変形例を図１０を用いて説明する。図１０は図９の画像符号化装置９００から、スイッチ９１７、９１８、画像処理部１００（８００）、画像縮小部９１９を取り除き、画像縮小部１００１を追加した構成となっている。

実施の形態４と異なる点は、局所復号された画像は高解像度化されることなく、フレームメモリ９０７に蓄積されることである。そして、高解像度画像として符号化されたピクチャが、低解像度画像として符号化されるピクチャの参照画像として用いられる場合には、フレームメモリ９０７に蓄積された復号画像は、画像縮小部１００１で縮小処理を施されてフレームメモリ９０７に再度蓄積され、参照画像として用いられる。例えば、図１３（ｂ）のピクチャＩ０は、高解像度画像のままその復号画像がフレームメモリ９０７に一旦蓄積される。そしてピクチャＰ３の符号化の際には、ピクチャＩ０の復号画像は解像度変換を施さずに参照ピクチャとして用いられ、ピクチャＰ３の復号画像は高解像度画像のままフレームメモリ９０７に一旦蓄積される。ピクチャＢ１は低解像度に変換されて符号化されるので、ピクチャＩ０、Ｐ３の復号画像は画像縮小部１００１で縮小処理を施されてからピクチャＢ１の参照画像として用いられる。

以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、一部の画像を低解像度化し符号化する。そして低解像度化して符号化する際に、参照画像が高解像度画像である場合には、その参照画像を低解像度化した後符号化を行う。

本発明の画像符号化方法を用いることにより、入力画像を低解像度化するため符号量の大幅な削減を行うことができる。

（実施の形態５）
本発明の画像復号方法の実施の形態について、図１１を用いて説明する。図１１は、符号列解析部７０１、予測誤差復号部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、画像縮小部１００１、制御部１１０１、スイッチ１１０２、１１０３、画像処理部１００（または８００）を有する動画像復号装置のブロック図である。以下では、Ｐピクチャの復号処理について説明する。

Ｐピクチャの符号列は符号列解析部７０１に入力される。符号列解析部７０１では、入力された符号列から各種データを抽出する。ここで各種データとは、モード選択情報、動きベクトル情報、ヘッダ情報、等である。抽出されたモード選択の情報は、モード復号部７０３に対して出力される。また、抽出された動きベクトル情報は、画面内予測／動き補償復号部７０５に対して出力される。さらに、予測誤差符号化データは予測誤差復号部７０２に対して出力される。またこの際に、ヘッダ情報として符号化時に画像処理部１００（８００）でどのような処理方法を用いたのかを示すフラグ情報が記述されている場合、このフラグ情報を画像処理部１００（８００）に対して出力する。このフラグ情報は、例えば画像処理部１００（８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成した中から動き補償画像を選択したか、等の情報を示すものである。

モード復号部７０３では、モード選択の情報を画面内予測／動き補償復号部７０５に対
して出力する。

予測誤差復号部７０２では、入力された予測誤差符号化データの復号を行い、予測誤差画像を生成する。生成された予測誤差画像は加算演算部７０８に対して出力される。

画面内予測／動き補償復号部７０５は、符号列解析部７０１から入力された、画面内予測方法または動きベクトルに基づいて、フレームメモリ７０７から画面内予測画像または動き補償画像（ブロック）を取得する。このようにして生成された画面内予測画像または動き補償画像は加算演算部７０８に対して出力される。

加算演算部７０８では、入力された予測誤差画像と画面内予測画像または動き補償画像とを加算し、復号画像を生成する。生成された復号画像はフレームメモリ７０７に蓄積される。

フレームメモリ７０７に蓄積された復号画像が高解像度画像であり、かつ他のピクチャの復号に参照画像として用いられ、かつその他のピクチャが低解像度画像として符号化されている場合には、画像縮小部１００１で縮小されて参照画像として用いられる。

また、フレームメモリ７０７に蓄積された復号画像は、スイッチ１１０２に入力される。スイッチ１１０２、１１０３は制御部１１０１により制御される。

制御部１１０１は、復号画像が縮小されずに符号化された画像である場合には、スイッチ１１０２をｅに、スイッチ１１０３をｇに接続し、フレームメモリ７０７に蓄積された復号画像はそのまま出力画像として出力される。例えば、図１３（ｂ）のように符号化されている場合には、ＩピクチャとＰピクチャの場合がこの処理に相当する。図１３（ｃ）のように符号化されている場合には、Ｉピクチャの場合がこの処理に相当する。制御部１１０１がスイッチ１１０２、１１０３をどのように制御するかは、例えばピクチャタイプや各ピクチャの画像サイズの情報から判断することができ、これらの情報は符号列解析部７０１から得ることができる。

制御部１１０１は、復号画像が縮小されて符号化された画像である場合には、スイッチ１１０２をｆに、スイッチ１１０３をｈに接続する。この場合、フレームメモリ７０７に蓄積された復号画像は画像処理部１００（８００）に入力される。画像処理部１００（８００）には、フレームメモリ７０７から低解像度画像の参照画像ＲＬ、現在の復号対象画像に対応する低解像度画像ＣＬ、低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。低解像度画像ＣＬまたはＲＬがフレームメモリ７０７に蓄積されていない場合には、対応する高解像度画像を画像縮小部１００１により縮小して低解像度画像を生成する。そして画像処理部１００（８００）は、本発明の第１の実施の形態またはその変形例で説明した方法と同様の処理により動き補償画像ＭＨを生成する。生成された動き補償画像ＭＨは、スイッチ１１０３を通して出力画像として出力される。また、動き補償画像ＭＨが他の画像の復号や高解像度化に用いられる場合には、フレームメモリ７０７に蓄積される。このようにして、図１３（ａ）のような高解像度画像の復号画像列を得ることができる。

以上のように本発明の画像復号方法では、各ピクチャが低解像度画像または高解像度画像として符号化された符号列を復号し、低解像度画像として符号化された画像を復号した後、低解像度画像により求めた動きベクトルを用いて他の高解像度画像から動き補償画像を生成する。このような処理により、符号化効率を大きく向上させることができる。

（実施の形態５の変形例）
実施の形態５の変形例を図１２を用いて説明する。実施の形態５と異なる点は、フレームメモリ７０７と画像処理部１００（８００）の順序が逆になっていることである。

加算演算部７０８から出力された復号画像は、スイッチ１１０２に入力される。復号画像は、実施の形態５の制御部１１０１、スイッチ１１０２、１１０３、画像処理部１００（８００）と同様の処理により処理される。すなわち、復号画像が縮小されずに符号化された画像である場合には、そのままフレームメモリ７０７に蓄積され、復号画像が縮小されて符号化された画像である場合には、画像処理部１００（８００）で高解像度化されてフレームメモリに蓄積される。

フレームメモリ７０７に蓄積された復号画像は、出力画像として出力される。また、他の画像の復号処理または高解像度化に利用される。

以上のように本発明の画像復号方法では、各ピクチャが低解像度画像または高解像度画像として符号化された符号列を復号し、低解像度画像として符号化された画像を復号した後、低解像度画像により求めた動きベクトルを用いて他の高解像度画像から動き補償画像を生成する。このような処理により、符号化効率を大きく向上させることができる。

（実施の形態６）
さらに、上記各実施の形態で示した画像処理方法、画像符号化方法および画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１５は、上記各実施の形態の画像処理方法、画像符号化方法および画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像処理方法、画像符号化方法および画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法、画像符号化方法および画像復号方法を実現する上記画像処理方法、画像符号化方法および画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態７）
さらにここで、上記実施の形態で示した画像処理方法、画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムex５００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex５０７〜ex５１０が設置されている。

このコンテンツ供給システムex５００は、例えば、インターネットex５０１にインターネットサービスプロバイダex５０２および電話網ex５０４、および基地局ｅｘ５０７〜ｅｘ５１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex５００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex５０７〜ex５１０を介さずに、各機器が電話網ex５０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex５０３は、カメラex１１３から基地局ex５０９、電話網ex５０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex５０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex５００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex５０３に送信する一方で、ストリーミングサーバex５０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex５００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。
図１７は、上記実施の形態で説明した画像処理方法、画像符号化方法および画像復号方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex５１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１８を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３５０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（
Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３５０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex５１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex５１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４５０に伝送される。これを受けた放送衛星ex４５０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４５０からまたは基地局ex５０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１８に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像処理方法、画像符号化方法および画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、図１、５、７〜１２に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field
Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、図１、５、７〜１２に示したブロック図の各機能ブロックおよび図１、５、７〜１２に示したフローチャートは、その中心的部分をプロセサおよびプログラムによって実現される。

なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明にかかる画像処理方法、画像符号化方法および画像復号方法は、入力画像を高能率符号化する際に、符号量を大幅に削減することができるという効果を有し、蓄積、伝送、通信等における画像処理方法、画像符号化方法および画像復号方法として有用である。

本発明の画像処理方法を説明するためのブロック図である（実施の形態１）。 本発明の画像処理方法を説明するための模式図である（実施の形態１）。 本発明の画像処理方法を説明するための模式図である（実施の形態１）。 本発明の画像処理方法を説明するための模式図である（実施の形態１）。 本発明の画像符号化方法を説明するためのブロック図である（実施の形態２）。 本発明の画像符号化方法を説明するための模式図である（実施の形態２）。 本発明の画像復号方法を説明するためのブロック図である（実施の形態３）。 本発明の画像処理方法を説明するためのブロック図である（実施の形態１の変形例）。 本発明の画像符号化方法を説明するためのブロック図である（実施の形態４）。 本発明の画像符号化方法を説明するためのブロック図である（実施の形態４の変形例）。 本発明の画像復号方法を説明するためのブロック図である（実施の形態５）。 本発明の画像復号方法を説明するためのブロック図である（実施の形態５の変形例）。 本発明の画像復号方法を説明するための模式図である（実施の形態４、５）。 本発明の画像処理方法を説明するための模式図である（実施の形態１）。 上記各実施の形態の画像処理方法、画像符号化方法および画像復号方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である（実施の形態６）。 コンテンツ供給システムの全体構成を示すブロック図である（実施の形態７）。 画像処理方法、画像符号化方法および画像復号方法を用いた携帯電話の例である（実施の形態７）。 携帯電話のブロック図である（実施の形態７）。 ディジタル放送用システムの例である（実施の形態７）。

符号の説明

１００、８００ 画像処理部
１０１ 動き補償部
１０２ 動き検出部
１０３ 制御部
５０１、５０７、５１７、７０７、７１３ フレームメモリ
５０２ 差分演算部
５０３ 予測誤差符号化部
５０４ 符号列生成部
５０５、７０２ 予測誤差復号部
５０６、７０８ 加算演算部
５０８ 画面内予測／動き検出部
５０９ モード選択部
５１０ 符号化制御部
５１４、５１５、７１１ スイッチ
５１６ 画像縮小部
５１８ 低解像度画像符号化部
７０１ 符号列解析部
７０３ モード復号部
７０５ 画面内予測／動き補償復号部
７１２ 低解像度画像復号部

Claims (4)

1. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化方法であって、
   符号化対象ピクチャのうち、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する符号化制御ステップと、
   前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、
   前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、
   前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップと
   を含むことを特徴とする画像符号化方法。
2. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化装置であって、
   符号化対象ピクチャのうち、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する符号化制御手段と、
   前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段と、
   前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段と、
   前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段と
   を備えることを特徴とする画像符号化装置。
3. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化装置のためのプログラムであって、コンピュータに、
   符号化対象ピクチャのうち、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する符号化制御ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップとを実行させるプログラム。
4. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化装置を実装する集積回路であって、
   符号化対象ピクチャのうち、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する符号化制御手段と、
   前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段と、
   前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段と、
   前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段と
   を備えることを特徴とする集積回路。

Images