JP5631478B2

JP5631478B2 - 画像符号化復号化装置

Info

Publication number: JP5631478B2
Application number: JP2013270384A
Authority: JP
Inventors: 角野　眞也; 眞也角野; チョン　スン・リム; スン・リムチョン; テック　ウィー・フー; ウィー・フーテック; シェン　メイ・シェン; メイ・シェンシェン
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2002-11-20
Filing date: 2013-12-26
Publication date: 2014-11-26
Anticipated expiration: 2023-09-03
Also published as: CA2473767A1; TW200708114A; MY139301A; US8885713B2; US8204119B2; EP2309758A2; US20120287996A1; TW200409549A; US20160080758A1; US9232220B2; JP2010148128A; US20180234696A1; KR100961312B1; US20150036746A1; TWI559741B; WO2004047453A1; US20090110072A1; JP5249253B2; CN101304536A; KR100961313B1

Description

本発明は、動画像における画素値の予測方法に関し、特に、２つのピクチャに基づいて時間的にスケーリング処理を行う画像符号化復号化装置に関する。

動画像符号化においては、一般に、動画像が有する空間方向および時間方向の冗長性を利用して情報量の圧縮を行う。ここで、時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、時間的に前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値に対して空間方向の冗長度を取り除くことにより情報量の圧縮を行う。

このような動画像符号化方式では、ピクチャ間予測符号化を行わない、すなわちピクチャ内符号化を行うピクチャをＩピクチャと呼ぶ。ここでピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位を意味する。また、既に処理済みの１枚ピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャと呼び、既に処理済みの２枚のピクチャを参照してピクチャ間予測符号化するピクチャをＢピクチャと呼ぶ。

ところで、Ｂピクチャは、２つの参照ピクチャに基づいて、スケーリング処理（ピクチャの間隔に基づく比例計算）によって、画素値が予測（「重み付け予測」とも言う。）されたり、動きベクトルが算出されたりする。なお、ピクチャの間隔としては、例えばピクチャの有する時間情報の差、ピクチャごとに割り当てられるピクチャ番号の差、ピクチャの表示順序を示す情報の差などがある。

図１は、２つの参照ピクチャに基づく重み付け予測によって、Ｂピクチャの予測画素値を算出する過程を示す従来技術の一例を示す。本図に示されるように、Ｂピクチャの予測画素値Ｐは、２つの参照ピクチャブロック１及び２の画素値Ｐ０及びＰ１を用いた重み付け加算によって決定される。式中の重み係数ａ及びｂは、例えば、いずれも１／２である。

図２及び図３は、２つの参照ピクチャ（ブロック１及び２）に基づいて、スケーリングを行うことによってＢピクチャ（符号化対象ブロック）の予測画素値を算出する過程を示す他の例である（例えば、非特許文献１参照。）。ここで、図２は、Ｂピクチャ（符号化対象ブロック）が前方向のピクチャ（ブロック１）と後方向のピクチャ（ブロック２）を参照している場合の例を示し、図３は、Ｂピクチャ（符号化対象ブロック）が２つの前方向のピクチャ（ブロック１及びブロック２）を参照している場合の例を示している。なお、図中のＷ０及びＷ１は、スケーリング処理（ここでは、画素値の重み付け予測）における重み係数であり、それぞれ、ブロック１の画素値に乗じる重み係数、ブロック２の画素値に乗じる重み係数であり、以下の式で表される。

Ｗ０＝（１２８×（Ｔ１−Ｔ））／（Ｔ１−Ｔ０）（式１）
Ｗ１＝（１２８×（Ｔ−Ｔ０））／（Ｔ１−Ｔ０）（式２）

ここで、Ｔ、Ｔ０、Ｔ１は、それぞれ、符号化対象ブロック、前方向の参照ブロック１、後方向の参照ブロックに付された時間（タイムスタンプ等）である。

このとき、対象ブロックの予測画素値Ｐは、以下の式によって、算出される。

Ｐ＝（Ｐ０×Ｗ０＋Ｐ１×Ｗ１＋６４）≫７（式３）

ここで、「≫」は、右方向へのビットシフトを意味する。つまり、「≫７」は、「÷（２の７乗）」を意味する。なお、上記式３は、画素値が輝度信号の値を示す場合であるが、画素値が色差を示す場合には、以下の式で表される。

Ｐ＝１２８＋（（Ｐ０−１２８）×Ｗ０＋（Ｐ１−１２８）×Ｗ１＋６４）≫７
（式４）

図４は、これらの式を用いた具体的な算出手順を示すフローチャートである。時刻Ｔ、Ｔ１、Ｔ０を取得した後に（ステップＳ４０１）、時刻Ｔ１とＴ０が等しい、つまり、式１及び式２に示された重み係数Ｗ０及びＷ１の式における分母がゼロになるか否かを判断し（ステップＳ４０２）、ゼロになる場合には（ステップＳ４０２でＹｅｓ）、重み係数Ｗ０及びＷ１を１２８とし（ステップＳ４０３）、そうでない場合には（ステップＳ４０２でＮｏ）、上記式１及び式２に従って重み係数Ｗ０及びＷ１を算出し（ステップＳ４０４）、最後に、それらの重み係数Ｗ０及びＷ１、参照ブロック１の画素値Ｐ０及び参照ブロック２の画素値Ｐ１を用いて、上記式３又は式４に従って、符号化対象ブロックの予測画素値Ｐを算出する（ステップＳ４０５）。このように、２つの参照ブロックの画素値を用いて、時間的なスケーリングを行うことで、符号化対象ブロックの予測画素値が算出される。

ところで、このような時間的なスケーリング処理においては、上記式１及び式２に示されるように、重み係数の算出のために除算が必要となるが、除算は乗算に比べ、演算に必要なリソースが大きいことから、除算を行う代わりに、除数の逆数を予め計算してルックアップテーブル等に格納しておき、その逆数を用いて乗算を行うことが一般的である。

なお、図１、図２および図３でブロック１およびブロック２はＰピクチャとしたが、ＩピクチャやＢピクチャであっても良く、Ｐピクチャに拘るものではない。

Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG Joint Committee Draft 2002-05-10、JVT-C167 11.

しかしながら、予め計算された逆数を用いる方法では、重み係数を算出する式における除数の種類が多い場合には、予め計算しておく逆数の種類も多くなる。例えば、式１、式２で示したＴ０およびＴ１がとり得る値がそれぞれ３０通りとすると、単純に計算して９００通りの除算が逆数計算のために必要となり逆数演算の演算量が非常に大きくなる。更に、逆数を格納しておくルックアップテーブル等の記憶容量が多く必要とされるという問題もある。

また、上記式１及び式２における分母（重み係数の除数）が小さくなると、重み係数（商）が非常に大きくなり、例えば、予測画素値が１６ビットで表現できる値を超えてしまうという問題がある。そのために、例えば、３２ビットによる演算を行う必要が生じる等、演算に必要な演算精度（有効演算桁数）が増加するため、演算装置の規模が大きくなってしまう。

そこで、本発明は、このような状況に鑑み、時間的なスケーリング処理による動画像の予測において、そこで用いられる除数の逆数を予め計算してメモリに格納しておく場合に、そのメモリの記憶容量が小さくて済むことを可能にする動画像予測方法を用いた画像符号化復号化装置を提供することを目的とする。

また、本発明は、時間的なスケーリング処理による動画像の予測において、演算に必要な有効演算桁数を増大させることなく、小さな規模の演算で済むことを可能にする動画像予測方法を用いた画像符号化復号化装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像符号化復号化装置の一形態は、ピクチャを予測符号化する画像符号化装置と、予測符号化されたピクチャを予測復号化する画像復号化装置とから構成される画像符号化復号化装置であって、前記画像符号化装置は、第１及び第２の参照ピクチャの画素値を用いて対象ピクチャの予測画素値を生成し、該予測画素値を用いて前記対象ピクチャを予測符号化する画像符号化装置であって、前記対象ピクチャと第１の参照ピクチャとの間隔に対応する第１のパラメータを算出する第１のパラメータ算出手段と、前記第１の参照ピクチャと第２の参照ピクチャとの間隔に対応する第２のパラメータを算出する第２のパラメータ算出手段と、前記第１のパラメータおよび前記第２のパラメータとの比に基づいて算出される第３のパラメータの値があらかじめ設定された所定範囲に含まれるか否かを判断する判断手段と、（ｉ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれる場合には、前記第１及び第２のパラメータを用いて算出される重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出し、（ｉｉ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれない場合には、所定値の重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出する、予測画素値生成手段と、前記予測画素値生成手段によって算出された予測画素値を用いて、前記対象ピクチャを符号化する符号化手段とを備え、前記画像復号化装置は、第１及び第２の参照ピクチャの画素値を用いて対象ピクチャの予測画素値を生成し、該予測画素値を用いて前記対象ピクチャを予測復号化する画像復号化装置であって、前記対象ピクチャと第１の参照ピクチャとの間隔に対応する第１のパラメータを算出する第１のパラメータ算出手段と、前記第１の参照ピクチャと第２の参照ピクチャとの間隔に対応する第２のパラメータを算出する第２のパラメータ算出手段と、前記第１のパラメータおよび前記第２のパラメータとの比に基づいて算出される第３のパラメータの値があらかじめ設定された所定範囲に含まれるか否かを判断する判断手段と、（ｉｉｉ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれる場合には、前記第１のパラメータおよび前記第２のパラメータを用いて算出される重み係数を用いて、前記第１及び前記第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出し、（ｉｖ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれない場合には、所定値の重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出する、予測画素値生成手段と、前記予測画素値生成手段によって算出された予測画素値を用いて、前記対象ピクチャを復号化する復号化手段とを備える。

ここで、前記間隔とは、時間間隔であってもよい。

たとえば、上記画像符号化復号化装置を構成する画像符号化装置の一形態は、参照ピクチャを用いて対象ピクチャを予測符号化する符号化装置であって、前記対象ピクチャと前記対象ピクチャが参照する第１の参照ピクチャとの間隔に対応する第１のパラメータを算出する第１のパラメータ算出手段と、前記第１の参照ピクチャと前記対象ピクチャが参照する第２の参照ピクチャとの間隔に対応する第２のパラメータを算出する第２のパラメータ算出手段と、複数のビット数によって表される値であって、前記第１パラメータを前記第２パラメータで除算することにより得られる値である第３のパラメータの値があらかじめ設定された所定の値のビット数あるいは所定の値以下のビット数で表されるか否かを判断する判断手段と、複数のビット数によって表される前記第３のパラメータの値が前記所定の値のビット数あるいは所定の値以下のビット数で表される場合には、前記第３のパラメータを用いて算出される重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出し、複数のビット数によって表される前記第３のパラメータの値が前記所定の値のビット数あるいは所定値以下のビット数で表されない場合には、所定値の重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出する、予測画素値生成手段と、前記算出された予測画素値を用いて、前記対象ピクチャを符号化する符号化手段とを備える。

つまり、本発明に係る動画像予測方法は、動画像を構成するピクチャの画素値を２枚の参照ピクチャの画素値に基づいて予測する方法であって、予測対象ピクチャと第１参照ピクチャとの間隔に対応する第１パラメータを算出する第１パラメータ算出ステップと、前記第１参照ピクチャと第２参照ピクチャとの間隔に対応する第２パラメータを算出する第２パラメータ算出ステップと、前記第１パラメータおよび前記第２パラメータに基づいて算出される第３パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第１判断ステップと、前記第１判断ステップでの判断の結果、前記第３パラメータが前記所定範囲に含まれる場合、前記第１パラメータ、前記第２パラメータ、前記第１参照ピクチャおよび第２参照ピクチャの画素値に基づいてスケーリングを行うことにより、前記予測対象ピクチャの画素値を算出する第１予測ステップと、前記第１判断ステップでの判断の結果、前記第３パラメータが前記所定範囲に含まれない場合、あらかじめ設定された所定値、前記第１参照ピクチャおよび第２参照ピクチャの画素値に基づいてスケーリングを行うことにより、前記予測対象ピクチャの画素値を算出する第２予測ステップとを含むことを特徴とする。

ここで、スケーリング処理とは、２枚の参照ピクチャの画素値から予測対象ピクチャの画素値を算出するときの各重み係数を求める処理である。

これによって、スケーリング処理における重み係数の値の１つである第３パラメータに制限を設け、重み係数が所定範囲内の場合には、その重み係数を用いたスケーリング処理を行うが、重み係数が所定範囲外である場合には、重み係数を所定値とし、その重み係数を用いたスケーリング処理を行うので、予測対象ピクチャの画素値を求めるときに、常に所定の有効ビット数での計算が可能になる。

また、前記動画像予測方法は、さらに、前記第１パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第２判断ステップを含み、前記第２判断ステップでの判断の結果、前記第１パラメータが前記所定範囲に含まれない場合、前記第２予測ステップでの予測を行うことが好ましい。

これによって、スケーリング処理における除数の値となる第１パラメータに制限を設け、除数が所定範囲内の値である場合には、さらにその除数によって特定される重み係数が所定範囲に含まれるか否かを判断して上記のように処理を行い、一方、除数が所定範囲を超えている場合には、予め定めた値を重み係数としてスケーリング処理を行うので、予測対象ピクチャの画素値を求めるときに、除数の逆数を計算する演算量や記憶するメモリ量が小さく抑えられる。

また、前記動画像予測方法は、さらに、前記第２パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第３判断ステップを含み、前記第３判断ステップでの判断の結果、前記第２パラメータが前記所定範囲に含まれない場合、前記第２予測ステップでの予測を行ってもよい。

これによって、スケーリング処理における乗数の値となる第２パラメータに制限を設け、乗数が所定範囲内の値である場合には、さらにその乗数によって特定される重み係数が所定範囲に含まれるか否かを判断して上記のように処理を行い、一方、乗数が所定範囲を超えている場合には、予め定めた値を重み係数としてスケーリング処理を行うので、予測対象ピクチャの画素値を求めるときに、計算する演算量が小さく抑えられる。

なお、本発明は、上記画像符号化復号化装置として実現できるだけでなく、画像符号化復号化方法、画像符号化復号化方法をコンピュータに実行させるプログラム、そのプログラムを記録した記録媒体等として、実現できる。つまり、本発明は、上述のような動画像予測方法として実現することができるだけでなく、このような動画像予測方法に含まれるステップを手段とする動画像予測装置として実現したり、そのような動画像予測方法を行う動画像符号化方法・装置及び動画像復号化方法・装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る画像符号化復号化装置によって、２つの参照ピクチャを用いたスケーリング処理が効率化される。これによって、スケーリング処理に伴う計算量とメモリ容量が削減される。

つまり、予測画素値の生成や動きベクトルの生成において、重み係数の算出における除算を避けるために必要な逆数演算の回数と逆数を保存するルックアップテーブル等のメモリサイズが削減される。また、所定の有効ビット数（例えば、１６ビット）でスケーリング処理が行われ、回路規模の肥大化が回避される。

図１は、２つの参照ピクチャに基づく重み付け予測によって、Ｂピクチャの予測画素値を算出する過程を示す従来技術の一例を示す図である。図２は、Ｂピクチャ（符号化対象ブロック）が前方向のピクチャ（ブロック１）と後方向のピクチャ（ブロック２）を参照している場合の例を示す図である。図３は、Ｂピクチャ（符号化対象ブロック）が２つの前方向のピクチャ（ブロック１及びブロック２）を参照している場合の例を示す図である。図４は、従来の重み付け予測の手順を示すフローチャートである。図５は、本発明に係る動画像予測方法を用いた動画像符号化装置の一実施の形態の構成を示すブロック図である。図６は、図５における動き補償符号化部による重み付け予測の処理手順を示すフローチャートである。図７は、重み係数の算出における除算を避けるために必要なルックアップテーブルのサイズ削減に有効な処理手順を示すフローチャートである。図８は、図７における判断処理（ステップＳ７０）の具体例を示すフローチャートである。図９は、所定の有効ビット数で重み付け予測を行う処理手順を示すフローチャートである。図１０は、図９における判断処理（ステップＳ９０）の具体例を示すフローチャートである。図１１は、本発明に係る動画像予測方法を用いた動画像復号化装置の一実施の形態の構成を示すブロック図である。図１２は、実施の形態１の動画像符号化装置または実施の形態２の動画像復号化装置の構成を実現するためのプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。図１４は、本発明に係る動画像予測方法、動画像符号化装置及び画像復号化装置を用いた携帯電話を示す図である。図１５は、本発明に係る携帯電話の構成を示すブロック図である。図１６は、本発明に係るディジタル放送用システムの全体構成を示すブロック図である。

以下、本発明に係る動画像予測方法について、図面を参照しながら詳細に説明する。

（実施の形態１）
図５は、本発明に係る動画像予測方法を用いた動画像符号化装置の一実施の形態の構成を示すブロック図である。

動画像符号化装置は、ピクチャメモリ１０１、予測残差符号化部１０２、符号列生成部１０３、予測残差復号化部１０４、ピクチャメモリ１０５、動きベクトル検出部１０６、動き補償符号化部１０７、動きベクトル記憶部１０８、差分演算部１１０、加算演算部１１１、およびスイッチ１１２、１１３を備える。

ピクチャメモリ１０１は、表示時間順にピクチャ単位で入力された動画像を格納する。動きベクトル検出部１０６は、符号化済みの復号化画像データを参照ピクチャとして用いて、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルの検出を行う。

動き補償符号化部１０７は、動きベクトル検出部１０６で検出された動きベクトルを用いてブロックの符号化モードを決定し、この符号化モードに基づいて予測画像データ（予測画素値）を生成する。例えば、２枚の参照ピクチャを用いたピクチャ間予測符号化モードの場合には、動き補償符号化部１０７は、動きベクトル検出部１０６で検出された動きベクトルを用いて２枚の参照ピクチャから２つの参照ブロックの画素値を求め、予測画像データを生成する。つまり、本発明に係る特徴的なスケーリング処理によって、画素値の重み付け予測を行い、２つの参照ブロックの画素値より処理対象ブロックの画素値を求める。また、動き補償符号化部１０７は、第１参照ピクチャと第２参照ピクチャとの間隔に対応する値（所定の範囲に制限した値）とその逆数とを対応付けて記憶するルックアップテーブルを有しており、このルックアップテーブルを参照してスケーリング処理を行う。

動きベクトル記憶部１０８は、動きベクトル検出部１０６で検出された動きベクトルを記憶する。この動きベクトル記憶部１０８に記憶された動きベクトルは、例えば参照ピクチャの有する動きベクトルをスケーリング処理して処理対象ブロックの動きベクトルを予測する時間的ダイレクトモードの際に参照される。差分演算部１１０は、ピクチャメモリ１０１より読み出された画像データと、動き補償符号化部１０７より入力された予測画像データとの差分を演算し、予測残差画像データを生成する。

予測残差符号化部１０２は、入力された予測残差画像データに対して周波数変換や量子化等の符号化処理を行い、符号化データを生成する。符号列生成部１０３は、入力された符号化データに対して可変長符号化等を行い、さらに動き補償符号化部１０７から入力された動きベクトルの情報、および符号化モードの情報等を付加することにより符号列を生成する。

予測残差復号化部１０４は、入力された符号化データに対して逆量子化や逆周波数変換等の復号化処理を行い、復号化差分画像データを生成する。加算演算部１１１は、予測残差復号化部１０４より入力された復号化差分画像データと、動き補償符号化部１０７より入力された予測画像データとを加算し、復号化画像データを生成する。ピクチャメモリ１０５は、生成された復号化画像データを格納する。

次に、以上のように構成された動画像符号化装置の特徴的な動作について説明する。ここでは、一例として、動き補償符号化部１０７によるＢピクチャの予測画素値の生成、つまり、重み付け予測について、図２及び図３を参照しながら説明する。

動き補償符号化部１０７は、以下の式に基づいて、符号化対象ブロックの予測画素値を算出する。

Ｐ＝Ｐ０＋（（Ｐ１−Ｐ０）×ＢＷＤ）≫ＬＷＤ（式５）

ここで、ＢＷＤ及びＬＷＤは、以下の式６〜式９で特定される値である。

ＢＷＤ０＝（（Ｔ−Ｔ０）≪７）／（Ｔ１−Ｔ０）（式６）

ここで、「≪」は、左方向へのビットシフトを意味する。つまり、「≪７」は、「×（２の７乗）」を意味する。

ＬＷＤ０＝Ｃｅｉｌ（ｌｏｇ２（１＋（ａｂｓ（ＢＷＤ０）≫７））（式７）

ここで、関数Ｃｅｉｌ（ｘ）は、ｘを、ｘ以上で、かつ、ｘに最も近い整数に丸める関数である。関数ａｂｓ（ｘ）は、ｘの絶対値を返す関数である。

ＢＷＤ＝ＢＷＤ０≫ＬＷＤ０（式８）
ＬＷＤ＝７−ＬＷＤ０（式９）

なお、式７に示されるように、ＬＷＤ０は、ａｂｓ（ＢＷＤ０）≫７の整数値のビット数をも意味する。

以上の式から分かるように、本実施の形態では、画素値が８ビットで表現されるとすれば、上記式６、式７、式８、式９の演算は全て１６ビットの演算になる。従って、上記式５に示されるスケーリング処理は１６ビットの有効ビット数の範囲内で行われることが保証される。つまり、上記式８によって、上記式５における乗算が１６ビットの有効ビット数を超えないように、重み係数が制限されるのである。これによって、Ｂピクチャの重み付け予測は、常に１６ビットの有効ビット数内で実現される。なお、処理量の削減のために、ＢＷＤ及びＬＷＤについては、予め計算しておき、ピクチャ又はスライスの開始時点に置かれるルックアップテーブル等に格納しておいてもよい。

なお、本実施の形態では、重み係数の算出のための計算回数を削減するために、上記の制限のほかに、別の制限を適用することが可能である。それは、ブロック１の参照ピクチャが第２参照リスト（ｌｉｓｔ１）における最初の参照ピクチャでない場合には、デフォールトの重み係数を用いる、という制限である。ここでは、第２参照リストにおける最初の参照ピクチャは、第２参照リストにおけるインデックス０が付された参照ピクチャである。

ここで、参照リストとは、参照ピクチャを特定するための相対的な番号（インデックス）の列であり、Ｂピクチャが参照する２つのピクチャを特定するために、第１参照リストと第２参照リストとが用いられる。第１参照リストは１番目の動きベクトルの参照リストであり通常は前方予測に使われ、第２参照リストは２番目の動きベクトルの参照リストであり通常は後方予測に使われる。インデックスは通常は対象画像と画素相関が大きい参照ピクチャに小さい番号が割り当てられており、最も小さい番号は０である。また、重み係数のデフォールト値は、ＢＷＤ＝１、ＬＷＤ＝１が好ましい。ただし、ＬＷＤ０が７より大きい値となる場合には、異なるデフォールト値、例えば、ＢＷＤ＝１、ＬＷＤ＝０と設定されてもよい。

図６は、動き補償符号化部１０７による重み付け予測の処理手順を示すフローチャートである。まず、Ｐ０、Ｐ１、Ｔ、Ｔ０、Ｔ１が取得されると（ステップＳ５０１）、ブロック２が属する参照ピクチャが第２参照リストにおける最初の参照ピクチャ（つまり、ｌｉｓｔ１におけるインデックス０）であるか否かが判断される（ステップＳ５０２）。

その結果、ブロック２が属する参照ピクチャが第２参照リストにおける最初の参照ピクチャでない場合には（ステップＳ５０２でＮｏ）、重み係数は第１のデフォールト値に設定される（ステップＳ５０４）。ここで、「重み係数が第１のデフォールト値に設定される」とは、ＢＷＤ＝１、ＬＷＤ＝１を意味する。

一方、ブロック２が属する参照ピクチャが参照リストにおける最初の参照ピクチャである場合には（ステップＳ５０２でＹｅｓ）、時刻Ｔ１とＴ０が等しいか否かが判断される（ステップＳ５０３）。その結果、Ｔ１とＴ０が等しい場合には（ステップＳ５０３でＹｅｓ）、重み係数は第１のデフォールト値に設定され（ステップＳ５０４）、一方、Ｔ１とＴ０が等しくない場合には（ステップＳ５０３でＮｏ）、上記式６及び式７に従って、ＢＷＤ０及びＬＷＤ０が算出される（ステップＳ５０５）。

続いて、ＬＷＤ０が７よりも大きいか否かが判断され（ステップＳ５０６）、７よりも大きい場合には（ステップＳ５０６でＹｅｓ）、重み係数は第２のデフォールト値に設定される（ステップＳ５０７）。ここで、「重み係数が第２のデフォールト値に設定される」とは、ＢＷＤ＝１、ＬＷＤ＝０を意味する。一方、ＬＷＤ０が７以下である場合には（ステップＳ５０６でＮｏ）、上記式８及び式９に従って、ＢＷＤ及びＬＷＤが算出される（ステップＳ５０８）。

そして、以上のようにして決定されたＢＷＤ及びＬＷＤを用いて、上記式５に従って、符号化対象ブロックの予測画素値Ｐが算出される（ステップＳ５０９）。

このように、上記制限（ステップＳ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０６、Ｓ５０７）、つまり、一定条件が満たされた場合に重み係数を所定値に固定することで、計算の回数、及び、重み係数用のルックアップテーブルに必要とされる記憶サイズは、従来に比べ、極めて小さくなる。また、必要な除算の回数は、ルックアップテーブルに記憶する重み係数の個数から１を引いた値に等しくなる。これは、ルックアップテーブルのエントリにおける残り部分では、デフォールト値の重み係数が用いられるからである。つまり、一部の重み係数だけが計算によって算出されることになる。

なお、以上の重み付け予測は、画素値が輝度を示す場合だけでなく、色差を示す場合にも成り立つことは言うまでもない。たとえば、Ｂピクチャにおける色差のブロックの重み係数については、色差の予測値は、上記式５に式３と同様の１２８のオフセットを用いて算出することができる。よって、色差の画素値に対するスケーリングについても、従来に比べ、計算量が削減される。

以上のように、本実施の形態における動画像符号化装置によって、２つの参照ブロックを用いたスケーリング処理が効率化される。そして、計算量の削減という効果は、動画像符号化装置だけでなく、動画像復号化装置についても適用できることは言うまでもない。

なお、本実施の形態では、重み係数の算出における除算を避けるために必要なルックアップテーブルのサイズ削減と、所定の有効ビット数（例えば、１６ビット）で重み付け予測を行うことの両方を同時に実現する方法が示されたが、本発明は、必ずしも、両方の効果を同時に発揮する実現方法だけに限られない。以下、ルックアップテーブルのサイズ削減と所定の有効ビット数での重み付け予測それぞれを単独に実現する方法を説明する。

また、上記においては、ビットシフトによって所定の有効ビット数で重み付け予測を行う方法を示したが、ＢＷＤ及びＬＷＤについては固定値を用いることが可能である。ＢＷＤ及びＬＷＤを固定値とすることで、重み係数が所定の有効ビット数を超える場合があるが、この場合には以下に説明するように所定の重み係数を用いる。

図７は、重み係数の算出における除算を避けるために必要なルックアップテーブルのサイズ削減に有効な処理手順を示すフローチャートである。

まず、動き補償符号化部１０７は、図２又は図３に示されたＢピクチャの重み付け予測に際して、時刻Ｔ、Ｔ１、Ｔ０の値に応じた予測値の生成が必要か否かを判断する（ステップＳ７０）。その結果、必要と判断した場合には（ステップＳ７０でＹｅｓ）、通常通り、上記式１〜式３に従って、それらの時刻Ｔ、Ｔ１、Ｔ０の値に応じた予測値を生成する（ステップＳ７２）。一方、必要と判断しなかった場合には（ステップＳ７０でＮｏ）、２つの重み係数Ｗ０及びＷ１それぞれを１／２と設定し、上記式３に従って、予測値を生成する（ステップＳ７１）。

図８は、図７における判断処理（ステップＳ７０）の具体例を示すフローチャートである。

図８（ａ）では、動き補償符号化部１０７は、時刻Ｔ１のインデックス（時刻Ｔ１に対応する参照ピクチャの参照リストにおけるインデックス）が０であるか否かよって（ステップＳ８０）、所定の重み係数（例えば、Ｗ０＝Ｗ１＝１／２）を用いて予測値を生成するか（ステップＳ８１）、または、上記式１〜式３に従って、時刻Ｔ、Ｔ１、Ｔ０を用いて予測値を生成するか（ステップＳ８２）を、切り替える。これによって、例えば、時刻Ｔ１のインデックスが０となる場合だけについて、時間関係に依存した重み係数の算出が必要となるので、そのような場合に対応する重み係数だけをルックアップテーブルに格納しておくことで、全ての場合における重み係数を格納する従来に比べ、テーブルのサイズが削減される。

図８（ｂ）では、動き補償符号化部１０７は、時刻Ｔ１のインデックス（時刻Ｔ１に対応する参照ピクチャの参照リストにおけるインデックス）が所定値（例えば、２）以下であるか否かよって（ステップＳ８５）、所定の重み係数（例えば、Ｗ０＝Ｗ１＝１／２）を用いて予測値を生成するか（ステップＳ８６）、または、上記式１〜３に従って、時刻Ｔ、Ｔ１、Ｔ０を用いて予測値を生成するか（ステップＳ８７）を、切り替える。これによって、例えば、参照ピクチャのインデックスが所定値以下となる場合だけについて、時間関係に依存した重み係数の算出が必要となるので、そのような場合に対応する重み係数だけをルックアップテーブルに格納しておくことで、全ての場合における重み係数を格納する従来に比べ、テーブルのサイズが削減される。

図９は、所定の有効ビット数で重み付け予測を行う処理手順を示すフローチャートである。

まず、動き補償符号化部１０７は、図２又は図３に示されたＢピクチャの重み付け予測に際して、時刻Ｔ、Ｔ１、Ｔ０の値に応じて、所定の有効ビット数で予測値を生成することが可能か否かを判断する（ステップＳ９０）。その結果、可能と判断した場合には（ステップＳ９０でＹｅｓ）、通常通り、上記式１〜式３に従って、それらの時刻Ｔ、Ｔ１、Ｔ０の値に応じた予測値を生成する（ステップＳ９２）。一方、不可能と判断した場合には（ステップＳ９０でＮｏ）、２つの重み係数Ｗ０及びＷ１それぞれを１／２と設定し、上記式３に従って、予測値を生成する（ステップＳ９１）。

図１０は、図９における判断処理（ステップＳ９０）の具体例を示すフローチャートである。

図１０（ａ）は、画素値の重み付け予測における具体例を示す図である。ここでは、動き補償符号化部１０７は、時刻Ｔ１と時刻Ｔとの差（Ｔ１−Ｔ）が所定範囲内（例えば、−２〜２）であるか否かよって（ステップＳ１００）、所定の重み係数（例えば、Ｗ０＝Ｗ１＝１／２）を用いて予測値を生成するか（ステップＳ１０１）、または、上記式１〜式３に従って、時刻Ｔ、Ｔ１、Ｔ０を用いて予測値を生成するか（ステップＳ１０２）を、切り替える。これによって、予測画素値の生成において、重み係数が一定値を超える場合、つまり、一定のビット数で表現できない事態が生じ得る場合には、重み係数は所定値（一定のビット数で表現される値）に設定されるので、常に、一定の有効ビット数による重み付け予測が確保される。

図１０（ｂ）は、画素値の重み付け予測における具体例を示す図である。ここでは、動き補償符号化部１０７は、時刻Ｔ１と時刻Ｔ０との差（Ｔ１−Ｔ０）が所定範囲内（例えば、−２〜２）であるか否かよって（ステップＳ１０５）、所定の重み係数（例えば、Ｗ０＝Ｗ１＝１／２）を用いて予測値を生成するか（ステップＳ１０６）、または、上記式１〜式３に従って、時刻Ｔ、Ｔ１、Ｔ０を用いて予測値を生成するか（ステップＳ１０６）を、切り替える。これによって、予測画素値の生成において、重み係数が一定値を超える場合、つまり、一定のビット数で表現できない事態が生じ得る場合には、重み係数は所定値（一定のビット数で表現される値）に設定されるので、常に、一定の有効ビット数による重み付け予測が確保される。

（実施の形態２）
次に、本発明に係る動画像予測方法を用いた動画像復号化装置について説明する。

図１１は、本発明に係る動画像予測方法を用いた動画像復号化装置の一実施の形態の構成を示すブロック図である。

動画像復号化装置は、符号列解析部２０１、予測残差復号化部２０２、ピクチャメモリ２０３、動き補償復号化部２０４、動きベクトル記憶部２０５、加算演算部２０７、およびスイッチ２０８を備える。

符号列解析部２０１は、入力された符号列より、符号化モードの情報、および符号化時に用いられた動きベクトルの情報等の各種データの抽出を行う。予測残差復号化部２０２は、入力された予測残差符号化データの復号化を行い、予測残差画像データを生成する。

動き補償復号化部２０４は、符号化時の符号化モードの情報、および動きベクトルの情報等に基づいて、動き補償画像データを生成する。例えば、２枚の参照ピクチャを用いたピクチャ間予測符号化モードで符号化されている場合には、動き補償復号化部２０４は、符号列解析部２０１で抽出された動きベクトルを用いて２枚の参照ピクチャから２つの参照ブロックの画素値を求め、動き補償画像データを生成する。つまり、本発明に係る特徴的なスケーリング処理によって、画素値の重み付け予測を行い、２つの参照ブロックの画素値より処理対象ブロックの画素値を求める。また、動き補償復号化部２０４は、第１参照ピクチャと第２参照ピクチャとの間隔に対応する値とその逆数とを対応付けて記憶するルックアップテーブルを有しており、このルックアップテーブルを参照してスケーリング処理を行う。

動きベクトル記憶部２０５は、符号列解析部２０１により抽出された動きベクトルを記憶する。この動きベクトル記憶部２０５に記憶された動きベクトルは、例えば復号化対象ブロックが時間的ダイレクトモードにより符号化されている場合に参照される。加算演算部２０７は、予測残差復号化部２０２より入力された予測残差符号化データと、動き補償復号化部２０４より入力された動き補償画像データとを加算し、復号化画像データを生成する。ピクチャメモリ２０３は、生成された復号化画像データを格納する。

以上のように構成された動画像復号化装置の特徴的な動作、つまり、動き補償復号化部２０４による画素値の重み付け予測について説明する。

動き補償復号化部２０４は、基本的には、動画像符号化装置が備える動き補償符号化部１０７と同様の機能を有する。例えば、スケーリング処理による画素値の重み付け予測においては、図６に示されるように、時刻Ｔ１のインデックス値や時刻Ｔ１と時刻Ｔ０との一致性に基づいて（ステップＳ５０１〜Ｓ５０３）、ＢＷＤ及びＬＷＤにデフォールト値を設定したり（ステップＳ５０４、Ｓ５０７）、上記式６〜式９に従ってＢＷＤ及びＬＷＤを特定し（ステップＳ５０８）、特定したＢＷＤ及びＬＷＤを用いて、上記式５に従って、符号化対象ブロックＰの予測画素値を算出する（ステップＳ５０９）。

なお、動き補償復号化部２０４は、図７及び図８に示されるように、重み係数の算出における除算を避けるために必要なルックアップテーブルのサイズ削減に有効な処理だけを行ってもよい。つまり、動き補償復号化部２０４は、図２又は図３に示されたＢピクチャの重み付け予測に際して、時刻Ｔ、Ｔ１、Ｔ０の値に応じた予測値の生成が必要か否かを判断し（ステップＳ７０）、その結果、必要と判断した場合には（ステップＳ７０でＹｅｓ）、通常通り、上記式１〜式３に従って、それらの時刻Ｔ、Ｔ１、Ｔ０の値に応じた予測値を生成し（ステップＳ７２）、一方、必要と判断しなかった場合には（ステップＳ７０でＮｏ）、２つの重み係数Ｗ０及びＷ１それぞれを１／２と設定し、上記式３に従って、予測値を生成する（ステップＳ７１）。

これによって、時刻Ｔ、Ｔ１、Ｔ０に応じた予測値の生成が必要となる場合だけについて、時間関係に依存した重み係数の算出が必要となるので、そのような場合に対応する重み係数だけをルックアップテーブルに格納しておくことで、全ての場合における重み係数を格納する従来に比べ、テーブルのサイズが削減される。

同様に、動き補償復号化部２０４は、図９及び図１０に示されるように、所定の有効ビット数で重み付け予測を行う処理を行ってもよい。つまり、動き補償復号化部２０４は、図２又は図３に示されたＢピクチャの重み付け予測に際して、時刻Ｔ、Ｔ１、Ｔ０の値に応じて、所定の有効ビット数で予測値を生成することが可能か否かを判断し（ステップＳ９０）、その結果、可能と判断した場合には（ステップＳ９０でＹｅｓ）、通常通り、上記式１〜式３に従って、それらの時刻Ｔ、Ｔ１、Ｔ０の値に応じた予測値を生成し（ステップＳ９２）、一方、不可能と判断した場合には（ステップＳ９０でＮｏ）、２つの重み係数Ｗ０及びＷ１それぞれを１／２と設定し、上記式３に従って、予測値を生成する（ステップＳ９１）。

これによって、時刻Ｔ、Ｔ１、Ｔ０を用いて所定の有効ビット数で予測ができない場合、つまり、重み係数が一定値を超えるために一定のビット数で予測値を表現することができない事態が生じる場合には、重み係数は所定値（一定のビット数で表現される値）に設定されるので、常に、一定の有効ビット数による重み付け予測が確保される。

（実施の形態３）
次に、本発明に係る動画像予測方法、動画像符号化装置及び動画像復号化装置を別の形態で実現した例について説明する。

上記各実施の形態で示した動画像符号化装置または動画像復号化装置の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１２は、上記実施の形態１の動画像符号化装置または実施の形態２の動画像復号化装置の構成を実現するためのプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化装置が記録されている。

また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化装置または動画像復号化装置をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像予測方法、動画像符号化装置、動画像復号化装置の応用例とそれを用いたシステムを説明する。

図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Personal Digital Assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division
Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（登録商標）（Global System for Mobile Communications）方式の
携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

図１４は、上記実施の形態で説明した動画像予測方法、動画像符号化装置及び画像復号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図１５を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２
０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図１５に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像予測方法、動画像符号化装置及び画像復号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

以上、本発明に係る動画像予測方法、動画像符号化装置及び動画像復号化装置について、実施の形態に基づいて説明したが、本発明はこの実施の形態に限られない。

例えば、図７における判断（Ｔ，Ｔ１，Ｔ０に応じた予測値の生成が必要か否かの判断；ステップＳ７０）、及び、図９における判断（Ｔ，Ｔ１，Ｔ０に応じて、所定の有効ビット数で予測値の生成が可能か否かの判断；ステップＳ９０）は、上記式１及び式２に示される重み係数Ｗ０及びＷ１を算出する式の除数（分母の値）の値だけに限られず、乗数（分子の値）の値や、重み係数Ｗ０及びＷ１の値によって判断してもよい。さらに、それら重み係数Ｗ０及びＷ１を乗じた値によって判断してもよい。

以上のように、本発明に係る復号化システム、復号化装置、復号化方法および集積回路は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、予測画素値を生成したり、生成された符号列を復号化したりするためのシステム、装置および方法等として有用である。

１０１ピクチャメモリ
１０２予測残差符号化部
１０３符号列生成部
１０４予測残差復号化部
１０５ピクチャメモリ
１０６動きベクトル検出部
１０７動き補償符号化部
１０８動きベクトル記憶部
１１０差分演算部
１１１加算演算部
１１２スイッチ
２０１符号列解析部
２０２予測残差復号化部
２０３ピクチャメモリ
２０４動き補償復号化部
２０５動きベクトル記憶部
２０７加算演算部

Claims

ピクチャを予測符号化する画像符号化装置と、予測符号化されたピクチャを予測復号化する画像復号化装置とから構成される画像符号化復号化装置であって、
前記画像符号化装置は、
第１及び第２の参照ピクチャの画素値を用いて対象ピクチャの予測画素値を生成し、該予測画素値を用いて前記対象ピクチャを予測符号化する画像符号化装置であって、
前記対象ピクチャと第１の参照ピクチャとの間隔に対応する第１のパラメータを算出する第１のパラメータ算出手段と、
前記第１の参照ピクチャと第２の参照ピクチャとの間隔に対応する第２のパラメータを算出する第２のパラメータ算出手段と、
前記第１のパラメータおよび前記第２のパラメータとの比に基づいて算出される第３のパラメータの値があらかじめ設定された所定範囲に含まれるか否かを判断する判断手段と、
（ｉ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれる場合には、前記第１及び第２のパラメータを用いて算出される重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出し、
（ｉｉ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれない場合には、所定値の重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出する、予測画素値生成手段と、
前記予測画素値生成手段によって算出された予測画素値を用いて、前記対象ピクチャを符号化する符号化手段と、を備え、
前記画像復号化装置は、
第１及び第２の参照ピクチャの画素値を用いて対象ピクチャの予測画素値を生成し、該予測画素値を用いて前記対象ピクチャを予測復号化する画像復号化装置であって、
前記対象ピクチャと第１の参照ピクチャとの間隔に対応する第１のパラメータを算出する第１のパラメータ算出手段と、
前記第１の参照ピクチャと第２の参照ピクチャとの間隔に対応する第２のパラメータを算出する第２のパラメータ算出手段と、
前記第１のパラメータおよび前記第２のパラメータとの比に基づいて算出される第３のパラメータの値があらかじめ設定された所定範囲に含まれるか否かを判断する判断手段と、
（ｉｉｉ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれる場合には、前記第１のパラメータおよび前記第２のパラメータを用いて算出される重み係数を用いて、前記第１及び前記第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出し、
（ｉｖ）前記判断手段において、前記第３のパラメータの値が前記所定範囲に含まれない場合には、所定値の重み係数を用いて、前記第１及び第２の参照ピクチャの画素値をスケーリングすることにより、前記対象ピクチャの予測画素値を算出する、予測画素値生成手段と、
前記予測画素値生成手段によって算出された予測画素値を用いて、前記対象ピクチャを復号化する復号化手段と、を備える
ことを特徴とする画像符号化復号化装置。
前記間隔とは、時間間隔である、
ことを特徴とする請求項１記載の画像符号化復号化装置。