JP5261774B2 - 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 - Google Patents

Description

本発明は、明るさが時間的に変化する動画像をスケーラブルに符号化する動画像スケーラブル符号化方法およびその装置と、その動画像スケーラブル符号化により符号化された符号化データを復号する動画像スケーラブル復号方法およびその装置と、その動画像スケーラブル符号化方法の実現に用いられる動画像スケーラブル符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その動画像スケーラブル復号方法の実現に用いられる動画像スケーラブル復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００７年１０月２５日に出願された特願２００７−２７７２２４号に基づき優先権を主張し、その内容をここに援用する。

一般的な動画像符号化方式では、フレーム間の画素値差分最小化に基づいたブロックマッチングにより動き予測を行い、符号化性能の向上を図っている。しかしながら、フェードのような明るさが時間的に変化する画像では、明るさ変化の分だけ動き予測の予測残差が拡大し、符号化性能が低下してしまう。

そこで、非特許文献１に示すＨ．２６４／ＡＶＣでは、動き予測の参照ピクチャに適応的に重み係数を掛ける重み付き動き予測を行っている。この重み付き動き予測により、時間的な明るさ変化を補正した予測参照信号を構成し、符号化性能を向上させている。

Ｈ．２６４／ＡＶＣでは、明るさの補正に用いる重み係数を符号化して伝送するＥｘｐｌｉｃｉｔモードと、重み係数を伝送せずにエンコーダとデコーダで同じ重み係数を参照フレームの情報から間接的に生成するＩｍｐｌｉｃｉｔモードの２つの重み付き動き予測の方法を備えている。表１に、ＰスライスおよびＢスライスにおける重み付き動き予測の種類と予測方法を示す。

この表１で、ｚは重み付き動き予測信号、ｒ₀ ，ｒ₁ は重み付き動き予測参照信号、ｗ₀ ，ｗ₁ ，ｄ₀ ，ｄ₁ は重み係数を指している。重み付き動き予測のスイッチングと重み係数伝送モードの選択は、スライス単位で実行される。

図２０は、Ｈ．２６４／ＡＶＣにおける重み付き動き予測（Ｉｍｐｌｉｃｉｔモード）を説明する図である。Ｉｍｐｌｉｃｉｔモードは、Ｂスライスの双予測の場合にのみ用いられる。符号化対象フレームと２枚の被参照フレームに渡る明るさ変化が線形であると仮定し、比例係数ｗ₀ ，ｗ₁ を被参照フレームからの距離に応じて算出する。オフセット係数ｄは０とする。

なお、図２０では参照フレームからの距離に応じた内分による比例係数算出の例を示しているが、外分の場合も同様に行うことができる。

現在、非特許文献２に示すＩＳＯとＩＴＵ−Ｔの合同団体であるＪＶＴで取り組まれているＨ．２６４／ＡＶＣのスケーラブル拡張方式ＪＳＶＣにおいても、前記に示したＨ．２６４／ＡＶＣと同じ重み付き動き予測が取り入れられている。また、非特許文献３に示すＪＳＶＣの参照エンコーダＪＳＶＭにおいても、表１に示した重み付き動き予測を行っている。

また、動画像の大局的な輝度変化を検出し、輝度補償を行う技術として、特許文献１に記載された技術が知られている。この特許文献１に記載の技術では、画面全体の大局的な輝度変化量と、小領域ごとに輝度変化の補償をするか否かの判定を示すフラグとを用いることで、明るさの変化が画面内で一様でない場合に対応している。
ITU-T: "Advanced video coding for generic audiovisual services", ITU-T Rec. H.264, pp. 129-132, May, 2003. T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz and M.Wien: "Joint Draft 8 of SVC Amendment", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U201, pp. 166-170, October, 2006. J.Reichel, H.Schwarz and M.Wien: "Joint Scalable Video Model JSVM-8", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, October, 2006. 特開平１０−３２８２４号公報

Ｈ．２６４／ＡＶＣの重み付き動き予測はスライス単位で実行される。したがって、スライス内の一部に明るさ変化が発生する場合や、スライス内の明るさ変化が一様でない場合には、重み付き動き予測の予測性能は低下してしまう。移動物体の影などによって発生する明るさ変化などが、前記に該当する。ＪＳＶＣもＨ．２６４／ＡＶＣの重み付き動き予測を継承しているため、前述と同じ問題に直面する。

仮に、スライスより細かいマクロブロックなどの単位で重み係数を算出し、重み付き動き予測を実行しようとすると、Ｅｘｐｌｉｃｉｔモードでは重み係数に要する符号量が甚大となってしまう。そのような場合には、Ｉｍｐｌｉｃｉｔモードで重み係数を算出することが望ましい。しかしながら、前述の通り、Ｈ．２６４／ＡＶＣの重み付き動き予測のＩｍｐｌｉｃｉｔモードの実装は、双予測を行うＢスライスのみに限られている。

また、この重み付き動き予測のＩｍｐｌｉｃｉｔモードで算出される重み係数は、符号化対象フレームと２枚の被参照フレームにわたる明るさ変化が線形であるという仮定に基づくものであるため、それら３フレームにわたる明るさの時間的変化が非線形の場合には、適切な重み係数が算出されず、予測性能は低下してしまう。非線形に明るさが変化するフェード画像や、フラッシュを含む画像などが、前記に該当する。
ＪＳＶＣにおける重み付き動き予測は、Ｈ．２６４／ＡＶＣの重み付き動き予測がそのまま実装されているので前述と同じ問題に直面する。

また、前記特許文献１に記載されている技術では、小領域ごとにフラグの情報を伝送する必要があるので、符号化性能が低下するという問題、当該小領域の輝度変化量が大きく、かつ、大局的な輝度変化量と乖離する場合においても、当該小領域における輝度変化を補償できないため、その点においても符号化性能が低下するという問題があった。

本発明はかかる事情に鑑みてなされたものであって、最も低い空間解像度を有する基本レイヤと、それより高い空間解像度を有する一つ以上の拡張レイヤによって構成される空間スケーラブル符号化において、動き予測の被参照フレームの復号信号と符号化対象フレームの直下レイヤの復号信号との間の時間的な明るさ変化の情報に基づいた重み付き動き予測の重み係数を生成し、重み係数の情報を伝送することなく符号化器および復号器で同じ重み係数を用いた重み付き動き予測を行うスケーラブル符号化器および復号器の設計方法を確立することを目的とする。

〔１〕本発明の動画像スケーラブル符号化装置の構成
前記の目的を達成するために、本発明の動画像スケーラブル符号化装置は、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、前記手段は、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定するように構成する。

また、本発明の動画像スケーラブル符号化装置は、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、前記手段は、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定するように構成する。

また、本発明の動画像スケーラブル符号化装置は、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、前記手段は、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定するように構成する。

この構成を採るときに、算出手段は、直下画像領域において発生した動き予測の予測残差信号についても考慮することで精度の向上を図る場合には、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすようにしても良い。

また、この構成を採るときに、算出手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、直流成分とみなす直流成分を算出するようにしても良い。

以上の各処理手段が動作することで実現される本発明の動画像スケーラブル符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２〕本発明の動画像スケーラブル復号装置の構成
前記の目的を達成するために、本発明の動画像スケーラブル復号装置は、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、前記手段は、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定するように構成する。

また、本発明の動画像スケーラブル復号装置は、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、前記手段は、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定するように構成する。

また、本発明の動画像スケーラブル復号装置は、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、前記手段は、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定するように構成する。

この構成を採るときに、算出手段は、直下画像領域において発生した動き予測の予測残差信号についても考慮することで精度の向上を図る場合には、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすようにしても良い。

また、この構成を採るときに、算出手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、直流成分とみなす直流成分を算出するようにしても良い。

以上の各処理手段が動作することで実現される本発明の動画像スケーラブル復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

本発明によれば、移動物体の影などによって画像内の一部の明るさが変化するような場合においても、復号処理に必要とするメモリと計算時間を節約しながら、重み係数を伝送しないＩｍｐｌｉｃｉｔモードによって精度の高い重み付き動き予測を実行することができるようになる。

そして、本発明によれば、従来ＥｘｐｌｉｃｉｔモードしかとることができなかったＰスライスおよびＢスライスのＬ０／Ｌ１予測といった片方向予測の場合においても、復号処理に必要とするメモリと計算時間を節約しながら、重み係数を伝送しないＩｍｐｌｉｃｉｔモードによって精度の高い重み付き動き予測を実行することができるようになる。

そして、本発明によれば、フラッシュを含む画像や非線形変化のフェード画像のような符号化／復号処理対象フレームと複数の予測参照フレームとの間の明るさ変化が非線形の画像においても、復号処理に必要とするメモリと計算時間を節約しながら、重み係数を伝送しないＩｍｐｌｉｃｉｔモードで精度の高い重み付き動き予測を実行することができるようになる。

以上のような重み付き動き予測の性能向上により、本発明によれば、符号化効率の向上が見込める。

フレーム間の明るさの変化を説明する図である。 予測性能が劣化する例を示す図である。 本発明の概念を説明する図である。 補正対象フレームおよび被補正フレームの説明図である。 特願2007-174161の発明における重み係数の算出方法の説明図である。 特願2007-174161の発明における重み係数の算出方法の説明図である。 同様に、特願2007-174161の発明における重み係数の算出方法の説明図である。 同様に、特願2007-174161の発明における重み係数の算出方法の説明図である。 本発明の概念を説明する図である。 同様に、本発明の概念を説明する図である。 本発明の有効性を検証するために行った実験の実験結果の説明図である。 本発明による符号化処理の実施例のフローチャートである。 本発明による復号処理の実施例のフローチャートである。 本発明による重み付き動き推定処理の実施例のフローチャートである。 本発明による重み付き動き補償処理の実施例のフローチャートである。 本発明による重み係数算出処理の実施例のフローチャートである。 本発明による直下ブロック直流成分推定処理の実施例のフローチャートである。 本発明による符号化装置の実施例の構成図である。 本発明による復号装置の実施例の構成図である。 本発明による重み付き動き推定部の実施例の構成図である。 本発明による重み付き動き補償部の実施例の構成図である。 本発明による重み係数算出部の実施例の構成図である。 本発明による直下ブロック直流成分推定部の実施例の構成図である。 Ｈ．２６４／ＡＶＣにおける重み付き動き予測の説明図である。

符号の説明

１０１ 予測方法判定部
１０２ 画面内予測部
１０３ 重み無し動き予測部
１０４ レイヤ間予測部
１０５ 重み付き動き推定部
１０６ 重み付き動き補償部
１０７ 予測残差信号生成部
１０８ 予測残差信号符号化部
１０９ 復号部
１１０ 当該拡張レイヤ復号信号記憶部
１１１ 直下レイヤ符号化情報記憶部
２０１ 予測モード復号部
２０２ 予測モード記憶部
２０３ 予測方法判定部
２０４ 画面内予測部
２０５ 重み無し動き予測部
２０６ レイヤ間予測部
２０７ 動きベクトル情報復号部
２０８ 動きベクトル情報記憶部
２０９ 重み付き動き補償部
２１０ 直下レイヤ符号化情報記憶部
２１１ 残差信号復号部
２１２ 残差信号記憶部
２１３ 復号信号生成部
２１４ 当該拡張レイヤ復号信号記憶部

まず、本発明の概要について説明する。
ここでの説明では、説明の便宜上、画像領域に相当するものをブロックと記載し、画像領域の直流成分に相当するものを平均値と記載して説明する。

Ｉｍｐｌｉｃｉｔモードは、重み付き動き予測で必要となる重み係数を間接的に算出することで、余分な符号化情報を伝送しない方式である。したがって、算出される重み係数が明るさの変化を十分に反映するものであるならば、非常に効果的な手法となるが、それらが乖離すると予測性能が低下することになる。

非線形のフェード画像やフラッシュ画像では、フレーム間の明るさの変化が図１Ａに示すように非線形となる。
このような場合に、予測参照信号に対して重み係数のみによる線形予測を行うと、図１Ｂに示すように予測性能が劣化する。

そこで、双予測における重み付き動き予測では、オフセット係数ｄを設けているが、前述したＪＳＶＣのＩｍｐｌｉｃｉｔモードでは、このオフセット係数ｄがゼロにセットされるため、乖離量がそのまま予測残差として表れてしまう。

一方、Ｍ×Ｎサイズの符号化対象ブロックの座標（ｍ，ｎ）における原信号をｓ^mnと表し、双予測における２つの被参照ブロックの座標（ｍ，ｎ）における復号信号をｙ₀ ^mn，ｙ₁ ^mn と表し、符号化対象ブロックに重み係数（ｗ_0,ｗ_1,ｄ）を割り当てると、重み係数（ｗ_0,ｗ_1,ｄ）により算出される重み付き予測信号と原信号の誤差ｅは、
ｅ^mn＝ｓ^mn−（ｗ₀ ｙ₀ ^mn＋ｗ₁ ｙ₁ ^mn＋ｄ）
となるので、符号化対象ブロックにおける予測誤差ｅ^mnの総エネルギーＥは、
Ｅ＝Σ_m Σ_n （ｓ^mn−（ｗ₀ ｙ₀ ^mn＋ｗ₁ ｙ₁ ^mn＋ｄ))²
となる。

ｗ_0,ｗ₁ が図２０と同じように与えられるとすると、この総エネルギーＥを最小化するオフセット係数ｄは、「∂Ｅ／∂ｄ＝０」を解くことで、
ｄ＝＜ｓ＞−ｗ₀ ＜ｙ₀ ＞−ｗ₁ ＜ｙ₁ ＞
＜ｓ＞ ： 符号化対象ブロックの原信号の平均値
＜ｙ₀ ＞ ： 被参照ブロックの復号信号の平均値
＜ｙ₁ ＞ ： 被参照ブロックの復号信号の平均値
と求まる。

しかし、復号器では原信号を参照できない。そこで、本発明では、レイヤ間の平均値の保存性に着目して、図１Ｃに示すように、原信号の平均値＜ｓ＞の代わりに、直下レイヤにおける符号化対象ブロックと空間的同位置に存在するブロック（直下ブロック）の復号信号の平均値＜ｘ＞を用いて、オフセット係数ｄを、
ｄ≒＜ｘ＞−ｗ₀ ＜ｙ₀ ＞−ｗ₁ ＜ｙ₁ ＞
と求めるようにする。

しかるに、直下レイヤにおける符号化対象ブロックと空間的同位置に存在する直下ブロックの復号信号の平均値＜ｘ＞を求めるには、直下レイヤの復号信号をすべて復号する必要があり、大きな容量のメモリが必要になるとともに、長い計算時間が必要になる。

そこで、本発明では、双予測における重み付き動き予測において、
ｄ≒＜ｘ＞−ｗ₀ ＜ｙ₀ ＞−ｗ₁ ＜ｙ₁ ＞
という算出式に従ってオフセット量を求めるときに、直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックを同定し、その直下レイヤ被参照ブロックと空間的同位置に存在する上位レイヤのブロックの復号信号の平均値に対して、直下ブロックが重み付き動き予測の際に利用した重み係数を演算したものを直下ブロックの復号信号の平均値とみなすことで、＜ｘ＞を求めるようにしている。

直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックについては、直下レイヤのすべての信号を復号しなくても動きベクトルなどの一部の情報を復号することで特定可能であることから、本発明によれば、「大きな容量のメモリが必要になるとともに、長い計算時間が必要になる」という問題も起こらない。

また、重み係数ｗ_0,ｗ₁ については、符号化対象ブロックと各被参照ブロックとの間のフレーム間距離に応じて算出されるものとなることで復号側でも求めることができるものであり、さらに、オフセット係数ｄについても、復号信号で算出できるようになることから復号側でも求めることができることになり、これにより、本発明によれば、重み係数を復号側に伝送する必要がない。

したがって、本発明によれば、双予測における重み付き動き予測において、Ｉｍｐｌｉｃｉｔモードを実現しつつ、フレーム間の明るさが非線形に変化するような場合にも、高精度の重み付き動き予測を、少ないメモリ容量で、かつ、短時間に実行することができるようになる。

なお、この本発明の技術思想は、片方向予測における重み付き動き予測にも適用できるものである。

すなわち、片方向予測における重み付き動き予測では、
（ｉ）比例係数として、被参照ブロックの復号信号の平均値と符号化対象ブロックの原信号の平均値との比を用いるとともに、オフセット係数としてゼロを用いる、あるいは、
（ii）オフセット係数として、被参照ブロックの復号信号の平均値と符号化対象ブロックの復号信号の平均値との差を用いるとともに、比例係数として１を用いる
ことになる。

しかし、復号器では原信号を参照できない。そこで、本発明では、レイヤ間の平均値の保存性に着目して、符号化対象ブロックの原信号の平均値の代わりに、直下ブロックの復号信号の平均値を用いて、上述の比や差を求めるようにする。

しかるに、直下ブロックの復号信号の平均値を求めるには、直下レイヤの復号信号をすべて復号する必要があり、大きな容量のメモリが必要になるとともに、長い計算時間が必要になる。

そこで、本発明では、片方向予測における重み付き動き予測において、直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックを同定し、その直下レイヤ被参照ブロックと空間的同位置に存在する上位レイヤのブロックの復号信号の平均値に対して、直下ブロックが重み付き動き予測の際に利用した重み係数を演算したものを直下ブロックの復号信号の平均値とみなすことで、前述の比や差を求めるようにする。

直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックについては、直下レイヤの復号信号をすべて復号しなくても動きベクトルなどの一部の情報を復号することで特定可能であることから、本発明によれば、「大きな容量のメモリが必要になるとともに、長い計算時間が必要になる」という問題も起こらない。

また、重み係数については、復号信号で算出できるようになることから復号側でも求めることができるようになり、これにより、本発明によれば、重み係数を復号側に伝送する必要がない。

したがって、本発明によれば、片方向予測における重み付き動き予測においても、Ｉｍｐｌｉｃｉｔモードを実現しつつ、フレーム間の明るさが非線形に変化するような場合にも、高精度の重み付き動き予測を、少ないメモリ容量で、かつ、短時間に実行することができるようになる。
以下、実施の形態に従って本発明を詳細に説明する。

前述したように、Ｈ．２６４／ＡＶＣの重み付き動き予測はスライス単位で実行される。したがって、スライス内の一部に明るさ変化が発生する場合や、スライス内の明るさ変化が一様でない場合には、重み付き動き予測の予測性能は低下してしまう。移動物体の影などによって発生する明るさ変化などが、前記に該当する。ＪＳＶＣもＨ．２６４／ＡＶＣの重み付き動き予測を継承しているため、前述と同じ問題に直面する。

仮に、スライスより細かいマクロブロックなどの単位で重み係数を算出し、重み付き動き予測を実行しようとすると、Ｅｘｐｌｉｃｉｔモードでは重み係数に要する符号量が甚大となってしまう。そのような場合には、Ｉｍｐｌｉｃｉｔモードで重み係数を算出することが望ましい。しかしながら、前述の通り、Ｈ．２６４／ＡＶＣの重み付き動き予測のＩｍｐｌｉｃｉｔモードの実装は、双予測を行うＢスライスのみに限られている。

また、この重み付き動き予測のＩｍｐｌｉｃｉｔモードで算出される重み係数は、符号化対象フレームと２枚の被参照フレームにわたる明るさ変化が線形であるという仮定に基づくものであるため、それら３フレームにわたる明るさの時間的変化が非線形の場合には、適切な重み係数が算出されず、予測性能は低下してしまう。非線形に明るさが変化するフェード画像や、フラッシュを含む画像などが、前記に該当する。ＪＳＶＣにおける重み付き動き予測は、Ｈ．２６４／ＡＶＣの重み付き動き予測がそのまま実装されているので前述と同じ問題に直面する。

このような事情に鑑みて、本発明者は、先に出願した特願2007-174161(平成19年７月２日出願）で、これらの問題を解決できるようにする新たな発明を出願した。

この特願2007-174161 で出願した発明では、符号化対象フレームの直下レイヤの復号信号を利用して重み係数を算出する。

次に、特願2007-174161 で出願した発明で導出した重み係数の算出方法について説明する。

特願2007-174161 で出願した発明では、以下の手順により、スケーラブル符号化の重み付き動き推定および重み付き動き補償に用いる重み係数を算出する。
従来のＩｍｐｌｉｃｉｔモードでは、一つのレイヤ内に閉じて、時間的な明るさの変化を被参照フレームからの距離に応じた内挿または外挿によって推定し、重み係数を算出している。
本発明（特願2007-174161）では、その時間的な明るさの変化の推定に、符号化／復号対象のレイヤの直下レイヤの復号信号の情報を用いることにより、その推定精度を向上させる。

手順の説明にあたり、説明に使用する記号を整理する。
当該拡張レイヤの符号化／復号処理対象フレーム（以降、補正対象フレーム）をｆ、ＰスライスまたはＢスライスにおけるＬ０予測の重み付き動き推定／補償被参照フレーム（以降、被補正フレーム）をｆ₀ 、ＢスライスにおけるＬ１予測の被補正フレームをｆ₁ とおく。また、補正対象フレームｆと同時刻の直下レイヤのフレームをｇとおく。

また、フレームｆにおける符号化／復号処理対象ブロック（以降、補正対象ブロック）の座標（ｉ，ｊ）に代入される予測信号値をｚ（ｉ，ｊ）、また、フレームｆ₀ における重み付き動き推定／補償被参照ブロック（以降、被補正ブロック）の座標（ｉ，ｊ）における復号信号値をｙ₀ （ｉ，ｊ）とおく。また、フレームｇにおけるフレームｆの補正対象ブロックと空間的同位置に位置するブロックの座標（ｉ，ｊ）における復号信号値をｘ（ｉ，ｊ）とおく。

以上を図２に図示する。図２は、当該拡張レイヤと直下レイヤの解像度比が、縦横ともに２：１の場合の図である。なお、解像度比が２：１以外の場合にも、同様の処理が可能である。

また、フレームｆ₀ における被補正ブロックの直流成分値をＹ₀ 、また、フレームｇにおけるフレームｆの補正対象ブロックと空間的同位置に位置するブロックの直流成分値をＸとする。これらは、図２の場合、次のように算出される。

《ＰスライスおよびＬ０／Ｌ１予測Ｂスライスにおける重み係数の算出方法》
ＰスライスおよびＬ０／Ｌ１予測を行うＢスライスのような単一フレームの予測の場合、予測信号値ｚ（ｉ，ｊ）は以下のようにして算出される。

・ＰスライスまたはＬ０予測Ｂスライスの場合
ｚ（ｉ，ｊ）＝ｗ₀ ・ｙ₀ （ｉ，ｊ）＋ｄ₀
・Ｌ１予測Ｂスライスの場合
ｚ（ｉ，ｊ）＝ｗ₁ ・ｙ₁ （ｉ，ｊ）＋ｄ₁ ・・・・ （３）式
本発明（特願2007-174161）では、この重み係数ｗ₀ とｄ₀ 、またはｗ₁ とｄ₁ の算出方法を２つ列挙する。
以降に記す算出方法の説明は、ＰスライスまたはＬ０予測Ｂスライスの場合を例にとっている。Ｌ１予測Ｂスライスの場合には、フレームｆ₀ およびｇ₀ に関わる要素をフレームｆ₁ およびｇ₁ に関わる要素に変更すればよい。

２つの算出方法は、以下の仮定に基づいている。フレームｆとフレームｇは同時刻の情報であるため、信号の明るさは近いと予想される。そこで、既知のフレームｇの明るさ情報を利用し、被補正フレームｆ₀ から補正対象フレームｆの明るさ変化を間接的に予測する。

〔方法１−１〕単一フレーム予測における直流成分を用いた比例係数補正
本方法では、以下のように重み係数を算出する。

ｗ₀ ＝Ｘ／Ｙ₀ ・・・・ （４）式
ｄ₀ ＝０ ・・・・ （５）式
〔方法１−２〕単一フレーム予測における直流成分を用いたオフセット係数補正
本方法では、以下のように重み係数を算出する。

ｗ₀ ＝１ ・・・・ （６）式
ｄ₀ ＝Ｘ−Ｙ₀ ・・・・ （７）式
《双予測Ｂスライスにおける重み係数の算出方法》
双予測を行うＢスライスでは、予測信号値ｚ（ｉ，ｊ）は、以下のようにして算出される。

ｚ（ｉ，ｊ）＝ｗ₀ ・ｙ₀ （ｉ，ｊ）＋ｗ₁ ・ｙ₁ （ｉ，ｊ）＋ｄ ・・（８）式
本発明（特願2007-174161）では、この重み係数ｗ₀ 、ｗ₁ 、ｄを以下のように算出する。
なお、この算出方法は、以下の仮定に基づいている。フレームｆとフレームｇは同時刻の情報であるため、信号の明るさは近いと予想される。そこで、既知のフレームｇの明るさ情報を利用し、被補正フレームｆ₀ およびｆ₁ から補正対象フレームｆの明るさ変化を間接的に予測する。

〔方法２−１〕双予測における直流成分ブロックを用いた重み係数補正
本方法では、以下のように重み係数を算出する。

ｗ₀ ＝１−ｗ₁ ・・・・ （９）式
ｗ₁ ＝ｔ_b ／ｔ_d ・・・・ （１０）式
ｄ＝Ｘ−ｗ₀ ・Ｙ₀ −ｗ₁ ・Ｙ₁ ・・・・ （１１）式
ここで、ｔ_b は、被補正フレームｆ₀ から補正対象フレームまでのフレーム間距離、ｔ_d は、被補正フレームｆ₀ から被補正フレームｆ₁ までのフレーム間距離を示している。

以上に説明した特願2007-174161 で出願した発明で導出した重み係数の算出方法についてまとめると、以下のようになる。

図３に示すように、当該レイヤｌにおける時刻ｔのフレームの当該ブロックをＢとし、その被参照ブロックをそれぞれＢ₀ 、Ｂ₁ とする。Ｂ₀ 、Ｂ₁ はそれぞれ当該レイヤｌにおける時刻ｔ−Ｔ₀ のフレーム、および当該レイヤｌにおける時刻ｔ＋Ｔ₁ のフレームに属する。
ここで、片方向予測の場合の被参照フレームは時刻ｔ−Ｔ₀ のフレームのみとする。
また、直下レイヤｌ−１における当該ブロックＢと空間的同位置にある時刻ｔのフレームのブロックをＢ_a とする。以降、このＢ_a を直下ブロックと呼ぶ。

ここで、被参照ブロックＢ₀ 内の復号信号の直流成分をＲ（ｌ，ｔ−Ｔ₀ ，Ｂ₀ ）、被参照ブロックＢ₁ 内の復号信号の直流成分をＲ（ｌ，ｔ＋Ｔ₁ ，Ｂ₁ ）、直下ブロックＢ_a 内の復号信号の直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）とする。
各ブロックの直流成分は、ブロック内の画素集合に対して２次元ＦＦＴや２次元ＤＣＴなどを適用し生成する。

このとき、特願2007-174161 で出願した発明では、重み係数（ｗ₀ ，ｄ₀ ）、もしくは（ｗ₀ ，ｗ₁ ，ｄ）を以下のように定めている。

（片方向予測の場合）
＊比例係数補正：前述の（４)(５）式による補正方法
ｗ₀ ＝Ｒ（ｌ−１，ｔ，Ｂ_a ）／Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ₀ ）
ｄ₀ ＝０ ・・・（１２）式
または、
＊オフセット係数補正：前述の（６)(７）式による補正方法
ｗ₀ ＝１
ｄ₀ ＝Ｒ（ｌ−１，ｔ，Ｂ_a ）−Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ₀ ）・・・（１３）式
（双予測の場合）
＊前述の（９）式〜（１１）式による補正方法
ｗ₀ ＝１−ｗ₁
ｗ₁ ＝Ｔ₀ ／（Ｔ₀ ＋Ｔ₁ ）
ｄ＝Ｒ（ｌ−１，ｔ，Ｂ_a ）−ｗ₀ ・Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ₀ ）
−ｗ₁ ・Ｒ（ｌ，ｔ＋Ｔ₁ ，Ｂ₁ ） ・・（１４）式
これにより、重み係数の情報を伝送しないＩｍｐｌｉｃｉｔモードの重み付き動き予測が片方向予測で実現される。片方向予測における重み係数算出の方法には、（１２）式に挙げた比例係数補正方法と、（１３）式に挙げたオフセット係数補正方法の２種類がある。
さらに、Ｈ．２６４／ＡＶＣの双予測のＩｍｐｌｉｃｉｔモードの予測性能も、（１４）式のようにして改善される。

なお、本発明者は、この（１４）式に係る発明については、「早瀬和也，坂東幸浩，高村誠之，上倉一人，八島由幸：“空間スケーラブル符号化におけるレイヤ間相関を利用した重み付き予測方式, ”ＦＩＴ２００７、第６回情報科学技術フォーラム, pp. 253-256, Sep. 2007.」で発表した。

（１２）式に従って重み係数（ｗ₀ ，ｄ₀ ）を求める片方向予測の比例係数補正について簡単に説明するならば、図４Ａに示すように、重み係数ｗ₀ が、レイヤｌの時刻ｔ−Ｔ₀ における復号信号の直流成分αとレイヤｌの時刻ｔにおける原信号の直流成分βとの比で求められるものを、この内のレイヤｌの時刻ｔにおける原信号の直流成分βを、レイヤｌ−１の時刻ｔにおける復号信号の直流成分β’で置き換えたものにするということを意味している。
ここで、この重み係数ｗ₀ については復号信号により算出することができることから、復号側に伝送する必要がないという特徴がある。

また、（１３）式に従って重み係数（ｗ₀ ，ｄ₀ ）を求める片方向予測のオフセット係数補正について簡単に説明するならば、図４Ｂに示すように、オフセット係数ｄ₀ が、レイヤｌの時刻ｔにおける原信号の直流成分βとレイヤｌの時刻ｔ−Ｔ₀ における復号信号の直流成分αとの差分で求められるものを、この内のレイヤｌの時刻ｔにおける原信号の直流成分βを、レイヤｌ−１の時刻ｔにおける復号信号の直流成分β’で置き換えたものにするということを意味している。
ここで、このオフセット係数ｄ₀ については復号信号により算出することができることから、復号側に伝送する必要がないという特徴がある。

また、（１４）式に従って重み係数（ｗ₀ ，ｄ₀ ）を求める双予測のオフセット係数補正について簡単に説明するならば、図４Ｃに示すように、レイヤｌの時刻ｔ−Ｔ₀ における復号信号の直流成分をα、レイヤｌの時刻ｔにおける原信号の直流成分をβ、レイヤｌの時刻ｔ＋Ｔ₁ における復号信号の直流成分をγと表すならば、オフセット係数ｄが、“ｄ＝β−ｗ₀ ・α−ｗ₁ ・γ”で求められるものを、この内のレイヤｌの時刻ｔにおける原信号の直流成分βを、レイヤｌ−１の時刻ｔにおける復号信号の直流成分β’で置き換えたものにするということを意味している。
ここで、このオフセット係数ｄについては復号信号により算出することができることから、復号側に伝送する必要がないという特徴がある。

一方、ＪＳＶＣのようなマルチレイヤを成す符号化処理の復号の種類には、下位レイヤにおいて逆動き補償を必要とするmulti-loop decoding と、下位レイヤにおいて逆動き補償を必要としないsingle-loop decodingがある。一般的に、復号処理は簡便である必要がある。したがって、高負荷の逆動き補償は極力避けられるべき処理であり、single-loop decodingが求められる。

ここで、本明細書で言う逆動き補償とは、動きベクトルの指すブロックの復号信号を同定するまでの処理を言う。

しかるに、特願2007-174161 で出願した発明では、（２）式に示したように、直下レイヤの復号信号をすべて作成した上で、直下ブロックＢ_a 内の復号信号の直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）を算出する。したがって、復号処理はmulti-loop decoding となってしまい、改善の余地が残されている。

本発明は、このような事情に鑑みて、基本レイヤと一つ以上の拡張レイヤによって構成される空間スケーラブル符号化において、符号化対象フレームの直下レイヤの復号信号の直流成分を、動き予測の被参照フレームの復号信号と直下レイヤにおける動き補償に関する符号化情報のみから推定し、算出された符号化対象フレームの直下レイヤの復号信号の直流成分と動き予測の被参照フレームの復号信号の直流成分との間の関係性より重み付き動き予測の重み係数を生成することで、重み係数の情報を伝送することなく符号化器および復号器で同じ重み係数を用いた重み付き動き予測を行う新たなスケーラブル符号化器および復号器の設計方法の確立を目的とする。

本発明における重み付き動き予測の手順を以下に記す。

重み付き動き予測は、重み付き動き推定と重み付き動き補償の２つのステップにより構成される。
重み付き動き推定とは、処理対象フレームと動き予測参照フレームとの間の明るさ変化を補正しながら両フレーム間の動きを探索し、探索により検出された動き情報を動きベクトルとして出力する処理を指す。
重み付き動き補償とは、動きベクトル情報を読み込み、その動きベクトルの指す先の信号値に対して明るさ変化の補正を行い、補正された信号値を処理対象フレームにおける予測信号として出力する処理を指す。

符号化処理では、重み付き動き推定により動きベクトルを検出し、その動きベクトルを読み込み、重み付き動き補償を実行する。
一方、復号処理では、符号化情報を復号して動きベクトルを読み込み、重み付き動き補償を実行する。

重み係数の算出は、任意の画像領域単位で行うことができる。例としては、フレーム単位、スライス単位、マクロブロック単位、マクロブロックをさらに細かく分割した小ブロック単位、などが挙げられる。
本発明では当該レイヤについては重み係数の伝送が不要なため、重み付き動き予測に要するオーバヘッドは、どの画像領域単位であっても変わらない。したがって、小さい画像領域単位で重み係数の算出を行うほど、重み付き動き予測の予測性能は向上する。

ここでは、マクロブロック単位で重み係数の算出を行う場合を例に挙げて説明を進める。マクロブロック単位以外であっても、同様の処理により重み付き動き予測が可能である。
また、対象となる信号にも依らず、輝度信号であっても色差信号であっても同様に処理することが可能である。

〔重み付き動き推定〕
重み付き動き推定では、符号化対象フレームのマクロブロックごとに、推定被参照フレーム内で整合するマクロブロックを探索する。
この探索の際、探索対象マクロブロックが変更されるたびに、両フレームの当該ブロック間の明るさ変化を示す重み係数を算出し、その重み係数で探索対象マクロブロックの復号信号を補正したものを整合判定のための比較信号として活用する。
そして、整合すると判定されたマクロブロックが、動きベクトルの参照先となり、動き補償における被参照マクロブロックとなる。
整合の判定手段の一例としては、非特許文献１にあげた符号量と符号化歪み間のラグランジュコスト最小化による判定手段が挙げられる。

〔重み付き動き補償〕
重み付き動き補償では、まず、符号化／復号対象マクロブロックごとに、そのマクロブロックが有する動きベクトル情報を読み込む。
次に、その動きベクトルの指す先の被参照マクロブロックと符号化／復号対象マクロブロックとの間の明るさ変化を示す重み係数を算出する。
そして、その重み係数で被参照マクロブロックの復号信号を補正したものを、符号化／復号対象マクロブロックにおける予測信号として活用する。

〔重み係数の算出処理〕
典型的には、以下の手順により、スケーラブル符号化の重み付き動き推定および重み付き動き補償に用いる重み係数を算出する。

重み係数の算出式は、特願2007-174161 で出願した発明と同じく、当該ブロックが片方向予測の場合は前述した（１２）式または式（１３）式によって算出し、双予測の場合は前述した（１４）式によって算出する。
ただし、各式に含まれる直下ブロックの復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）の求め方が本発明と特願2007-174161 で出願した発明との間で異なる。

すなわち、特願2007-174161 で出願した発明では、直下レイヤをすべて復号し直交変換により直流成分を得ていたのに対し、本発明では、直下レイヤの復号を部分復号（画像信号を復号するまでの復号ではなくて、一部の符号化情報を復号するレベルの復号）にとどめ、その部分復号情報と当該レイヤの参照フレームの復号信号とから間接的に推定することによって得る。
部分復号にとどめることで逆動き補償を行う必要がなくなり、復号時間を削減できる。

具体的な手順の説明にあたり、説明に使用する記号を整理する。
図５に示すように、当該レイヤｌにおける時刻ｔのフレームの当該ブロックをＢとする。また、直下レイヤｌ−１における当該ブロックＢの直下ブロックをＢ_a とする。
また、直下ブロックＢ_a の動き予測の被参照ブロックを、それぞれＢ_b0、Ｂ_b1とする。Ｂ_b0、Ｂ_b1は、それぞれ当該レイヤｌにおける時刻ｔ−Ｔ₀ のフレーム、および当該レイヤｌにおける時刻ｔ＋Ｔ₁ のフレームに属すると仮定する。

直下レイヤｌ−１の被参照ブロックＢ_b0、Ｂ_b1の位置は、直下ブロックＢ_a が持つ参照フレームインデクスと動きベクトルの符号化情報を復号することで得られる。
また、その直下レイヤｌ−１の被参照ブロックＢ_b0、Ｂ_b1と空間的同位置にある当該レイヤｌにおけるブロックを、それぞれＢ_c0、Ｂ_c1とする。以降、これらＢ_c0、Ｂ_c1を直上ブロックと呼ぶ。

ここで、ブロックＢ_a 、Ｂ_b0、Ｂ_b1、Ｂ_c0、Ｂ_c1内の復号信号の直流成分を、それぞれＲ（ｌ−１，ｔ，Ｂ_a ）、Ｒ（ｌ−１，ｔ−Ｔ₀ ，Ｂ_b0）、Ｒ（ｌ−１，ｔ＋Ｔ₁ ，Ｂ_b1）、Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0）、Ｒ（ｌ，ｔ＋Ｔ₁ 、Ｂ_c1）とする。
また、直下ブロックＢ_a に含まれる予測残差信号の直流成分をＥ（ｌ−１，ｔ，Ｂ_a ）とする。予測残差信号の直流成分Ｅ（ｌ−１，ｔ，Ｂ_a ）は、直下ブロックＢ_a が持つ予測残差信号の直流成分の符号化情報を復号することで得られる。
また、直下レイヤにおいて重み付き動き予測が行われている場合、直下ブロックＢ_a と被参照ブロックＢ_b0の間の重み係数を（ｗ₀'，ｄ₀'）、直下ブロックＢ_a と被参照ブロックＢ_b1の間の重み係数を（ｗ₁'，ｄ₁'）とする。
これらの重み係数（ｗ₀'，ｄ₀'）、（ｗ₁'，ｄ₁'）は、直下ブロックＢ_a が持つ重み係数の符号化情報を復号することで得られる。

なお、本発明では、当該レイヤｌについては重み係数を符号化する必要はないが、その直下レイヤｌ−１で重み係数を符号化する必要がないかどうかは、さらに、その下にレイヤがあるのか否かに依存する。
ここでは、説明の便宜上、重み係数（ｗ₀'，ｄ₀'）、（ｗ₁'，ｄ₁'）は、直下ブロックＢ_a が持つ重み係数の符号化情報を復号することで得られるものとする。

次に、直下ブロックＢ_aの予測方式について、画面内予測の場合、画面間予測であり片方向予測の場合、画面間予測であり双予測の場合、画面間予測でありブロック内に片方向予測領域と双予測領域が混在する場合の４つに分けて、直下ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）の求め方の違いを説明する。

（１）直下ブロックＢ_a が画面内予測の場合
直下ブロックＢ_a が画面内予測であり、かつその予測がConstrained Intra Predictionによるものである場合、直下ブロックＢ_a 内の復号信号は逆動き補償を行うことなくすべて再構成できる。
ここで、Constrained Intra Predictionとは、非特許文献１に挙げたＨ．２６４および非特許文献２に挙げたＪＳＶＣで用いられる、隣接ブロックに画面内予測モードが存在しないときは当該ブロックは画面内予測モードをとることができないという制約が加えられた画面内予測方式の１種である。
この方式をとれば、画面内予測モードをとったブロックは当該フレーム内に閉じてブロック内の復号信号を再構成できるため、逆動き補償が必要なくなる。

したがって、直下ブロックＢ_a が画面内予測であり、かつその予測がConstrained Intra Predictionの場合は、単純に直下ブロックＢ_a 内の復号信号をすべて再構成し、その各信号値をもとに直流成分を算出すればよい。もし、Constrained Intra Predictionでない画面内予測の場合は、本発明は実施されない。

（２）直下ブロックＢ_a が画面間予測であり、かつ片方向予測の場合
直下ブロックＢ_a が片方向予測の場合、直下ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）を次のように推定することができる。

Ｒ（ｌ−１，ｔ，Ｂ_a ）≒ｗ₀'・Ｒ（ｌ−１，ｔ−Ｔ₀ ，Ｂ_b0）
＋ｄ₀'＋Ｅ（ｌ−１，ｔ，Ｂ_a ） ・・（１５）式
しかし、Ｒ（ｌ−１，ｔ−Ｔ₀ ，Ｂ_b0）の情報は、直下レイヤの復号信号をすべて再構成せずには得ることができない。

そこで、
Ｒ（ｌ−１，ｔ−Ｔ₀ ，Ｂ_b0）≒Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0） ・・・・（１６）式
と仮定して、当該レイヤ内のブロックＢ_b0の直上ブロックＢ_c0の復号信号直流成分Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0）で代用する。
当該レイヤおよび直下レイヤの復号信号直流成分に含まれる量子化歪みが大きくなければ、この（１６）式の仮定は一般的に成立する。

ブロックＢ_c0の復号信号は、レイヤｌのフレームｔ−Ｔ₀ が当該フレームｔの被参照フレームであれば、動き予測のためにバッファに保持されている。
したがって、（１６）式により推定された値を、直下ブロックＢ_a の復号信号直流成分の算出に用いることで、直下レイヤにおいて逆動き補償を行うことなく重み係数を算出できる。

これから、本発明では、次式のようにしてＲ（ｌ−１，ｔ，Ｂ_a ）を推定する。

Ｒ（ｌ−１，ｔ，Ｂ_a ）≒ｗ₀'・Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0）
＋ｄ₀'＋Ｅ（ｌ−１，ｔ，Ｂ_a ） ・・（１７）式
ここで、直下ブロックＢ_a 内が複数の小ブロックで構成され、複数の動きベクトルを含んでいる場合がありうる。例えば、当該ブロックＢが１６×１６サイズである場合は、直下ブロックＢ_a は８×８サイズになる。ＪＳＶＣでは、とりうるブロックサイズとして、４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６の７種類が用意されている。
これから、直下ブロックＢ_a が８×８サイズの場合、最大４個の小ブロックを含む。

小ブロックを複数含む場合は、その各小ブロックの面積に応じて各小ブロック内の復号信号直流成分値を重み付けし、その総和を直下ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）とする。

複数の小ブロックで構成される場合の具体的な算出手順の一例を以下に記す。
図６に示すように、当該ブロックＢが１６×１６サイズであり、直下ブロックＢ_a に、４×４サイズの小ブロックが２つ、４×８サイズの小ブロックが１つ含まれると仮定する。ここで、各小ブロックを、Ｂ_a ⁰ 、Ｂ_a ¹ （それぞれ４×４サイズ）、Ｂ_a ² （４×８サイズ）とおく。
また、小ブロックＢ_a ⁰ 、Ｂ_a ¹ 、Ｂ_a ² の動き予測の被参照ブロックをそれぞれＢ_b0 ⁰ 、Ｂ_b0 ¹ 、Ｂ_b0 ² とし、その各被参照ブロックと空間的同位置にある当該レイヤにおける直上ブロックをＢ_c0 ⁰ 、Ｂ_c0 ¹ 、Ｂ_c0 ² とする。
また、小ブロックＢ_a ⁰ 、Ｂ_a ¹ 、Ｂ_a ² に割り当てられる重み係数をそれぞれ、（ｗ₀ ⁰' ，ｄ₀ ⁰' ）、（ｗ₀ ¹' ，ｄ₀ ¹' ）、（ｗ₀ ²' ，ｄ₀ ²' ）とする。

このとき、ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）は、以下のように算出する。

Ｒ（ｌ−１，ｔ，Ｂ_a ）＝（１／４）・〔ｗ₀ ⁰' ・Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0 ⁰ ）
＋ｄ₀ ⁰' ＋Ｅ（ｌ−１，ｔ，Ｂ_a ⁰ ）〕
＋（１／４）・〔ｗ₀ ¹' ・Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0 ¹ ）
＋ｄ₀ ¹' ＋Ｅ（ｌ−１，ｔ，Ｂ_a ¹ ）〕
＋（１／２）・〔ｗ₀ ²' ・Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0 ² ）
＋ｄ₀ ²' ＋Ｅ（ｌ−１，ｔ，Ｂ_a ² ）〕
・・・・（１８）式
（３）直下ブロックＢ_a が画面間予測であり、かつ双予測の場合
直下ブロックＢ_a が双予測の場合、直下ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）は次のように推定することができる。

Ｒ（ｌ−１，ｔ，Ｂ_a ）≒ｗ₀'・Ｒ（ｌ−１，ｔ−Ｔ₀ ，Ｂ_b0）
＋ｗ₁'・Ｒ（ｌ−１，ｔ＋Ｔ₁ ，Ｂ_b1）
＋（１／２）・（ｄ₀'＋ｄ₁'）＋Ｅ（ｌ−１，ｔ，Ｂ_a ）
・・・・（１９）式
しかし、片方向予測の場合と同様に、Ｒ（ｌ−１，ｔ−Ｔ₀ ，Ｂ_b0）およびＲ（ｌ−１，ｔ＋Ｔ₁ ，Ｂ_b1）の情報は、直下レイヤの復号信号すべてを復号せずには得ることができない。

そこで、
Ｒ（ｌ−１，ｔ−Ｔ₀ ，Ｂ_b0）≒Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0）
Ｒ（ｌ−１，ｔ＋Ｔ₁ ，Ｂ_b1）≒Ｒ（ｌ，ｔ＋Ｔ₁ ，Ｂ_c1） ・・・・（２０）式
と仮定して、当該レイヤ内のブロックＢ_b0、Ｂ_b1の直上ブロックＢ_c0、Ｂ_c1の復号信号直流成分Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0）およびＲ（ｌ，ｔ＋Ｔ₁ ，Ｂ_c1）で代用する。
当該レイヤおよび直下レイヤの復号信号直流成分に含まれる量子化歪みが大きくなければ、この（２０）式の仮定は一般的に成立する。

これから、本発明では、次式のようにしてＲ（ｌ−１，ｔ，Ｂ_a ）を推定する。

Ｒ（ｌ−１，ｔ，Ｂ_a ）≒ｗ₀'・Ｒ（ｌ，ｔ−Ｔ₀ ，Ｂ_c0）
＋ｗ₁'・Ｒ（ｌ，ｔ＋Ｔ₁ ，Ｂ_c1）
＋（１／２）・（ｄ₀'＋ｄ₁'）＋Ｅ（ｌ−１，ｔ，Ｂ_a ）
・・・・（２１）式
ここで、片方向予測の場合と同様に、ブロックＢ_a 内が複数の小ブロックで構成され、複数の動きベクトルを含んでいる場合がありうる。
このときは、片方向予測の場合と同様に、各小ブロックの面積に応じて各小ブロック内の直流成分値を重み付けし、その総和を直下ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）とする。

例えば、当該ブロックＢが１６×１６サイズであり、直下ブロックＢ_a に、４×４サイズの小ブロックが２つ、４×８サイズの小ブロックが１つ含まれると仮定する。ここで、各小ブロックを、Ｂ_a ⁰ 、Ｂ_a ¹ 、Ｂ_a ² とおく。
また、小ブロックＢ_a ⁰ 、Ｂ_a ¹ 、Ｂ_a ² の双予測の被参照ブロックをそれぞれＢ_b0 ⁰ 、Ｂ_b0 ¹ 、Ｂ_b0 ² 、Ｂ_b1 ⁰ 、Ｂ_b1 ¹ 、Ｂ_b1 ² とし、その各被参照ブロックと空間的同位置にある当該レイヤにおける直上ブロックをＢ_c0 ⁰ 、Ｂ_c0 ¹ 、Ｂ_c0 ² 、Ｂ_c1 ⁰ 、Ｂ_c1 ¹ 、Ｂ_c1 ² とする。
また、小ブロックＢ_a ⁰ 、Ｂ_a ¹ 、Ｂ_a ² に割り当てられる重み係数をそれぞれ、（ｗ₀ ⁰' ，ｄ₀ ⁰' ）、（ｗ₁ ⁰' ，ｄ₁ ⁰' ）、（ｗ₀ ¹' ，ｄ₀ ¹' ）、（ｗ₁ ¹' ，ｄ₁ ¹' ）、（ｗ₀ ²' ，ｄ₀ ²' ）、（ｗ₁ ²' ，ｄ₁ ²' ）とする。

このとき、ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）は、以下のように算出する。

（４）直下ブロックＢ_a に片方向予測と双予測が混在する場合
ブロックＢ_a 内の複数の小ブロック（例：４×４）は、それぞれ独立に片方向予測か双予測をとることが可能である。このときは、（２）および（３）と同様の手順で、各小ブロックの面積に応じて直流成分値を重み付けし、その総和をブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）とする。

以下、（２）および（３）と同様、当該ブロックＢが１６×１６サイズであり、直下ブロックＢ_a に、４×４サイズの小ブロックが２つ（Ｂ_a ⁰ 、Ｂ_a ¹ ）、４×８サイズの小ブロックが１つ（Ｂ_a ² ）含まれると仮定する。
ここで、Ｂ_a ⁰ およびＢ_a ² は片方向予測、Ｂ_a ¹ は双予測とする。そして、小ブロックＢ_a ⁰ 、Ｂ_a ² の片方向予測の被参照ブロックをそれぞれＢ_b0 ⁰ 、Ｂ_b0 ² とし、小ブロックＢ_a ¹ の双予測の被参照ブロックをそれぞれＢ_b0 ¹ 、Ｂ_b1 ¹ とする。
その各被参照ブロックと空間的同位置にある当該レイヤにおける直上ブロックをＢ_c0 ⁰ 、Ｂ_c0 ² 、Ｂ_c0 ¹ 、Ｂ_c1 ¹ とする。
また、小ブロックＢ_a ⁰ 、Ｂ_a ¹ 、Ｂ_a ² に割り当てられる重み係数をそれぞれ、（ｗ₀ ⁰' ，ｄ₀ ⁰' ）、（ｗ₀ ¹' ，ｄ₀ ¹' ）、（ｗ₁ ¹' ，ｄ₁ ¹' ）、（ｗ₀ ²' ，ｄ₀ ²' ）とする。

このとき、ブロックＢ_a の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂ_a ）は、以下のように算出する。

上述のように、本発明は、直下ブロックＢ_a が画面内予測であり、かつその予測がConstrained Intra Predictionを利用していない場合には実施されない。また、予測参照ブロックＢ_b0、Ｂ_b1の直上ブロックＢ_c0、Ｂ_c1の復号信号が動き予測のためのバッファに格納されていない場合にも、実施されない。
本発明が実施されない場合は、その他の予測方式を用いて符号化を行う。例えば、ＪＳＶＣの重み付き動き予測、重みなしの通常の動き予測、画面内予測、がこれにあたる。

また、直下レイヤが画面間予測を行っている場合において、直下レイヤにおける重み付き動き予測が非常に高性能であれば、直下ブロックＢ_a の予測残差信号の直流成分Ｅ（ｌ−１，ｔ，Ｂ_a ）は、ほぼゼロになる。

このような場合には、この予測残差信号の直流成分を考慮する必要はない。考慮しなければ、予測残差信号の直流成分の復号は省略できるため、さらに復号に使用するメモリおよび計算量を節約できる。したがって、メモリと計算量の削減を重視する場合には、予測残差信号の直流成分の加算は行わなくてもよい。

次に、ＪＳＶＣの参照エンコーダＪＳＶＭ８．０に本発明を実装し、片方向予測における本発明による比例係数補正を行うＷＰ（Ｗeighted Ｐrediction)とオフセット係数補正を行うＷＰの符号化性能を検証した実験について説明する。

この実験では、基本レイヤはＪＳＶＭのＷＰを用いて符号化し、拡張レイヤに本発明のＷＰを適用することで行った。性能検証は、拡張レイヤにＪＳＶＭのＷＰを適用した場合と、本発明のＷＰを適用した場合のレート歪み特性によって評価した。
ＪＳＶＣ標準画像のＣity,Ｓoccer,Ｆoremanの３映像を用い、各映像の先頭３３フレームに白の線形フェードを混合した。
フェードの種類はフェードイン／アウトの２種類を実験対象とし、このフェード混合部分の３３フレームを符号化対象フレームとした。
基本レイヤに３０fps のＱＣＩＦ（１７６×１４４画素の画像サイズ）画像、拡張レイヤに３０fps のＣＩＦ（３５２×２８８画素の画像サイズ）画像を入力し、ピクチャタイプはＩＰＰＰ形式とした。
量子化パラメータは２１，２４，２７，３０の４種類を試し、基本レイヤと拡張レイヤで同じ値を適用した。
動き探索は整数精度のみとし、全検索を行った。

表２に、ＪＳＶＭのＷＰに対する、本発明を適用したことによる符号量の削減結果を示す。最大６．３８％の符号量削減を実現している。全体的に、フェードアウト映像において削減効果が大きいことが分かる。

図７に、最大削減率を実現したＣity のフェードアウト映像における、各手法のそれぞれについてＰＳＮＲ(Peak Signal to Noise Ratio)およびビットレートを求めて、それらを比較した（“Ｙ−ＰＳＮＲ”は、輝度信号のＰＳＮＲを示す）。

この図より、本発明の手法がレートによらず符号量の削減を実現できていることが分かる。
比例係数補正とオフセット係数補正を比較すると、フェードイン映像ではほとんど両者に差がみられないが（図示略）、フェードアウト映像ではオフセット係数補正の方が効果が大きいことが分かる。
上記性能検証において、フェードアウト映像においてオフセット係数補正によるＷＰは、平均４．３９％の符号量削減率を実現した。

本実験は、片方向予測における符号化特性を示したものであるが、双予測においても同様の性能向上が見込める。

次に、実施例に従って本発明を詳細に説明する。

〔処理の流れ〕
〔符号化処理の実施例〕
本発明による符号化処理の実施例について、図８を参照して説明する。
説明する実施例は、一つのマクロブロックに対する符号化処理である。これをすべてのマクロブロックに対して実施することによって、全体の符号化情報が構成される。

ステップＳ１０１：当該拡張レイヤの当該マクロブロックが、重み付き動き予測の対象マクロブロックであるか否かの判定処理を行い、真の場合はステップＳ１０３の処理を行い、偽の場合はステップＳ１０２の処理を行う。

ステップＳ１０２：ステップＳ１０１の処理で出力された当該マクロブロックの予測モード情報にしたがって予測信号の生成を行う。
ここでの予測方式には、画面内予測、重み無しの通常の動き予測、およびレイヤ間予測が挙げられる。各方式の予測方法の一例としては、非特許文献３に挙げたＪＳＶＭにおける予測方法が挙げられる。

ステップＳ１０３：当該マクロブロックに対して、当該マクロブロックの原信号、（被参照フレーム内の）探索対象マクロブロックの復号信号および直下レイヤの符号化情報を読み込み、重み付き動き推定を行い、動きベクトル情報を出力する。本処理の詳細は図１０に示す（後述）。

ステップＳ１０４：ステップＳ１０３の処理で出力された動きベクトル情報および直下レイヤの符号化情報を読み込み、重み付き動き補償を行い、重み付き動き予測信号を出力する。本処理の詳細は図１１に示す（後述）。

ステップＳ１０５：ステップＳ１０２またはステップＳ１０４の処理によって出力された予測信号を読み込み、当該マクロブロックの原信号との差分信号を生成し、その差分信号の符号化を行う。
この差分信号の符号化処理の一例としては、非特許文献３に挙げたＪＳＶＭにおける符号化処理が挙げられる。

〔復号処理の実施例〕
本発明による復号処理の実施例について、図９を参照して説明する。
説明する実施例は、一つのマクロブロックに対する復号処理である。これをすべてのマクロブロックに対して実施することによって、全体の復号信号が構成される。

ステップＳ２０１：当該拡張レイヤの当該マクロブロックの予測モードに関する符号化情報を読み込み、復号処理を行い、予測モード情報を出力する。

ステップＳ２０２：当該拡張レイヤの当該マクロブロックが、重み付き動き予測の対象マクロブロックであるか否かの判定処理を行い、真の場合はステップＳ２０４の処理を行い、偽の場合はステップＳ２０３の処理を行う。

ステップＳ２０３：ステップＳ２０１の処理で出力された当該マクロブロックの予測モード情報にしたがって予測信号の生成を行う。ここでの予測方式には、画面内予測、重み無しの通常の動き予測、およびレイヤ間予測が挙げられる。

ステップＳ２０４：当該マクロブロックの動きベクトルに関する符号化情報を読み込み、復号処理を行い、動きベクトル情報を出力する。

ステップＳ２０５：ステップＳ２０４の処理で出力された動きベクトル情報および直下レイヤの符号化情報を読み込み、重み付き動き補償を行い、重み付き動き予測信号を出力する。本処理の詳細は図１１に示す（後述）。

ステップＳ２０６：ステップＳ２０３またはステップＳ２０５の処理によって出力された予測信号を読み込み、復号された予測残差信号と加算して復号信号を構成し、出力する。

〔ステップＳ１０３の処理の詳細〕
本発明による重み付き動き推定処理（ステップＳ１０３の処理）の実施例について、図１０を参照して説明する。

ステップＳ３０１：直下レイヤの符号化情報および現在の探索対象マクロブロックの復号信号を読み込み、探索対象マクロブロックに施す重み係数を算出し、出力する。本処理の詳細は図１２に示す（後述）。

ステップＳ３０２：ステップＳ３０１の処理によって出力された重み係数情報を読み込み、現在の探索対象マクロブロックの復号信号をその重み係数によって重み付けし、その重み付けされた信号値を出力する。

ステップＳ３０３：ステップＳ３０２の処理によって出力された信号値と当該マクロブロックの原信号との間の、符号量と符号化歪み量とによって構成される符号化コストを算出し、出力する。
この符号化コストの一例には、非特許文献３に挙げたＪＳＶＭにおける、符号量と二乗誤差による符号化歪みとの間のラグランジュコストが挙げられる。

ステップＳ３０４：探索すべき全てのマクロブロックに対して探索を行ったかどうかの判定処理を行い、真の場合はステップＳ３０６の処理を行い、偽の場合はステップＳ３０５の処理を行う。

ステップＳ３０５：次の探索対象マクロブロックに処理対象を移す。

ステップＳ３０６：ステップＳ３０３の処理によって出力された符号化コストの情報を読み込み、探索したマクロブロックの中で符号化コストが最小となるマクロブロックを選定し、そのマクロブロックと当該マクロブロックとの座標位置の差分を動きベクトルとして出力する。

〔ステップＳ１０４，ステップＳ２０５の処理の詳細〕
本発明による重み付き動き補償処理（ステップＳ１０４，ステップＳ２０５の処理）の実施例について、図１１を参照して説明する。

ステップＳ４０１：当該マクロブロックの動きベクトル情報を読み込み、出力する。この動きベクトル情報は、符号化処理における重み付き動き補償の場合には、重み付き動き推定の出力から読み込まれ、復号処理における重み付き動き補償の場合には、動きベクトルの復号処理の出力から読み込まれる。

ステップＳ４０２：直下レイヤの符号化情報およびステップＳ４０１の処理によって出力された動きベクトル情報を読み込み、動きベクトルの指す被参照マクロブロックに施す重み係数を算出し、出力する。本処理の詳細は図１２に示す（後述）。

ステップＳ４０３：ステップＳ４０２の処理によって出力された重み係数情報を読み込み、被参照マクロブロックの復号信号をその重み係数によって重み付けし、その重み付けされた信号値を出力する。

〔ステップＳ３０１，ステップＳ４０２の処理の詳細〕
本発明による重み係数算出処理（ステップＳ３０１，ステップＳ４０２の処理）の実施例について、図１２を参照して説明する。

ステップＳ５０１：直下レイヤの符号化情報を読み込み、当該マクロブロックの直下ブロックの予測モードが画面内予測であるか否かの判定処理を行い、真の場合はステップＳ５０４の処理を行い、偽の場合はステップＳ５０２の処理を行う。

ステップＳ５０２：直下ブロックが動き予測で参照した被参照ブロックの直上ブロックの復号信号が、動き予測のためにバッファに格納されているか否かの判定処理を行い、真の場合はステップＳ５０３の処理を行い、偽の場合はステップＳ５１２の処理を行う。

ステップＳ５０３：直下レイヤの符号化情報および当該レイヤの被参照フレームの復号信号を読み込み、直下ブロックの直流成分の値を推定し、出力する。本処理の詳細は図１３に示す（後述）。

ステップＳ５０４：直下レイヤの符号化情報を読み込み、当該マクロブロックの直下ブロックの画面内予測がConstrained Intra Predictionであるか否かの判定処理を行い、真の場合はステップＳ５０５の処理を行い、偽の場合はステップＳ５１２の処理を行う。

ステップＳ５０５：直下レイヤの符号化情報を読み込み、直下ブロックの復号処理を行い、ブロック内のすべての信号を再構成し、バッファに出力する。

ステップＳ５０６：バッファより直下ブロック内の復号信号を読み込み、直下ブロックの復号信号の直流成分を算出し、レジスタに出力する。

ステップＳ５０７：当該マクロブロックの予測モード情報を読み込み、予測モードが片方向予測であるか否かの判定処理を行い、真の場合はステップＳ５０８の処理を行い、偽の場合はステップＳ５１１の処理を行う。

ステップＳ５０８：外部より指定される重み係数算出方法が比例係数補正型であるか否かの判定処理を行い、真の場合はステップＳ５０９の処理を行い、偽の場合はステップＳ５１０の処理を行う。

ここで、比例係数補正型とは、前述の（１２）式にしたがって実施される重み係数の算出方法を指す。
一般的に、比例係数補正型は、白フェードイン映像や黒フェードアウト映像で主に効果を発揮し、これに対して、前述の（１３）式にしたがって実施される重み係数の算出方法であるオフセット係数補正型は、白フェードアウト映像や黒フェードイン映像で主に効果を発揮する。
したがって、外部からの重み係数算出方法の指定情報は、フェードタイプの判定結果にしたがって定められるのが望ましい。

ステップＳ５０９：ステップＳ５０３の処理より推定された直下ブロックの直流成分または、ステップＳ５０６の処理より算出された直下ブロックの直流成分のいずれかの値を読み込み、その直流成分値と被参照ブロックの直流成分値との比を比例係数として定め、オフセット係数を０に定め、出力する。本処理は、前述の（１２）式にしたがう。

ステップＳ５１０：ステップＳ５０３の処理より推定された直下ブロックの直流成分または、ステップＳ５０６の処理より算出された直下ブロックの直流成分のいずれかの値を読み込み、その直流成分値と被参照ブロックの直流成分値との差をオフセット係数として定め、比例係数を１に定め、出力する。本処理は、前述の（１３）式にしたがう。

ステップＳ５１１：被参照ブロックと当該ブロックとのフレーム間距離の情報を読み込み、それらの比を比例係数として定め、ステップＳ５０３の処理より推定された直下ブロックの直流成分または、ステップＳ５０６の処理より算出された直下ブロックの直流成分のいずれかの値を読み込み、その直流成分値と２つの被参照ブロックの直流成分値に対して前述の比例係数を演算した値との差をオフセット係数として定め、出力する。本処理は、前述の（１４）式にしたがう。

ステップＳ５１２：直下ブロックの推定直流成分を参照しない重み係数算出方法を実施する。
例としては、非特許文献３に挙げたＪＳＶＭにおけるＩｍｐｌｉｃｉｔモードもしくはＥｘｐｌｉｃｉｔモードによる重み係数の算出方法が考えられる。

〔ステップＳ５０３の処理の詳細〕
本発明による直下ブロック直流成分の推定処理（ステップＳ５０３の処理）の実施例について、図１３を参照して説明する。

ステップＳ６０１：当該直下ブロックの小ブロックの分割情報に関する符号化情報を読み込み、その復号を行い、当該直下ブロックの小ブロックの分割構造を同定する。

ステップＳ６０２：当該小ブロックの参照フレームインデクスに関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。

ステップＳ６０３：当該小ブロックの動きベクトルに関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。

ステップＳ６０４：当該小ブロックの重み係数に関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。

ステップＳ６０５：当該小ブロックの予測残差信号の直流成分に関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。

ステップＳ６０６：ステップＳ６０２の処理およびステップＳ６０３の処理より出力された参照フレームインデクスおよび動きベクトルの情報をレジスタより読み込み、当該小ブロックの動き予測の被参照ブロックの位置を同定する。

ステップＳ６０７：ステップＳ６０６の処理において同定された被参照ブロックの直上ブロックの復号信号を読み込み、その復号信号の直流成分を算出し、その直流成分値をレジスタに書き込む。

ステップＳ６０８：ステップＳ６０７の処理において算出された直流成分値をレジスタより読み込み、それにステップＳ６０４の処理より算出された重み係数を用いて重み付けを行い、その値をレジスタに書き込む。

ステップＳ６０９：ステップＳ６０８の処理において算出された重み付けされた直流成分値をレジスタより読み込み、それにステップＳ６０５の処理より算出された予測残差信号の直流成分値を加算し、その値を当該小ブロックの直流成分の推定値としてみなし、レジスタに書き込む。

ステップＳ６１０：すべての小ブロックに対して直流成分の推定処理を完了したか否かの判定処理を行い、真の場合はステップＳ６１１の処理を行い、偽の場合はステップＳ６１２の処理を行う。

ステップＳ６１１：ステップＳ６０９の処理において算出された各小ブロックの推定直流成分値を読み込み、当該直下ブロックにおける各小ブロックの面積比に応じて各小ブロックの推定直流成分値を重み付けし、その重み付け和を当該直下ブロックの直流成分の推定値としてみなし、出力する。

ステップＳ６１２：次の直流成分の推定対象小ブロックに処理対象を移す。

〔処理装置〕
〔符号化装置の実施例〕
本発明による符号化装置の実施例について、図１４を参照して説明する。図１４は、一つのマクロブロックに対する符号化を行う装置の図である。

予測方法判定部１０１：当該マクロブロックの予測方式の指定情報を読み込み、その指定情報にしたがって、各予測部での処理に移る。
指定された予測方式が画面内予測であれば画面内予測部１０２の処理に、重みを付けない通常の動き予測であれば重み無し動き予測部１０３の処理に、レイヤ間予測であればレイヤ間予測部１０４の処理に、重み付き動き予測であれば重み付き動き推定部１０５の処理に移る。

画面内予測部１０２：符号化対象フレームの、対象となる原信号および復号信号を読み込み、画面内予測を実行し予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。
画面内予測の方法の一例としては、非特許文献３にあげたＪＳＶＭの画面内予測が挙げられる。

重み無し動き予測部１０３：符号化対象フレームの対象となる原信号および被参照フレームの対象となる復号信号を読み込み、重みを付けない通常の動き予測を実行し予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。
重み無しの通常の動き予測の方法の一例としては、非特許文献３にあげたＪＳＶＭの重み無しの通常の動き予測が挙げられる。

レイヤ間予測部１０４：符号化対象フレームの、対象となる原信号および直下レイヤの符号化情報を読み込み、レイヤ間予測を実行し予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。
レイヤ間予測の方法の一例としては、非特許文献３にあげたＪＳＶＭのレイヤ間予測が挙げられる。

重み付き動き推定部１０５：符号化対象フレームの、対象となる原信号、当該拡張レイヤ復号信号記憶部１１０から出力される被参照フレームの復号信号、および、直下レイヤ符号化情報記憶部１１１から出力される直下レイヤの符号化情報を読み込み、重み付き動き推定を実行し、動きベクトルを生成し、その動きベクトル情報を重み付き動き補償部１０６に出力する。重み付き動き推定部１０５の詳細構成は図１６に示す（後述）。

重み付き動き補償部１０６：当該拡張レイヤ復号信号記憶部１１０から出力される被参照フレームの復号信号、および、直下レイヤ符号化情報記憶部１１１から出力される直下レイヤの符号化情報を読み込み、重み付き動き補償を実行し、予測信号を生成し、その予測信号を予測残差信号生成部１０７に出力する。重み付き動き補償部１０６の詳細構成は図１７に示す（後述）。

予測残差信号生成部１０７：符号化対象フレームの対象となる原信号、および、画面内予測部１０２または、重み無し動き予測部１０３または、レイヤ間予測部１０４または、重み付き動き補償部１０６より出力された予測信号を読み込み、原信号と予測信号の差分信号を生成し、予測残差信号符号化部１０８に出力する。

予測残差信号符号化部１０８：予測残差信号生成部１０７より出力された予測残差信号を読み込み、符号化処理を行い、符号化情報として出力する。
また、同時に、その符号化情報は復号部１０９への入力のために、バッファに出力しておく。
この予測残差信号の符号化処理の一例としては、非特許文献３にあげたＪＳＶＭの直交変換、量子化、可変長符号化の一連のプロセスの適用が挙げられる。

復号部１０９：当該バッファより符号化情報を読み込み、復号処理を行い、得られた復号信号を当該拡張レイヤ復号信号記憶部１１０に出力する。
この復号処理には、本発明による復号処理を適用する。復号部１０９として機能する復号装置の詳細構成は図１５に示す（後述）。

直下レイヤ符号化情報記憶部１１１：直下レイヤの符号化情報を読み込み、バッファに出力する。

〔復号装置の実施例〕
本発明による復号装置の実施例について、図１５を参照して説明する。図１５は、当該拡張レイヤにおける一つのマクロブロックに対する復号を行う装置の図である。

予測モード復号部２０１：当該マクロブロックの予測モードに関する符号化情報を読み込み、その復号処理を行い、予測モード情報を予測モード記憶部２０２に出力する。

予測方法判定部２０３：予測モード記憶部２０２より予測モード情報を読み込み、その指定情報にしたがって、各予測部での処理に移る。
指定された予測方式が画面内予測であれば画面内予測部２０４の処理に、重みを付けない通常の動き予測であれば重み無し動き予測部２０５の処理に、レイヤ間予測であればレイヤ間予測部２０６の処理に、重み付き動き予測であれば動きベクトル情報復号部２０７の処理に移る。

画面内予測部２０４：符号化対象フレームの、対象となる原信号および復号信号を読み込み、画面内予測を実行し予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。

重み無し動き予測部２０５：符号化対象フレームの対象となる原信号および被参照フレームの対象となる復号信号を読み込み、重みを付けない通常の動き予測を実行し予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。

レイヤ間予測部２０６：符号化対象フレームの、対象となる原信号および直下レイヤの符号化情報を読み込み、レイヤ間予測を実行し予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。

動きベクトル情報復号部２０７：当該マクロブロックの動きベクトルに関する符号化情報を読み込み、その復号処理を行い、動きベクトル情報を動きベクトル情報記憶部２０８に出力する。

重み付き動き補償部２０９：当該拡張レイヤ復号信号記憶部２１４から出力される被参照フレームの復号信号、および、直下レイヤ符号化情報記憶部２１０から出力される直下レイヤの符号化情報を読み込み、重み付き動き補償を実行し、予測信号を生成し、その予測信号を復号信号生成部２１３に出力する。重み付き動き補償部２０９の詳細構成は図１７に示す（後述）。

直下レイヤ符号化情報記憶部２１０：直下レイヤの符号化情報を読み込み、バッファに出力する。

残差信号復号部２１１：当該マクロブロックの残差信号に関する符号化情報を読み込み、その復号処理を行い、残差信号を残差信号記憶部２１２に出力する。

復号信号生成部２１３：画面内予測部２０４または、重み無し動き予測部２０５または、レイヤ間予測部２０６または、重み付き動き補償部２０９より出力された予測信号を読み込み、それらと残差信号記憶部２１２より読み込まれる残差信号とを合成し、復号信号を生成し、出力する。
また、同時に、その復号信号を当該拡張レイヤ復号信号記憶部２１４に書き込む。

〔重み付き動き推定部１０５の構成の詳細〕
本発明による重み付き動き推定部１０５の実施例について、図１６を参照して説明する。図１６は、当該拡張レイヤにおける一つのマクロブロックに対して重み付き動き推定を行う装置の図である。

探索対象ブロック設置部３０１：当該拡張レイヤの被参照フレームの復号信号を読み込み、動き推定の探索対象となるマクロブロックを同定し、そのマクロブロックの復号信号を重み係数算出部３０２に出力する。

重み係数算出部３０２：探索対象ブロック設置部３０１より出力された探索対象マクロブロックの復号信号、および、直下レイヤの符号化情報を読み込み、探索対象マクロブロックに施す重み係数を算出し、重み係数記憶部３０３に出力する。

重み付き動き推定信号生成部３０４：重み係数記憶部３０３より重み係数を読み込み、当該探索対象マクロブロックの復号信号を重み係数によって重み付けし、その重み付けされた信号を重み付き動き推定信号記憶部３０５に出力する。

符号化コスト算出部３０６：当該マクロブロックの原信号をバッファより読み込み、重み付き動き推定信号記憶部３０５より重み付き動き推定信号を読み込み、当該マクロブロックの原信号との間の、符号量と符号化歪み量によって構成される符号化コストを算出し、その符号化コストを符号化コスト記憶部３０７に出力し、探索完了判定部３０８の処理に移る。
この符号化コストの一例には、非特許文献３に挙げたＪＳＶＭにおける、符号量と二乗誤差による符号化歪みとの間のラグランジュコストが挙げられる。

探索完了判定部３０８：当該マクロブロックにおける被参照フレーム内での重み付き動き推定の探索が、指定されたすべての探索範囲内の候補について行われた否かの判定処理を行い、真の場合には被参照ブロック決定部３０９の処理に移り、偽の場合には探索対象ブロック設置部３０１の処理に移る。

被参照ブロック決定部３０９：符号化コスト記憶部３０７よりすべての探索対象マクロブロックについての符号化コストデータ群を読み込み、符号化コストを最小とする探索対象マクロブロックを被参照ブロックとして決定し、その被参照ブロックと当該マクロブロックの座標位置の差分を動きベクトル情報として出力する。

〔重み付き動き補償部１０６，２０９の構成の詳細〕
本発明による重み付き動き補償部１０６，２０９の実施例について、図１７を参照して説明する。図１７は、当該拡張レイヤにおける一つのマクロブロックに対して重み付き動き補償を行う装置の図である。

被参照ブロック信号設置部４０１：被参照フレームの復号信号および動きベクトル情報を読み込み、被参照マクロブロックを同定し、そのマクロブロックの復号信号を重み係数算出部４０２に出力する。
この動きベクトル情報は、本重み付き動き補償部が符号化装置内に設置されている場合（すなわち、重み付き動き補償部１０６の場合）には重み付き動き推定部１０５より与えられ、本重み付き動き補償部部が復号装置内に設置されている場合（すなわち、重み付き動き補償部２０９の場合）には動きベクトル情報復号部２０７より与えられる。

重み係数算出部４０２：被参照ブロック信号設置部４０１より出力された被参照マクロブロックの復号信号、および、直下レイヤの符号化情報を読み込み、被参照マクロブロックに施す重み係数を算出し、重み係数記憶部４０３に出力する。

重み付き動き予測信号生成部４０４：重み係数記憶部４０３より重み係数を読み込み、被参照ブロックの復号信号を重み係数によって重み付けし、その重み付けされた信号を重み付き動き予測信号記憶部４０５に出力する。

〔重み係数算出部３０２，４０２の構成の詳細〕
上述の重み係数算出部３０２，４０２の実施例について、図１８を参照して説明する。図１８は、当該拡張レイヤにおける一つのマクロブロックに対して重み係数を算出する装置の図である。

直下ブロック予測モード判定部５０１：直下レイヤの符号化情報を読み込み、当該マクロブロックの直下ブロックの予測モードの判定処理を行い、(i) 同予測モードが画面内予測であり、かつその予測がConstrained Intra Predictionである場合には、直下ブロック内信号復号部５０５の処理に移り、(ii) 同予測モードが画面内予測であり、かつその予測がConstrained Intra Predictionでない場合には、直下ブロック推定直流成分非参照重み係数算出部５１２の処理に移り、(iii) 同予測モードが画面間予測の場合には、直下ブロック予測参照先直上復号信号バッファリング判定部５０２の処理に移る。

直下ブロック予測参照先直上復号信号バッファリング判定部５０２：直下ブロックが参照する予測参照ブロックの直上ブロックの復号信号がバッファリングされているか否かの判定処理を行い、真の場合は直下ブロック直流成分推定部５０３の処理に移り、偽の場合は直下ブロック推定直流成分非参照重み係数算出部５１２の処理に移る。

直下ブロック直流成分推定部５０３：直下レイヤの符号化情報および当該レイヤの被参照フレームの復号信号を読み込み、直下ブロックの直流成分の値を推定し、直下ブロック推定直流成分記憶部５０４に出力する。直下ブロック直流成分推定部５０３の詳細構成は図１９に示す（後述）。

直下ブロック内信号復号部５０５：直下レイヤの符号化情報を読み込み、直下ブロック内の復号信号をすべて再構成し、その復号信号を直下ブロック直流成分算出部５０６に出力する。

直下ブロック直流成分算出部５０６：直下ブロック内信号復号部５０５より直下ブロック内の復号信号を読み込み、直下ブロック内の復号信号の直流成分を算出し、当該マクロブロック予測モード判定部５０７に移る。

当該マクロブロック予測モード判定部５０７：当該マクロブロックの予測モード情報を読み込み、予測モードが片方向予測であるか否かの判定処理を行い、真の場合は重み係数算出方法判定部５０８の処理に移り、偽の場合は双予測重み係数算出部５０９の処理に移る。

重み係数算出方法判定部５０８：外部より指定される重み係数算出方法が比例係数補正型であるか否かの判定処理を行い、真の場合は片方向予測比例係数補正型重み係数算出部５１０の処理に移り、偽の場合は片方向予測オフセット係数補正型重み係数算出部５１１の処理を行う。

ここで、比例係数補正型とは、前述の（１２）式にしたがって実施される重み係数の算出方法を指す。
一般的に、比例係数補正型は、白フェードイン映像や黒フェードアウト映像で主に効果を発揮し、これに対して、前述の（１３）式にしたがって実施される重み係数の算出方法であるオフセット係数補正型は、白フェードアウト映像や黒フェードイン映像で主に効果を発揮する。
したがって、外部からの重み係数算出方法の指定情報は、フェードタイプの判定結果にしたがって定められるのが望ましい。

双予測重み係数算出部５０９：被参照ブロックと当該ブロックとのフレーム間距離の情報を読み込み、それらの比を比例係数として定め、直下ブロック推定直流成分記憶部５０４または、直下ブロック直流成分算出部５０６より直下ブロックの直流成分の値を読み込み、その直流成分値と２つの被参照ブロックの直流成分値に対して前述の比例係数を演算した値との差をオフセット係数として定め、出力する。本処理は、前述の（１４）式にしたがう。

片方向予測比例係数補正型重み係数算出部５１０：直下ブロック推定直流成分記憶部５０４または、直下ブロック直流成分算出部５０６より直下ブロックの直流成分の値を読み込み、その直流成分値と被参照ブロックの直流成分値との比を比例係数として定め、オフセット係数を０に定め、出力する。本処理は、前述の（１２）式にしたがう。

片方向予測オフセット係数補正型重み係数算出部５１１：直下ブロック推定直流成分記憶部５０４または、直下ブロック直流成分算出部５０６より直下ブロックの直流成分の値を読み込み、その直流成分値と被参照ブロックの直流成分値との差をオフセット係数として定め、比例係数を１に定め、出力する。本処理は、前述の（１３）式にしたがう。

直下ブロック推定直流成分非参照重み係数算出部５１２：直下ブロックの直流成分を使用しない重み係数の算出方法を行い、出力する。
本処理の例としては、非特許文献３に挙げたＪＳＶＭにおけるＥｘｐｌｉｃｉｔモードもしくはＩｍｐｌｉｃｉｔモードによる重み係数の算出方法が適用可能である。

〔直下ブロック直流成分推定部５０３の構成の詳細〕
本発明による直下ブロック直流成分推定部５０３の実施例について、図１９を参照して説明する。図１９は、当該拡張レイヤにおける一つのマクロブロックに対して直下ブロック直流成分の推定を行う装置の図である。

小ブロック分割情報復号部６０１：当該直下ブロックの小ブロックの分割情報に関する符号化情報を読み込み、その復号を行い、復号された小ブロックの分割情報を小ブロック分割情報記憶部６０２に出力する。

参照フレームインデクス情報復号部６０３：当該小ブロックの参照フレームインデクスに関する符号化情報を読み込み、その復号を行い、復号された参照フレームインデクス情報を参照フレームインデクス情報記憶部６０４に出力する。

動きベクトル情報復号部６０５：当該小ブロックの動きベクトルに関する符号化情報を読み込み、その復号を行い、復号された動きベクトル情報を動きベクトル情報記憶部６０６に出力する。

重み係数情報復号部６０７：当該小ブロックの重み係数に関する符号化情報を読み込み、その復号を行い、復号された重み係数情報を重み係数情報記憶部６０８に出力する。

予測残差信号直流成分情報復号部６０９：当該小ブロックの予測残差信号の直流成分に関する符号化情報を読み込み、その復号を行い、復号された予測残差信号の直流成分情報を予測残差信号直流成分情報記憶部６１０に出力する。

当該小ブロック予測参照位置同定部６１１：参照フレームインデクス情報記憶部６０４および動きベクトル情報記憶部６０６より、復号された参照フレームインデクスおよび動きベクトルの情報をそれぞれ読み込み、当該小ブロックの動き予測の被参照ブロックの位置を同定する。

直上ブロック復号信号直流成分算出部６１２：当該小ブロック予測参照位置同定部６１１において同定された被参照ブロックの直上ブロックの復号信号を読み込み、その復号信号の直流成分を算出し、直上ブロック復号信号直流成分記憶部６１３に出力する。

重み係数演算部６１４：直上ブロック復号信号直流成分記憶部６１３より被参照ブロックの直上ブロックの復号信号の直流成分を読み込み、また、重み係数情報記憶部６０８より当該小ブロックに割り当てられた重み係数を読み込み、直上ブロックの復号信号の直流成分に重み係数を用いて重み付けを行い、重み付けされた直流成分を予測残差信号直流成分加算部６１５に出力する。

予測残差信号直流成分加算部６１５：重み係数演算部６１４より出力された重み付けされた直上ブロックの復号信号の直流成分の値を読み込み、また、予測残差信号直流成分情報記憶部６１０より復号された予測残差信号の直流成分を読み込み、両者を加算し、その値を当該小ブロック推定直流成分記憶部６１６に出力する。

小ブロック直流成分推定処理判定部６１７：すべての小ブロックに対して直流成分の推定処理を完了したか否かの判定処理を行い、真の場合は当該直下ブロック推定直流成分算出部６１８に移り、真の場合は推定対象小ブロック更新部６１９に移る。

当該直下ブロック推定直流成分算出部６１８：当該小ブロック推定直流成分記憶部６１６より各小ブロックの推定直流成分を読み込み、当該直下ブロックにおける各小ブロックの面積比に応じて各小ブロックの推定直流成分を重み付けし、その重み付け和を当該直下ブロックの直流成分の推定値としてみなし、出力する。

推定対象小ブロック更新部６１９：次の直流成分の推定対象小ブロックに処理対象を移す。

本発明は、動画像スケーラブル符号化に適用できるものであり、本発明によれば、重み係数を伝送せずに精度の高い重み付き動き予測を実行することができるようになる。

Claims (24)

1. 動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化方法であって、
   直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定するステップを有し、
   前記ステップで、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定する
   ことを特徴とする動画像スケーラブル符号化方法。
2. 動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化方法であって、
   直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定するステップを有し、
   前記ステップで、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定する
   ことを特徴とする動画像スケーラブル符号化方法。
3. 動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化方法であって、
   直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定するステップを有し、
   前記ステップで、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定する
   ことを特徴とする動画像スケーラブル符号化方法。
4. 請求項１から請求項３のいずれか一項に記載の動画像スケーラブル符号化方法において、
   前記ステップでは、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
   特徴とする動画像スケーラブル符号化方法。
5. 請求項１から請求項３のいずれか一項に記載の動画像スケーラブル符号化方法において、
   前記ステップでは、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
   特徴とする動画像スケーラブル符号化方法。
6. 動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号方法であって、
   直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定するステップを有し、
   前記ステップで、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定する
   ことを特徴とする動画像スケーラブル復号方法。
7. 動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号方法であって、
   直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定するステップを有し、
   前記ステップで、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定する
   ことを特徴とする動画像スケーラブル復号方法。
8. 動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号方法であって、
   直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定するステップを有し、
   前記ステップで、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定する
   ことを特徴とする動画像スケーラブル復号方法。
9. 請求項６から請求項８のいずれか一項に記載の動画像スケーラブル復号方法において、
   前記ステップでは、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
   特徴とする動画像スケーラブル復号方法。
10. 請求項６から請求項８のいずれか一項に記載の動画像スケーラブル復号方法において、
    前記ステップでは、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
    特徴とする動画像スケーラブル復号方法。
11. 動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化装置であって、
    直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、
    前記手段は、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定する
    ことを特徴とする動画像スケーラブル符号化装置。
12. 動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化装置であって、
    直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、
    前記手段は、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定する
    ことを特徴とする動画像スケーラブル符号化装置。
13. 動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化装置であって、
    直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、
    前記手段は、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定する
    ことを特徴とする動画像スケーラブル符号化装置。
14. 請求項１１から請求項１３のいずれか一項に記載の動画像スケーラブル符号化装置において、
    前記手段は、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
    特徴とする動画像スケーラブル符号化装置。
15. 請求項１１から請求項１３のいずれか一項に記載の動画像スケーラブル符号化装置において、
    前記手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
    特徴とする動画像スケーラブル符号化装置。
16. 動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号装置であって、
    直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、
    前記手段は、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定する
    ことを特徴とする動画像スケーラブル復号装置。
17. 動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号装置であって、
    直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、
    前記手段は、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定する
    ことを特徴とする動画像スケーラブル復号装置。
18. 動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号装置であって、
    直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の予測方法に関する符号化情報が画面間予測を示す値であった場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するという算出方法に決定する手段を有し、
    前記手段は、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定する
    ことを特徴とする動画像スケーラブル復号装置。
19. 請求項１６から請求項１８のいずれか一項に記載の動画像スケーラブル復号装置において、
    前記手段は、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
    特徴とする動画像スケーラブル復号装置。
20. 請求項１６から請求項１８のいずれか一項に記載の動画像スケーラブル復号装置において、
    前記手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
    特徴とする動画像スケーラブル復号装置。
21. 請求項１から請求項５のいずれか一項に記載の動画像スケーラブル符号化方法をコンピュータに実行させるための動画像スケーラブル符号化プログラム。
22. 請求項１から請求項５のいずれか一項に記載の動画像スケーラブル符号化方法をコンピュータに実行させるための動画像スケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
23. 請求項６から請求項１０のいずれか一項に記載の動画像スケーラブル復号方法をコンピュータに実行させるための動画像スケーラブル復号プログラム。
24. 請求項６から請求項１０のいずれか一項に記載の動画像スケーラブル復号方法をコンピュータに実行させるための動画像スケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images