JP5004150B2

JP5004150B2 - 画像符号化装置

Info

Publication number: JP5004150B2
Application number: JP2006048456A
Authority: JP
Inventors: 晴久加藤; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2012-08-22
Anticipated expiration: 2026-02-24
Also published as: JP2007228371A

Description

本発明は、画像符号化装置に関し、特に、複数の符号化パラメータを混在させることで高い圧縮効率を得ることができる画像符号化装置に関する。

画像情報の伝送や蓄積に際し、その情報量を削減するために符号化による圧縮が行われる。画像情報の符号化の一種として予測符号化があり、これではフレーム間相関を利用した動き補償により冗長な画像情報を削減する。

予測符号化では、複数の符号化パラメータを混在させることで高い圧縮効率を得ることができる。例えば、MPEGのマクロブロックにおける双方向予測やH.264のマクロブロックにおける双予測では、符号化対象フレームが参照する各参照フレームに対してそれぞれ符号化パラメータが存在する。

双方向予測では、符号化対象フレームに対し時間的に前後するフレームを参照フレームとし、符号化対象フレームと各参照フレームとの間において、マクロブロック単位でそれぞれ動きベクトルを符号化パラメータとして算出する。符号化対象フレームが参照する予測画像は、それらの動きベクトルが示す位置のマクロブロックにおいて対応する画素を値をそれぞれ平均化することにより得られる。

双予測では、双方向予測における時間的制約を外すことで、時間的に同一方向の複数フレームを参照フレームとして用いることができる。

特許文献１には、順方向動き補償フレーム間予測および逆方向動き補償フレーム間予測において導出された順方向動きベクトルおよび逆方向動きベクトルをフレーム間隔の比に応じた大きさでそれぞれ配分することにより、フレーム間予測における参照フレームとはならないフレーム(中間フレーム)に対する順方向動きベクトルおよび逆方向動きベクトルを導出する動画像符号化方法が記載されている。

特許文献２には、まず、現画像ブロックの逆方向参照画像への逆方向動きベクトルを求め、次に、該逆方向動きベクトルと、該逆方向動きベクトルが指す順方向参照画像内ブロックの順方向参照画像への動きベクトルの2つのベクトルから、新たなベクトルを算出し、これにより算出されたベクトルを順方向動きベクトルとすることにより、少ない演算量で順方向動き動きベクトルおよび逆方向動きベクトルを求めることができる動きベクトル探索方法が記載されている。

特許文献３には、時間的に先行および後続するフレームを用いて双方向から予測して符号化するに際し、Bブロックを最適に予測するためのデルタ動きベクトルを探索し、順方向動きベクトルにデルタ動きベクトルを加算して最終順方向動きベクトルを得、逆方向動きベクトルからデルタ動きベクトルを減算して最終順方向動きベクトルを得ることにより、動きが線形でないシーンでも有効に圧縮できるビデオ画像符号化方法が記載されている。

特許文献４には、双方向予測符号化に際し、まず、最適な順方向動きベクトルを求め、逆方向動きベクトルについては逆方向動きベクトル候補の中から、両方向の予測データの平均値が符号化ブロックと最も高い相関度を示すものを選択するようにした動画像処理方法が記載されている(第３実施形態)。
特開２００２−３３５５２９号公報特開２０００−２９５６２５号公報特開平９−１８２０８３号公報特開２０００−３０８０６２号公報

MPEGやH.264などの画像圧縮方式では、移動する物体やシーンの圧縮効率を動き補償で高めるため、動きベクトルを探索するに当たり、予測誤差の最小化を評価基準とする。一般的には、動きベクトルの探索は動きベクトルに対応する参照フレームの位置との二乗誤差が最小となる動きベクトルを選択する。これは、参照フレームを複数用いることができる双方向予測や双予測でも同様である。

上記の画像圧縮方式には、Iピクチャ、PピクチャおよびBピクチャの3つのタイプが存在する。I(Intra)ピクチャでは、他のフレームは参照されない。Pピクチャでは、時間的に過去のフレームが参照され、Bピクチャでは、複数のフレームを参照できる。

Bピクチャでは、動きの基準として複数の参照フレームを用いることができるが、動き補償単位であるマクロブロックごとに参照フレームの時間的位置や枚数を変更することができるため、マクロブロックによっては参照フレームを2枚ではなく1枚だけを参照することもできる。

従来の動きベクトル探索では、1枚だけの参照フレームを参照する単方向予測が選択される可能性を考慮し、個々の参照フレームに対する誤差がそれぞれ最小となる動きベクトルの組み合わせを双方向予測の動きベクトルとして採用している。

しかし、過去の参照フレームに対する誤差を最小にする動きベクトルと、未来の参照フレームに対する誤差を最小にする動きベクトルを個別に求めても、この2つの動きベクトルを組み合わせることが最適な双方向予測の動きベクトルを求めることにはならない。

双方向予測では2つの動きベクトルで導かれた領域の画素平均を用いるため、最適な動きベクトルは他に存在すると考えられる。複数の参照フレームの領域での画素平均を考えた場合、個々の参照フレームに対する誤差が最小であっても全体としての誤差が最小になるとは限らないので、従来の方法では圧縮効率や画質の面で問題がある。

特許文献１の動画像符号化方法は、参照フレームとなるフレーム間での動きベクトルを時間的に内分することによって双方向予測の動きベクトルを生成するものであり、誤差を最小とする順方向動きベクトルおよび逆方向動きベクトルを個別に算出し、それらを組み合わせていることに変わりはない。

特許文献２の動きベクトル探索方法は、演算量は少なくなるが、逆方向動きベクトルを求め、これを利用してベクトルを順方向動きベクトルを求めており、順方向動きベクトルと逆方向動きベクトルの組み合わせについての誤差は考慮されないので、誤差を最小とする順方向動きベクトルおよび逆方向動きベクトルの組み合わせを求めることができない。

特許文献３のビデオ画像符号化方法は、順方向動きベクトルを時間的に内分することによってBフレームに対する順方向動きベクトルおよび逆方向動きベクトルを得るものであり、これでも誤差を最小とする順方向動きベクトルと逆方向動きベクトルの組み合わせを求めることはできない。

特許文献４に記載されている動画像処理方法では、逆方向動きベクトルに種々の調整値を加えて逆方向動きベクトル候補を算出し、その中から両方向の予測データの平均値が符号化ブロックと最も高い相関度を示すものを選択して逆方向動きベクトルとしている。しかし、順方向動きベクトルについては一旦得られたものが固定され、その条件下で逆方向動きベクトルが選択されるので、他の順方向動きベクトルと逆方向動きベクトルの種々の組み合わせについて検証されることはなく、符号化ブロックと両方向の予測データの平均値との誤差がより小さくなる他の順方向動きベクトルと逆方向動きベクトルの組み合わせがあったとしても、その組み合わせは選択されない。

本発明の目的は、上記課題を解決し、双方向予測あるいは双予測において、圧縮効率や画質の面で優れた符号化を行うことができる画像符号化装置を提供することにある。

上記課題を解決するため、本発明は、符号化情報から画像信号を再構成し、再構成された複数の画像信号を元に予測信号を生成し、該予測信号により符号化対象の画像信号を予測符号化して符号化情報を出力する画像符号化装置であって、符号化対象の画像信号と予測信号との差分を求める差分手段と、前記差分手段の出力を直交変換する変換手段と、前記変換手段の出力を量子化する量子化手段と、前記量子化手段の出力を可変長符号化する可変長符号化手段と、前記量子化手段の出力を逆量子化する逆量子化手段と、前記逆量子化手段の出力を逆変換する逆変換手段と、前記予測信号と前記逆変換手段の出力を加算して再構成された画像信号を出力する加算手段と、前記加算手段の出力を参照フレームとして一時的に蓄えるフレームメモリと、符号化対象の画像信号と前記フレームメモリに蓄えられた複数の参照フレームを用い、動き情報の探索１回ごとに参照フレームを順次切り替え、かつ初回の動き探索では符号化対象の画像信号そのものに対して動き探索を行い、二回目以降の動き情報の探索では前回の動き補償での残渣信号が残った形の符号化対象の画像信号に対して動き探索を行うといった反復処理による動き情報の探索を、求められた動き情報が変化しなくなるまで、あるいは初回の動き探索で用いた参照フレームについての反復を含んで反復処理の回数が予め設定された回数を超えるまで実行し、前記複数の参照フレームについての一組の動き情報を決定する反復動き探索手段と、前記反復動き探索手段で決定された動き情報を用いて動き補償を施した前記複数の参照フレームを元に予測信号を出力する動き補償手段を備えたことを特徴としている。

また、本発明は、前記反復動き探索手段が、第１の参照フレームの画素値をａ倍(ａは正の整数)にする画素値ａ倍部と、第２の参照フレームの画素値をｂ倍(ｂは正の整数)にする画素値ｂ倍部と、初回の動き探索では符号化対象の画像信号の画素値をａ倍にした画像信号に対して動き探索を行い、反復処理による二回目以降の動き探索では前回の動き補償での残渣信号が残った形の符号化対象の画像信号に対して動き探索を行う動き探索部と、前記動き探索部で探索された動き情報を用いて参照フレームを動き補償する動き補償部と、反復処理による二回目以降の動き探索に際して予め符号化対象の画像信号の画素値を(ａ＋ｂ)倍にするバイアス付与部と、前記バイアス付与部で画素値が(ａ＋ｂ)倍にされた符号化対象の画像信号と前記動き補償部で動き補償された参照フレームの差を求める減算部を備え、前記減算部の出力を前回の動き補償での残渣信号が残った形の符号化対象の画像信号として前記動き探索部に入力することにより、第１の参照フレームと第２の参照フレームにそれぞれ重みａ、ｂが付された重み付き予測での一組の動き情報を決定することを特徴としている。

また、本発明は、前記反復動き探索手段が、初回の動き探索では符号化対象の画像信号そのものに対して動き探索を行い、反復処理による二回目以降の動き探索では前回の動き補償での残渣信号が残った形の符号化対象の画像信号に対して動き探索を行う動き探索部と、前記動き探索部で探索された動き情報を用いて参照フレームを動き補償する動き補償部と、反復処理による二回目以降の動き探索に際して予め符号化対象の画像信号の画素値をｎ倍(ｎは２以上の整数)にするバイアス付与部と、前記バイアス付与部で画素値がｎ倍にされた符号化対象の画像信号と前記動き補償部で動き補償され、画素値が(ｎ−１)倍にされた参照フレームの差を求める減算部を備え、前記減算部の出力を前回の動き補償での残渣信号が残った形の符号化対象の画像信号として前記動き探索部に入力することにより、ｎ枚の参照フレームについての一組の動き情報を決定することを特徴としている。

さらに、本発明は、動き探索では、任意の探索手法を採用可能であることを特徴としている。

本発明によれば、双方向予測や双予測に対して動き探索と動き補償を反復してそれぞれの参照フレームについての動きベクトルを求めるので、全体的に見て最適な動きベクトルを決定することができる。これにより、複数の動きベクトルを用いる画像符号化における圧縮効率を向上させることが可能となる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る画像符号化装置の一実施形態を示すブロック図である。本実施形態の画像符号化装置は、減算器11、直交変換器(DCT)12、量子化器(Q)13、可変長符号化器(VLC)14、逆量子化器(IQ)15、逆直交変換器(IDCT)16、加算器17、フレームメモリ(memory)18、反復動き探索器(反復ME)19、および動き補償器(MC)20を備える。

符号化対象の画像信号(フレーム)は、減算器11と反復動き探索器19に入力される。減算器11は、符号化対象の画像信号と動き補償器20から送出される予測信号との誤差を求める。減算器11から出力される誤差信号は、直交変換器12で直交変換され、直交変換係数となる。この直交変換係数は、量子化器13で量子化され、さらに可変長符号化器14で可変長符号化され、ビットストリームとして符号化出力される。

量子化器13の出力は、逆量子化器15で逆量子化され、さらに逆直交変換器16で逆直交変換されて加算器17に入力される。加算器17は、逆直交変換処理された出力と動き補償器20から送出される予測信号を加算して再構成(局部復号)された画像信号を出力する。フレームメモリ18は、加算器17で再構成された画像信号を参照フレームとして一時的に蓄える。

反復動き探索器19は、符号化対象フレームとフレームメモリ18に蓄えられた複数の参照フレームを用い、反復処理による動き情報の探索で動き情報を決定する。これにより、複数の参照フレーム全体が考慮された最適な動き情報の組み合わせが決定される。ここでの処理の詳細は後述する。

動き補償器20は、動き探索器19で決定された動き情報を用いて複数の参照フレームに動き補償を施し、予測信号を出力する。

図２は、反復動き探索器(反復ME)19の第１構成例を示す機能ブロック図である。この反復動き探索器19は、符号化対象フレームと2枚の参照フレーム(参照フレーム1,2)を入力とし、双予測動きベクトルMVを出力するものであり、双予測動きベクトルMVを探索するに当たり、単方向の動きベクトル探索を反復して繰り返すことにより漸次精度を向上させることを特徴としている。

反復動き探索器19は、動き探索部21、動き補償部22、バイアス付与部23、減算部24、判定部25、および切替部26,27を備える。

切替部26は、最初の１回目の動き探索で、符号化対象フレームを動き探索部21に入力し、２回目以降の動き探索では減算部24の出力を動き探索部21に入力する。

したがって、動き探索部21は、符号化対象フレームについての初回の動き探索では符号化対象の画像信号そのものに対して動き探索を行い、反復処理による2回目以降の動き探索では前回の動き補償が反映された画像信号に対して動き探索を行う。

また、切替部27は、1回の動き探索ごとに1枚目の参照フレーム1と2枚目の参照フレーム2を交互に動き探索部21に入力する。動き補償部22は、動き探索部21で探索された動き情報を用いて参照フレームを動き補償する。

バイアス付与部23は、反復処理による2回目以降の動き探索に際し予め符号化対象フレームにバイアスをかける。これにより、動き探索する参照フレーム以外の参照フレームの影響を除去する。

減算部24は、バイアス付与部23でバイアスがかけられた符号化対象フレームと動き補償部22で動き補償された参照フレームの差を求める。判定部25は、動き探索部21で探索された動き情報の変化の有無あるいは所定反復回数を元に反復処理を終了させる。

以下、反復動き探索器19の動作を説明する。初回の動き探索では、切替部26,27は、符号化対象フレームと1枚目の参照フレーム1を動き探索部21に入力するように切り替えられる。動き探索部21は、1回目では符号化対象フレームそのものに対して動き探索を行う。すなわち、符号化対象フレームと参照フレーム1を用いて動きベクトルMVを探索する。

判定部25は、動きベクトルMVに変化があり、かつ動き探索が指定回数内であるか否かを判定する。初回の動き探索の結果、動きベクトルMVは変化し、かつ指定回数内と判定されるので、探索された動きベクトルMVは、動き補償部22に与えられる。動き補償部22は、動き探索部21で探索された動きベクトルMVと参照フレーム1を用いて予測フレームを生成する。

判定部25で、指定回数内であるか否かを条件としたのは、動き探索を何回反復しても動きベクトルMVが収束しない場合を考慮したものであり、指定回数は、例えば参照フレーム数の2倍を超える所定数に設定される。なお、動きベクトルMVに変化があるか否かの判定は、動きベクトルMVの変化が完全に0であるか否かということでなくてもよく、予め設定した閾値以下であるか否かというものでもよい。

一方で、符号化対象フレームをバイアス付与部23に入力し、その画素値を2倍にする処理を施しておく。これにより画素値が2倍された符号化対象フレームと動き補償部22で作成された予測フレームの差が減算部24で求められる。

2回目の動き探索では、1回目の動き補償が反映された画像信号に対して動き探索を行う。すなわち、符号化対象フレームに代えて減算器24から出力される差分を用いて動き探索を行う。また、参照フレームとしては2枚目の参照フレーム2を用いる。そのため、減算部24からの差分と参照フレーム2を動き探索部21に入力するように切替部26,27を切り替える。

バイアス付与手段23で符号化対象フレームの画素値が2倍にされ、減算部24からは先の動き補償での残渣信号が残った形の符号化対象フレームが差分として出力されるので、2枚目の参照フレーム2を用いる動き探索でも同じ動き探索部21を用いることができる。

2回目の動き探索では、動き探索部21は、減算部24からの差分と参照フレーム2を用いて動きベクトルMVを探索する。参照フレーム2についての動きベクトルMVは今回初めて探索されたので、判定部25は、今回も動きベクトルMVが変化し、かつ指定回数内と判定する。したがって、探索された動きベクトルMVは、動き補償部22に与えられる。

動き補償部22は、動き探索部21で探索された動きベクトルMVと参照フレーム2を用いて予測フレームを生成し、減算部24は、バイアス付与部23で画素値が2倍された符号化対象フレームと動き補償部22で作成された予測フレームの差を出力する。

3回目の動き探索では、減算部24から2回目に出力された差分を用いる。また、参照フレームとしては1枚目の参照フレーム1を用いる。すなわち、切替部26は、2回目と同じ状態であり、切替部27は、参照フレーム1を動き探索部21に入力するように切り替えられる。

以下、同様に、動き探索および動き補償の一連の処理を反復して繰り返す。上述したように、反復動き探索器19は、1回目では、符号化対象フレームそのものと参照フレーム1を用いて動き探索を行い、2回目以降では、前回の動き補償が反映された画像信号、つまり減算部24からの差分を用い、また、参照フレーム1,2を交互に用いて動き探索を反復して行う。動き探索部21で用いる参照フレームを切り替えて反復処理することで全体的に最適な動きベクトルMVを漸次的に求めることができる。

動き探索の反復過程で、求められた動きベクトルMVが変化しなくなった場合、あるいは一連の処理の反復回数が予め定められた回数を超えた場合は、参照フレーム1,2について最後の反復処理で求められた動きベクトルMVを出力して動き探索処理を終了する。

動き補償器20(図１)は、探索の結果として求められた参照フレーム1,2に対する動きベクトルMVと参照フレーム1,2の画像信号を用いて符号化対象フレームに対する予測フレームを生成する。この予測フレームの生成は、従来の双方向予測や双予測と同様であるので説明は省略する。

図３は、具体的サンプルによる第１構成例での動き探索の説明図である。ここでは、反復動き探索器19の動作の理解を容易にするため、単純化して、フレームが2ｘ1画素からなり、動き探索を1ｘ1画素単位で行うものとする。しかし、実際にはフレームの画素数や動き探索の単位は、それぞれ352ｘ288画素、16ｘ16画素などである。

符号化を行おうとする符号化対象の画素値が「6」、参照フレーム1,2の画素値がそれぞれ「4,5」,「5,8」であるとすると、参照フレーム1,2について誤差を最小にする動きベクトルを個別に求めた場合、符号化対象の画素値「6」に対して、参照フレーム1からは誤差が最小となる画素値「5」の位置が動きベクトルとして決定され、参照フレーム2からは画素値「5」の位置が動きベクトルとして決定される。この場合、双方向予測で平均して求められる画素値は「5」となり、符号化対象の画素値「6」に対する誤差は「1」となる。

一方、反復動き探索器19の処理に照らし合わせて動作を確認すると、まず、動き探索部21で、符号化対象の画素値「6」に対する誤差が最小になる参照フレーム1の画素値「5」の位置が動きベクトルとして求められる。ここまでは上記と同じである。

ここで、参照フレーム1に対する動きベクトルは初めて求められたので、判定部25は、条件が成立したとして動きベクトルを動き補償部22に与える。次に、動き補償部22での動き補償によって、参照フレーム1の画素値「5」が予測画素の画素値として符号化対象の画素値「6」と対応付けられる。

他方で、符号化対象の画素値「6」はバイアス付与部(画素値2倍手段)23で予め2倍の「12」にされる。減算部24では、この値「12」と動き補償部22で動き補償された画素値「5」との差「7」が求められる。

2回目の動き探索で、動き探索部21は、差「7」との誤差が最小になる参照フレーム2の画素値の位置を動きベクトルとして探索する。この場合、参照フレーム2の画素値「8」の位置が動きベクトルとして求められる。参照フレーム2に対する動きベクトルは初めて求められたので、判定部25は、条件が成立したとして動きベクトルを動き補償部22に与える。次に、動き補償部22での動き補償によって、参照フレーム2の画素値「8」が予測画素の画素値として符号化対象の画素値「6」と対応付けられる。

減算部24では、バイアス付与部23で予めバイアスが付与された符号化対象の画素値「12」と動き補償部22で動き補償された画素値「8」との差「4」が求められる。

3回目の動き探索では、動き探索部21は、差「4」との誤差が最小になる参照フレーム1の画素値の位置を動きベクトルとして探索する。この場合、参照フレーム1の画素値「4」の位置が動きベクトルとして求められる。ここで、参照フレーム1に対する動きベクトルは変化したので、判定部25は、条件が成立したとして動きベクトルを動き補償部22に与える。次に、動き補償部22での動き補償によって、参照フレーム1の画素値「4」が予測画素の画素値として符号化対象の画素値「6」と対応付けられる。

次に、減算部24は、バイアス付与部23から得られる値「12」と動き補償部22で動き補償された画素値「4」との差「8」を求める。

4回目の動き探索では、動き探索部21は、差「8」との誤差が最小になる参照フレーム2の画素値の位置を動きベクトルとして探索する。ここでは、参照フレーム2の画素値「8」の位置が動きベクトルとして求められ、参照フレーム2に対する動きベクトルは画素値「8」の位置のままで変化しない。判定部25は、条件が成立しない判定し、上記一連の反復処理を終了して、参照フレーム1では画素値「4」の位置、参照フレーム2では画素値「8」の位置を最終的に決定された動きベクトルとして出力する。

この場合、双方向予測で平均して求められる画素値は「6」となり、符号化対象の画素値「6」に対する誤差は「0」となるので、双方向予測において個別の最適化よりも全体的に最適な動きベクトルが選択されたことが分かる。

図４は、反復動き探索器(反復ME)19の第２構成例を示す機能ブロック図である。本構成例は、複数の参照フレームを用いる単方向あるいは双方向の重み付き予測にも対応可能なように汎用化したものである。図４において図２と同一あるいは同等部分には同じ符号を付している。

第２構成例が第１構成例と異なるのは、バイアス付与部23を画素値(a+b)倍手段とし、符号化対象フレームを画素値a倍部29を通して切替部27に与え、参照フレーム1,2をそれぞれ、画素値a倍部30,画素値b倍部31を通して切替部27に与える点である。ここで、a,bはそれぞれ、参照フレーム1,2に対する重みを示し、a=b=1の場合は第１構成例に相当する。

図５は、具体的サンプルによる第２構成例での動き探索の説明図である。ここでは、a=2,b=1とし、符号化対象の画素値が「5」、参照フレーム1,2の画素値がそれぞれ「1,3」,「12,13」であるとしている。

参照フレーム1,2について誤差を最小にする動きベクトルを個別に求めた場合、参照フレーム1,2からそれぞれ、符号化対象の画素値「5」に対して、重みa,bを考慮した誤差が最小となる画素値「3」,「12」の位置が動きベクトルとして決定されれる。この場合、双方向予測で重み付き平均して求められる画素値は「6」となり、符号化対象の画素値「5」に対する誤差は「1」となる。

一方、反復動き探索器19の処理に照らし合わせて動作を確認すると、まず、動き探索部21は、符号化対象の画素値を画素値a倍部29で2倍にした値「10」と参照フレーム1の画素値を画素値a倍部29で2倍にした値「2,6」との誤差を求め、この誤差が最小になる参照フレーム1の画素値の位置を動きベクトルとして探索する。ここでは、参照フレーム1の画素値「3」の位置が動きベクトルとして求められる。これは上記と同じである。

参照フレーム1に対する動きベクトルは初めて求められたので、判定部25は、条件が成立したとして動きベクトルを動き補償部22に与える。次に、動き補償部22での動き補償によって、参照フレーム1の画素値の2倍の値「6」が予測画素の画素値として符号化対象の画素値「5」と対応付けられる。

他方で、符号化対象の画素値はバイアス付与部(画素値(a+b)倍手段)23で予め3倍の「15」にされる。減算部24では、この値「15」と動き補償部22で動き補償された画素値「6」との差「9」が求められる。

2回目の動き探索で、動き探索部21は、差「9」と参照フレーム2の画素値を画素値b倍部30で1倍にした値「12,13」との誤差を求め、この誤差が最小になる参照フレーム2の画素値の位置を動きベクトルとして探索する。この場合、参照フレーム2の画素値「12」の位置が動きベクトルとして求められる。参照フレーム2に対する動きベクトルは初めて求められたので、判定部25は、条件が成立したとして動きベクトルを動き補償部22に与える。次に、動き補償部22での動き補償によって、参照フレーム2の画素値の1倍の値「12」が予測画素の画素値として符号化対象の画素値「5」と対応付けられる。

減算部24では、バイアス付与部23で予めバイアスが付与された符号化対象の画素値「15」と動き補償部22で動き補償された画素値「12」との差「3」が求められる。

3回目の動き探索では、動き探索部21は、差「3」と参照フレーム1の画素値を画素値a倍部29で2倍にした値「2,6」との誤差が最小になる参照フレーム1の画素値の位置を動きベクトルとして探索する。この場合、参照フレーム1の画素値「1」の位置が動きベクトルとして求められる。ここで、参照フレーム1に対する動きベクトルは変化したので、判定部25は、条件が成立したとして動きベクトルを動き補償部22に与える。次に、動き補償部22での動き補償によって、参照フレーム1の画素値の2倍の値「2」が予測画素の画素値として符号化対象の画素値「5」と対応付けられる。

次に、減算部24は、バイアス付与部23から得られる値「15」と動き補償部22で動き補償された画素値「2」との差「13」を求める。

4回目の動き探索では、動き探索部21は、差「13」と参照フレーム2の画素値を画素値b倍部30で1倍にした値「12,13」との誤差を求め、この誤差が最小になる参照フレーム2の画素値の位置を動きベクトルとして探索する。この場合、参照フレーム2の画素値「13」の位置が動きベクトルとして求められる。ここで、参照フレーム2に対する動きベクトルは変化したので、判定部25は、条件が成立したとして動きベクトルを動き補償部22に与える。次に、動き補償部22での動き補償によって、参照フレーム2の画素値の1倍の値「13」が予測画素の画素値として符号化対象の画素値「5」と対応付けられる。

次に、減算部24は、バイアス付与部23から得られる値「15」と動き補償部22で動き補償された画素値「13」との差「2」を求める。

5回目の動き探索では、動き探索部21は、差「2」と参照フレーム1の画素値を画素値a倍部29で2倍にした値「2,6」との誤差を求め、この誤差が最小になる参照フレーム1の画素値の位置を動きベクトルとして探索する。この場合、参照フレーム1の画素値「1」の位置が動きベクトルとして求められる。ここで、参照フレーム1に対する動きベクトルは画素値「1」の位置のままで変化しない。判定部25は、条件が成立しない判定し、上記一連の反復処理を終了して、参照フレーム1では画素値「1」の位置、参照フレーム2では画素値「13」の位置を最終的に決定された動きベクトルとして出力する。

この場合、双方向予測で重み付け平均して求められる画素値は「5」となり、符号化対象の画素値「5」に対する誤差は「0」となるので、双方向予測において個別の最適化よりも全体的に最適な動きベクトルが選択される。

図６は、反復動き探索器(反復ME)19の第３構成例を示す機能ブロック図である。図６において図２と同一あるいは同等部分には同じ符号を付している。第１構成例では、参照フレームが2枚であることを想定したが、第３構成例では、参照フレームが3枚以上の任意枚数(n枚)の場合にも対処可能となっている。第３構成例が第１構成例と異なるのは、バイアス付与部23を画素値n倍手段とし、動き補償部22で作成された予測フレームの画素値を画素値(n-1)倍部28で(n-1)倍して減算部24に与える点である。

この場合にも、減算器24からは先の動き補償での残渣信号が残った形の符号化対象フレームが差分として出力されるので、第１具体例と同様に、次回の動き探索で同じ動き探索部21を用いることができる。

以上、実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、動き探索部21では任意の探索手法を採用でき、適当な探索手法を適宜選択して適用できるようにすることもできる。

本発明に係る画像符号化装置の一実施形態を示すブロック図である。反復動き探索器の第１構成例を示す機能ブロック図である。具体的サンプルによる第１構成例での動き探索の説明図である。反復動き探索器の第２構成例を示す機能ブロック図である。具体的サンプルによる第２構成例での動き探索の説明図である。反復動き探索器の第３構成例を示す機能ブロック図である。

符号の説明

11・・・減算器、12・・・直交変換器(DCT)、13・・・量子化器(Q)、14・・・可変長符号化器(VLC)、15・・・逆量子化器(IQ)、16・・・逆直交変換器(IDCT)、17・・・加算器、18・・・フレームメモリ(memory)、19・・・反復動き探索器(反復ME)、20・・・動き補償器(MC)、21・・・動き探索部、22・・・動き補償部、23・・・バイアス付与部、24・・・減算部、25・・・判定部、26,27・・・切替部、28・・・画素値(n-1)倍部、29,30・・・画素値a倍部、31・・・画素値b倍部

Claims

符号化情報から画像信号を再構成し、再構成された複数の画像信号を元に予測信号を生成し、該予測信号により符号化対象の画像信号を予測符号化して符号化情報を出力する画像符号化装置であって、
符号化対象の画像信号と予測信号との差分を求める差分手段と、
前記差分手段の出力を直交変換する変換手段と、
前記変換手段の出力を量子化する量子化手段と、
前記量子化手段の出力を可変長符号化する可変長符号化手段と、
前記量子化手段の出力を逆量子化する逆量子化手段と、
前記逆量子化手段の出力を逆変換する逆変換手段と、
前記予測信号と前記逆変換手段の出力を加算して再構成された画像信号を出力する加算手段と、
前記加算手段の出力を参照フレームとして一時的に蓄えるフレームメモリと、
符号化対象の画像信号と前記フレームメモリに蓄えられた複数の参照フレームを用い、動き情報の探索１回ごとに参照フレームを順次切り替え、かつ初回の動き探索では符号化対象の画像信号そのものに対して動き探索を行い、二回目以降の動き情報の探索では前回の動き補償での残渣信号が残った形の符号化対象の画像信号に対して動き探索を行うといった反復処理による動き情報の探索を、求められた動き情報が変化しなくなるまで、あるいは初回の動き探索で用いた参照フレームについての反復を含んで反復処理の回数が予め設定された回数を超えるまで実行し、前記複数の参照フレームについての一組の動き情報を決定する反復動き探索手段と、
前記反復動き探索手段で決定された動き情報を用いて動き補償を施した前記複数の参照フレームを元に予測信号を出力する動き補償手段を備えたことを特徴とする画像符号化装置。
前記反復動き探索手段は、第１の参照フレームの画素値をａ倍(ａは正の整数)にする画素値ａ倍部と、第２の参照フレームの画素値をｂ倍(ｂは正の整数)にする画素値ｂ倍部と、初回の動き探索では符号化対象の画像信号の画素値をａ倍にした画像信号に対して動き探索を行い、反復処理による二回目以降の動き探索では前回の動き補償での残渣信号が残った形の符号化対象の画像信号に対して動き探索を行う動き探索部と、前記動き探索部で探索された動き情報を用いて参照フレームを動き補償する動き補償部と、反復処理による二回目以降の動き探索に際して予め符号化対象の画像信号の画素値を(ａ＋ｂ)倍にするバイアス付与部と、前記バイアス付与部で画素値が(ａ＋ｂ)倍にされた符号化対象の画像信号と前記動き補償部で動き補償された参照フレームの差を求める減算部を備え、前記減算部の出力を前回の動き補償での残渣信号が残った形の符号化対象の画像信号として前記動き探索部に入力することにより、第１の参照フレームと第２の参照フレームにそれぞれ重みａ、ｂが付された重み付き予測での一組の動き情報を決定することを特徴とする請求項１に記載の画像符号化装置。
前記反復動き探索手段は、初回の動き探索では符号化対象の画像信号そのものに対して動き探索を行い、反復処理による二回目以降の動き探索では前回の動き補償での残渣信号が残った形の符号化対象の画像信号に対して動き探索を行う動き探索部と、前記動き探索部で探索された動き情報を用いて参照フレームを動き補償する動き補償部と、反復処理による二回目以降の動き探索に際して予め符号化対象の画像信号の画素値をｎ倍(ｎは２以上の整数)にするバイアス付与部と、前記バイアス付与部で画素値がｎ倍にされた符号化対象の画像信号と前記動き補償部で動き補償され、画素値が(ｎ−１)倍にされた参照フレームの差を求める減算部を備え、前記減算部の出力を前回の動き補償での残渣信号が残った形の符号化対象の画像信号として前記動き探索部に入力することにより、ｎ枚の参照フレームについての一組の動き情報を決定することを特徴とする請求項１に記載の画像符号化装置。
動き探索では、任意の探索手法を採用可能であることを特徴とする請求項１ないし３のいずれか１つに記載の画像符号化装置。