JPWO2010007719A1 - 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法 - Google Patents

Abstract

より高解像度の参照画像を生成し、符号化の観点より動き予測精度の改善に資する。原画像データと動き予測画像データとの差分を符号化すると共に符号化データを復号して得られるローカルデコード画像データに基づいて前記動き予測画像データを生成することが可能な画像符号化装置は、前記ローカルデコード画像データを複数フレーム分に亘り保持するフレームメモリ（１０９）と、前記フレームメモリが保持する、符号化対象フレームのローカルデコード画像データとそれよりも前のフレームのローカルデコード画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理部（１１０，１１１）と、を有する。画像符号化装置は前記小数画素画像データ処理部で生成された小数画素精度画像データを参照画像データとして動き検出を行って動き予測画像データを生成する。

Description

本発明は、補償技術を用いた動画像の圧縮及び伸長技術に関し、特に補償技術に小数画素精度画像を用いる画像符号化又は復号のための装置と方法に関するものである。

MPEG-2,MPEG-,H.264等の画像符号化、復号処理では、非特許文献１に記載されるように、小数画素画像精度の動き検出・動き補償を行うために隣接画素からのフィルタ補間により参照画像を生成する。フィルタ補間によって生成される小数画素画像精度の参照画像は、整数精度の動き探索で探索された最小のコスト関数の画素の周囲に対して小数画素画像精度の画素値をフィルタ補間によって得るものである。参照画像として整数画素精度の画像データを用いる場合に比べて復号による再生画像の画質を向上させることができる。

I.Richardson,"H.264 and MPEG-4 Video Compression: Video Coding for Next-generation Multimedia", John Wiley & Sons, Ltd. (2003)

MPEG-2、MPEG-4、H.264等の既存の画像符号化規格では、符号化、復号処理において、小数画素画像精度の動き補償を行うための参照画像を得るためのフィルタ補間処理において、MPEG-2の場合には2タップのフィルタが適用されているが単純な画素補間のため高周波成分がカットされてしまい、動き予測精度が低下する。また、MPEG-4 ASPやH.264においても各々8タップ、6タップのフィルタ処理が適用されているが、高周波成分の調整が十分とはいえず、予測精度の向上による符号化効率の改善が課題であった。何れにおいても、小数画素画像精度の動き補償を行うための従来の参照画像は、処理対象とされるマクロブロックが所属するフレーム内の画像データだけで生成される。

本発明は、上記課題に鑑みてなされたものであり、その目的は、画像符号化、画像復号のための装置及び方法において、より高解像度の参照画像を生成することにある。別の目的は、動き予測精度を改善することである。更に別の目的は、高画質に資することである。

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、画像データの符号化技術において、原画像データと動き予測画像データとの差分を符号化すると共に符号化データを復号して得られるローカルデコード画像データに基づいて前記動き予測画像データを生成するとき、ローカルデコード画像データを複数フレーム分に亘り保持するフレームメモリから、符号化対象フレームのローカルデコード画像データとそれよりも前のフレームのローカルデコード画像データとを用いて小数画素精度画像データを生成し、前記小数画素精度画像データを参照画像データとして動き検出を行って動き予測画像データを生成する。

また、画像データの復号技術において、動き予測によって符号化された符号化データから分離された符号化画像データを復号して得られる動き予測誤差に動き予測画像データを加算して画像データを再生し、再生された再生画像データに基づいて前記動き予測画像データを生成するとき、前記再生画像データを複数フレーム分に亘り保持するフレームメモリから、復号対象フレームの再生画像データとそれよりも前のフレームの再生画像データとを用いて小数画素精度画像データを生成し、生成された小数画素精度画像データを参照画像データとして動き検出を行って動き予測画像データを生成する。

符号化、復号の何れにおいても、参照画像データとしての小数画素精度画像データは、処理対象フレームの画像データと当該フレームから離れた別のフレームの画像データとの双方のデータを用いて生成することが可能であるから、補間だけで生成する場合に比べてより高精度な小数画素精度画像データを生成することができる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、より高解像度の参照画像を生成することができる。それによって動き予測精度の改善に資することができる。更に、高画質に資することができる。

本発明に係る画像符号化装置の構成の一例のブロック図である。 小数画素精度画像生成方法決定部が決定する小数画素精度画像の生成方法を大別して示す説明図である。 小数画素精度画像生成方法決定部における決定処理を例示するフローチャートである。 本発明に係る画像符号化装置の処理の一例を示すフロー図である。 画像符号化装置における高解像度化技術の概要を示した図である。 画像符号化装置における高解像度化処理の一例のブロック図である。 画像符号化装置における高解像度化技術の概要を示す図である。 画像符号化装置における小数画素画像生成部の第１の構成例の入力信号の位相関係の説明図である。 画像符号化装置における小数画素画像生成部の第２の構成例の入力信号の位相関係の説明図である。 画像符号化装置における小数画素画像生成部の第２の構成例に用いるアップレート器の周波数-利得特性である。 画像符号化装置における小数画素画像生成部の第２の構成例に用いるアップレート器の周波数特性を逆フーリエ変換して得られるフィルタのタップ係数の例である。 画像符号化装置における小数画素画像生成部の第２の構成例に用いるπ/2位相シフト器周波数-利得特性である。 画像符号化装置における小数画素画像生成部の第２の構成例に用いるπ/2位相シフト器の周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。 画像符号化装置における小数画素画像生成部の第２の構成例に用いる係数決定器の係数の一例である。 画像符号化装置における画面内動き探索の説明図である。 画像符号化装置における高解像度化処理の一例のフロー図である。 本発明に係る画像復号装置の構成の一例のブロック図である。 本発明に係る画像復号装置の処理の一例を示すフロー図である。 本発明に係るビットストリームの一例を示した図である。

１０１…原画像メモリ
１０２…減算器
１０３…周波数変換部
１０４…量子化部
１０５…可変長符号化部
１０６，１５０３…逆量子化部
１０７、１５０４…逆周波数変換部
１０８、１５０５…加算器
１０９、１１３、１５０６、１５１０…フレームメモリ
１１０、１５０７…小数画素精度画像生成方法決定部
１１１、１５０８…小数画素精度画像生成部
１１２、１５０９…動き検出・動き補償部
１１４、１５１２…画面内予測部
４０１…位置推定部
４０３、４０４…アップレート器
４０６、４０７…位相シフト器
４１０、４１１、４１２、４１３…乗算器
４０９…係数決定部
１５０１…可変長復号部
１５０２…構文解析部
１５１１…映像表示装置

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕《画像符号化装置》原画像データと動き予測画像データとの差分を符号化すると共に符号化データを復号して得られるローカルデコード画像データに基づいて前記動き予測画像データを生成することが可能な画像符号化装置は、前記ローカルデコード画像データを複数フレーム分に亘り保持するフレームメモリ（１０９）と、前記フレームメモリが保持する、符号化対象フレームのローカルデコード画像データとそれよりも前のフレームのローカルデコード画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理部（１１０、１１１）と、を有する。画像符号化装置は前記小数画素画像データ処理部で生成された小数画素精度画像データを参照画像データとして動き検出を行って動き予測画像データを生成する。

上記より、参照画像データとしての小数画素精度画像データは、符号化対象フレームのローカルデコード画像データと当該フレームから離れた別のフレームのローカルデコード画像データとの双方のデータを用いて生成することが可能であるから、補間だけで生成する場合に比べてより高精度な小数画素精度画像データを生成することができる。

これにより、符号化の観点より動き予測精度の改善に資することができ、更に、符号化復号を経て得られる画像の高画質に資することができる。

〔２〕項２の画像符号化装置において、前記小数画素画像データ処理部は、フレームメモリに格納された符号化対象フレームのローカルデコード画像データとそれより前の所定範囲の前フレームのローカルデコード画像データとの間の動き量が小数画素精度であるか否かを判定し、小数画素精度の判定結果が得られたときは、その前フレームのローカルデコード画像データと前記符号化対象フレームのローカルデコード画像データとを用いて小数画素精度画像データを生成し、小数画素精度の判定結果が得られないときは符号化対象フレームのローカルデコード画像データに対する補間演算によって小数画素精度画像データを生成する。

上記より、動き量が整数画素精度である場合（例えば静止画像の場合）には小数画素精度画像データを生成するのに前者の処理を行なっても結果は後者と実質的に同じになるから、その場合に後者の補間による処理を選択することにより、無駄なデータ処理が減って処理量と処理時間が縮小される。また、前者の処理対象フレームが離れるに従って小数画素精度画像データの高精度若しくは高画質を期待できなくなる。この点を考慮して、符号化対象フレームから所定フレーム数だけ離れたフレームの範囲で小数画素精度画像データがなければそれ以降のフレームに対する画素精度の判定を行わずに、補間による処理を選択するようにして、無駄な処理を極力低減する。

〔３〕項２の画像符号化装置において、前記小数画素画像データ処理部は、前記小数画素精度であるか否かの判定の対象を、時間方向の動き予測を行うことなく画面内の情報を用いて符号化されて得られる画面であるIピクチャ(Intra-Picture)又は画面間の順方向予測符号化によって得られる画面であるPピクチャ（Predictive-Picture）のフレームに限定する。過去と未来の双方向からの予測符号化によって得られるが面であるＢピクチャ（Bi-directional Predictive-Picture）を除外する。これにより、より高精度若しくは高画質な小数画素精度画像データを生成することができる。

〔４〕項３の像符号化装置において、前記小数画素画像データ処理部は、前記所定範囲の前フレームに対して最も符号化対象フレームに近い前フレームから順次前記フレーム形態の判定と前記小数画素精度であるか否かの判定を行う。符号化対象フレームにより近いフレームのローカルデコード画像データを用いるほど、より高画質（高精度）の小数画素精度画像データを生成することができるからである。

〔５〕項１の画像符号化装置において、前記小数画素画像生成部は、例えば画像データの複数の画像信号のそれぞれの信号に対して位相シフト処理を行って新たな複数の画像信号を生成し、前記複数の画像信号と新たな複数の画像信号とに係数を乗じて合成することにより、小数画素精度画像データを生成する。

〔６〕《画像符号化方法》画像符号化方法は以下の(a)乃至（l）の処理を含む。(a)予測画像メモリから動き予測画像データを読出す読出し処理、(b)読み出された動き予測画像データと入力画像データとの差分を予測誤差データとして算出する差分処理、(c)前記差分処理で算出した予測誤差データを周波数変換する周波数変換処理、(d)前記周波数変換処理で周波数変換されたデータを量子化する量子化処理、(e)前記量子化処理で量子化されたデータを可変長符号化し、符号化ストリームを生成する可変長符号化処理、(f)前記量子化処理で量子化されたデータを逆量子化する逆量子化処理と、(g)前記逆量化処理で逆量子化されたデータを逆周波数変換して予測誤差データを再生するする逆周波数変換処理と、(h)前記逆周波数変換処理で再生された予測誤差データと前記動き予測画像データとを加算してローカルデコード画像データを出力する加算処理、(i)前記加算処理で算出されたローカルデコード画像データをフレームメモリに格納する処理、(j)前記フレームメモリが保持する、符号化対象フレームのローカルデコード画像データとそれよりも前のフレームのローカルデコード画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理、(k)前記小数画素画像データ処理で生成された小数画素精度画像データを参照画像データとして動き検出を行って予測画像を生成する動き検出・動き補償処理、及び(l)前記動き検出・動き補償処理で生成された動き予測画像データを前記予測画像メモリに書き込む書き込み処理。

〔７〕《画像復号装置》動き予測によって符号化された符号化データを入力して符号化画像データと付加情報に分離し、分離された符号化画像データを復号して得られる動き予測誤差に動き予測画像データを加算して画像データを再生し、再生された再生画像データに基づいて前記動き予測画像データを生成することが可能な画像復号装置は、前記再生画像データを複数フレーム分に亘り保持するフレームメモリ（１５０６）と、前記フレームメモリが保持する、復号対象フレームの再生画像データとそれよりも前のフレームの再生画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理部（１５０７，１５０８）と、を有する。画像復号装置は、前記小数画素画像データ処理部で生成された小数画素精度画像データを参照画像データとして動き検出を行って動き予測画像データを生成する。

上記より、参照画像データとしての小数画素精度画像データは、復号対象フレームの再生画像データと当該フレームから離れた別のフレームの再生画像データとの双方のデータを用いて生成することが可能であるから、補間だけで生成する場合に比べてより高精度な小数画素精度画像データを生成することができる。

これにより、復号の観点より動き予測精度の改善に資することができ、更に、符号化復号を経て得られる画像の高画質に資することができる。

〔８〕項７の画像復号装置において、前記小数画素画像データ処理部は、フレームメモリに格納された復号対象フレームの再生画像データとそれより前の所定範囲の前フレームの再生画像データとの間の動き量が小数画素精度であるか否かを判定し、小数画素精度の判定結果が得られたときは、その前フレームの再生画像データと前記復号対象フレームの再生画像データとを用いて小数画素精度画像データを生成し、小数画素精度の判定結果が得られないときは復号対象フレームの再生画像データに対する補間演算によって小数画素精度画像データを生成する。これにより、無駄なデータ処理が減って処理量と処理時間の縮小に寄与することができる。

〔９〕項８の画像復号装置において、前記小数画素画像データ処理部は、前記小数画素精度であるか否かの判定の対象をIピクチャ又はPピクチャのフレーム形態に限定する。より高精度若しくは高画質な小数画素精度画像データを生成することができる。

〔１０〕項９の画像復号装置において、前記小数画素画像データ処理部は、前記所定範囲の前フレームに対して最も復号対象フレームに近い前フレームから順次前記フレーム形態の判定と前記小数画素精度であるか否かの判定を行う。復号対象フレームにより近いフレームの再生画像データを用いるほど、より高画質（高精度）の小数画素精度画像データを生成することができるからである。

〔１１〕項７の画像復号装置において、前記小数画素画像生成部は、例えば画像データの複数の画像信号のそれぞれの信号に対して位相シフト処理を行って新たな複数の画像信号を生成し、前記複数の画像信号と新たな複数の画像信号とに係数を乗じて合成することにより、小数画素精度画像データを生成する。

〔１２〕《復号方法》画像復号方法は以下の(a)乃至（l）の処理を含む。(a)動き予測によって符号化された符号化データから成る符号化ストリームを入力して可変長復号する可変長復号処理、(ｂ)可変長復号された符号化データを符号化画像データと付加情報に分離する構文解析処理、(c)分離された符号化画像データを逆量子化する逆量子化処理、(d)前記逆量化処理で逆量子化されたデータを逆周波数変換して動き予測誤差を再生するする逆周波数変換処理、(e)逆周波数変換処理で再生された動き予測誤差に予測画像メモリの動き予測画像データを加算して画像データを再生する加算処理、(f)前記加算処理で再生された再生画像データをフレームメモリに書き込む再生画像データ書き込み処理と、(g)前記フレームメモリが保持する、復号対象フレームの再生画像データとそれよりも前のフレームの再生画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理、(h)前記小数画素画像データ処理で生成された小数画素精度画像データと前記付加情報を用いて動き予測画像データを生成する動き補償処理、及び(i)前記動き補償処理で生成された動き予測画像データを前記予測画像メモリに書き込む書き込み処理。

〔１３〕項１２の画像復号方法において、前記小数画素画像データ処理は、前記小数画素精度であるか否かの判定の対象をIピクチャ又はPピクチャのフレーム形態に限定する。

〔１４〕項１３の画像復号方法において、前記小数画素画像データ処理は、前記所定範囲の前フレームに対して最も復号対象フレームに近い前フレームから順次前記フレーム形態の判定と前記小数画素精度であるか否かの判定を行う。

〔１５〕項１２の画像復号方法において、前記小数画素画像データ処理は、画像データの複数の画像信号のそれぞれの信号に対して位相シフト処理を行って新たな複数の画像信号を生成し、前記複数の画像信号と新たな複数の画像信号とに係数を乗じて合成することにより、小数画素精度画像データを生成する。

２．実施の形態の詳細
実施の形態について更に詳述する。以下、本発明を実施するための形態を図面に基づいて詳細に説明する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。

《画像符号化装置及び画像符号化方法》
図１には本発明に係る画像符号化装置の一例が示される。１０１は入力画像データを記憶する原画像メモリである。１０２は原画像メモリから出力された入力画像データとフレームメモリ１１３から出力された予測画像データとの差分を取る減算器である。１０３は、減算器１０２で演算した原画像データと予測画像でー他との差分画像を空間周波数領域に変換する周波数変換部である。１０４は、周波数変換部１０３で周波数変換したデータを量子化する量子化部である。１０５は量子化部１０４で量子化したデータを可変長符号化する可変長符号化部である。１０６は量子化部１０４で量子化したデータを逆量子化する逆量子化部である。１０７は、逆量子化部１０６にて逆量子化したデータを逆周波数変換する逆周波数変換部である。１０８は、逆周波数変換部１０７にて逆周波数変換したデータにフレームメモリ１１３に格納されている予測画像データを加算する加算器である。１０９は、加算器１０８にて加算して得られるデータ（ローカルデコード画像データ）を格納するフレームメモリである。１１０は小数画素精度画像生成方法決定部、１１１は小数画素精度画像生成部である。

小数画素精度画像生成方法決定部１１０及び小数画素精度画像生成部１１１は、前記フレームメモリ１０９が保持する、符号化対象フレームのローカルデコード画像データとそれよりも前のフレームのローカルデコード画像データとを用いて小数画素精度画像データを生成することを可能にする小数画素画像データ処理部を構成するものである。小数画素精度画像生成方法決定部１１０はその生成方向を決定し、小数画素精度画像生成部１１１は決定された生成方法に従ってローカルデコード画像データから小数画素精度画像データを生成する。その詳細については後述する。

１１２は小数画素精度画像生成部１１１にて生成した小数画素精度画像を参照画像として動き検出により原画像に近い画像を検出し、予測画像データを生成する動き検出・補償部である。１１３は動き検出・補償部１１２にて生成した画像（予測画像データ）を格納するフレームメモリである。１１４は、フレームメモリ１０９に格納したローカルデコード画像データからフレーム内のデータを用いて予測画像を生成する画面内予測部である。

前記小数画素精度画像生成方法決定部１１０が決定する小数画素精度画像の生成方法は図２のAとBに大別される。Aに示される第１の方法は、符号化対象フレームとその前のフレームとの異なる２枚のフレームのローカルデコード画像データを用いて小数画素精度画像データを生成する。その生成には、２枚のフレームの画像ブロック（例えばマクロブロック）に対して後述する超解像処理を用いて高解像度化を行う。Bに示される第２の方法は、符号化対象フレームの１枚のフレームのローカルデコード画像データを用いて小数画素精度画像データを生成する。その生成には、１枚のフレームの画像ブロック（例えばマクロブロック）に対して補間演算を用いて高解像度化する。第１の方法で生成される小数画素精度画像データは、符号化対象フレームのローカルデコード画像データと当該フレームから離れた別のフレームのローカルデコード画像データとの双方のデータを用いて生成することが可能であるから、第１の方法は、補間だけで生成する第２の方法に比べてより高精度な小数画素精度画像データを生成することができる。第２の方法を採用すれば第１の方法に比べて演算処理データが少ないから小数画素精度画像データを生成するための演算処理負担が軽減される。

第１の方法又は第２の方法のいずれかを用いるかは、例えば、フレームメモリに格納された符号化対象フレームのローカルデコード画像データとそれより前の所定範囲の前フレームのローカルデコード画像データとの間の動き量が小数画素精度であるか否かを判定し、小数画素精度の判定結果が得られたときは第１の方法、小数画素精度の判定結果が得られないときは第２の方法を選択する。

前記前フレームの候補は以下のように選択する。
（１）選択候補フレームは、時間方向の動き予測を行うことなく画面内の情報を用いて符号化されて得られる画面であるIピクチャ(Intra-Picture)又は画面間の順方向予測符号化によって得られる画面であるPピクチャ（Predictive-Picture）のフレームに限定する。過去と未来の双方向からの予測符号化によって得られるが面であるＢピクチャ（Bi-directional Predictive-Picture）を除外する。これにより、より高精度若しくは高画質な小数画素精度画像データを生成することができる。
（２）上記第１の条件を満足するフレームの内、最も符号化対象フレームに近いピクチャを候補フレームとする。これにより、より高画質（高精度）な小数画素精度画像生成可能になる。符号化対象フレームにより近いフレームのローカルデコード画像データを用いるほど、より高画質（高精度）の小数画素精度画像データを生成することができるからである。
（３）上記第１及び第２条件を満足するフレームと符号化対象フレームとの動き検出結果が縦方向及び横方向の双方で整数画素精度の動き量である場合、次に符号化対象フレームに近い別のフレームであって、IまたはPピクチャであるフレームを候補とする。これにより、整数画素精度の動き量では超解像処理ができないという問題を解決できる。
（４）所定の範囲の過去フレームを遡っても、上記（３）を満たすフレームが無い場合は候補の選択を打ち切る。この場合に、通常の補間拡大処理による第２の方法を選択する。また、第１の方法による前フレームが符号化対象フレームから離れるに従って小数画素精度画像データの高精度若しくは高画質を期待できなくなる。この点を考慮して、符号化対象フレームから所定フレーム数だけ離れたフレームの範囲で小数画素精度画像データがなければそれ以降のフレームに対する画素精度の判定を行わずに、補間による処理を選択するから、無駄な処理を極力低減することができる。また、このようにフレーム数の範囲を制限することで、フレームメモリに格納しておくフレーム数を低減することができ、フレームメモリを構成するハードウェア資源が小さくて済む。これにより、低コスト化を図ることが可能である。

図１において、前記小数画素精度画像生成方法決定部１１０は、フレーム選択部１２０、動き検出部１２１、及び判定部１２２によって上記第１の方法又は第２の方法を決定する。フレーム選択部１２０は所定の手順に従ってフレームメモリ１０９から所定のフレームのローカルデコード画像データをリードする。動き検出部１２１はフレーム選択部でリードされた２枚のフレームのローカルデコード画像データに関する動き検出を行う。判定部１２２はその動き検出結果等に従って、上記のように第１の方法又は第２の方法を選択する。

図３には前記小数画素精度画像生成方法決定部１１０における決定処理のフローチャートが例示される。前フレームの選択は符号化対象フレームの直前のフレームから開始される（１３０）。選択された前フレームが符号化対象フレームから所定フレーム数分だけ離れたフレームであるか否かが判別され(１３１)、離れていれば、第２方法が選択され、第２方法による小数画素精度画像データの生成の指示と必要なデータが小数画素精度画像生成部１１１に与えられる（１３２）。

所定フレーム数離れていなければ、当該前フレームはBピクチャであるかが判別され、Bピクチャであればステップ１３１の処理も戻り、Bピクチャでなければ、当該前フレームと符号化対象フレームとの間の動き検出が行われる（１３４）。動き検出の結果、動き量が整数画素精度であるときはステップ１３１の処理も戻る。動き量が整数画素精度でなければ、第１方法による小数画素精度画像データの生成の指示と、必要なデータ（符号化対象フレームのローカルデコード画像データ、選択された前フレームのローカルデコード画像データ、動き検出結果の画像データ、および動きベクトルの情報）が小数画素精度画像生成部１１１に与えられる（１３６）。

図４には符号化処理の全体的な処理フローが示される。図４を参照しながら、符号化処理の流れを全体的に説明する。まず本、符号化装置は入力画像データを原画像メモリ１０１に格納する（２０１）。入力画像データとしては、例えばRGB信号、Y,Cb,Cr信号などのディジタル信号がある。符号化装置において、原画像メモリ１０１には、入力画像を1フレーム分格納しても良いし、複数の画素ブロックに分割してその画素ブロック単位で格納しても良い。次に原画像メモリ１０１から読み出した原画像データと予測画像データとの差分を取る（２０２）。原画像データと予測画像データとの差分がない場合には、符号化処理を終了する（２０３）。このとき、差分情報なしの情報をストリームに付加すれば復号側での処理も簡略化できる。原画像データと予測画像データとの差分がある場合には、減算器１０２にて演算した差分画像を周波数変換部１０３にて離散コサイン変換（ＤＣＴ）等の周波数変換を用いて周波数領域に変換する。周波数変換はＤＣＴ以外にもアダマール変換やフーリエ変換などその他の変換を用いても良い。複数の周波数変換を使用する場合には、ストリームに周波数変換の種類を識別するための情報を付加すればよい。また、周波数変換のブロックサイズは、例えば8×8画素単位のような縦、横のサイズが同じでも16×8画素のように、縦と横のサイズが異なってもよく、その際には、ストリームに周波数変換のブロックサイズ情報を付加すればよい。

周波数変換部１０３にて周波数変換したデータは、量子化部１０６にて量子化される（２０５）。量子化処理は、従来の動画像符号化規格に基づく手法を用いても、新たに量子化ステップを決定しても良い。新たに量子化ステップを決定する際には、ストリームに量子化ステップ情報を付加すれば良い。量子化部１０６にて量子化したデータは、可変長符号化部１０５にて符号化される。可変長符号化の方法として、従来の符号化規格で採用されているCABAC(Context-Adaptive Binary Arithmetic Coding)やCAVLC(Context-Adaptive Variable Length Coding)等の手法を用いても良いし、コードテーブルを新たに作成しても良い。その際には、コードテーブル情報を符号化ストリームに付加する。

次に、逆量子化部１０６にて、逆量子化を実施する（２０６）。逆量子化の手法も従来の動画像符号化規格に基づく手法を用いればよい。逆量子化部１０６にて演算したデータは、逆周波数変換部１０７にて逆周波数変換される（２０７）。逆周波数変換部１０７では、周波数変換部１０３にて実施した周波数変換ブロックサイズや周波数変換の種類を用いて、周波数領域から空間領域への逆変換を行う。逆周波数変換したデータとフレームメモリ１１３に格納したデータを加算し、フレームメモリ１０９に格納する。次に、前述の如く、フレームメモリ１０９に格納したデータをフレーム選択部１２０が選択し、選択されたフレームのデータと符号化対象フレームのデータとに対して動き検出部１１０が画素単位での動き検出処理を行なって、小数画素精度画像生成方法を決定する（２０８）。動き検出処理は従来の符号化処理で用いられてきたブロックマッチング法を用いても良いし、小数画素画像の精度を向上させるため、１画素単位に行っても良い。その際、動きベクトル情報を符号化ストリームに付加するとデータ量が膨大となるため、復号側で符号化側と同じ動き検出処理を実施することでデータ量を削減することができる。その際には、符号化側で動き検出方法を決めたテーブルを用意し、そのテーブル番号をストリームに付加すればよい。一方、動きベクトル情報を送る場合には、復号側で動き検出を実施する必要がなく、また動き検出方法を付加せずに済む。したがって、ユーザ側で動き検出方法を付加してデータ量を削減するか否かを決定し、その決定情報をストリームに付加することでより、ハードウェア等の処理性能に応じた適切な符号化処理を行うことができる。小数画素精度画像生成部１１１では、小数画素精度画像生成方法決定部１１０で検出した動きベクトルとフレームメモリ１０９に格納されている複数の画像データを用いて小数画素精度の画像データを生成する（２０９）。第１方法による小数画素精度の画像データの生成方法についてはその詳細を後述する。補間演算による第２方法はMPEG-4、H.264/AVC等において公知の小数画素精度による動き探索処理で用いられる演算手法と同様であるからその詳細な説明は省略する。

次に、小数画素画像生成部１１１にて生成した小数画素画像データと原画像データとを用いて動き検出・動き補償処理を実施して予測画像を生成する（２１０）。動き検出・動き補償処理（２１０）は従来の符号化処理で用いるブロックマッチング法を用いて小数画素精度の動きベクトルを算出すればよい。その際、小数画素精度の動きベクトル情報を符号化ストリームに付加するとデータ量が膨大となるため、復号側で符号化側と同じ動き検出処理を実施することでデータ量を削減することができる。以上の処理を入力映像のフレーム内すべてのブロックの処理が終了するまで繰り返し行う（２１１）。

ここで、第１方法による小数画素精度の画像データの生成方法として例えば特開2007-324789号公報に記載の方法を適用した場合についてその概要を説明する。

図５には小数画素精度画像の生成処理の概要が示される。小数画素精度画像生成部１１１は、フレームメモリ１０９に格納されている複数の画像データ３０１と、動き検出部１１０が検出した当該複数の画像データ３０１間の動きベクトルを用いて、複数の画像データ３０１の各画素の位置あわせをおこない、位置あわせ後の複数の画像の各画素に画素値に所定の係数を乗じて合成することにより、小数画素精度画像（高解像度画像とも記す）３０２を生成する。

図１６は小数画素精度画像生成部１１１の処理の流れを示すフロー図である。小数画素精度画像生成部１１１では、例えば、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度画像生成を行う。ここで、(1)位置推定は、入力した複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである（１４０１、１４０２）。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである（１４０３）。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである（１４０４）。

図７に、この高解像度画像生成技術の概要を示す。同図Aに示すように、異なる時間軸上のフレーム#1(５０１)、フレーム#2(５０２)、フレーム#3(５０３)が入力され、これらを合成して出力フレーム(５０６)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(５０４)した場合を考え、水平線(５０５)の上の1次元の信号処理によって小数画素画像生成することを考える。このとき、同図Bと同図Dに示すように、フレーム#2(５０２)とフレーム#1(５０１)では、被写体の移動(５０４)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図Cに示すように、位置ずれが無くなるようにフレーム#2(５０２)を動き補償(５０７)するとともに、各フレームの画素(５０８)のサンプリング位相(５０９)(５１０)の間の位相差θ(５１１)を求める。この位相差θ(５１１)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図Eに示すように、元の画素(５０８)のちょうど中間(位相差θ=π)の位置に新規画素(５１２)を生成することにより、小数画素画像生成を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。

小数画素精度画像生成部１１１の第１の構成例は、参考文献１（特開平８−３３６０４６号）、参考文献２（特開平９−６９７５５号）、参考文献３（青木伸 “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998）に記載の高解像度処理を行う構成とすることである。小数画素画像生成部１１１の第一の構成例は、上記(3)の加重和を行う際に、図８に示すように、少なくとも３枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度画像生成が可能である。

ここで、図８を用いて、小数画素精度画像生成部１１１の第１の構成例における小数画素精度画像生成処理ついて説明する。図８は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。

上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図８Aに示すように、各フレームの原成分(６０１)、(６０２)、(６０３)の位相はすべて一致し、折返し成分(６０４)、(６０５)、(６０６)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図Bに示し、各フレームの折返し成分の位相関係を同図Cに示す。

ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(６０４)、(６０５)、(６０６)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(６０４)、(６０５)、(６０６)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、少なくとも３枚のフレーム画像の信号を用いることにより、2倍の小数画素画像生成を実現すること、すなわち１個の折返し成分を除去することができる。

以上述べたように、第一の構成例では、3枚のフレームの画像信号を用いて高精度の小数画素を生成することができる。

次に、小数画素精度画像生成部１１１の第２の構成例を図６に示す。小数画素精度画像生成部１１１の第２の構成例では、少なくとも２枚のフレーム画像の信号を用いれば、１次元方向の２倍の小数画素画像生成が可能である。以下に詳細を説明する。

まず、フレームメモリ１０９から入力部４００に符号化対象フレームと過去に符号化済みのフレームの複数のフレームが入力される。

まず位置推定部４０１により、入力部４００に入力したフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ４０２を求める。次に、動き補償・アップレート部４１５のアップレート器４０３,４０４により、位相差θ４０２の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部４１６では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器４０６、４０８を用いることができる。また、π/2位相シフト器４０６,４０８で生じる遅延を補償するために、遅延器４０５,４０７により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部４１７では、遅延器４０５、４０７とヒルベルト変換器４０６、４０８の各出力信号に対して、係数決定器４０９にて位相差θ４０２をもとに生成した係数C0、C2、C1、C3を乗算器４１０、４１１、４１２、４１３にてそれぞれ乗算し、加算器(４１４)にてこれらの信号を加算して出力を得る。この出力は、出力部４１８から出力される。

なお、位置推定部４０１は、上記従来技術をそのまま用いて実現することができる。アップレート器４０３、４０４、π/2位相シフト器４０６,４０８、折返し成分除去部４１７の各詳細については後述する。

図９に、小数画素精度画像生成部１１１の第２の構成例における動作を示す。同図は、図６に示した遅延器４０５、４０７とπ/2位相シフト器４０６、４０８の各出力を1次元の周波数領域で示したものである。同図Aにおいて、遅延器４０５、４０７から出力したアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分７０１、７０２と、元のサンプリング周波数(fs)から折り返した折返し成分７０５、７０６を加えた信号となる。このとき、折返し成分７０６は上述の位相差θ４０２だけ位相が回転している。一方、π/2位相シフト器４０６、４０８から出力したアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分７０３、７０４と、π/2位相シフト後の折返し成分７０７、７０８を加えた信号となる。同図Bおよび同図C、同図Aに示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図Bに示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図Cに示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度画像生成を行うことができる。この係数決定方法の詳細については後述する。

図１０、図１１、を用いて小数画素精度画像生成部１１１の第２の構成例に用いるアップレート器４０３、４０４の動作を説明する。図１０は、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器４０３、４０４の「周波数-利得」特性を示している。ここで、アップレート器４０３、４０４では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、周波数-利得特性はデジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。

図１１は、図１０に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、サンプリングの位相差θ402を補償するために(-θ)だけシフトし、Ck=2sin(πk+θ)/(πk+θ)とすればよい。なお、アップレート器４０３では、位相差θ４０２を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(４０２)を、整数画素単位(2π)の位相差+小数画素画像単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素画像単位の位相差の補償については上記アップレート器４０３、４０４のフィルタを用いてもよい。

図１２は、小数画素画像生成部１１１の第２の構成例に用いるπ/2位相シフト器４０６、４０８の周波数-利得特性を示している。π/2位相シフト器４０６、４０８として、一般に知られているヒルベルト変換器を用いることができる。同図Aにおいて、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図Bにおいて、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。

図１３は、図１２に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。

なお、小数画素精度画像データの生成に用いるπ/2位相シフト器４０６、４０８は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。

図１４を用いて小数画素精度画像生成部１１１の第２の構成例に用いる係数決定器(４０９)の動作と具体例を説明する。同図Aに示すように、図９Bに示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図９C示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の小数画素画像生成行う画像信号処理装置を実現できる。図６に示すように、遅延器(４０５)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器４０６の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器４０７の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器４０６の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図１４Aの条件を満たすと仮定すると、図９Bおよび図９Cに示した各成分の位相関係から、図１４Bに示す連立方程式を得ることができ、これを解くと図１４Cに示す結果を導くことができる。係数決定器４０９は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ４０２をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図１４Dに示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。

なお、アップレート器４０３、４０４およびπ/2位相シフト器４０６、４０７は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。

以上説明したように、図１の小数画素精度画像生成部１１１の構成を図６乃至図１４において説明した構成とすることにより、複数のフレームから高精度の小数画素精度画像データを生成することが可能となる。

特に、小数画素精度画像生成部１１１の第２の構成によれば、２枚のフレームから１枚の高精度の小数画素精度画像データを生成することが可能となり、第１の構成例よりも少ないでメモリ量で符号化できる。

次に画面内予測フレームを参照フレームとする際の小数画素精度画像生成処理について説明する。画面内予測フレームでは、過去のフレームを参照することができないため、図１５に示すように符号化対象ブロックと最も近いブロックを探索し画面内の動きベクトルを求める。このとき、探索ブロックサイズはブロック単位ではなく1画素単位でも良い。動きベクトル算出後の小数画素生成処理においては、上記フレーム間にて実施する方法と同様である。

なお、上記の小数画素精度画像生成処理においては、動きベクトルが示す位置が整数画素精度の場合には小数画素画像を生成できない。そこで、小数画素精度画像生成方法決定部１１０での結果に基づいて、動き量が整数画素精度か否かを判定する。動き検出位置が整数画素精度位置の場合には、前記第２の方法として、従来の符号化規格で用いるフィルタ補間によって小数画素精度画像を生成する。このとき、従来からの第２の方法を用いるか、前記第１の方法を用いるかを否かの情報をストリームに付加することで、復号側で小数画素精度画像を再生することが可能となる。どちらの方法で切り替えるかの処理単位は、画素ブロック単位でもフレーム単位でも良い。その際には、ストリームに画素ブロック単位で符号化するのか、またはフレーム単位で符号化するかの情報を付加すればよい。

以上説明した画像符号化装置およびその画像符号化方法によれば、より高精度の小数画素精度の参照画像を生成することができるので、動き予測精度が向上し、より少ないデータ量で効率よく映像信号を圧縮することが可能となる。

また、原画像と予測画像の差分を判定し、差分がない場合に、周波数変換処理、量子化処理、逆量子化処理、逆周波数変換処理、動き検出処理、動き補償処理を省略するから、符号化側の処理量を削減することが可能となる。

また、複数のフレームを参照可能である動画像符号化規格においては、より多くの画像データから小数画素画像を生成することができるので、より高精度の小数画素画像を生成することでき、動き予測精度が改善して少ないデータ量での符号化が可能となる。

《画像復号装置及び画像復号方法》
図１７に本発明に係る画像復号装置のブロックダイヤグラムが例示される。画像復号装置において、１５０１は、符号化側から送られた符号化データを復号する可変長復号部である。１５０２は、可変長復号部１５０１にて復号したデータの構文を解析する構文解析部であり、符号化データを符号化画像データと付加情報に分離する。１５０３は、構文解析部１５０２より送られるデータを逆量子化する逆量子化部である。１５０４は逆量子化部１５３０にて逆量子化したデータを逆周波数変換して動き予測誤差データを生成する逆周波数変換部である。１５０５は、逆周波数変換部１５０４にて逆周波数変換した動き予測誤差とフレームメモリ１５１０に格納した動き予測画像データを加算して画像データを生成する加算器である。１５０６は、加算器１５０５で加算されて得られる再生画像データを格納するフレームメモリである。１５０７は小数画素精度画像生成方法決定部、１５０８は小数画素精度画像生成部である。

ここで、小数画素精度画像生成方法決定部１５０７の動作は、図１に示す画像符号化装置の小数画素精度画像生成方法決定部１１０の動作と同様である。すなわち、前記小数画素精度画像生成方法決定部１５０７は、フレーム選択部１５２０、動き検出部１５２１、及び判定部１５２２によって小数画素精度画像生成方法を決定する。フレーム選択部１５２０は所定の手順に従ってフレームメモリ１５０６から所定のフレームの再生画像データをリードする。動き検出部１５２１はフレーム選択部１５２０でリードされた２枚のフレームの再生画像データに関する動き検出を行う。判定部１５２２はその動き検出結果等に従って、小数画素精度画像生成方法を選択する。

ここで、小数画素精度画像生成方法決定部１５０７の動作の詳細も図１に示す画像符号化装置の小数画素精度画像生成方法決定部１１０の動作と同様である。すなわち、例えば、図３に示す決定処理のフローチャートに従い、図２に示す第１の方法又は第２の方法の何れかの小数画素精度画像生成方法を決定する。当該動作の詳細については、図１に示す画像符号化装置の小数画素精度画像生成方法決定部１１０の説明と同様であるため、説明を省略する。

また小数画素精度画像生成部１５０８の動作も図１に示す画像符号化装置の小数画素精度画像生成部１１１の動作と同様であるため、説明を省略する。

以上のように、小数画素精度画像生成方法決定部１５０７、小数画素精度画像生成部１５０８が、図１に示す画像符号化装置の小数画素精度画像生成方法決定部１１０、小数画素精度画像生成部１１１と同様の処理により小数画素精度画像を生成することにより、図１７に示す画像復号装置においては、画像符号化装置で想定した高精度の復号画像を生成することが可能となる。

次に、１５０９は、構文解析部１５０２から送られる動きベクトルと小数画素精度画像生成部１５０８にて生成された画像データから復号画像を生成する動き補償部である。１５１０は、動き補償部１５０９にて生成した復号画像データを格納するフレームメモリである。１５１１は、フレームメモリ１５１０に格納されている復号データを読み出し、出力する映像表示装置である。

図１７の画像復号装置は、図１の画像符号化装置によって符号化されたストリームを復号することができる。以下に当該画像復号装置における詳細な画像復号方法を説明する。図１８は画像復号処理を全体的に示すフローチャートである。

図１８において、まず、符号化側で符号化したデータを可変長復号部１５０１にて復号する（１６０１）。次に、可変長復号部１５０１にて復号したデータを構文解析部１５０２にて構文分けを行う（１６０２）。ここで、画像復号装置に記録される符号化ストリームの構造について図１９を用いて説明する。図１９に示す符号化ストリームは、例えば、画像符号化装置によって符号化される。図１９においてデータ領域１7０１には、例えば、差分があるか否かの判定フラグが格納される。また、例えば、データ領域１７０２には、動き検出を行うか否かの判定フラグ(１７０７)、小数画素精度画像生成部１５０８にて生成される動き情報ベクトル情報（１７０８）や整数画素位置の判定を行うフラグ(１７０９)が格納される。データ領域１７０３には、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数または符号化処理で用いたマトリクスの番号の情報が格納される。データ領域１７０４には、周波数変換の種類、ブロックサイズが格納される。データ領域１７０５には、小数画素画像生成部１１１にて生成される高解像度化手法の種類の情報、データ領域１７０６には原画像と予測画像の差分画像を周波数変換および量子化した後の係数が格納される。

次に、図１９に示す符号化ストリームの各データ領域のデータの種類を判別し、各フラグや各データ情報が、それぞれ逆量子化部１５０３、逆周波数変換部１５０４、動き補償部１５０９、動き検出部１５０７、フレームメモリ１５１０、小数画素精度画像生成部１５０８の各処理部へ送られる。

次に、逆量子化部１５０３では、構文解析部１５０２から送られたデータを用いて逆量子化処理を行う（１６０３）。ここで、符号化ストリームが図１の画像符号化装置において符号化した符号化ストリームである場合は、逆量子化部１５０３における逆量子化処理は、図１の量子化部１０４の処理と逆処理を行えばよい（１６０４）。これは、図１の逆量子化部１０６の処理と同様の処理であり、従来の復号技術に用いる逆量子化技術であってもよいし、データ領域１７０３に格納された量子化ステップを乗算しても良い。

次に、逆量子化部１５０３において逆量子化したデータに対して、逆周波数変換部１５０４にて逆周波数変換処理を実施する（１６０４）。このとき、逆周波数変換部１６０４は、構文解析部１５０２から送られる周波数変換の種類や周波数変換ブロックサイズ情報を用いて逆周波数変換処理を行う。当該逆周波数変換処理は、従来の画像復号技術における技術を用いても良い。次に、加算器１５０５にて逆周波数変換部１５０４にて逆周波数変換したデータとフレームメモリ１５０９に格納したデータを用いて動き検出を行う（１６０５）動き検出の方法は、予め符号化部にて決定した動き探索方法を構文解析部１５０２から取得すればよい。

次に、フレームメモリ１５０６に格納されている画像データと構文解析部１５０２から取得する動きベクトルを用いて小数画素画像を生成する（１６０６）。このとき小数画素精度画像生成部１５０８は、図１の小数画素画像生成部１１１と同様に動きベクトルと複数の画像データを用いて小数画素精度画像を生成する。当該小数画素精度画像の生成処理の内容は、図１の小数画素精度画像生成部１１１について説明した内容と同様であるため説明を省略する。

図１７の小数画素精度画像生成部１５０８は、図１の小数画素精度画像生成部１１１について説明したと同様に、動きベクトルと複数の画像とこれらの折返しひずみを用いた高解像度処理を行う。これにより、動き補償部１５０９にて参照する小数画素精度画像データの高精細化が可能となる。

構文解析部１５０２から送られる差分がない場合には、逆量子化、逆周波数変換、動き検出、小数画素画像生成、動き補償の処理を実施せずに処理を終了する。また、図１８の小数画素精度画像生成方法決定処理１６０５において、検出結果が整数画素位置と判定した場合や構文解析部にて符号化側で従来の動画像符号化方式で用いられている画素フィルタ補間により小数画素画像が生成されていると判定した場合には、従来の動画像符号化方式で用いられている画素フィルタ補間により小数画素画像を生成する。

次に、小数画素精度画像生成部１５０８にて生成した画像データと構文解析部１５０２から送られた動きベクトル情報に基づいて動き補償を行う（１６０７）。画面内予測画像の場合には、画面内予測部１５１１にて予測画像を生成し、フレームメモリ１５０６にデータを格納する。上記復号画像は、例えば、TV、PCモニタ、プロジェクタなどの映像表示装置１５１１などに出力される。

以上説明した画像復装置及び画像復号方法によれば、画像復装置およびその画像復号方法において、動き探索処理の際に参照する小数画素精度画像データを高解像度化して復元することが可能となる。そのため、より高精細な復号画像を生成することができる。

また、以上説明した画像復装置及び画像復号方法によれば、符号化ストリームに格納される原画像と予測画像の差分情報により、周波数変換処理、量子化処理、逆量子化処理、逆周波数変換処理、動き検出処理、動き補償処理を省略することが可能となり復号側のデータ処理量を削減することが可能となる。

上記画像符号化装置（画像符号化装置）による上記符号化処理、及び上記画像復号装置（画像復号装置）による上記復号処理は、コンピュータ装置を利用して行う。上記処理を制御するプログラムを記録媒体(ハードディスク、光ディスク、光磁気ディスク等)にて、あるいは伝送線路若しくは適宜のネットワークを介して提供して、PC（Personal Computer）又はEWS(Engineering Work Station)等のコンピュータ装置で実行可能にすることにより、上記画像符号化処理、画像復号処理を容易に行うことができる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

本発明の画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法は、様々な規格をベースとする画像符号化処理、画像復号処理等にも用いることができる。また、第１方法及び第３方法に用いる超解像度処理、第２方法及び第４方法に用いるフィルタ補間演算処理は、適宜変更可能である。

Claims (15)

1. 原画像データと動き予測画像データとの差分を符号化すると共に符号化データを復号して得られるローカルデコード画像データに基づいて前記動き予測画像データを生成することが可能な画像符号化装置であって、
   前記ローカルデコード画像データを複数フレーム分に亘り保持するフレームメモリと、
   前記フレームメモリが保持する、符号化対象フレームのローカルデコード画像データとそれよりも前のフレームのローカルデコード画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理部と、を有し、
   前記小数画素画像データ処理部で生成された小数画素精度画像データを参照画像データとして動き検出を行って動き予測画像データを生成する、画像符号化装置。
2. 前記小数画素画像データ処理部は、フレームメモリに格納された符号化対象フレームのローカルデコード画像データとそれより前の所定範囲の前フレームのローカルデコード画像データとの間の動き量が小数画素精度であるか否かを判定し、小数画素精度の判定結果が得られたときは、その前フレームのローカルデコード画像データと前記符号化対象フレームのローカルデコード画像データとを用いて小数画素精度画像データを生成し、小数画素精度の判定結果が得られないときは符号化対象フレームのローカルデコード画像データに対する補間演算によって小数画素精度画像データを生成する、請求項１記載の画像符号化装置。
3. 前記小数画素画像データ処理部は、前記小数画素精度であるか否かの判定の対象をIピクチャ又はPピクチャのフレーム形態に限定する、請求項２記載の画像符号化装置。
4. 前記小数画素画像データ処理部は、前記所定範囲の前フレームに対して最も符号化対象フレームに近い前フレームから順次前記フレーム形態の判定と前記小数画素精度であるか否かの判定を行う、請求項３記載の画像符号化装置。
5. 前記小数画素画像生成部は、画像データの複数の画像信号のそれぞれの信号に対して位相シフト処理を行って新たな複数の画像信号を生成し、前記複数の画像信号と新たな複数の画像信号とに係数を乗じて合成することにより、小数画素精度画像データを生成する、請求項１記載の画像符号化装置。
6. 予測画像メモリから動き予測画像データを読出す読出し処理と、
   読み出された動き予測画像データと入力画像データとの差分を予測誤差データとして算出する差分処理と、
   前記差分処理で算出した予測誤差データを周波数変換する周波数変換処理と、
   前記周波数変換処理で周波数変換されたデータを量子化する量子化処理と、
   前記量子化処理で量子化されたデータを可変長符号化し、符号化ストリームを生成する可変長符号化処理と、
   前記量子化処理で量子化されたデータを逆量子化する逆量子化処理と、
   前記逆量化処理で逆量子化されたデータを逆周波数変換して予測誤差データを再生する逆周波数変換処理と、
   前記逆周波数変換処理で再生された予測誤差データと前記動き予測画像データとを加算してローカルデコード画像データを出力する加算処理と、
   前記加算処理で算出されえたローカルデコード画像データをフレームメモリに格納する処理と、
   前記フレームメモリが保持する、符号化対象フレームのローカルデコード画像データとそれよりも前のフレームのローカルデコード画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理と、
   前記小数画素画像データ処理で生成された小数画素精度画像データを参照画像データとして動き検出を行って予測画像を生成する動き検出・動き補償処理と、
   前記動き検出・動き補償処理で生成された動き予測画像データを前記予測画像メモリに書き込む書き込み処理と、を含む画像符号化方法。
7. 動き予測によって符号化された符号化データを入力して符号化画像データと付加情報に分離し、分離された符号化画像データを復号して得られる動き予測誤差に動き予測画像データを加算して画像データを再生し、再生された再生画像データに基づいて前記動き予測画像データを生成することが可能な画像復号装置であって、
   前記再生画像データを複数フレーム分に亘り保持するフレームメモリと、
   前記フレームメモリが保持する、復号対象フレームの再生画像データとそれよりも前のフレームの再生画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理部と、を有し、
   前記小数画素画像データ処理部で生成された小数画素精度画像データを参照画像データとして動き検出を行って動き予測画像データを生成する、画像復号装置。
8. 前記小数画素画像データ処理部は、フレームメモリに格納された復号対象フレームの再生画像データとそれより前の所定範囲の前フレームの再生画像データとの間の動き量が小数画素精度であるか否かを判定し、小数画素精度の判定結果が得られたときは、その前フレームの再生画像データと前記復号対象フレームの再生画像データとを用いて小数画素精度画像データを生成し、小数画素精度の判定結果が得られないときは復号対象フレームの再生画像データに対する補間演算によって小数画素精度画像データを生成する、請求項７記載の画像復号装置。
9. 前記小数画素画像データ処理部は、前記小数画素精度であるか否かの判定の対象をIピクチャ又はPピクチャのフレーム形態に限定する、請求項８記載の画像復号装置。
10. 前記小数画素画像データ処理部は、前記所定範囲の前フレームに対して最も復号対象フレームに近い前フレームから順次前記フレーム形態の判定と前記小数画素精度であるか否かの判定を行う、請求項９記載の画像復号装置。
11. 前記小数画素画像生成部は、画像データの複数の画像信号のそれぞれの信号に対して位相シフト処理を行って新たな複数の画像信号を生成し、前記複数の画像信号と新たな複数の画像信号とに係数を乗じて合成することにより、小数画素精度画像データを生成する、請求項７記載の画像復号装置。
12. 動き予測によって符号化された符号化データから成る符号化ストリームを入力して可変長復号する可変長復号処理と、
    可変長復号された符号化データを符号化画像データと付加情報に分離する構文解析処理と、
    分離された符号化画像データを逆量子化する逆量子化処理と、
    前記逆量化処理で逆量子化されたデータを逆周波数変換して動き予測誤差を再生する逆周波数変換処理と、
    逆周波数変換処理で再生された動き予測誤差に予測画像メモリの動き予測画像データを加算して画像データを再生する加算処理と、
    前記加算処理で再生された再生画像データをフレームメモリに書き込む再生画像データ書き込み処理と、
    前記フレームメモリが保持する、復号対象フレームの再生画像データとそれよりも前のフレームの再生画像データとを用いて小数画素精度画像データを生成する小数画素画像データ処理と、
    前記小数画素画像データ処理で生成された小数画素精度画像データと前記付加情報を用いて動き予測画像データを生成する動き補償処理と、
    前記動き補償処理で生成された動き予測画像データを前記予測画像メモリに書き込む書き込み処理と、を含む画像復号方法。
13. 前記小数画素画像データ処理は、前記小数画素精度であるか否かの判定の対象をIピクチャ又はPピクチャのフレーム形態に限定する、請求項１２記載の画像復号方法。
14. 前記小数画素画像データ処理は、前記所定範囲の前フレームに対して最も復号対象フレームに近い前フレームから順次前記フレーム形態の判定と前記小数画素精度であるか否かの判定を行う、請求項１３記載の画像復号方法。
15. 前記小数画素画像データ処理は、画像データの複数の画像信号のそれぞれの信号に対して位相シフト処理を行って新たな複数の画像信号を生成し、前記複数の画像信号と新たな複数の画像信号とに係数を乗じて合成することにより、小数画素精度画像データを生成する、請求項１２記載の画像復号方法。

Images