JP5718438B2 - 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法 - Google Patents

Description

本発明は、圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法に関し、特に圧縮動画符号化処理または圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上するのに有効な技術に関する。

ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等の国際標準動画像符号化方法では、時間方向の相関を使って高い符号化効率を実現するために、フレーム間予測符号化が使用されている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレームがある。尚、Ｉフレームはフレーム内独立フレームと呼ばれ、Ｐフレームは片方向予測フレームと呼ばれ、Ｂフレームは双方向予測フレームと呼ばれる。

このフレーム間予測符号化では、動画像から動き補償された参照画像(予測画像)が減算され、この減算による予測残差が符号化される。符号化の処理は、ＤＣＴ(離散コサイン変換)等の直交変換と量子化と可変長符号化との処理を含んでいる。動き補償(動き補正)はフレーム間予測の参照フレームを空間的に移動させる処理を含むものであり、動き補償の処理は被符号化フレームのブロック単位で行われる。画像内容に動きが無い場合には、移動は無く被予測画素と同一位置の画素が使用される。動きが有る場合には、最も適合するブロックが探索され、移動量が動きベクトルとされる。動き補償のブロックは、ＭＰＥＧ−２の符号化方法では１６画素×１６画素／１６画素×８画素のブロックであり、H．２６３の符号化方法では１６画素×１６画素／８画素×８画素のブロックであり、ＭＰＥＧ−４の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×８画素のブロックであり、H．２６４の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×１６画素／８画素×８画素／８画素×４画素／４画素×８画素／４画素×４画素のブロックである。

ＭＰＥＧ−２の符号化方法では、動きベクトルは画面内から逸脱することは許されていないので、実際の動きが画面外部からの場合には正確な動き補償が不可能であると言う欠点を有していた。それに対して、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４の符号化方法では、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトルが採用されている。尚、非制限動きベクトルは、Unrestricted Motion Vectorと呼ばれている。

一方、下記特許文献１には、予測画素のブロックまたは動き補償画素のブロックの一部が参照画像外部を示す動きベクトルを検出することができるように、動きベクトルに対する動き補償画素を出力する参照画像出力手段に参照画像の周辺画素を予測する周辺画素予測手段を設けることが記載されている。

また、下記特許文献１には、参照画像の周辺画像である拡張参照画像を、参照画像の全画素値の平均値にすること、または最も近い参照画像の画素値とすることが記載されている。

特開平６−３５１００１号 公報

本発明者等は、本発明に先立って、次世代の国際標準動画像符号化方式に関して研究・開発を行ったものである。

図１は、本発明に先立って本発明者等によって検討された国際標準動画像符号化方式に基づき検討された圧縮動画符号化装置(エンコーダ)の構成を示す図である。

図１に示した圧縮動画符号化装置(エンコーダ)１０００は、減算器１、直交変換器２、量子化器３、符号化器４、逆量子化器５、逆直交変換器６、加算器７、動き補償器８、動きベクトル探索器９、フレームメモリ１０を含んでいる。

減算器１の一方の入力端子と動きベクトル探索器９の入力端子には、符号化されるべき映像入力信号が供給される。動きベクトル探索器９は動き推定(ＭＥ：Motion Estimation)を実行するので、その出力端子から動きベクトルが生成されて、この動きベクトルは動き補償(ＭＣ：Motion Compensation)を実行する動き補償器８と可変長符号化(ＶＬＣ：Variable Length Coding)の信号処理を実行する符号化器４に供給される。動き補償器８の出力信号は、減算器１の他方の入力端子と加算器７の一方の入力端子とに供給される。減算器１の出力信号は直交余弦変換(ＤＣＴ：Discrete Cosine Transform)等の直交変換を実行する直交変換器２の入力端子に供給され、直交変換器２の出力信号は量子化処理を実行する量子化器３の入力端子に供給される。量子化器３の出力信号は、符号化器４の入力端子に供給される一方、逆量子化処理を実行する逆量子化器５と逆直交余弦変換(ＩＤＣＴ：Inverse Discrete Cosine Transform)等の逆直交変換を実行する逆直交変換器６を介して加算器７の他方の入力端子に供給される。符号化器４の出力端子から符号化映像出力信号としてのＭＰＥＧのビデオ・ストリームが生成される一方、加算器７の出力から参照画像(局部復号画像)が生成されフレームメモリ１０に格納される。フレームメモリ１０から読み出される参照画像は動き補償器８と動きベクトル探索器９とに供給され、動きベクトル探索器９では符号化されるべき映像入力信号のブロックに最も適合するブロックが参照画像にて探索されて、移動量が動きベクトルとして出力される。動き補償器８は動きベクトルとフレームメモリ１０から読み出される参照画像とから動き補償された参照画像(予測画像)を生成して減算器１の他方の入力端子に供給するので、減算器１では映像入力信号と参照画像(予測画像)との減算による予測残差が生成される。予測誤差は直交変換器２による直交変換と量子化器３による量子化と符号化器４による可変長符号化との符号化処理を受けることによって、符号化器４の出力端子から符号化映像出力信号であるＭＰＥＧのビデオ・ストリームが生成されるものである。

上述した符号化処理は、映像画面(フレームまたはフィールド)毎に行われるものであり、画面を細分化したブロック(通常は１６画素×１６画素、ＭＰＥＧでは「マクロブロック」と呼ばれる)が処理単位となるものである。すなわち、符号化されるべきブロック毎に、既に符号化された参照画像から最も類似したブロック(予測画像)が選択されて、符号化画像(ブロック)と予測画像の差分信号が符号化(直交変換、量子化等)される。画面内での符号化されるブロックと予測信号の相対位置の差が動きベクトルと呼ばれるものである。

冒頭で説明したように、ＭＰＥＧ−２の符号化方法では、動きベクトルの画面内からの逸脱は許されていないので、実際の動きが画面外部からの場合には、正確な動き補償が不可能と言う欠点を有していた。従ってＭＰＥＧ−４の符号化方法では、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ：Unrestricted Motion Vector)が採用されている。

図２は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、上記特許文献１に記載された参照画像の周辺画像である拡張参照画像を最も近い参照画像の画素値とした場合の拡張参照画像を説明する図である。

図２において、境界線２０は画面内と画面外との境界を示す線であり、境界線２０の内側の画面内には対象物(オブジェクト)の参照画像２１が存在するものであり、境界線２０の外側の画面外には対象物(オブジェクト)の最も近い参照画像の画素値から生成された拡張参照画像２２が存在するものである。

しかし、図２に示した本発明に先立って本発明者等によって検討された拡張参照画像の生成方法では、下記のような問題があることが本発明者等による検討によって明らかとされた。

それは、図２に示した方法によって生成された画面外の画像である拡張参照画像２２は画面内の対象物(オブジェクト)の参照画像２１の配置方向を考慮していないために、画面外の拡張参照画像２２の形状が実際の形状と大きく異なることが多い。この結果、(１)拡張参照画像の部分での差分信号が大きくなると言う問題が生じることが明らかとされた。また、(２)拡張参照画像の画素が選択されることができずに、差分信号の電力が増加して符号化効率が低下する一方、符号化されるべきブロックの動きベクトルの大きさ・方向が周囲のブロックの動きベクトルと異なって、動きベクトルの符号量が増大すると言う問題が生じることが明らかとされた。これらの問題の結果として、図１に示した圧縮動画符号化装置(エンコーダ)１０００から生成される符号化映像出力信号の情報量が、著しく増大するものとなる。その結果、一定の情報符号量においては再生画質の劣化が発生する一方、一定の再生画質を維持するためにはＭＰＥＧのビデオ・ストリームの情報量が増大することになる。

このように、本発明は、本発明に先立った本発明者等による検討を基礎としてなされたものである。

従って本発明の目的とするところは、圧縮動画符号化処理または圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することにある。

本発明の他の目的とするところは、再生画質の劣化を軽減する一方、一定の再生画質を維持するためのＭＰＥＧのビデオ・ストリームの情報量の増大を軽減するにある。

本発明の前記ならびにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものについて簡単に説明すれば下記のとおりである。

すなわち、本発明の代表的な実施の形態は、符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリ(１０)から読み出される参照画像で探索して、動きベクトルが生成される。

前記動きベクトルと前記フレームメモリ(１０)から読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成される。

前記動き補償された参照画像と前記映像入力信号との減算によって、予測残差が生成される。

前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリ(１０)に格納される前記参照画像が生成される。

前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化装置(１０００)である(図３参照)。

前記参照画像は映像表示画面の内側の画面内参照画像(Ａ、Ｂ、Ｃ)と前記映像表示画面の外側の画面外参照画像(Ｄ)とを含み、前記画面外参照画像(Ｄ)は前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されることを特徴とする(図５参照)。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。

すなわち、圧縮動画符号化処理または圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することができる。

図１は、本発明に先立って本発明者等によって検討された国際標準動画像符号化方式に基づき検討された圧縮動画符号化装置(エンコーダ)の構成を示す図である。 図２は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、特許文献１に記載された参照画像の周辺画像である拡張参照画像を最も近い参照画像の画素値とした場合の拡張参照画像を説明する図である。 図３は、本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)の構成を示す図である。 図４は、図３に示す本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)に付加された参照画像画面拡張ユニット１１の構成を示す図である。 図５は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、図４に示す参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される方法を説明する図である。 図６は、図５に示した本発明の実施の形態１による拡張参照画像の生成方法によって画面内と画面外の対象物(オブジェクト)の参照画像が生成される様子を説明する図である。 図７は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態２による圧縮動画復号化装置(デコーダ)の構成を示す図である。 図８は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態３による圧縮動画復号化装置(デコーダ)の他の構成を示す図である。 図９は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される他の方法を説明する図である。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態は、符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリ(１０)から読み出される参照画像にて探索することによって、動きベクトルが生成される。

前記動きベクトルと前記フレームメモリ(１０)から読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成される。

前記動き補償された参照画像と前記符号化されるべき映像入力信号との減算によって、予測残差が生成される。

前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリ(１０)に格納される前記参照画像が生成される。

前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化装置(１０００)である(図３参照)。

前記参照画像は映像表示画面の内側の画面内参照画像(Ａ、Ｂ、Ｃ)と前記映像表示画面の外側の画面外参照画像(Ｄ)とを含み、前記画面外参照画像(Ｄ)は前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されることを特徴とする(図５参照)。

前記実施の形態によれば、画面外参照画像(Ｄ)が画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されているので、圧縮動画符号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することができる。

好適な実施の形態では、前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した前記複数の参照画像(Ａ、Ｂ)の一方の参照画像(Ａ)は、前記画面内参照画像と前記画面外参照画像との境界線(５０)に近接するものである。

前記複数の参照画像(Ａ、Ｂ)の他方の参照画像(Ｂ)は、前記一方の参照画像(Ａ)よりも前記境界線(５０)から離間して前記画面内参照画像の内部に位置するものである。

前記画面外参照画像(Ｄ)は、前記境界線(５０)を介して前記一方の参照画像(Ａ)と直近するものである。

前記一方の参照画像(Ａ)と前記画面外参照画像(Ｄ)の位置関係と略同一の位置関係で、前記画面内参照画像(Ａ、Ｂ、Ｃ)の他の参照画像(Ｃ)は前記他方の参照画像(Ｂ)に近接するものである。

前記他の参照画像(Ｃ)の画像情報に基づき、前記画面外参照画像(Ｄ)の画像情報が生成されることを特徴とする(図５参照)。

他の好適な実施の形態では、前記画面内参照画像は、複数のスタートの参照画像(９１、９２、９３)を含むものである。

前記画面外参照画像(９０)と前記複数のスタートの参照画像(９１、９２、９３)との間には、複数の延長直線(Ｌ１、Ｌ２、Ｌ３)が存在するものである。

前記複数の延長直線(Ｌ１、Ｌ２、Ｌ３)の各延長直線上の参照画像(９１、９６、９７；９２、９４、９８；９３、９５、９９)の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線(Ｌ２)が選択される。

前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の画像情報に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。

更に他の好適な実施の形態では、前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の前記画像情報の統計処理結果に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。

具体的な実施の形態は、前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像出力信号に付加されることを特徴とする。

〔２〕別の観点による実施の形態は、符号化映像入力信号の復号化処理によって、動きベクトルが抽出される。

前記動きベクトルと前記フレームメモリ(７６、８６)から読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成される。

前記符号化映像入力信号の前記復号化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリ(７６、８６)に格納される前記参照画像が生成される。

前記フレームメモリ(７６、８６)から、復号化映像出力信号が生成される圧縮動画復号化装置(７０)である(図7、図８参照)。

前記参照画像は映像表示画面の内側の画面内参照画像(Ａ、Ｂ、Ｃ)と前記映像表示画面の外側の画面外参照画像(Ｄ)とを含み、前記画面外参照画像(Ｄ)は前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されることを特徴とする(図５参照)。

前記実施の形態によれば、画面外参照画像(Ｄ)が画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されているので、圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することができる。

好適な実施の形態では、前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した前記複数の参照画像(Ａ、Ｂ)の一方の参照画像(Ａ)は、前記画面内参照画像と前記画面外参照画像との境界線(５０)に近接するものである。

前記複数の参照画像(Ａ、Ｂ)の他方の参照画像(Ｂ)は、前記一方の参照画像(Ａ)よりも前記境界線(５０)から離間して前記画面内参照画像の内部に位置するものである。

前記画面外参照画像(Ｄ)は、前記境界線(５０)を介して前記一方の参照画像(Ａ)と直近するものである。

前記一方の参照画像(Ａ)と前記画面外参照画像(Ｄ)の位置関係と略同一の位置関係で、前記画面内参照画像(Ａ、Ｂ、Ｃ)の他の参照画像(Ｃ)は前記他方の参照画像(Ｂ)に近接するものである。

前記他の参照画像(Ｃ)の画像情報に基づき、前記画面外参照画像(Ｄ)の画像情報が生成されることを特徴とする(図５参照)。

他の好適な実施の形態では、前記画面内参照画像は、複数のスタートの参照画像(９１、９２、９３)を含むものである。

前記画面外参照画像(９０)と前記複数のスタートの参照画像(９１、９２、９３)との間には、複数の延長直線(Ｌ１、Ｌ２、Ｌ３)が存在するものである。

前記複数の延長直線(Ｌ１、Ｌ２、Ｌ３)の各延長直線上の参照画像(９１、９６、９７；９２、９４、９８；９３、９５、９９)の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線(Ｌ２)が選択される。

前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の画像情報に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。

更に他の好適な実施の形態では、前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の前記画像情報の統計処理結果に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。

具体的な実施の形態は、前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像入力信号から抽出されるものである。

前記情報が否を示す方向に関しての前記画面外参照画像の生成が省略されることを特徴とする。

２．実施の形態の詳細
実施の形態について更に詳述する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。

［実施の形態１］
《圧縮動画符号化装置の構成》
図３は、本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)の構成を示す図である。

図３に示す本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)１０００は、図１に示した圧縮動画符号化装置と同様に、減算器１、直交変換器２、量子化器３、符号化器４、逆量子化器５、逆直交変換器６、加算器７、動き補償器８、動きベクトル探索器９、フレームメモリ１０を含んでいる。

更に、図３の本発明の実施の形態１による圧縮動画符号化装置１０００では、図１の圧縮動画符号化装置に含まれていない参照画像画面拡張ユニット１１がフレームメモリ１０に付加的に接続されている。

《参照画像画面拡張ユニットの構成》
図４は、図３に示す本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)１０００に付加された参照画像画面拡張ユニット１１の構成を示す図である。

図４に示す参照画像画面拡張ユニット１１は、類似度計算ユニット１１１と、最類似画素検索ユニット１１２と、参照画面外画素生成ユニット１１３とを含んでいる。

参照画像画面拡張ユニット１１の類似度計算ユニット１１１にはフレームメモリ１０から画面内画素値が供給されて、類似度計算ユニット１１１から最類似画素検索ユニット１１２に差分情報が供給されて、最類似画素検索ユニット１１２から参照画面外画素生成ユニット１１３に類似位置情報が供給されるものである。フレームメモリ１０から参照画面外画素生成ユニット１１３に画面内画素値が供給されて、参照画面外画素生成ユニット１１３からフレームメモリ１０に画面外画素値が供給される。

《拡張参照画像の生成方法》
図５は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、図４に示す参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される方法を説明する図である。

図５にて、境界線５０は画面内と画面外との境界を示す線である。境界線５０の内側の画面内には多数の参照画像Ａ、Ｂ、Ｃ…が存在しており、ＭＰＥＧ−４の符号化方法で採用の非制限動きベクトル(ＵＭＶ)を実現するために、境界線５０の外側に拡張参照画像Ｄを生成することが必要となる。

例えば、境界線５０に近接する画面内の参照画像Ａに直近して境界線５０の外側に拡張参照画像Ｄを生成する場合には、まず境界線５０の内側の多数の参照画像を探索することによって境界線５０に近接する画面内の参照画像Ａに最も類似した画面内の参照画像Ｂを選択する。その結果、境界線画面内参照画像Ａと最類似画面内参照画像Ｂの位置関係から移動量と移動方向が決定されて、ベクトルＶが生成される。

次に、境界線画面内参照画像Ａと外側拡張参照画像Ｄの位置関係と略同一の位置関係で最類似画面内参照画像Ｂに直近した画面内参照画像Ｃをコピーして外側拡張参照画像Ｄの位置にペーストすることによって拡張参照画像Ｄを生成する。

以下同様にして、縦方向の境界線５０の複数の境界線画面内参照画像に関して上記と同様な処理を反復することによって、必要な横方向の幅ｗで拡張参照画像を生成する。また、横方向の境界線５０の複数の境界線画面内参照画像に関して同様な処理を反復することによって、必要な縦方向の幅で拡張参照画像を生成するも可能である。

図６は、図５に示した本発明の実施の形態１による拡張参照画像の生成方法によって画面内と画面外の対象物(オブジェクト)の参照画像が生成される様子を説明する図である。

図６において、境界線６０は画面内と画面外との境界を示す線であり、境界線６０の内側の画面内には対象物(オブジェクト)の参照画像６１が存在する一方、境界線６０の外側の画面外には拡張参照画像６２が存在するものである。

図６に示した本発明の実施の形態１による拡張参照画像の生成方法によれば、画面外の画像である拡張参照画像６２には画面内の対象物(オブジェクト)の参照画像６１の配置方向(ベクトルＶ)が考慮されているので、画面外の拡張参照画像２２の形状が実際の形状と高精度で一致するものとなる。この結果、(１)拡張参照画像の部分での差分信号が小さくなる、(２)拡張参照画像の画素が選択でき、差分信号の電力が減少し符号化効率が向上する一方、符号化されるべきブロックの動きベクトルの大きさ・方向が周囲のブロックの動きベクトルと同一になり動きベクトルの符号量が小さくなる、と言う効果を得ることができる。

［実施の形態２］
《圧縮動画復号化装置の構成》
図７は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態２による圧縮動画復号化装置(デコーダ)の構成を示す図である。

図７に示した圧縮動画復号化装置(デコーダ)７０は、復号化器７１、逆子化器７２、逆直交変換器７３、動き補償器７４、加算器７５、フレームメモリ７６、参照画像画面拡張ユニット７７を含んでいる。

可変長復号化(ＶＬＤ：Variable Length Decoding)の信号処理を実行する復号化器７１には符号化映像出力信号であるＭＰＥＧのビデオ・ストリームが供給されて、復号化器７１の出力信号は逆量子化処理を実行する逆量子化器７２と逆直交余弦変換(ＩＤＣＴ)等の逆直交変換を実行する逆直交変換器７３を介して加算器７５の一方の入力端子に供給される。復号化器７１の出力端子から動きベクトルが生成されて、この動きベクトルは動き補償器７４に供給される。動き補償器７４は動きベクトルとフレームメモリ７６から読み出される参照画像とから動き補償された参照画像(予測画像)を生成して、加算器７５の他方の入力端子に供給する。従って、加算器７５では逆直交変換器７３の逆直交変換出力と予測画像との加算が実行され、フレームメモリ７６から復号化映像信号が生成される。

図３に示した本発明の実施の形態１による圧縮動画符号化装置では、図４の参照画像画面拡張ユニット１１を使用して図５と図６に示すようにＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、拡張参照画像を生成するものであった。

図７に示した本発明の実施の形態２による圧縮動画復号化装置では、図４の参照画像画面拡張ユニット１１を使用する図３の圧縮動画符号化装置により生成した拡張参照画像を利用した非制限動きベクトル(ＵＭＶ)の採用のＭＰＥＧのビデオ・ストリームを復号化するために参照画像画面拡張ユニット７７が付加されている。すなわち、図７の圧縮動画復号化装置では、復号化処理に際して供給される非制限動きベクトル(ＵＭＶ)の採用のＭＰＥＧのビデオ・ストリームに従って参照画像画面拡張ユニット７７を使用して画面内参照画像から画面外の拡張参照画像を生成するものである。この画面外の拡張参照画像を利用して、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ：Unrestricted Motion Vector)が採用されたＭＰＥＧ−４の符号化ビデオ・ストリームの圧縮動画復号化処理が実行されるものである。

尚、上述と同一の参照画像画面拡張方法を行う図７の圧縮動画像復号化装置が、ビデオ・ストリームを正確に復号化するものである。これは、符号化装置と復号化装置が常に同一の参照画面を保持しなければ、正確な画像を復号することができないためである。従って、図７の圧縮動画復号化装置参照画像画面拡張ユニット７７は、図５と図６とに示した圧縮動画符号化装置の参照画像画面拡張ユニットと同一の方法によって、圧縮動画復号化処理に際して画面内参照画像から画面外の拡張参照画像を生成することが可能となる。また、参照画像画面拡張ユニット７７が、後述する図９に示す方法と同一の方法によって、画面内参照画像から画面外の拡張参照画像を生成する場合は、圧縮動画像符号化装置、圧縮動画像復号化装置の双方で図９に示す方法を使用しなければならない。また図５、図６に示した方法と、図９に示した方法を併用することも、あるいは従来のＭＰＥＧ−４等における画像拡張を含めて２種類あるいは３種類の方法を併用することもできる。この併用の場合には、ビデオ・ストリーム内の各フレームが符号化される際に、いずれの方法によって画面拡張処理を行ったかを示す必要があり、復号化装置においては指定された方法によって画面拡張処理を行った後の各フレームの復号化によって正確な再生画像を得ることができる。

［実施の形態３］
《圧縮動画復号化装置の他の構成》
図８は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態３による圧縮動画復号化装置(デコーダ)の他の構成を示す図である。

図８に示した圧縮動画復号化装置(デコーダ)８０は、復号化器８１、逆子化器８２、逆直交変換器８３、動き補償器８４、加算器８５、フレームメモリ８６を含んでいる。図８の圧縮動画復号化装置(デコーダ)８０では、復号化器８１、逆子化器８２、逆直交変換器８３、加算器８５、フレームメモリ８６は、図７の圧縮動画復号化装置(デコーダ)７０に含まれた復号化器７１、逆子化器７２、逆直交変換器７３、加算器７５、フレームメモリ７６とそれぞれ等価の動作機能を持つものである。また、図８の圧縮動画復号化装置(デコーダ)８０に含まれた動き補償器８４は、図７の圧縮動画復号化装置(デコーダ)７０の動き補償器７４と参照画像画面拡張ユニット７７との両者の動作機能を持っている。従って、図８の圧縮動画復号化装置でも、図７の圧縮動画復号化装置と同様に、復号化処理に際して非制限動きベクトル(ＵＭＶ)の採用のＭＰＥＧのビデオ・ストリームに従って動き補償器８４を使用して画面内参照画像から画面外の拡張参照画像を生成することができる。また、図８の圧縮動画復号化装置でも、この画面外の拡張参照画像を利用して、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ)が採用されたＭＰＥＧ−４の符号化ビデオ・ストリームの圧縮動画復号化処理が実行されることができる。

尚、図８の圧縮動画復号化装置の動き補償器８４は、図７に示した圧縮動画復号化装置の参照画像画面拡張ユニット７７と同様に図５と図６に示した方法と同一の方法によって、圧縮動画復号化処理に際して画面内参照画像から画面外の拡張参照画像を生成することが可能となる。また、この動き補償器８４は、後述する図９に示す方法と同一の方法によって画面内参照画像から画面外の拡張参照画像を生成することもできる。

［実施の形態４］
《拡張参照画像の他の生成方法》
図９は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される他の方法を説明する図である。

図９にて、境界線Ｌ０は画面内と画面外との境界を示す線である。境界線Ｌ０の内側の画面内には多数の参照画像９１〜９９…が存在しており、ＭＰＥＧ−４の符号化方法で採用の非制限動きベクトル(ＵＭＶ)を実現するために、境界線Ｌ０の外側に拡張参照画像９０を生成することが必要となる。

例えば、拡張参照画像９０と画面内の第１のスタートの参照画像９１との間の直線Ｌ１上に配置された画面内の複数の第１参照画像９１、９６、９７の類似度が、図３に示す本発明の実施の形態１による圧縮動画符号化装置の参照画像画面拡張ユニット１１によって計算される。次に、拡張参照画像９０と画面内の第２のスタートの参照画像９２の間の直線Ｌ２上に配置された画面内の複数の第２参照画像９２、９４、９８の類似度が、図３の本発明の実施の形態１による圧縮動画符号化装置の参照画像画面拡張ユニット１１によって計算される。また同様に、拡張参照画像９０と画面内の第３のスタートの参照画像９３の間の直線Ｌ３上に配置された画面内の複数の第３参照画像９３、９５、９９の類似度が、図３の本発明の実施の形態１による圧縮動画符号化装置の参照画像画面拡張ユニット１１によって計算される。この類似度の計算によって計算された最も高い類似度に従って、境界線Ｌ０の外側の拡張参照画像９０が決定される。

すなわち、例えば最も高い類似度の延長直線が第２の直線Ｌ２であると想定すると、直線Ｌ２上に配置された画面内の複数の第２参照画像９２、９４、９８の各輝度信号と各色相信号を所定の係数で乗算した値を総和して平均化することで、境界線Ｌ０の外側の拡張参照画像９０の輝度信号と色相信号を決定することができる。

また、図９に示した周拡張参照画像の生成方法を使用する圧縮動画符号化装置により生成した拡張参照画像を利用した非制限動きベクトルの採用のＭＰＥＧ・ＴＳを復号化するために、図７と図８とに示したような圧縮動画復号化装置(デコーダ)を使用することができることは言うまでもない。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

［他の実施の形態］
例えば、図３に示した圧縮動画符号化装置１０００に含まれる減算器１、直交変換器２、量子化器３、符号化器４、逆量子化器５、逆直交変換器６、加算器７、動き補償器８、動きベクトル探索器９、参照画像画面拡張ユニット１１は、それぞれ専用ハードウェアによる信号処理に限定されるものではない。すなわち、これらの信号処理は、圧縮動画符号化装置１０００に含まれる中央処理ユニット(ＣＰＵ)によって実行されるソフトウェア処理によって置換されることが可能である。

また、図７に示した圧縮動画復号化装置(デコーダ)７０に含まれる復号化器７１、逆子化器７２、逆直交変換器７３、動き補償器７４、加算器７５、参照画像画面拡張ユニット７７は、それぞれ専用ハードウェアによる信号処理に限定されるものではない。すなわち、これらの信号処理は、圧縮動画復号化装置７０に含まれる中央処理ユニット(ＣＰＵ)によって実行されるソフトウェア処理によって置換されることが可能である。

また更に、図５に示したような参照画像の画面内と画面外の境界線５０の外側に拡張参照画像Ｄを生成する際の拡張方向は、四角形の参照画像の四辺の全てに、限定されるものではない。例えば。動画像撮影デバイスに搭載される加速度センサーから出力される動画像撮影デバイスの移動方向を基にして、拡張参照画像の生成方向を制限することも可能である。また、動画像撮影デバイスの移動ベクトルのＸ方向とＹ方向とに、拡張参照画像の生成方向を制限することもできる。すなわち、生成方向を制限する場合には、どの方向に拡張参照画像生成を制限したかの情報や、どの方向に拡張参照画像生成を制限しなかったかの情報をビデオ・ストリームに重畳することによって、ビデオ・ストリームを復号する動画像復号化装置の復号処理を簡略化することが可能となる。例えば、上述の拡張参照画像生成を制限する情報(制限情報)は、画面の各方向ついて拡張参照画像生成を制限しない場合を“１”、制限する場合を“０”とし、この信号を上下左右の順に配列した４ビットの情報とすることができる。例えば、４ビットの情報が“０００１”の場合には、Ｐフレーム(片方向予測フレーム)でカメラが右方向に動いている場合のように、画面の右方向の拡張参照画像を生成する必要があることが示される。この制限情報は、符号化画像のフレーム毎に付加することも可能であり、複数のフレーム単位で付加することも可能である。前者の場合には、各フレーム単位のカメラの動き等に適応して制限方向を適切に設定できるので、符号化効率を低下させることなく、拡張参照画像の生成を制限することができる。尚、拡張最小画像生成が制限された方向に関しては、ＭＰＥＧ−４等で用いた拡張方法を採用することができる。

更に、インターレース画像のようにトップフィールドの画像とボトムフィールドの画像とがライン毎に異なる場合には、符号化されるべき映像入力信号はトップフィールドとボトムフィールドとに分割され、各フィールドで図５に示すような拡張参照画像の生成が行われるものである。

本発明は、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ)が採用されたＭＰＥＧ−４の符号化方法および復号化方法に限定されるものではない。

本発明は、時間方向の相関を使用するフレーム間予測符号化と動きベクトル検出と動き補償と拡張参照画像等を利用する圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法に広く適用することができる。

１０００…圧縮動画符号化装置(エンコーダ)
１…減算器
２…直交変換器
３…量子化器
４…符号化器
５…逆量子化器
６…逆直交変換器
７…加算器
８…動き補償器
９…動きベクトル探索器
１０…フレームメモリ
１１…参照画像画面拡張ユニット
１１１…類似度計算ユニット
１１２…最類似画素検索ユニット
１１３…参照画面外画素生成ユニット
５０…参照画面内と画面外との境界
Ａ、Ｂ、Ｃ…境界線５０の内側の参照画像
Ｄ…境界線５０の外側の拡張参照画像
ｗ…拡張参照画の幅
６０…参照画面内と画面外との境界
６１…境界線の内側の対象物(オブジェクト)の参照画像
６２…境界線の外側の拡張参照画像
７０…圧縮動画復号化装置(デコーダ)
７１…復号化器
７２…逆子化器
７３…逆直交変換器
７４…動き補償器
７５…加算器
７６…フレームメモリ
７７…参照画像画面拡張ユニット
８０…圧縮動画復号化装置(デコーダ)
８１…復号化器
８２…逆子化器
８３…逆直交変換器
８４…動き補償器
８５…加算器
９６…フレームメモリ８６
Ｌ０…参照画面内と画面外との境界
Ｌ１、Ｌ２、Ｌ３…延長直線
９０…境界線Ｌ０の外側に拡張参照画像
９１〜９９…参照画面内の内側の画面内には多数の参照画像

Claims (12)

1. 符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリから読み出される参照画像にて探索することによって、動きベクトルが生成され、
   前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成され、
   前記動き補償された参照画像と前記符号化されるべき映像入力信号との減算によって、予測残差が生成され、
   前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
   前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化装置であって、
   前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
   前記画面外参照画像は、前記画面内参照画像から生成されるものであり、
   前記画面内参照画像は、複数のスタートの画面内参照画像を含むものであり、
   前記画面外参照画像と前記複数のスタートの画面内参照画像との間には、複数の直線が存在するものであり、
   前記複数の直線毎に、当該直線上の複数の画面内参照画像相互間の類似度が計算され、
   前記複数の直線のうち対応する類似度が最高類似度である直線上の前記複数の画面内参照画像に基づいて、前記画面外参照画像が生成されることを特徴とする圧縮動画符号化装置。
2. 請求項１に記載の圧縮動画符号化装置であって、
   前記最高類似度を持った前記直線上の前記複数の画面内参照画像の各輝度信号と各色相信号を所定の係数で乗算した値の総和の平均値に基づき、前記画面外参照画像の輝度信号と色相信号が生成されることを特徴とする圧縮動画符号化装置。
3. 請求項１乃至請求項２のいずれかに記載の圧縮動画符号化装置であって、
   前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像出力信号に付加されることを特徴とする圧縮動画符号化装置。
4. 符号化映像入力信号の復号化処理によって、動きベクトルが抽出され、
   前記動きベクトルとフレームメモリから読み出される参照画像とから、予測画像としての動き補償された参照画像が生成され、
   前記符号化映像入力信号の前記復号化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
   前記フレームメモリから、復号化映像出力信号が生成される圧縮動画復号化装置であって、
   前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
   前記画面外参照画像は、前記画面内参照画像から生成されるものであり、
   前記画面内参照画像は、複数のスタートの画面内参照画像を含むものであり、
   前記画面外参照画像と前記複数のスタートの画面内参照画像との間には、複数の直線が存在するものであり、
   前記複数の直線毎に、当該直線上の複数の画面内参照画像相互間の類似度が計算され、
   前記複数の直線のうち対応する類似度が最高類似度である直線上の前記複数の画面内参照画像に基づいて、前記画面外参照画像が生成されることを特徴とする圧縮動画復号化装置。
5. 請求項４に記載の圧縮動画復号化装置であって、
   前記最高類似度を持った前記直線上の前記複数の画面内参照画像の各輝度信号と各色相信号を所定の係数で乗算した値の総和の平均値に基づき、前記画面外参照画像の輝度信号と色相信号が生成されることを特徴とする圧縮動画復号化装置。
6. 請求項４乃至請求項５のいずれかに記載の圧縮動画復号化装置であって、
   前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像入力信号から抽出されるものであり、
   前記情報が否を示す方向に関しての前記画面外参照画像の生成が省略されることを特徴とする圧縮動画復号化装置。
7. 符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリから読み出される参照画像にて探索することによって、動きベクトルが生成され、
   前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成され、
   前記動き補償された参照画像と前記符号化されるべき映像入力信号との減算によって、予測残差が生成され、
   前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
   前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化方法であって、
   前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
   前記画面外参照画像は、前記画面内参照画像から生成されるものであり、
   前記画面内参照画像は、複数のスタートの画面内参照画像を含むものであり、
   前記画面外参照画像と前記複数のスタートの画面内参照画像との間には、複数の直線が存在するものであり、
   前記複数の直線毎に、当該直線上の複数の画面内参照画像相互間の類似度が計算され、
   前記複数の直線のうち対応する類似度が最高類似度である直線上の前記複数の画面内参照画像に基づいて、前記画面外参照画像が生成されることを特徴とする圧縮動画符号化方法。
8. 請求項７に記載の圧縮動画符号化方法であって、
   前記最高類似度を持った前記直線上の前記複数の画面内参照画像の各輝度信号と各色相信号を所定の係数で乗算した値の総和の平均値に基づき、前記画面外参照画像の輝度信号と色相信号が生成されることを特徴とする圧縮動画符号化方法。
9. 請求項７乃至請求項８のいずれかに記載の圧縮動画符号化方法であって、
   前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像出力信号に付加されることを特徴とする圧縮動画符号化方法。
10. 符号化映像入力信号の復号化処理によって、動きベクトルが抽出され、
    前記動きベクトルとフレームメモリから読み出される参照画像とから、予測画像としての動き補償された参照画像が生成され、
    前記符号化映像入力信号の前記復号化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
    前記フレームメモリから、復号化映像出力信号が生成される圧縮動画復号化装置であって、
    前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
    前記画面外参照画像は、前記画面内参照画像から生成されるものであり、
    前記画面内参照画像は、複数のスタートの画面内参照画像を含むものであり、
    前記画面外参照画像と前記複数のスタートの画面内参照画像との間には、複数の直線が存在するものであり、
    前記複数の直線毎に、当該直線上の複数の画面内参照画像相互間の類似度が計算され、
    前記複数の直線のうち対応する類似度が最高類似度である直線上の前記複数の画面内参照画像に基づいて、前記画面外参照画像が生成されることを特徴とする圧縮動画復号化方法。
11. 請求項１０に記載の圧縮動画復号化方法であって、
    前記最高類似度を持った前記直線上の前記複数の画面内参照画像の各輝度信号と各色相信号を所定の係数で乗算した値の総和の平均値に基づき、前記画面外参照画像の輝度信号と色相信号が生成されることを特徴とする圧縮動画復号化方法。
12. 請求項１０乃至請求項１１のいずれかに記載の圧縮動画復号化方法であって、
    前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像入力信号から抽出されるものであり、
    前記情報が否を示す方向に関しての前記画面外参照画像の生成が省略されることを特徴とする圧縮動画復号化方法。

Images