JP6188550B2

JP6188550B2 - 画像復号装置

Info

Publication number: JP6188550B2
Application number: JP2013235919A
Authority: JP
Inventors: 加藤　晴久; 晴久加藤; 柳原　広昌; 広昌柳原; 美紀長谷山; 小川　貴弘; 貴弘小川
Original assignee: Hokkaido University NUC; KDDI Corp
Current assignee: Hokkaido University NUC; KDDI Corp
Priority date: 2013-11-14
Filing date: 2013-11-14
Publication date: 2017-08-30
Anticipated expiration: 2033-11-14
Also published as: JP2015095862A

Description

本発明は、画像復号装置に関し、特に、データの欠損により生じた画像劣化を適応的に補間することで、主観的画質を向上させる画像復号装置に関する。

画像を符号化しネットワークを介して送信する場合、伝送パケットが欠損すると、該当する領域の画像が受信側で正常に復号できないだけでなく、当該領域を参照する他の領域も受信側で正常に復号できないため、次のランダムアクセスが可能なブロックもしくはフレームまで受信側で破棄せざるを得ず、その後に伝送パケットを正常に受信していたとしても、復号画像が得られないという問題がある。

従来の対策では、誤りそのものを無くす手段としてFEC(誤り訂正)やARQ(再送要求)が用いられることがある。しかし、FECでは誤り訂正用の情報が付与されているため伝送パケットの総量が増加してしまう問題があり、ARQでは再送要求と再送そのものに時間がかかるという問題がある。特に、低ビットレートや低遅延が求められる用途では前記の手法を用いることはできない。

一方、画像補間技術(いわゆるエラーコンシールメント)では、受信済みの情報から画像を再構成する。一般的に、画像補間技術は時間的補間と空間的補間に分類される。時間的補間は、時間的近傍のフレームとの相関を利用し、欠損した領域を復元済みフレームの類似領域で置換することにより補間する。対して、空間的補間は当該フレームの中での空間的相関を利用し、近隣領域から欠損領域を予測することにより補間する。

特許文献１は、時間的補間のひとつであり、欠損した領域と空間的に対応する復号済みの過去の復号信号をそのままコピーすることで、画像を補間する手法を提案している。

特許文献２は、空間的補間のひとつであり、欠損領域を４つの領域に分割し、分割領域毎に適した空間的補間を適用する手法を提案している。

特許文献３では、階層符号化された画像に対し、同一座標の符号情報を利用することで、より高精度な補間を図る。すなわち、欠損した領域と空間的に対応する復号可能な下位階層の符号情報および同復号信号を用いて画像を補間する手法を提案している。

特許第４１６４９６６号公報特開２０１３−４８４４７号公報特開２０１２−２３８９４７公報

特許文献１は、欠損領域を過去の画像そのもので単純に代替しているため、動きのある領域が欠損した場合は、静止したように見えてしまうという問題がある。また、後続のフレームで正常に復号できた場合は、動きに不連続が生じるため、主観画質が大きく劣化するという問題がある。

特許文献２は、欠損領域を近傍画素のメディアンや平均で補間するため、画像がボケるという問題がある。また、当該フレーム内だけで補間するため、動きのある領域が欠損した場合は、動きに不連続が生じやすくなるため、主観画質が劣化しやすいという問題がある。

一方、特許文献３は、下位階層の動き情報を流用することで欠損領域の動きを補間するため、特許文献１の問題を一部解決できる。しかし、平行移動を表す動き情報を流用しているため、回転運動等の動きに対応できないという問題がある。また、階層符号化の下位階層が欠損した場合は、特許文献１による補間を用いるため、特許文献１と同質の問題を抱える。さらに、そもそも階層符号化された画像にしか適用できないという問題がある。

本発明の目的は、上記の従来技術の課題に鑑み、階層符号化などの特別な符号化がなされていなくとも適用可能であり、欠損領域の動きが平行移動以外である場合にも補間可能な、主観画質に優れた画像復号装置を提供することにある。

上記目的を達成するため、本発明は、画像復号装置であって、動画像が符号化された符号化情報を復号して一連の復号画像を得ると共に、欠損領域を識別する復号部と、前記復号画像より特徴点を算出し、欠損領域及び／又はその近傍における複数の復号画像間において当該算出された特徴点を対応付け、当該対応付けられた特徴点群から変換係数を算出する対応部と、前記復号画像に前記算出された変換係数を適用することで欠損領域を補間する補間部と、を備えることを特徴とする。

本発明によれば、欠損領域及び／又はその近傍における複数の復号画像間において算出する特徴点の対応付けの変換係数より、欠損領域の動きに相当する情報を得て、当該変換係数を適用することで欠損領域を補間するので、映像符号化・復号の方式に依存することなく、主観画質に優れた補間が可能となる。

一実施形態に係る画像復号装置の機能ブロック図である。対応部の機能ブロック図である。フレーム選択部によるフレームの選択を説明するための例を示す図である。特徴量算出部が局所画像特徴量を算出するための領域の例を示す図である。補間部が補間する際の式の各値及びなされる計算を模式的に説明するための図である。欠損領域及びその周辺領域を部分領域へと分割する例を示す図である。色空間における異なる信号間で補間を行う例を示す図である。

図1は、本発明の一実施形態に係る画像復号装置の機能ブロック図である。画像復号装置1は、復号部2、対応部3及び補間部4を備える。当該各部の概要は以下の通りである。

復号部2は、符号化情報を復号して復号画像となし、当該復号画像を対応部3及び補間部4に渡す。なお、当該復号の際に、欠損領域も識別される。対応部3は、復号部2で得た復号画像から特徴点を算出し複数の復号画像間で対応付けると共に、当該対応付けられた特徴点群から変換係数を算出し、当該変換係数を補間部4に渡す。補間部4は、復号部2で得た復号画像に対応部3で得た変換係数を適用することで、欠損領域を補間する。

以下、各部の詳細を説明する。

復号部2は、符号化情報から画像信号を復号する。符号化情報としては、MPEG-1/2/4、H.264、HEVC等、任意の周知の符号化方式を利用でき、当該符号化方式に対応した周知の復号手段を有して、復号部2を構成することができる。

さらに、復号部2は、符号化情報に欠損が生じている場合、復号可能な領域だけを復号し、欠損した符号化情報に該当する領域を欠損領域として識別する。当該欠損領域は、後述する補間部4にて補間される。ここで、補間の精度を向上させるためには、欠損が発生した後の正常化を遅滞なくできるよう、独立して復号可能な情報を適宜符号化しておくことが望ましい。例えば、MPEG等ではスライス構造を利用することができる。

なお、欠損とは、符号化情報を読み取れない状況、または、伝送されてこない状況を指すだけでなく、読み取れたり伝送されたりしても復号するべき適切なタイミングに間に合わなければ欠損として取り扱う。当該タイミングは、画像復号装置1の用途などに応じて予め設定しておき、復号部2は当該設定に応じて、復号画像における欠損領域の識別を与えることができる。例えば、用途がリアルタイムの再生であれば、利用可能なフレームバッファ等に応じたタイミングに間に合わなければ、欠損として扱う。

対応部3は、復号された画像信号から特徴量を算出し、複数画像間における対応関係を推定した後、対応関係を表現する変換係数を算出する。図２は、当該算出を行う対応部3の機能ブロック図である。対応部3は、フレーム選択部31、特徴量算出部32、特徴量対応部33及び変換係数算出部34を備え、当該各部はこの順(付与した参照番号の順)に処理を行う。当該各部の詳細は以下の通りである。

フレーム選択部31は、欠損領域の範囲に応じて欠損領域を補間するのに適切なフレームを複数選択し、当該欠陥領域について当該選択された結果を特徴量算出部32に渡す。

具体的には、フレーム選択部31は、現時刻fのフレームf内の欠損領域の周辺に、復号部2で復号できた画素信号が十分にあると判定できるか否かによって、2通りの場合分けを行い、それぞれの場合に応じて適切な複数のフレームを選択する。図３は、フレーム選択部31による当該選択の処理を説明するための例を示す図であり、当該2通りの場合分けを(A),(B)と区別して示している。

また、図３の(C)は、当該選択されるフレームを説明するため、フレームを時系列で並べたものである。ここでは、注目する欠損領域が含まれる現時刻fのフレームf(斜線付与して表記)と、時間的に最近傍のフレーム、すなわち、フレームfから1フレーム離れ、隣接している過去の側のフレームf-1及び未来の側のフレームf+1と、その次の近傍のフレーム、すなわち、フレームfから2フレーム離れた過去の側のフレームf-2及び未来の側のフレームf+2と、が示されている。なおまた以降、本発明の説明においてこのように、フレームの時刻(復号され映像として再生される際の順番で指定される時刻)が「f」である場合、「フレームf」として言及する。

図３の(A)に欠損領域L1やL2として例示するように、当該時刻fにおけるフレームf内の欠損領域の周辺に、復号部2で復号できた画素信号が十分に存在すると判定された場合、フレーム選択部31は、(C)に示すうちの、当該フレームf自身と、時間的に最近傍の復号済みフレームf-1またはf+1のいずれかと、の2つのフレームを選択する。

すなわち、(A)に示すフレームf内の欠損領域L1やL2は、当該フレームfの全体の大きさに比べて十分に小さく、その周辺には復号された画素信号が十分に存在している。従って、当該欠損領域L1やL2についてはそれぞれ、(C)に示すうちのフレームf及びf-1またはフレームf及びf+1が選択される。

一方、逆に、図３の(B)に欠損領域L3として例示するように、当該時刻fのフレームf内の欠損領域の周辺に、復号部2で復号できた画素信号が十分には存在しないと判定された場合、フレーム選択部31は時間的に最近傍の復号済みフレームと、これに隣接する次に最近傍の復号済みフレームと、を選択する。すなわち、当該欠損領域L3については、(C)に示すうちの、互いに隣接するフレームf-1(最近傍)及びf-2(次に最近傍)の2つのフレームか、フレームf+1(最近傍)及びf+2(次に最近傍)の2つのフレームか、のいずれかが選択される。前者は過去側からの選択であり、後者は未来側からの選択である。

ここで、図３の例における(A),(B)の場合分けの判定、すなわち、欠損領域の周辺に十分な復号された画素信号があるか否かの判定は、具体的には、次に掲げる条件(1)〜(4)の全てまたは一部分を満たすことによって、欠損領域ごとに判定すればよい。なお、以下の(2)の寸法に関して、欠損領域が矩形でない場合は、外接矩形の寸法で代用すればよい。

(1)欠損領域の面積が所定値以下であること。
(2)欠損領域の寸法(縦及び／又は横、両方の場合はそれぞれ)が所定値以下であること。
(3)欠損領域をその重心等の所定位置を中心として所定割合だけ拡大した際に、あるいは欠損領域の周囲を所定幅だけ拡張した際に、当該拡大又は拡張によって欠損領域の外に新たに生じる領域が全て、フレームf内にあり、且つ復号された画素信号によって構成されていること。
(4)欠損領域の境界が全て、復号された画素信号に接していること。

なお、(A)の場合においてはf及びf-1か、f及びf+1か、の過去側または未来側のいずれかの選択が可能であり、同様に、(B)の場合においてはf-1及びf-2か、f+1及びf+2か、の過去側または未来側のいずれかの選択が可能である。実際にいずれも利用可能である場合は、ランダムにいずれかを選択してもよいし、予め決定されたいずれかを選択してもよい。一方、符号化情報の受信状況及び／又は復号部2の実装等によって、例えば、未来側f+1,f+2が当該時刻fにおいては復号未完了であって利用できないなど、実際にはいずれかのみ利用可能である場合は、当該利用可能な側を選択すればよい。

また、f-2,f-1, f+1,f+2のうち、欠損領域を含むものがある場合は、選択対象から除外してもよい。この際、f-2,f-1, f+1,f+2に欠損領域が含まれているものの、その位置が、対象としているフレームf内の欠損領域の位置の所定近傍内ではない場合は、(後述の特徴量算出部32以降の計算が可能である見込みが高いので、)除外しないようにしてもよい。

特徴量算出部32は、フレーム選択部31が選択したフレームのそれぞれにおいて、欠損領域と同位置の領域およびその周辺領域(のうち、復号された画像信号で構成されている領域)から局所画像特徴量を算出する。ここで、周辺領域は、欠損領域を所定幅だけ拡張させる、または、重心等の所定位置を中心として所定割合だけ拡大する、等の所定規則によって定めればよい。

図４は、特徴量算出部32が当該算出するための領域の例を示す図である。図４では、図３の(A)の場合におけるフレームfの欠損領域L1に対して、フレームf, f-1が選択された場合を(1)として、また、図３の(B)の場合におけるフレームfの欠損領域L3に対して、フレームf-1,f-2が選択された場合を(2)として、示している。

すなわち、図４にて(1)の場合、フレームfにて当該対象としている欠損領域L1の周辺領域がR1である。そして、属するフレームが括弧で示されている。すなわち、(1)の場合においては、フレーム選択部31に選択されたフレームfにおける欠損領域L1(f)と同位置の領域L1(f)及びその周辺領域R1(f)と、同じく選択されたフレームf-1における欠損領域L1(f)と同位置の領域L1(f-1)及びその周辺領域R1(f-1)と、がそれぞれ局所画像特徴量の算出対象の領域となる。ここで、領域L1(f)は欠損領域そのものであり、復号画像としての信号が存在しないので、局所画像特徴量を算出することはできず、算出対象の領域からは除外される。

また、図４にて(2)の場合、フレームfにて当該対象としている欠損領域L3の周辺領域がR3である。そして、(1)の表記と同じく、属するフレームが括弧で示されている。すなわち、(2)の場合においては、フレーム選択部31に選択されたフレームf-1における欠損領域L3(f)と同位置の領域L3(f-1)及びその周辺領域R3(f-1)と、同じく選択されたフレームf-2における欠損領域L3(f)と同位置の領域L3(f-2)及びその周辺領域R3(f-2)と、がそれぞれ局所画像特徴量の算出対象の領域となる。

ここで、特徴量算出部32の算出する局所画像特徴量は、画像の拡大縮小、回転等に頑強な性質を持つことが望ましい。こうした性質を持つものとして例えば、SIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)、Fernsなどの周知の局所画像特徴量を利用することができる。

なお、フレーム選択部31以降の処理は欠損領域ごとに実施されるので、欠損領域が複数存在する場合はそれぞれに対応する領域から、特徴量算出部32が局所画像特徴量を算出する。

特徴量対応部33は、特徴量算出部32で算出された局所画像特徴量について、当該算出されたフレーム間における対応関係を推定する。当該推定には、一連の局所画像特徴量同士を対応付ける周知の手法を利用できる。例えば、マッチングを行うことで、最適な組み合わせを選択して、対応関係とする。例えばSIFTの場合であれば、特徴量同士のドット積を求め、最も類似する特徴量と2番目に類似する特徴量を選択する。前者との類似度と後者との類似度との比が予め設定した閾値を超えた場合、前者を対応関係にある特徴量として推定する。

例えば、図４の例であれば、(1)の場合、フレームfの領域R1(f)から算出された一連の局所画像特徴量と、フレームf-1の領域L1(f-1)及び領域R1(f-1)から算出された一連の局所画像特徴量と、の対応関係が推定される。また、(2)の場合、フレームf-1の領域L3(f-1)及び領域R3(f-1)から算出された一連の局所画像特徴量と、フレームf-2の領域L3(f-2)及び領域R3(f-2)から算出された一連の局所画像特徴量と、の対応関係が推定される。

変換係数算出部34は、特徴量対応部33で対応付けられた複数の局所画像特徴量(以下、適宜、局所画像特徴量を特徴量と略称する)における座標の変化を、変換係数として表現する。変換には射影変換やアフィン変換等の、平行移動以外の動き（回転、ひずみなど）も表現可能な変換を利用することができ、変換の種類に応じて変換係数を算出する。

変換係数の算出に関しては、次のようにすればよい。例えば、フレームfにおけるn個の特徴量の同次座標をx^f _i (1≦i≦n)と置くと、図４の(1)の場合に対応するフレームf,f-1間の変換行列A^fは、次の式(1)を満たすことが期待される。(なお、同次座標x^f _i等は、式中ではベクトルを表す上矢印を付与して表記している。)

よって、変換係数算出部34は、フレーム選択部31が選択した一方のフレームにおける特徴量の座標を変換係数で写像し、当該特徴量と対応付けられた他方のフレームにおける特徴量の座標との誤差を最小化するように、下記の式(2)のコスト関数eを最小化する変換係数を算出し、変換行列A^fを求める。なお、w_iは重み係数であり、所定係数を予め設定しておく。w_i=1として、重み係数の利用を省略してもよい。

なお、上記の式(1),(2)は、図４の(1)の場合に対応する、フレームf,f-1間の変換行列A^fを求めるものであるが、「f」を「f-1」に置き換えることで全く同様に、図４の(2)の場合に対応する、フレームf-1,f-2間の変換行列A^f-1を求めることができる。さらに同様に「f」を「f+1」,「f+2」に置き換えることで、未来側のフレームf,f+1間や、f+1,f+2間についても上記過去側と同様の変換行列を求めることができる。

なお、以下の補間部4の説明についても、上記式(1),(2)の前提で、すなわち、フレームf,f-1間で変換行列A^fを求めた前提で説明を行う。そして適宜、フレームf-1,f-2間の変換行列A^f-1を求めた場合や、未来側のフレームf,f+1間や、f+1,f+2間で変換行列を求めた場合でも、同様のことが可能であることを補足して説明する。

補間部4は、対応部3で以上のようにして算出された変換係数と復号済みの画素信号とを用いて、欠損領域の画素信号を補間する。補間は以下の式(3),(4)で行う。ここで、I^fはフレームfにおけるピクセルの集合、αは重み係数、δ(式中では上線を付与して表記)は消失していない部分との誤差の平均、A^fは式(1),(2)で説明したI^fの変換行列を表す。

上記式(3),(4)による補間の意義は次の通りである。すなわち、対応部3で算出した局所画像特徴量は、輝度変化に耐性があるよう設計された特徴量であり、輝度変化の有無に関わらず対応関係を推定しているのに対し、補間部4による欠損領域の補間では、当該対応関係のもとの変換行列を適用することで、回転などの動きに対応するのみならず、主観画質を向上させるためさらに、輝度変化をも反映させる。ここで、0と1の間の所定値とする重み係数αが大きいほど、輝度変化の反映度合が大きくなる。

図５は、式(3),(4)の各値及びなされる計算を模式的に説明するための図であり、[1],[2],[3]にそれぞれフレームf,f-1,f-2を示し、[4],[5]に計算の説明を示している。[1]にはフレームfのピクセル集合I^fが示され、当該ピクセル集合I^fは欠損領域I^f _[L]及びその周辺領域I^f _[R]からなる。周辺領域I^f _[R]は、特徴量算出部32で参照したものである。

また、図５の[2]のフレームf-1のうち、変換行列A^fの適用により[1]の当該集合I^f並びに領域I^f _[L]及びI^f _[R]の位置に写像される領域が、それぞれ集合I^f-1並びに領域I^f-1 _[L]及びI^f-1 _[R]である。同様に、[3]のフレームf-2のうち、変換行列A^f-1の適用により[2]の当該集合I^f-1並びに領域I^f-1 _[L]及びI^f-1 _[R]の位置に写像される領域が、それぞれ集合I^f-2並びに領域I^f-2 _[L]及びI^f-2 _[R]である。なお、以上の各フレームの各領域につき、補間対象であるフレームfの欠損領域I^f _[L]以外は、復号された画素信号で構成されていることが前提であるが、利用されない部分については欠損領域で構成されていてもよい。

式(4)のピクセル集合B^fは、次のものを表現している。すなわち、当該式(4)自身及び模式的な図５の[4]に示すように、ピクセル集合I^f-1において、フレームf-2からf-1へ移る間に自分自身(ピクセル集合I^f-1)が経験した輝度変化と同じ輝度変化が、フレームf-1からfへと移る間にも現れるものと仮定した際に、ピクセル集合I^f-1がフレームfにおいてどのようなピクセル集合となるか、を表現するのがピクセル集合B^fである。ここで、フレームf-2からf-1へ移る間の輝度変化が式(4)の「(I^f-1- A^f-1 I^f-2)」である。当該「A^f-1 I^f-2」の項は、当該フレームf-2からf-1へ移る間の動き(当該動きがA^f-1で表現される)の影響を排除して、適切に輝度変化を計算するためのものである。

しかし、上記仮定により輝度変化を予測したピクセル集合B^fの位置は、フレームf-1におけるピクセル集合I^f-1の位置と同じである。そこで、式(3)及び模式的な図５の[5]に示すように、補間対象のピクセル集合I^fを計算する際には、ピクセル集合B^fに変換行列A^fを施すことでピクセル集合I^fと同位置となし、輝度変化を(1-α)の割合で反映させる。一方、動きの効果の項は式(3)の「A^fI^f-1」であり、αの割合で反映される。

また、式(3)における、消失していない部分(=周辺領域I^f _[R])との誤差の平均であるδ(式中では上線を付与して表記)は、次のようにして求める。すなわち、当該対象とするフレームfにおける消失していない領域I^f _[R]と、当該領域I^f _[R]を1つ前のフレームf-1から当該式(3)自身と同様の手法で予測した領域A^f{αI^f-1+(1-α) B^f}_[R]と、の誤差の平均として求める。

また、差の計算においては、以下の式(3b)の通り、領域I^f _[R]の画素値p(x, y)から、領域A^f{αI^f-1+(1-α) B^f}_[R]の画素値P(x, y)を減ずる。ここで、1行目のmean[]は領域内平均を取ることを意味し、その際の画素単位での計算が2行目である。2行目にて、Mは領域I^f _[R](=領域A^f{αI^f-1+(1-α) B^f}_[R])の画素数であり、(x, y)は当該領域内の各画素位置である。

当該計算されるδが、式(3)で補間される領域I^f _[L]内の全体において等しい値として、式(3)により領域I^f _[L]内の各々の画素値に加算されることにより、輝度変化が反映される。なお、δは、対象としている現在フレームfと他のフレームf-1,f-2とを用いた輝度変化の反映であり、一方、B^fは、他のフレームf-1,f-2を用いた輝度変化の反映である。欠損領域が小さい場合にはδが有効であり、欠損領域が大きい場合はB^fが有効である。

なお、式(1),(2)により、変換行列A^fはフレームf,f-1を対象として変換係数算出部34で求まっているが、式(4)の変換行列A^f-1は求まっていない。これについては、「A^f-1=A^f」である、すなわち、両者は等しいものであるという仮定を用いればよい。当該仮定は、一連のフレームf,f-1,f-2が互いに隣接して極めて短時間に現れるので、その際に大きく動きは変化しないという近似に基づく。

（注記１）
逆に、変換係数算出部34にてフレームf-1,f-2を対象として変換行列A^f-1が求まっている場合も、求まっていない変換行列A^fについて、同様の仮定で等しいものとすればよい。以上はf,f-1間やf-1,f-2間の過去側について説明したが、変換係数算出部34が未来側のf,f+1間やf+1,f+2間で変換行列を求めた場合も、方向が異なるだけであり、同様の算出が可能であることは明らかである。

以上、式(3),(4),(3b)により、補間部4が動き及び輝度変化の両者を考慮して補間を行う一実施形態を説明した。補間部4では、別の一実施形態も可能であり、この場合も動き及び輝度変化の両者を考慮した補間が可能である。具体的には、当該別の一実施形態では重み予測を利用し、以下の式(5)によって補間を行う。

上記式(5)において、ピクセル集合I^fや変換行列A^f等は式(3),(4)等で既に説明している通りであり、動きの効果が、「A^fI^f-1」の項において反映される。当該別の一実施形態では特に、輝度変化の効果が、重み予測係数α^f及びδ^fによって反映される。その具体的な値はそれぞれ、以下の式(6),(7)によって求めることができる。

上記式(6),(7)では、最小二乗法の係数として、重み予測係数α^f及びδ^fを求めており、当該最小二乗法の適用対象は次の通りである。すなわち、式(3b)と概ね同様の２つの領域が対象であり、図５における領域I^f _[R](フレームfの画素信号で構成される)と、当該領域I^f _[R]に位置合わせされた領域A^fI^f-1 _[R](フレームf-1の画素信号で構成され、式(3b)でα=1とした場合の予測領域に相当する)と、を対象として、以下の式(5b)のように、領域A^fI^f-1 _[R]の各画素q(x, y)から、領域I^f _[R]の各画素p(x, y)を予測する。そして、領域全体として最も適切な予測を実施するための共通の係数として、予測係数α^f及びδ^fを最小二乗法で求める。

従って、式(6),(7)において「Σ」記号で表される和は、式(3b)と同様に、領域I^f _[R](=領域A^fI^f-1 _[R])の各画素について計算する。そして、Mは、式(3b)でも説明したように、当該領域の画素数である。

なお、当該式(6),(7)で係数を求める際は周辺領域I^f _[R](=領域A^fI^f-1 _[R])を対象とするが、当該求めた係数により式(5)の補間を適用する際は、周辺領域I^f _[R]の内部に位置している、欠損領域としての領域I^f _[L]が対象となり、領域I^f-1 _[L]を位置合わせした領域A^fI^f-1 _[L]から領域I^f _[L]が予測され、補間される。式(5),(6),(7)においては表記の複雑化を避けるため、ピクセル集合に「I^f」等の共通の表記を用いているが、式(5)と式(6),(7)とでは注目している領域が異なることに注意されたい。

以上、式(5),(6),(7)等による別の一実施形態を説明した。ここでも、変換係数算出部34がフレームf,f-1を対象として変換行列A^fを求めている前提で説明したが、（注記１）で説明したのと全く同様に、その他の場合も実施可能である。すなわち、「A^f-1=A^f」の近似を用いて、フレームf-1,f-2間で変換行列A^f-1が求まっている場合も実施可能であり、また、未来側のf,f+1間やf+1,f+2間で変換行列が求まっている場合も全く同様に、当該別の一実施形態を実施可能である。

以上、本発明では、上述のような画像復号装置1によって、欠損した領域に対して、特徴点ごとに運動を把握するとともに、特徴点の対応付けで算出した変換係数を画素信号に適用することで、物体の運動に即した画素値を補間することができ、主観画質が向上する。

以下、本発明における補足事項（１）〜（６）を説明する。

（１）補間部4では、動き及び輝度変化の両者を考慮して補間を行うものとして説明したが、簡略化された補間手法として、輝度変化は考慮せず、動きのみを考慮した補間を行うようにしてもよい。具体的には、式(3)の実施形態において、重み係数αの値をα=1とすればよい。この場合、式(3)にてB^fの項が消えるので、式(4)の計算が不要となり、計算負荷を下げることができる。さらに、式(3)における誤差平均δもその値をゼロとして、計算を省略するようにしてもよい。

（２）対象とする欠損領域において、対応部3(より詳細には特徴量対応部33)で十分な数の対応関係を得られない場合は、平坦領域と判断し、補間部4では当該判断に対応する処理として、時間的に最近傍の復号済みフレームを利用して補間することができる。なお、対応関係が十分な数あるか否かは、所定閾値によって判断すればよい。平坦領域の場合は、特徴量が得られにくい、及び／又は、得られたとしても特徴量として適切に機能しにくい、という傾向があるので、十分な数の対応関係が得られないこととなる。

平坦領域では仮に複雑な動きが存在したとしても、見かけの変化が主観的にわからない。そこで補間部4では、平坦領域と判断された際は、従来技術と同様の、単純な動きベクトルによる補間を行うことができる。ただし、エッジ領域の連結性が損なわれると主観画質に悪影響があるため、本発明では特に、周辺のエッジ領域に重み付けして欠損部分の動きベクトルを推定する。すなわち、復号済みフレームからエッジを検出し、テンプレートマッチングにおける一致度の評価関数に対して、エッジ周辺にガウス分布で重み付けをした上で、動きベクトルを推定する。ガウス分布以外に、エッジを中心に重みが与えられる他の分布でも適用は可能である。推定された動きベクトルを用いて、最近傍の復号済みフレームの参照領域を切り出し欠損領域の補間とする。

例えば、フレームfの欠損領域L5(f)(いずれの図にも不図示、当該例の説明における以下の記号も同様)が平坦領域と判断された際に、時間的に最近傍の復号済みフレームf-1で補間する場合は次のようにする。テンプレートは、フレームf-1における欠損領域と同位置の領域L5(f-1)となり、その類似領域がフレームf-2内からエッジ重み付与のもとで探索され、領域S5(f-2)が探索結果として定まると共に、動きベクトルvが推定される。欠損領域L5(f)の補間は、動きベクトルvでフレームf-1から切り出される参照領域、すなわち、フレームf-1における領域S5(f-2)と同位置の領域S5(f-1)となる。当該例は過去側の探索であるが、未来側についても同様である。

また、式(5)で上述した重み予測係数（と同様の探索手法）を適用することもできる。当該適用を、図５の記号を用いて説明すると、次の通りである。補間対象の欠損領域I^f _[L]に対して、周辺領域I^f _[R]をテンプレートマッチングのテンプレートとして利用し、探索対象のフレームf-1又はf+1においてマッチする領域を、エッジ周辺に重みを付与したうえで探索する。当該探索されたフレームの領域に対して、周辺領域I^f _[R]に対する欠損領域I^f _[L]と同様の位置関係にある領域を、欠損領域I^f _[L]を補間するための領域として採用する。

（３）特徴量対応部33及び変換係数算出部34の説明では、特徴量対応部33が2つのフレーム間において特徴量同士を1対1に対応付けたことを前提としていた。別の手法として、特徴量対応部33及び変換係数算出部34では、式(2)の誤差eを評価対象とすることにより、周知のRANSAC(Random Sample Consensus)などのロバスト推定を行うことで、対応関係の誤対応をある程度除去したうえで得られる、最適な組み合わせから変換係数を算出するようにしてもよい。

（４）対応部3以降の処理は、欠損領域ごとに行われるものとして説明した。ここで、1つの欠損領域において、動きや輝度変化が均一であれば、以上説明したような処理によって、適切に画素信号を補間することができる。しかしながら、1つの欠損領域の内部においてそれぞれ、動きや輝度変化が異なっているような場合には、適切な補間を行うことができない。従って、このような場合に対応すべく、1つの欠損領域をさらに複数の部分領域へと細分化したうえで、以上説明したのと同様の処理を適用するようにしてもよい。

具体的には、1つの欠損領域の形状及びサイズに応じて、その周辺領域を含めて、部分領域へと分割するための所定規則を定めておけばよい。ここで、欠損領域のサイズがある程度以上小さい場合には、分割しないような規則とすることが好ましい。

図６は、欠損領域及びその周辺領域を部分領域へと分割する例を示す図であり、(1)が分割前を、(2)が分割後を示している。(1)では、図４等と同様に、欠損領域L4と、その周辺領域R4とが示されている。(2)では、当該欠損領域L4及び周辺領域R4の全体が、それぞれ矩形の領域D41,D42,D43へと3分割された例が示されている。

ここで、領域D41は、欠損領域L41及びその周辺領域R41で構成される。領域D42は、欠損領域L42並びにその周辺領域R42_[上]及びR42_[下]で構成される。領域D43は、欠損領域L43及びその周辺領域R43で構成される。そして、各領域D41,D42,D43を、以上説明した個別の欠損領域及びその周辺領域とみなして、以上説明したのと同一の手法を適用する。こうして、欠損領域L4を分割して得られた欠損領域L41,L42,L43の各々では、それぞれに応じた動き及び輝度変化が推定されたうえで、それぞれ個別に補間が実施されることとなる。

（５）上記（４）の分割手法を、特徴量対応部33による局所画像特徴量の対応関係を求める際のみに限定して利用するようにしてもよい。この場合、分割することによって対応関係を得る対象となる特徴量の組み合わせ数が減るので、計算負荷を低減することができる。図６の例であれば、各領域D41,D42,D43においてそれぞれ対応関係を求め、欠損領域L4の補間を行う際には、当該それぞれ求められた対応関係を組み合わせて得られる１つの対応関係を利用すればよい。

（６）以上の説明においては、画像復号装置1による補間処理を同一信号内において実施することを前提としていた。例えば、欠損領域がRGB色空間のうちR信号であれば、R信号を参照して補間を行うことが前提であった。しかし、別の実施形態として、ある色空間における１つの信号の欠損領域が、当該色空間内の別の信号においては復号された画素信号として利用可能であれば、異なる色空間の信号を利用して補間を行うようにしてもよい。

図７は、所定の色空間における異なる信号間で補間を行う例を示す図であり、図４の(1)に対応する例が[1]に示されている。すなわち[1]では、図４の(1)と同様の状況を、その信号S1（第一信号S1）を明示して、フレームfにおける欠損領域L1_[S1](f)及びその周辺領域R1_[S1](f)と、同位置のフレームf-1における領域L1_[S1](f-1)及びその周辺領域R1_[S1](f-1)として示している。

一方、[2]に示すように、当該色空間における別の信号S2（第二信号S2）においては、欠損領域L1_[S1](f)と同位置及び同時刻の領域が、復号された画素信号からなる領域L1_[S2](f)として参照可能であり、また、その他の対応する領域R1_[S2](f), L1_[S2](f-1), R1_[S2](f-1)も同様に、復号された画素信号として参照可能となっている。この場合、色空間を利用した次のような実施形態が可能となる。

すなわち、補間対象の第一信号S1のフレームfに対して、フレーム選択部31では、復号された画素信号が利用可能な第二信号S2のフレームf, f-1を選択する。特徴量算出部32は、当該選択された第二信号S2のフレームf, f-1において、領域L1_[S2](f), R1_[S2](f)と、領域L1_[S2](f-1),R1_[S2](f-1)と、からそれぞれ特徴量を算出する。特徴量対応部33は当該算出された特徴量同士を対応付け、変換係数算出部34は当該対応付けられた座標の変換関係として変換行列を求める。以上の個別処理については、色空間内の同一信号を利用する場合と同様の処理内容を、当該異なる信号を対象として実施する。

そして、補間部4は、当該異なる第二信号S2にて算出された変換行列を、当該補間の対象としている第一信号S1において、同一信号を利用する場合と同様に適用することで、欠損領域の補間を実施する。

なお、図７の例では、図４の(1)の場合に対応する例を示したが、図４の(2)の場合も同様であり、(フレームf-1, f-2ではなく、)第二信号S2におけるフレームf, f-1を選択すればよい。すなわち、色空間内の別の信号が利用できる場合は、同一信号を利用する場合とは異なり、欠損領域の周辺に十分な復号された画素信号が存在するか否かによる場合分けは不要である。また、未来側のフレームも同様に利用してよい。

1…画像復号装置、2…復号部、3…対応部、4…補間部、31…フレーム選択部、32…特徴量算出部、33…特徴量対応部、34…変換係数算出部

Claims

動画像が符号化された符号化情報を復号して一連の復号画像を得ると共に、欠損領域を識別する復号部と、
前記復号画像より特徴点を算出し、欠損領域及び／又はその近傍における複数の復号画像間において当該算出された特徴点を対応付け、当該対応付けられた特徴点群から変換係数を算出する対応部と、
前記復号画像に前記算出された変換係数を適用することで欠損領域を補間する補間部と、を備え、
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、
前記対応部は、欠損領域の存在する復号画像のフレームにおいて、当該欠損領域の周辺に、復号された画素信号が十分に存在するか否かを判定し、十分に存在すると判定された場合には、当該欠損領域の存在するフレームとその隣接フレームとを選択し、十分に存在するとは判定されなかった場合には、当該欠損領域の存在するフレームの隣接フレームと、当該隣接フレームの次の隣接フレームと、を選択することを特徴とする画像復号装置。
動画像が符号化された符号化情報を復号して一連の復号画像を得ると共に、欠損領域を識別する復号部と、
前記復号画像より特徴点を算出し、欠損領域及び／又はその近傍における複数の復号画像間において当該算出された特徴点を対応付け、当該対応付けられた特徴点群から変換係数を算出する対応部と、
前記復号画像に前記算出された変換係数を適用することで欠損領域を補間する補間部と、を備え、
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、
前記補間部は、前記対応部にて前記対応付けられた特徴点群の数が所定値に満たない場合は、補間対象の欠損領域が平坦領域で構成されていると判断し、前記変換係数の適用による補間に代えて、前記選択されたフレームより動きベクトルを推定し、当該動きベクトルの参照領域により、欠損領域を補間することを特徴とする画像復号装置。
前記補間部は、前記動きベクトルを推定する際のテンプレートマッチングにおいて、エッジ領域に重みづけを行うことを特徴とする請求項２に記載の画像復号装置。
前記対応部は、前記選択した復号画像のフレームにおいて、欠損領域と同位置の領域及びその周辺領域から、前記特徴点を算出することを特徴とする請求項１ないし３のいずれかに記載の画像復号装置。
前記対応部は、前記選択した復号画像のフレームにおいて、欠損領域と同位置の領域及びその周辺領域から、前記特徴点を算出すると共に、当該算出された特徴点を対応付ける際に、欠損領域と同位置の領域及びその周辺領域を所定方式で分割した領域ごとに、対応付けを行うことを特徴とする請求項４に記載の画像復号装置。
前記対応部は、前記選択した復号画像のフレームにおいて、欠損領域と同位置の領域及びその周辺領域から、前記特徴点を算出し、欠損領域と同位置の領域及びその周辺領域を所定方式で分割した領域ごとに、特徴点の対応付け及び変換係数の算出を行い、
前記補間部は、前記所定方式で分割した領域ごとに、欠損領域を補間することを特徴とする請求項４に記載の画像復号装置。
前記対応部は、前記選択した復号画像のフレーム間において、前記算出された特徴点同士のロバスト推定によるマッチングを行い、最適な組み合わせを得ることで前記対応付けを行うことを特徴とする請求項１ないし６のいずれかに記載の画像復号装置。
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを、当該欠損領域の存在するフレームの近傍フレームから２つ選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、一方のフレームにおける特徴点をもう一方のフレームにおける特徴点へと変換係数で写像する際の誤差を最小化するような変換係数として、前記変換係数を算出することを特徴とする請求項１ないし７のいずれかに記載の画像復号装置。
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、
前記補間部は、前記選択されたフレームにおける復号済みの画素信号に前記算出された変換係数を適用することで、欠損領域を補間することを特徴とする請求項１ないし８のいずれかに記載の画像復号装置。
前記補間部は、前記選択されたフレームにおける欠損領域に対応する領域を、前記算出された変換係数に基づいて求め、当該欠損領域に対応する領域における輝度変化を算出し、当該算出された輝度変化と前記算出された変換係数とに基づいて、欠損領域を補間することを特徴とする請求項９に記載の画像復号装置。
前記補間部は、欠損領域の存在するフレーム及び前記選択されたフレームにおける、欠損領域の近傍領域同士をフレーム間で予測する重み予測係数として、前記輝度変化を算出し、前記算出された変換係数の適用後にさらに当該算出された重み予測係数を適用することで、欠損領域を補間することを特徴とする請求項１０に記載の画像復号装置。
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、
欠損領域が色空間の第一信号に存在し、色空間の第二信号では当該欠損領域と同時刻及び同位置に復号された画素信号が存在する場合に、第二信号において前記フレームを選択し、特徴点を算出し、特徴点群を対応付けることを特徴とする請求項１ないし１１のいずれかに記載の画像復号装置。