JP7265114B2 - 予測画像取得装置、原信号取得装置、予測画像取得方法及びプログラム - Google Patents

Description

本発明は、予測画像取得装置、原信号取得装置、予測画像取得方法及びプログラムに関する。

圧縮センシングは、本来、取得したい対象である未知の原信号を、原信号の代わりに取得された、より少ない要素数の観測信号から生成するサンプリング技術である（非特許文献１参照）。観測信号は、Ｎ次元のベクトルである原信号ｘに「Ｍ×Ｎ」次元の観測行列Φを乗算することによって生成されるＭ次元（ここで、Ｍ＜＜Ｎ）のベクトルである。圧縮センシングでは、対象の原信号がスパース（疎）であることが仮定されている。また、原信号自体がスパースでなくとも、ある線形変換によってスパースに変換される場合でもよい。以下、圧縮センシングにおいて、観測行列Φと観測信号とから原画像を求める処理を「復元」という。また、観測行列Φは、事前に定義されており、常に既知として扱われる。

Ｍ次元の観測信号からＮ次元の原信号を復元することは、不良設定問題である。つまり、一般に解を一意に定めることはできない。圧縮センシングでは、原信号がある変換行列によってスパースに変換されることが仮定されることによって、Ｍ次元の観測信号からＮ次元の原信号が復元される。

原信号を復元する方法の典型例では、ある変換によって原信号をスパースな変換係数に変換可能であることが仮定されている。変換係数のＬ１ノルム（絶対値和）を正則化項として式に追加することによって、式（１）のように原信号が復元される。

ここで、Ψは、離散コサイン変換又は離散ウェーブレット変換等のスパース変換行列を表す。λは、重み係数を表す。一般に画像信号を、離散コサイン変換すると、高周波成分の基底ベクトルに対応する変換係数の絶対値が小さくなることが知られており、Ψxはスパースなベクトルであると仮定できる。式（１）において、Ｍが小さいほど圧縮効率は高いが、Ｍが小さいほど復元性能は低下する。（Ｍ／Ｎ）が１に近いほど、圧縮センシングにおける復元性能は高くなる。原信号の変換係数Ψｘが高いスパース性を有しているほど、すなわち変換係数Ψｘにおいて非ゼロ係数が少ないほど、圧縮センシングにおける復元性能は高くなる。したがって、復元対象の原信号が高いスパース性を有していれば、Ｍが小さい場合でも、観測信号から原画像を高精度で復元することが可能である。また、Ｌ１正則化による復元以外にも、機械学習を用いる復元等が提案されている。例えば、畳み込みニューラルネットワークを用いる復元では、変換行列Ψが明に定義されておらず、観測信号を入力とし、復元した原信号を出力とする畳み込みニューラルネットワークが構築される。

圧縮センシングを用いる動画像符号化では、復号装置は、圧縮センシングにおける復元処理を観測信号から原画像に対して行うのではなく、原画像自体よりもスパース性が高いと仮定される予測残差信号が、式（２）のように復元される（非特許文献２参照）。これは、復元対象の信号が高いスパース性を有しているほど、復元性能が向上できるという圧縮センシングの性質に基づいている。符号データは、観測信号から生成されるため、符号データの符号量はＭに大きく依存する。そのため、復元性能向上は、符号化性能向上を意味する。

ここで、ｘ_ｒは、復元された予測残差信号を表す。ｙ_ｒは、予測残差信号の観測信号を表す。予測残差信号の観測信号ｙ_ｒは、「ｙ_ｒ＝ｙ－Φｐ」と表される。この「ｐ」は、予測信号を表す。

このような圧縮センシングを用いる動画像符号化装置は、原信号に対して圧縮サンプリングを実行することによって観測信号を生成し、生成された観測信号を符号化すればよく、原信号についての予測信号（予測画像）を生成する必要はない。復号装置は、伝送された符号データから観測信号を復号する。復号装置は、復号された観測信号及び参照信号（参照画像）から、予測信号を生成する。復号装置は、復号された観測信号と復号装置で生成した予測信号とから、行列の乗算及び引き算によって、予測残差信号の観測信号（ｙ_ｒ＝ｙ－Φｐ）を生成する。復号装置は、圧縮センシングにおける復元処理を適用することで、予測残差の観測信号から、予測残差信号を生成する。復号装置は、復元された予測残差信号と予測信号との和を求めることで原画像を復元し、復元された原画像を復号装置から出力する。

Ｈ.２６５／ＨＥＶＣ（High Efficiency Video Coding）（非特許文献３参照）等の一般的な動画像符号化方式では、符号化装置が、復号済み画像を用いて予測画像を生成する。そのために、符号化装置は、構成要素として、復号済み画像の生成のための復号装置を持つことが必須となる。この制約により、符号化装置の計算負荷は、復号装置の計算負荷よりも常に大きくなる。一方で、圧縮センシングを用いる動画像符号化装置では、予測画像を生成しないために、符号化装置が復号装置を内包する必要がなく、復号装置よりも計算負荷が小さい符号化装置の実現が可能である。

圧縮センシングを用いる動画像符号化において、予測処理は非常に重要な技術である。圧縮センシングを用いる動画像符号化において高精度の予測残差信号を生成することは、符号量の削減に直結する。復号装置は、予測残差信号のスパース性に基づいて、原信号を観測信号から復元する。このため、画像信号の予測精度が高いほど予測残差信号のスパース性が向上するので、復号装置は、高精度の予測残差信号を生成することができる。

Ｈ.２６５／ＨＥＶＣ等の一般的な動画像符号化方式では、符号化装置が、予測信号を生成し、その予測信号と同一の予測信号を復号装置で生成するために必要な予測情報を復号装置に伝送する。そのため、予測精度と予測情報の符号量はトレードオフの関係にある。したがって、一般的な動画像符号化では、非常に多数の変数を必要とする予測方法は適さない。例えば、動き補償予測における予測信号を生成するために必要な予測情報である動きベクトルの数は、１本又は２本が一般的である。２本以上の動きベクトルを用いて符号化装置が予測信号を生成する場合、従来の符号化装置は、各動きベクトルから予測信号を生成し、生成された２本以上の予測信号を単純に平均するか、フレーム又はブロックごとに定められる重み係数を用いて２本以上の予測信号を足し合わせる。

圧縮センシングを用いる動画像符号化において、復号装置は予測処理を実行するが、符号化装置は予測処理を実行しない。このため、予測情報が符号データに含まれないので、符号化装置が符号データのデータ量を予測信号によって増加させることなく、復号装置は、多数の変数に基づいて予測信号を生成することができる。

圧縮センシングを用いる動画像符号化における予測信号の生成方法は、多数提案されている。ブロック単位の圧縮センシングを用いる動画像符号化において、符号化装置は、線形結合によって、複数の予測画像が合成された画像（以下「合成予測画像」という。）を生成する（非特許文献４）。重み係数ｗは、Ｔｉｋｈｏｎｏｖ正則化法が用いられることによって、閉形式で決定される。合成予測画像ｐは、式（３）のように表される。

ここで、合成予測画像ｐは、「Ｎ＝Ｂ^２」次元の列ベクトルの形式で表現される。Ｂは、ブロックサイズを表す。Ｈは、「Ｂ^２×Ｋ」次元の行列を表す。Ｋは、予測画像候補に含まれている予測画像の数を表す。Ｈの各列ベクトルは、参照画像の中の探索範囲のブロック列を表す。式（３）に示された重み係数ｗは、Ｋ次元の列ベクトルで表される。重み係数ｗの各要素は、Ｈの各列ベクトルである予測画像候補に対応するスカラー値である。式（３）は、式（４）のように表される。

ここで、ｈ_ｊは、集合Ｒ^Ｎの要素（予測画像候補）であり、Ｈのｊ列目の列ベクトルを表す。ｃ_ｊは、集合Ｒの要素であり、式（３）に示された重み係数ｗのｊ列目の要素を表す。合成予測画像ｐは、予測画像候補ｈ_ｊの線型結合によって生成される。最適な重み係数ｗは、式（５）のように表される。

ここで、Φは、観測信号の行列（観測行列）を表す。これを解く問題は不良設定問題である。このため、Ｔｉｋｈｏｎｏｖ正則化項Γが式（５）に追加され、重み係数ｗ_ｔ,ｉは、式（６）のような閉形式で表される。

非特許文献５では、４分割された特定のサブブロック以外の要素が０である。このようにして予測画像候補が生成されることによって、最適な予測画像がサブブロック単位で生成される。非特許文献５の重み係数は、非特許文献４と同様に、Ｔｉｋｈｏｎｏｖ正則化によって決定される。

Emmanuel J Cand`es and Michael B Wakin. "An introduction to compressive sampling," IEEE signal processing magazine, Vol. 25, No. 2, pp. 21-30, 2008. Thong T Do, Yi Chen, Dzung T Nguyen, Nam Nguyen, Lu Gan, and Trac D Tran, "Distributed compressed video sensing," In Information Sciences and Systems, 2009. CISS 2009. 43rd Annual Conference on, pp. 1-2. IEEE, 2009. ISO ISO/IEC 23008-2:2017, "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding," Oct 2017. Eric W Tramel and James E Fowler, "Video compressed sensing with multihypothesis," In Data Compression Conference (DCC), 2011, pp. 193-202. IEEE, 2011. Chen Chen, Eric W Tramel, and James E Fowler, "Compressed-sensing recoveryof images and video using multihypothesis predictions," In Signals, Systems and Computers (ASILOMAR), 2011 Conference Record of the Forty Fifth Asilomar Conference on, pp. 1193-1198. IEEE, 2011.

圧縮センシングを用いる動画像符号化において、高精度の予測画像の生成は、符号化効率に直結する。Ｈ.２６５／ＨＥＶＣ等の一般的な動画像符号化方式では、Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（ＰＵ）と呼ばれる予測単位ブロックが設定されており、ＰＵの可変的なブロック分割形状がレート歪最適化によって決定される。一方で、画像のフレームを構成するブロック単位の圧縮センシングを用いる動画像符号化では、レート歪最適化が実行されず、固定サイズのブロックに原画像が分割される。このため、１本の動きベクトルによる動き補償では、高精度の予測画像が生成されず、予測残差信号がスパースにならないことがある。例えば、原画像を構成するあるブロックにおいて前景画像及び背景画像が別々に移動する場合、１本の動きベクトルによる動き補償では原画像が正確に近似されず、予測残差信号がスパースにならないことがある。このような場合、復号装置は、前景画像用の予測画像を合成予測画像の前景領域に当てはめ、背景画像用の予測画像を合成予測画像の背景領域に当てはめれば、原画像に類似する高精度の合成予測画像を生成することができる。しかしながら、この方法は、例えば非特許文献４では問題がある。

図６は、予測画像候補に含まれている２枚の予測画像と合成予測画像との例を示す図である。非特許文献４では、復号装置は、予測画像候補をスカラー値の重み係数を用いて線形結合することによって、合成予測画像を生成する。図６では、合成予測画像ｐ（＝ｋ_ａａ＋ｋ_ｂｂ）は、予測画像ａ及び予測画像ｂとスカラー値ｋ_ａ及びｋ_ｂとに基づいて、非特許文献４に開示された方法によって生成されている。

図６では、予測画像ａは、原画像ｘにおける右下以外の領域に一致している。予測画像ｂは、原画像ｘにおける右下の領域に一致している。このように、予測画像が原画像ｘの局所領域のみで正確である場合、非特許文献４のように予測画像候補ごとにスカラー値の重み係数を持つ線型結合では、予測画像候補は、原画像の全域に対する重み係数を有している。このため、予測画像ａ及び予測画像ｂが合成された画像である合成予測画像ｐは、原画像に類似していない。非特許文献５では、予測画像候補がサブブロック単位で生成されているものの、予測画像候補は、サブブロックの全域に対する重み係数を有している。サブブロックの分割方式は、四分木分割であり、サブブロックの各辺を半分とした４個の正方形への固定的な分割である。このため、そのサブブロックと前景領域の形状とが一致しないとき、合成予測画像ｐは、原画像を近似していない。このように、従来の装置は、動画像等の信号の圧縮効率を向上させることができない場合があった。

上記事情に鑑み、本発明は、信号の圧縮効率を向上させることが可能である予測画像取得装置、原信号取得装置、予測画像取得方法及びプログラムを提供することを目的としている。

本発明の一態様は、復号対象の画像である原画像から得られた信号であり、かつ、前記原画像よりも低次元な信号である観測信号と、前記原画像との相関が高い第１の予測画像と、前記原画像との相関が高い第２の予測画像と、を関連付けることで合成予測画像を得る予測画像取得装置であって、前記第１の予測画像と、前記第２の予測画像と、前記観測信号とから、前記合成予測画像の画素ごとに設定される補間係数を得る補間係数取得部と、前記第１の予測画像と前記第２の予測画像とを、画素ごとに前記補間係数を用いて合成することで前記合成予測画像を得る合成予測画像取得部とを備え、前記観測信号を構成する画素は、前記原画像の線形和で表現されている、予測画像取得装置である。

本発明の一態様は、上記の予測画像取得装置であって、前記第１の予測画像は、前記原画像における第１領域との相関が高い領域を含み、前記第２の予測画像は、前記原画像における第１領域の相補領域である第２領域との相関が高い領域を含む。

本発明の一態様は、上記の予測画像取得装置であって、前記補間係数は、予め定められた変換基底に基づいて、スパース性が高くなるよう設定されている。

本発明の一態様は、上記の予測画像取得装置であって、前記補間係数は、前記第１の予測画像の画素と前記第２の予測画像の画素とのいずれを前記合成予測画像の画素とするかを、画素ごとに表す実数である。

本発明の一態様は、復号対象の信号である原信号から得られた信号であり、かつ、前記原信号よりも低次元な信号である観測信号と、前記原信号との相関が高い第１の予測信号と、前記原信号との相関が高い第２の予測信号と、を関連付けることで合成予測信号を得る予測信号取得装置を備える原信号取得装置であって、前記第１の予測信号と、前記第２の予測信号と、前記観測信号とから、前記合成予測信号の要素ごとに設定される補間係数を得る補間係数取得部と、前記第１の予測信号と前記第２の予測信号とを、要素ごとに前記補間係数を用いて合成することで前記合成予測信号を得る合成予測信号取得部と、前記合成予測信号を用いて前記原信号を再構成する再構成部とを備え、前記観測信号を構成する要素は、前記原信号の線形和で表現されている、原信号取得装置である。

本発明の一態様は、復号対象の画像である原画像から得られた信号であり、かつ、前記原画像よりも低次元な信号である観測信号と、前記原画像との相関が高い第１の予測画像と、前記原画像との相関が高い第２の予測画像と、を関連付けることで合成予測画像を得る予測画像取得装置が実行する予測画像取得方法であって、前記第１の予測画像と、前記第２の予測画像と、前記観測信号とから、前記合成予測画像の画素ごとに設定される補間係数を得るステップと、前記第１の予測画像と前記第２の予測画像とを、画素ごとに前記補間係数を用いて合成することで前記合成予測画像を得るステップとを有し、前記観測信号を構成する画素は、前記原画像の線形和で表現されている、予測画像取得方法である。

本発明の一態様は、復号対象の画像である原画像から得られた信号であり、かつ、前記原画像よりも低次元な信号である観測信号と、前記原画像との相関が高い第１の予測画像と、前記原画像との相関が高い第２の予測画像と、を関連付けることで合成予測画像を得る予測画像取得装置のコンピュータに、前記第１の予測画像と、前記第２の予測画像と、前記観測信号とから、前記合成予測画像の画素ごとに設定される補間係数を得る手順と、前記第１の予測画像と前記第２の予測画像とを、画素ごとに前記補間係数を用いて合成することで前記合成予測画像を得る手順とを実行させ、前記観測信号を構成する画素は、前記原画像の線形和で表現されている、プログラムである。

本発明により、信号の圧縮効率を向上させることが可能である。

実施形態における、符号化装置の構成例を示す図である。 実施形態における、符号化装置の動作例を示すフローチャートである。 実施形態における、復号装置の構成例を示す図である。 実施形態における、復号装置の動作例を示すフローチャートである。 実施形態における、予測画像候補に含まれている２枚の予測画像と合成予測画像との例を示す図である。 予測画像候補に含まれている２枚の予測画像と合成予測画像との例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
（概要）
圧縮センシングを用いる符号化において、符号化装置は、符号化対象のデータ（原信号）に対して圧縮センシングのサンプリング（以下「圧縮サンプリング」という。）を実行することによって、観測信号を生成する。符号化装置は、観測信号に対して量子化処理を実行する。符号化装置は、量子化された観測信号に対してエントロピー符号化を実行することによって、観測信号の符号データを生成する。原信号は、画像信号に限られない。以下では、符号化装置は、圧縮センシングを用いる符号化の一例として、原画像の量子化及びエントロピー符号化を実行することよって、画像の符号データを生成する。画像は、２次元の動画像と、２次元の静止画像と、３次元の動画像と、３次元の静止画像と、医療用等の透視画像と、グラフとのうちのいずれでもよい。

実施形態の復号装置は、予測画像取得装置を備える。以下、補間係数は、第１の予測画像の画素と第２の予測画像の画素とのいずれを合成予測画像の画素とするかを画素ごとに表す任意の実数である。補間係数は、予め定められた変換基底に基づいて、スパース性が高くなるよう設定されている。補間係数は、画素ごとに設定されている。このため、以下、補間係数を「補間係数ベクトル」という。予測画像取得装置は、予測画像（予測信号）の補間係数ベクトルに基づいて、２枚以上の予測画像（予測画像候補）を線形結合等によって合成する。補間係数ベクトルは、２枚以上の予測画像のうちのいずれの予測画像が合成予測画像に影響を強く与えているのかを、予測画像の画素ごとに表す。実施形態では、補間係数ベクトルがスパースであることが仮定されている。

補間係数ベクトルは、復号対象画像（原画像）のブロックの次元数と同じ次元数を持つ列ベクトルで表現される。２枚の予測画像とＭ次元の観測信号とに基づいてＮ次元の補間係数ベクトルを算出するという問題は、一般に不良設定問題である。実施形態では、補間係数ベクトルがスパースであることが仮定されているので、通常の圧縮センシングと同様の方法、すなわちＬ１ノルム正則化項が式に追加されるという方法によって、予測画像取得装置は補間係数ベクトルを生成する。

以下では、数式において文字の上に付されている記号は、文字の前に記載される。例えば、数式において文字の上に付されている記号「＾」は、以下では文字「ｘ」の前に「＾ｘ」のように記載される。

予測画像取得装置は、予測画像候補である予測画像ａ及び予測画像ｂと補間係数ベクトルｗとに基づいて、式（７）のように合成予測画像「＾ｘ」を生成する。

ここで、「＾ｘ」と「ａ」と「ｂ」と「ｗ」とのそれぞれは、Ｎ（＝Ｂ^２）次元の列ベクトルで表現される。記号「〇」はアダマール積を表す。予測画像ｂに含まれている領域は、原画像に含まれている第１領域（局所空間的）に類似する。予測画像ａに含まれている領域は、原画像に含まれている第２領域に類似する。第２領域は、原画像における第１領域の相補領域である。補間係数ベクトルｗは、スパース性を有する。

予測画像取得装置は、観測信号（符号データ）に基づいて、補間係数ベクトルを決定する。予測画像取得装置は、原画像の領域に類似する予測画像の領域の特徴を、補間係数ベクトルとして保存する。

予測画像取得装置は、予測画像候補のうちから、合成される２枚の予測画像を選択する。実施形態では、予測画像の全域が原画像の全域に類似しているよりも、原画像における第１領域に第１の予測画像の領域が類似し、原画像における第２領域に第２の予測画像の領域が類似しているほうが望ましい。予測画像取得装置は、原画像における相補的な各領域に類似する領域を含む２枚の予測画像を、予測画像候補のうちから選択する。予測画像取得装置は、選択された第１の予測画像に含まれている領域と、選択された第２の予測画像に含まれている領域とを、画素ごとの補間係数ベクトルに基づいて合成する。

（第１実施形態）
図１は、符号化装置１００の構成例を示す図である。符号化装置１００は、圧縮センシングを用いる符号化処理を実行する装置である。符号化装置１００は、動画像入力部１０１と、圧縮サンプリング部１０２と、量子化部１０３と、エントロピー符号化部１０４とを備える。

符号化装置１００は、記憶部を更に備えてもよい。記憶部は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）が好ましい。記憶部は、ＲＡＭ（Random Access Memory）などの揮発性の記録媒体を備えてもよい。記憶部は、例えば、符号化用のプログラムを記憶する。

符号化装置１００の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。符号化装置１００の各機能部のうち一部又は全部は、例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

動画像入力部１０１は、符号化対象の動画像を、符号化装置１００の外部から取得する。圧縮サンプリング部１０２は、予め定められた観測行列Φを用いて、符号化対象のフレームを構成するブロック（符号化対象ブロック）に対して圧縮サンプリングを実行することによって、観測信号を生成する。観測行列Φは、どのような要素の行列でもよく、例えばランダム行列でもよい。量子化部１０３は、生成された観測信号を量子化することによって、量子化データを生成する。

エントロピー符号化部１０４は、量子化データに対してエントロピー符号化を実行することによって、観測信号の符号データを生成する。量子化及びエントロピー符号化の方式は、特定の方式に限定されない。エントロピー符号化部１０４は、符号化対象の全フレームを、圧縮センシングを用いて符号化する必要はない。エントロピー符号化部１０４は、圧縮センシングを用いて符号化対象の一部のフレームを符号化し、ＨＥＶＣ又はＪＰＥＧ（Joint Photographic Experts Group）等の画像符号化方式を用いて符号化対象の残りのフレームを符号化してもよい。これによって、エントロピー符号化部１０４は、計算量が多いＨＥＶＣ又はＪＰＥＧ等の画像符号化方式を用いて符号化されるフレームの枚数を削減することができるので、符号化の計算量を削減することができる。

図２は、符号化装置１００の動作例を示すフローチャートである。動画像入力部１０１は、符号化対象の動画像を、符号化装置１００の外部から取得する。動画像入力部１０１は、符号化対象の動画像の各フレームを、符号化対象画像として圧縮サンプリング部１０２に順次出力する（ステップＳ１０１）。

符号化装置１００は、ステップＳ１０２からステップＳ１０４までの各処理を、符号化対象画像の符号化対象ブロックごとに実行する。

圧縮サンプリング部１０２は、符号化対象画像の符号化対象ブロックを取得する（ステップＳ１０２）。圧縮サンプリング部１０２は、予め定められた観測行列Φを用いて符号化対象ブロックに対して圧縮サンプリングを実行することによって、観測信号を生成する。すなわち、圧縮サンプリング部１０２は、Ｎ次元の列ベクトルｘで表現される符号化対象画像の符号化対象ブロックに、Ｍ×Ｎ（ここで、Ｍ＜＜Ｎ）次元の観測行列Φを乗算することによって、Ｍ次元の列ベクトルで表現される観測信号ｙ（＝Φｘ）を生成する（ステップＳ１０３）。

なお、圧縮サンプリング部１０２は、演算処理以外によって、観測信号ｙ（＝Φｘ）を生成してもよい。例えば、圧縮サンプリング部１０２は、レンズ及び撮像素子の間にコーデッド・アパーチャ・マスク（coded aperture masks）が配置されている場合、コーデッド・アパーチャ・マスクを用いて光の透過率を画素単位で制御することによって、原画像の撮像時に観測信号ｙを生成してもよい。

量子化部１０３は、生成された観測信号を量子化することによって、量子化データを生成する。エントロピー符号化部１０４は、量子化データに対してエントロピー符号化を実行することによって、符号化対象画像の符号データを生成する（ステップＳ１０４）。

ステップＳ１０２からステップＳ１０４までの各処理が符号化対象画像の全ての符号化対象ブロックに対して実行された場合、エントロピー符号化部１０４は、符号化対象画像の符号データを、復号装置に出力する（ステップＳ１０５）。

次に、復号装置（原信号取得装置、原画像取得装置）について説明する。
図３は、復号装置２００の構成例を示す図である。圧縮センシングを用いる復号処理を実行する装置である。復号装置２００は、符号データ入力部２０１と、エントロピー復号部２０２と、逆量子化部２０３と、参照画像メモリ２０４と、予測画像取得装置２０５とを備える。予測画像取得装置２０５は、予測画像候補生成部２０６と、予測画像選択部２０７と、係数ベクトル生成部２０８と、予測画像合成部２０９とを備える。復号装置２００は、圧縮サンプリング部２１０と、減算部２１１と、予測残差復元部２１２と、加算部２１３とを更に備える。

復号装置２００は、記憶部を更に備えてもよい。記憶部は、例えばフラッシュメモリ、ＨＤＤなどの不揮発性の記録媒体（非一時的な記録媒体）が好ましい。記憶部は、ＲＡＭなどの揮発性の記録媒体を備えてもよい。記憶部は、例えば、復号用のプログラムを記憶する。

復号装置２００の一部又は全部は、ＣＰＵ等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。復号装置２００の各機能部のうち一部又は全部は、例えば、ＬＳＩやＡＳＩＣ等のハードウェアを用いて実現されてもよい。

符号データ入力部２０１は、符号データを符号化装置１００から取得する。エントロピー復号部２０２（再構成部）は、復号対象ブロックの符号データに対して、エントロピー復号処理（再構成処理）を実行する。逆量子化部２０３は、エントロピー復号された符号データに対して逆量子化処理を実行することによって、観測信号ｙを復号する。

復号装置２００は、符号データ入力部２０１に順次入力された各符号データに含まれている復号対象フレームについて、観測信号を復号する。参照画像メモリ２０４は、例えば前回までに復号された画像を、参照画像として記憶する。予測画像取得装置２０５は、復号された観測信号と、参照画像メモリ２０４に記憶されてる画像とに基づいて、原画像の予測画像（予測信号）である合成予測画像を生成する。

予測画像候補生成部２０６は、参照画像メモリ２０４に記憶されている参照画像に基づいて、複数の予測画像を予測画像候補として生成する。予測画像選択部２０７は、予測画像候補のうちから２枚の予測画像（予測画像ペア）を、復号された観測信号に基づいて選択する。

選択された第１の予測画像に含まれている第１領域は、原画像（復号対象画像）に含まれている第１領域との相関が高い。選択された第２の予測画像に含まれている第２領域は、原画像に含まれている第１領域以外の領域である第２領域との相関が高い。この相関とは、原画像の画素の画素値と予測画像の画素の画素値との差（近さ）、すなわち、原画像に含まれている領域の画像と予測画像に含まれている領域の画像との類似度である。相関が高い（低い）とは、原画像及び第１の予測画像の間の相関と、原画像及び第２の予測画像の間の相関とのうちで、相対的にどちらの相関が高いか（低いか）を意味する。

係数ベクトル生成部２０８は、２枚の予測画像と観測信号ｙとに基づいて、最適化問題によって補間係数ベクトルｗを生成する。予測画像合成部２０９（予測信号合成部、合成予測信号取得部、予測信号取得装置）は、２枚の予測画像に基づいて、合成予測画像３０２「ｐ」を生成する。

圧縮サンプリング部２１０は、合成予測画像ｐを予測画像合成部２０９から取得する。圧縮サンプリング部２１０は、合成予測画像ｐ及び観測行列Φに基づいて、予測画像（予測信号）の観測信号Φｐを生成する。減算部２１１は、逆量子化部２０３によって復号された観測信号ｙから、予測信号の観測信号Φｐを減算する。減算部２１１は、減算結果である予測残差信号の観測信号「ｙ－Φｐ」を、予測残差復元部２１２に出力する。予測残差復元部２１２は、予測残差信号の観測信号「ｙ－Φｐ」に基づいて、予測残差信号を復元する。加算部２１３は、復元された予測残差信号と予測画像とを加算することによって、復号対象ブロックの画像を復号する。復号対象画像のフレームにおける全ての復号対象ブロックの画像が復号された場合、加算部２１３は、復号された復号対象画像（動画像）のフレームを、参照画像メモリ２０４と所定の外部装置とに出力する。

図４は、復号装置２００の動作例を示すフローチャートである。符号データ入力部２０１は、符号データを符号化装置１００から取得する。符号データ入力部２０１は、符号データをエントロピー復号部２０２に出力する。観測行列Φは予め定義されており、符号化装置１００及び復号装置２００は、同一の観測行列Φを保持している。また、符号データ入力部２０１は、符号化装置１００によって符号化された観測行列Φを取得してもよい。復号装置２００は、符号化装置１００が使用した観測行列Φと同じ観測行列Φを取得する（ステップＳ２０１）。

復号装置２００は、ステップＳ２０２からステップＳ２０９までの各処理を、復号対象画像（原画像）の復号対象ブロックごとに実行する。

エントロピー復号部２０２は、復号対象ブロックの符号データに対して、エントロピー復号処理を実行する（ステップＳ２０２）。逆量子化部２０３は、エントロピー復号された符号データに対して逆量子化処理を実行することによって、観測信号を生成する（ステップＳ２０３）。

参照画像メモリ２０４は、予測画像取得装置２０５と予測残差復元部２１２と加算部２１３とによって復号された画像を、参照画像として記憶する。参照画像は、予測画像取得装置２０５が復号対象画像の合成予測画像を予測する際に参照可能な画像である。参照画像は、復号対象画像に対して高い相関性を有する画像（画素値が互いに近い画像）であれば、特定の画像に限定されない。参照画像は、復号対象画像のフレームとは別のフレームが復号された画像でもよいし、復号対象画像のフレームと同じフレームにおける復号済のブロックの画像でもよい。参照画像は、ＨＥＶＣ又はＪＰＥＧ等の画像符号化方式で符号化及び復号された画像でもよい。参照画像は、何らかの方法で生成された復号対象画像に含まれている前景画像（被写体等の画像）及び背景画像を含んでもよい。

予測画像取得装置２０５は、ステップＳ２０２からステップＳ２０９において、観測信号及び参照画像に基づいて予測画像（予測信号）を生成する。

図５は、予測画像候補に含まれている２枚の予測画像と合成予測画像との例を示す図である。予測画像取得装置２０５は、予測画像選択部２０７によって選択された予測画像３００「ａ」及び予測画像３０１「ｂ」に対して補間係数ベクトルｗを用いた線形補間を実行することによって、式（８）のように合成予測画像ｐを生成する。

ここで、「ｐ」と「ａ」と「ｂ」と「ｗ」とのそれぞれは、Ｎ（＝Ｂ^２）次元の列ベクトルで表現される。記号「〇」はアダマール積を表す。予測画像３００「ａ」に含まれている領域は、原画像３０３「ｘ」に含まれている第１領域（局所空間的）に類似する。予測画像３０１「ｂ」に含まれている領域は、原画像３０３「ｘ」に含まれている第２領域に類似する。第２領域は、原画像における第１領域の相補領域である。補間係数ベクトルｗは、スパース性を有する。

予測画像取得装置２０５は、２枚の予測画像を予測画像候補から選択する。予測画像取得装置２０５は、補間係数ベクトルｗを用いた線形補間を、選択された２枚の予測画像に対して実行する。予測画像取得装置２０５は、予測画像３００「ａ」において原画像３０３「ｘ」の第１領域に類似する領域と、予測画像３０１「ｂ」において原画像３０３「ｘ」の第２領域に類似する領域とを合成することによって、原画像３０３「ｘ」に類似する合成予測画像３０２「ｐ」を生成する。

図４に戻り、復号装置２００の動作例の説明を続ける。予測画像候補生成部２０６は、参照画像メモリ２０４に記憶されている参照画像に基づいて、Ｋ枚の予測画像を予測画像候補として生成する。予測画像候補生成部２０６が予測画像候補ｈ_ｋを生成する方法は、特定の方法に限定されない。

例えば、予測画像候補生成部２０６は、参照画像を参照するインター予測によって予測画像候補ｈ_ｋを生成する場合、参照画像における探索範囲内で所定数の画素ごとに参照領域をずらすことによって、予測画像候補ｈ_ｋを生成する。予測画像候補生成部２０６は、復号対象画像のフレームと同じフレームにおける復号されたブロックの画像に基づいてイントラ予測で予測画像を生成する場合、取り得る全ての予測モードでそれぞれ生成された各予測画像を、予測画像候補に含めてもよい。予測画像候補において、インター予測によって生成された予測画像と、インター予測によって生成された予測画像とが混在してもよい。予測画像候補生成部２０６は、一般的な動画像符号化でも試みられているアフィン変換又は輝度補正等を用いて、予測画像候補に含まれる予測画像を生成してもよい（ステップＳ２０４）。

予測画像選択部２０７は、予測画像候補を予測画像候補生成部２０６から取得する。予測画像選択部２０７は、復号された観測信号を、逆量子化部２０３から取得する。予測画像選択部２０７は、予測画像候補のうちから２枚の予測画像（予測画像ペア）を、復号された観測信号に基づいて選択する。予測画像選択部２０７が予測画像候補｛ｈ_ｋ｜ｋ∈Ｋ｝のうちから２枚の予測画像を選択する方法は、特定の方法に限定されない。

仮に１枚の予測画像を予測画像選択部２０７が予測画像候補から選択する場合、復号装置２００では原画像ｘが未知であるため、予測画像候補ｈ_ｋのうちから最適な予測画像を選択することは困難である。そこで、予測画像候補ｈ_ｋのうちから最適な予測画像を選択する２通りの方法（第１の選択方法及び第２の選択方法）が存在する。

第１の選択方法において、予測画像選択部２０７は、原画像ｘを観測信号ｙから復号し、復号された原画像ｘと予測画像との間の残差平方和（sum of squared errors of prediction：SSE）を最小化する予測画像を、予測画像候補から選択する。

ここで、「^Ｕｘ」は、復号された原画像を表す。第１の選択方法（ｘドメインのＳＳＥ）による予測画像の推定精度は、「^Ｕｘ」の復号性能に大きく依存する。予測画像選択部２０７は、復号された原画像「^Ｕｘ」を、予測画像の選択に用いる。予測画像選択部２０７は、予測残差信号を復号することによって、最終的に復号された原画像（復号対象画像）を生成する。

第２の選択方法（ｙドメインのＳＳＥ）において、予測画像選択部２０７は、復号された観測信号と予測画像の観測信号との残差平方和に基づいて、式（１０）のように予測画像を予測画像候補から選択する。

２枚の予測画像を予測画像選択部２０７が予測画像候補から選択する場合、選択される予測画像３００「ａ」及び予測画像３０１「ｂ」が原画像３０３「ｘ」の全域に類似しているよりも、原画像３０３「ｘ」における第１領域に予測画像３００「ａ」の領域が類似し、原画像３０３「ｘ」における第１領域の相補領域である第２領域に予測画像３０１「ｂ」の領域が類似しているほうが望ましい。このため、予測画像選択部２０７は、「ｘドメインのＳＳＥ」又は「ｙドメインのＳＳＥ」が小さい順に、単に１番目の予測画像候補ｈ_ｋを予測画像３００「ａ」とし、単に２番目の予測画像候補ｈ_ｋを予測画像３０１「ｂ」としなくてもよい。予測画像選択部２０７は、式（１１）に示された目的関数に基づいて、予測画像３００「ａ」及び予測画像３０１「ｂ」のコストを評価する。式（１１）は、原画像３０３「ｘ」における領域で、予測画像３００「ａ」が原画像３０３「ｘ」に類似し、原画像３０３「ｘ」における相補領域で、予測画像３０１「ｂ」が原画像３０３「ｘ」に類似するほど、小さい値（少ないコスト）を示す。

ここで、「^Ｕｘ_ｉ」は、復号された観測信号（原画像）「^Ｕｘ」のｉ番目の要素（画素）を表す。予測画像「ａ_ｉ」は、予測画像「ａ」のｉ番目の要素（画素）を表す。予測画像「ｂ_ｉ」は、予測画像「ｂ」のｉ番目の要素（画素）を表す。

予測画像選択部２０７は、式（１１）に示された目的関数に基づいてｘドメインで予測画像３００「ａ」及び予測画像３０１「ｂ」のコストを評価してもよいし、同様の目的関数に基づいてｙドメインで予測画像３００「ａ」及び予測画像３０１「ｂ」のコストを評価してもよい。

予測画像選択部２０７は、参照画像と予測画像候補と復号された観測信号とを用いて、式（１２）に基づいて、予測画像３００「ａ」及び予測画像３０１「ｂ」を予測画像候補から選択する。

式（１２）の時間計算量は、式（１３）のように表される。

式（１２）の時間計算量は、予測画像選択部２０７がインター予測を実行する場合、予測画像候補「ｈ_ｋ∈｛ｈ_ｋ｜ｋ∈Ｋ｝」のうちの探索空間における極小値の時間計算量のみが対象とされてもよい。極小値の数がＫ’（ここで、Ｋ’≦Ｋ）である場合、式（１３）の時間計算量は、式（１４）のように表される（ステップＳ２０５）。

係数ベクトル生成部２０８は、予測画像３００「ａ」及び予測画像３０１「ｂ」と、観測信号ｙに基づいて、最適化問題によって補間係数ベクトルｗを生成する（ステップＳ２０６）。

補間係数ベクトルｗのスパース性について説明する。図５では、予測画像合成部２０９は、予測画像３００「ａ」及び予測画像３０１「ｂ」に基づいて、合成予測画像３０２「ｐ」を生成する。予測画像３００「ａ」は、原画像３０３「ｘ」における第１領域で、原画像３０３「ｘ」に一致している。予測画像３０１「ｂ」は、原画像３０３「ｘ」における第１領域の相補領域である第２領域で、原画像３０３「ｘ」に一致している。「ｗ_ｉ∈｛０，１｝」が成立する場合、補間係数ベクトルｗは、予測画像３００「ａ」及び予測画像３０１「ｂ」に対するマスクの役割を果たす。すなわち、補間係数ベクトルｗは、予測画像３００「ａ」又は予測画像３０１「ｂ」のどちらの画素を選択するかを、合成予測画像３０２「ｐ」の画素ごとに表す。

補間係数ベクトルｗは、予測画像候補に含まれている１枚の予測画像で高精度に表現できる原画像３０３「ｘ」の領域を意味する。補間係数ベクトルｗは、高いスパース性を持っていると仮定できる。なぜなら、例えば、予測画像３００「ａ」及び予測画像３０１「ｂ」のそれぞれが動き補償によるインター予測画像である場合、補間係数ベクトルｗが原画像３０３「ｘ」における移動体画像の形状を表すセグメンテーション画像となるので、補間係数ベクトルｗが高いスパース性を持っていると期待できるからである。

図４に戻り、復号装置２００の動作例の説明を続ける。補間係数ベクトルｗの要素ｗ_ｉが「ｗ_ｉ∈［０，１］」であると定義された場合、式（８）で定義された合成予測画像ｐの要素ｐ_ｉが「ｐ_ｉ＝ｗ_ｉａ_ｉ＋（１－ｗ_ｉ）ｂ_ｉ」となる。このため、合成予測画像ｐは、予測画像ａ_ｉ及び予測画像ｂ_ｉの内挿補間で表される。合成予測画像ｐは、予測画像ａ_ｉの画素値と予測画像ｂ_ｉの画素値との間の画素値で表される。

補間係数ベクトルｗの要素ｗ_ｉが任意の実数であると定義された場合、合成予測画像ｐは、互いに画素値が異なる予測画像ａ_ｉ及び予測画像ｂ_ｉの外挿補間で表される。合成予測画像ｐは、係数ｗ_１ｉと係数ｗ_２ｉとの和が任意である場合、「ｐ_ｉ＝ｗ_１ｉａ_ｉ＋ｗ_２ｉｂ_ｉ」のような線形結合で表される。なお、合成予測画像ｐの画素値の表現範囲は、内挿補間、外挿補間又は線形結合に応じて限定されてもよい。

補間係数ベクトルｗのスパース性が仮定されているので、補間係数ベクトルｗは、圧縮センシングの復元方法と同様の方法で生成される。補間係数ベクトルｗを生成する方法は、圧縮センシングの復元で用いられる効果的な方法と同様の方法であれば、Ｌ１正則化又は機械学習を用いた復元方法等のどのような方法でもよい。

式（１５）は、Ｌ１正則化によって補間係数ベクトルｗを生成する最適化問題の目的関数の定義例を表す。

ここで、式（１６）及び式（１７）が成立している。

式（１５）の形式と式（１）の形式とが同じであるため、補間係数ベクトルｗを生成する最適化問題は、凸最適問題である。圧縮センシングで用いられるＬ１正則化の解法は、補間係数ベクトルｗの生成に適用可能である。

Ｌ１正則化によって補間係数ベクトルｗを生成する最適化問題の目的関数は、ＴＶ（Total Variation）ノルム項が追加された式（１８）でもよい。式（１８）を用いることによって、予測画像合成部２０９は、高周波ノイズを抑制して、主観画質が向上された合成予測画像ｐを生成することが可能である。

ここで、λ_１及びλ_２は、予め定められた任意の重み係数を表す。

係数ベクトル生成部２０８は、式（１５）及び式（１８）で表される補間係数ベクトルｗのスパース性を利用して、Ｌ１正則化等によって最適化問題を解くことで、補間係数ベクトルｗを生成する。補間係数ベクトルｗを生成する方法は、補間係数ベクトルｗのスパース性を利用し、圧縮センシングされた信号の復元に利用可能な方法であれば、特定の方法に限定されない。例えば、補間係数ベクトルｗを生成する方法は、式（１５）及び式（１８）で表される最適化問題に帰着する復元方法以外でもよいし、混合ガウシアンモデル又は畳み込みニューラルネットワーク等の機械学習を用いる復元方法でもよい。式（１５）及び式（１８）で表される最適化問題に生成方法が帰着した場合、その最適化問題を解くアルゴリズムは、特定のアルゴリズムに限定されない（ステップＳ２０６）。

予測画像合成部２０９は、予測画像３００「ａ」及び予測画像３０１「ｂ」と補間係数ベクトルｗとを取得する。予測画像合成部２０９は、式（８）に基づいて予測画像３００「ａ」及び予測画像３０１「ｂ」を合成することによって、合成予測画像ｐを生成する。予測画像合成部２０９の出力は、予測画像取得装置２０５の出力である（ステップＳ２０７）。

予測画像合成部２０９は、３枚以上の予測画像を合成することによって、合成予測画像ｐを生成してもよい。予測画像合成部２０９が３枚以上の予測画像を合成する場合、予測画像合成部２０９は、２枚の予測画像を合成する処理を繰り返し実行する。例えば、３枚の予測画像を合成する場合、予測画像合成部２０９は、２枚の予測画像をまず合成する。予測画像合成部２０９は、これら２枚の予測画像から生成された合成予測画像と３枚目の予測画像とを合成する。予測画像合成部２０９が４枚以上の予測画像を合成する場合も同様に、２枚の予測画像を合成する処理を繰り返し実行する。

予測画像合成部２０９は、予測画像ａと予測画像ｂと予測画像ｃとの３枚の予測画像を、補間係数ベクトルｗ_０と補間係数ベクトルｗ_１との２本の補間係数ベクトルを用いて合成することによって、式（１９）及び式（２０）のように合成予測画像ｐを生成してもよい。このとき、ｗ_０とｗ_１をＬ１正則化によって求める際に、ｗ_０とｗ_１が結合されたテンソルに対して変換を行うことが可能となる。このとき、２枚の予測画像の合成を繰り返して３枚の予測画像の合成を実現したときでは不可能であるｗ_０とｗ_１の間の相関性が考慮された、より３次元的な変換が可能である。圧縮センシングにおける復元の性質にも基づいて、復元対象信号がより効率的な変換によってスパースに変換されることで、より高品質な補間係数ベクトルを求めることが期待できる。

圧縮サンプリング部２１０は、予測画像取得装置２０５の予測画像合成部２０９から出力された合成予測画像ｐと観測行列Φとに基づいて、合成予測画像（予測信号）の観測信号Φｐを生成する。減算部２１１は、逆量子化部２０３によって復号された観測信号ｙから、予測信号の観測信号Φｐを減算する。減算部２１１は、減算結果である残差信号（ｘ－ｐ）の観測信号「ｙ－Φｐ（＝Φ（ｘ－ｐ）」を、予測残差復元部２１２に出力する。予測残差復元部２１２は、予測残差信号の観測信号「ｙ－Φｐ」から、予測残差信号を復元する。

予測残差の復元方法は、圧縮センシングの復元で用いられる方法と同様の方法であれば、Ｌ１正則化又は機械学習を用いた復元等のどのような方法でもよい。なお、係数ベクトル生成部２０８及び予測残差復元部２１２が実行する各処理は、スパース性が仮定されるＮ次元の原信号をＭ次元の観測信号から復元するという同様の処理である。このため、係数ベクトル生成部２０８及び予測残差復元部２１２が実行する各処理の正則化法が共通である場合、係数ベクトル生成部２０８及び予測残差復元部２１２は、共通の機能部として一体化されてもよい（ステップＳ２０８）。

加算部２１３は、復元された予測残差信号と予測画像とを加算することによって、復号対象ブロックの画像を復号する（ステップＳ２０９）。動画像のフレームにおける全ての復号対象ブロックの画像が復号された場合、加算部２１３は、復号された動画像のフレームを、参照画像メモリ２０４と所定の外部装置とに出力する（ステップＳ２１０）。

以上のように、予測画像取得装置２０５は、復号対象の画像である原画像から得られた信号でありかつ原画像よりも低次元な信号である観測信号と、原画像との相関が高い予測画像ａと、原画像との相関が高い予測画像ｂと、を関連付けることで合成予測画像を得る。予測画像取得装置２０５は、予測画像候補生成部２０６（補間係数取得部）と、予測画像合成部２０９（合成予測画像取得部、合成予測信号取得部）を備える。予測画像候補生成部２０６は、予測画像ａと、予測画像ｂと、観測信号とから、合成予測画像の画素ごとに設定される補間係数を得る。予測画像合成部２０９は、予測画像ａと予測画像ｂとを、画素ごとに補間係数を用いて合成することで合成予測画像ｐを得る。観測信号を構成する画素は、原画像の線形和で表現されている。

このように、予測画像合成部２０９は、予測画像ａの第１領域と予測画像ｂの第１領域以外の領域である第２領域とを補間係数ベクトルに基づいて合成することによって、合成予測画像を生成する。

これによって、実施形態の予測画像取得装置２０５は、信号の圧縮効率を向上させることが可能である。

２枚の予測画像同士の類似度が高い（２枚の予測画像同士が似通っている）場合、予測画像の画素ごとの補間係数ベクトルが全て又は概ね同じ値であることによって、予測画像取得装置２０５は、予測画像の全領域に１個のスカラー値の重み係数を用いて２枚の予測画像を合成する場合と同様の効果を奏する。すなわち、予測画像取得装置２０５は、ＨＥＶＣにおける双予測又は双方向予測と同様に格別の効果を奏する。これに対して、２枚の予測画像同士が類似度が高くない（２枚の予測画像同士が似通っていない）場合、原画像に類似する領域を、２枚の予測画像のうちのいずれかの予測画像の領域から適応的に選択して、高精度の合成予測画像を生成することが可能である。なお、２枚の予測画像同士の類似度が高い又は低いのいずれであるかは、明示的に区別されなくてもよい。

実施形態の予測画像取得装置２０５は、例えば、圧縮センシングを用いる動画像符号化において画像の予測精度を向上させるので、符号化効率を向上させることが可能である。予測画像の各画素に対応する補間係数ベクトルのスパース性が仮定されている場合、予測画像取得装置２０５は、予測画像及び補間係数ベクトルに基づいて、原画像に類似する合成予測画像を生成することが可能である。予測画像取得装置２０５は、画像信号及び予測残差信号よりも高いスパース性を持つ補間係数ベクトルを推定することによって、補間係数ベクトルを推定しない場合と比較して高い復元性能を得ることが可能である。予測画像取得装置２０５は、補間係数ベクトルの生成方法を予測残差信号の復元方法の形式と同じ形式の最適化問題に帰着できるので、最適化問題の探索プログラム及び機能部を共通化することが可能である。

符号化装置１００は、予測及び最適化等を実行することなくサンプリング処理を実行することによって原画像の観測信号を符号化するので、予測及び最適化処理における計算量を削減することが可能である。復号装置２００が実行する処理の計算量は、圧縮センシングを用いる動画像符号化において符号化装置１００が実行する処理の計算量と比較して多い。このように、符号化装置１００は、低消費電力の動画像符号化が求められる場合、又は、符号化された膨大な動画像の一部のみが復号される場合に、符号化と復号における総計算量を効果的に削減することが可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

下記の（Ａ）から（Ｄ）までを満たす信号（データ）であれば、符号化又は復号の対象は画像でなくてもよい。
（Ａ）予測信号を生成可能である（自己相関性がある、又は、相関の高い他の信号を予測可能である）。
（Ｂ）２個の予測信号の（要素単位での）線形補間によって、更に高精度の合成予測信号を生成することが可能である。
（Ｃ）補間係数ベクトルがスパースであることが仮定される。
（Ｄ）合成された予測信号と原信号との差がスパースであることが仮定される。
符号化又は復号の対象は、例えば、多チャンネル等の音響信号、ニューラルネットワークの内部信号若しくは出力信号、又は、多変量解析等の対象となるビッグデータでもよい。

上述した実施形態には、画像の符号化及び復号に対して予測画像取得装置２０５が適用された例が示されている。しかし、「ｙ＝Φｘ」という関係、すなわち、低次元のデータの各要素が高次元のデータの線形和であるという関係を持つ低次元のデータと高次元のデータとに対して、予測画像取得装置２０５は適用可能である。例えば、原画像そのものを低次元データとして捉えた場合、原画像よりも高次元の画像、すなわち、原画像を撮影したカメラ素子の限界を超えた画像を得るといった目的にも、予測画像取得装置２０５は適用可能である。

上述の「復元」という文言は、原画像と完全に等価な画像を観測信号から得るものではなく、原画像に近似する画像を得ることを意図する。「復元」という文言は、例えば、「再構成」と言い換えられてもよい。また、上述の「要素」という文言は、画像に関して「画素」と言い換えられてもよい。

上述した実施形態における予測画像取得装置、符号化装置及び復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

本発明は、予測を伴う変換及び逆変換を実行するシステム、例えば、画像等の信号を符号化及び復号するシステムに適用可能である。

１００…符号化装置、１０１…動画像入力部、１０２…圧縮サンプリング部、１０３…量子化部、１０４…エントロピー符号化部、２００…復号装置、２０１…符号データ入力部、２０２…エントロピー復号部、２０３…逆量子化部、２０４…参照画像メモリ、２０５…予測画像取得装置、２０６…予測画像候補生成部、２０７…予測画像選択部、２０８…係数ベクトル生成部、２０９…予測画像合成部、２１０…圧縮サンプリング部、２１１…減算部、２１２…予測残差復元部、２１３…加算部、３００…予測画像、３０１…予測画像、３０２…合成予測画像、３０３…原画像

Claims (7)

1. 復号対象の画像である原画像から得られた信号であり、かつ、前記原画像よりも低次元な信号である観測信号と、前記原画像との相関が高い第１の予測画像と、前記原画像との相関が高い第２の予測画像と、を関連付けることで合成予測画像を得る予測画像取得装置であって、
   前記原画像における第１領域との相関が高い領域を前記第１の予測画像が含むように、且つ、前記原画像における第１領域の相補領域である第２領域との相関が高い領域を前記第２の予測画像が含むように定められた目的関数に基づいて、前記第１の予測画像と前記第２の予測画像とを選択する予測画像選択部と、
   前記第１の予測画像と、前記第２の予測画像と、前記観測信号とから、前記合成予測画像の画素ごとに設定される補間係数を得る補間係数取得部と、
   前記第１の予測画像と前記第２の予測画像とを、画素ごとに前記補間係数を用いて合成することで前記合成予測画像を得る合成予測画像取得部とを備え、
   前記観測信号を構成する画素は、前記原画像の線形和で表現されており、
   前記目的関数は、前記第１領域で前記第１の予測画像が前記原画像に類似し、且つ、前記第２領域で前記第２の予測画像が前記原画像に類似するほど、小さい値を示し、
   前記予測画像選択部は、前記目的関数を最小化する前記第１の予測画像及び前記第２の予測画像を、予測画像候補から選択する、
   予測画像取得装置。
2. 前記補間係数取得部は、前記原画像を用いる代わりに、前記第１の予測画像と、前記第２の予測画像と、前記観測信号とから、Ｌ１正則化の解法を用いて、前記補間係数を得る、
   請求項１に記載の予測画像取得装置。
3. 前記補間係数は、予め定められた変換基底に基づいて、スパース性が高くなるよう設定されている、
   請求項１又は請求項２に記載の予測画像取得装置。
4. 前記補間係数は、前記第１の予測画像の画素と前記第２の予測画像の画素とのいずれを前記合成予測画像の画素とするかを、画素ごとに表す実数である、
   請求項１から請求項３のいずれか一項に記載の予測画像取得装置。
5. 復号対象の信号である原信号から得られた信号であり、かつ、前記原信号よりも低次元な信号である観測信号と、前記原信号との相関が高い第１の予測信号と、前記原信号との相関が高い第２の予測信号と、を関連付けることで合成予測信号を得る予測信号取得装置を備える原信号取得装置であって、
   前記原信号における第１領域との相関が高い領域を前記第１の予測信号が含むように、且つ、前記原信号における第１領域の相補領域である第２領域との相関が高い領域を前記第２の予測信号が含むように定められた目的関数に基づいて、前記第１の予測信号と前記第２の予測信号とを選択する予測信号選択部と、
   前記第１の予測信号と、前記第２の予測信号と、前記観測信号とから、前記合成予測信号の要素ごとに設定される補間係数を得る補間係数取得部と、
   前記第１の予測信号と前記第２の予測信号とを、要素ごとに前記補間係数を用いて合成することで前記合成予測信号を得る合成予測信号取得部と、
   前記合成予測信号を用いて前記原信号を再構成する再構成部とを備え、
   前記観測信号を構成する要素は、前記原信号の線形和で表現されており、
   前記目的関数は、前記第１領域で前記第１の予測信号が前記原信号に類似し、且つ、前記第２領域で前記第２の予測信号が前記原信号に類似するほど、小さい値を示し、
   前記予測信号選択部は、前記目的関数を最小化する前記第１の予測信号及び前記第２の予測信号を、予測信号候補から選択する、
   原信号取得装置。
6. 復号対象の画像である原画像から得られた信号であり、かつ、前記原画像よりも低次元な信号である観測信号と、前記原画像との相関が高い第１の予測画像と、前記原画像との相関が高い第２の予測画像と、を関連付けることで合成予測画像を得る予測画像取得装置が実行する予測画像取得方法であって、
   前記原画像における第１領域との相関が高い領域を前記第１の予測画像が含むように、且つ、前記原画像における第１領域の相補領域である第２領域との相関が高い領域を前記第２の予測画像が含むように定められた目的関数に基づいて、前記第１の予測画像と前記第２の予測画像とを選択するステップと、
   前記第１の予測画像と、前記第２の予測画像と、前記観測信号とから、前記合成予測画像の画素ごとに設定される補間係数を得るステップと、
   前記第１の予測画像と前記第２の予測画像とを、画素ごとに前記補間係数を用いて合成することで前記合成予測画像を得るステップとを有し、
   前記観測信号を構成する画素は、前記原画像の線形和で表現されており、
   前記目的関数は、前記第１領域で前記第１の予測画像が前記原画像に類似し、且つ、前記第２領域で前記第２の予測画像が前記原画像に類似するほど、小さい値を示し、
   前記第１の予測画像と前記第２の予測画像とを選択するステップは、前記目的関数を最小化する前記第１の予測画像及び前記第２の予測画像を、予測画像候補から選択することを含む、
   予測画像取得方法。
7. 復号対象の画像である原画像から得られた信号であり、かつ、前記原画像よりも低次元な信号である観測信号と、前記原画像との相関が高い第１の予測画像と、前記原画像との相関が高い第２の予測画像と、を関連付けることで合成予測画像を得る予測画像取得装置のコンピュータに、
   前記原画像における第１領域との相関が高い領域を前記第１の予測画像が含むように、且つ、前記原画像における第１領域の相補領域である第２領域との相関が高い領域を前記第２の予測画像が含むように定められた目的関数に基づいて、前記第１の予測画像と前記第２の予測画像とを選択する手順と、
   前記第１の予測画像と、前記第２の予測画像と、前記観測信号とから、前記合成予測画像の画素ごとに設定される補間係数を得る手順と、
   前記第１の予測画像と前記第２の予測画像とを、画素ごとに前記補間係数を用いて合成することで前記合成予測画像を得る手順とを実行させ、
   前記観測信号を構成する画素は、前記原画像の線形和で表現されており、
   前記目的関数は、前記第１領域で前記第１の予測画像が前記原画像に類似し、且つ、前記第２領域で前記第２の予測画像が前記原画像に類似するほど、小さい値を示し、
   前記第１の予測画像と前記第２の予測画像とを選択する手順は、前記目的関数を最小化する前記第１の予測画像及び前記第２の予測画像を、予測画像候補から選択することを含む、
   プログラム。

Images