JP7168848B2 - 評価装置、評価方法、及びプログラム。 - Google Patents

Description

本発明は、評価装置、評価方法、及びプログラムに関する。

高臨場感を表現するためには滑らかな運動視差の表現が重要である。運動視差の表現方式としては多眼表示があるが視域の切換えが発生する。多眼表示の指向性密度を向上した超多眼表示又は高密度指向性表示では運動視差は滑らかになるものの連続的な運動視差を表現するには多くの画像数が必要となる。そこで、複数の画像をリニアブレンディングすることにより少ない画像数で連続的な運動視差を表現する表示技術が提案されている。リニアブレンディングは、隣接した２つのカメラによってそれぞれ撮像された２つの画像に対して線形補完を行うことによって、これらのカメラの中間に位置する視点（以下、「中間視点」という。）に対する画像を生成する手法である（例えば、非特許文献１）。このリニアブレンディングを用いて裸眼３Ｄ（three-dimensional;３次元）表示を実現するディスプレイを、リニアブレンディングディスプレイという（例えば、非特許文献２）。リニアブレンディングディスプレイは、視点の方向に応じて異なる光線を表示することができる。リニアブレンディングディスプレイは、カメラアレイにより撮像された多視点画像から中間視点に相当する画像を生成し、視点の位置に応じた画像を出力する。これにより、視聴者は、移動に伴って変化する視点の位置にそれぞれ対応する画像を見ることができるため、立体感を得ることができる。以下、リニアブレンディングディスプレイに入力される多視点画像のことを「入力視点画像」、入力視点画像からリニアブレンディングにより生成される画像のことを「中間視点画像」と呼ぶことにする。

ところで、非可逆圧縮方式による画像データの符号化・復号においては、原画像と復号画像との間に画素値の差（符号化歪み）が生じる。一般に、符号化歪みの歪み量が大きいと主観画質に影響を及ぼすため、歪み量及び符号量の双方を小さくするように符号化モードの選択が行われる。従来、この歪み量を表す評価指標として、原画像の画素値と復号画像の画素値との二乗誤差が用いられている。二乗誤差ＳＥは、以下の式（１）によって表される。

ここで、Ｗ及びＨは、符号化対象ブロックにおける水平方向の画素数及び垂直方向の画素数をそれぞれ表す。また、ｄ（ｘ，ｙ）は、符号化対象ブロック内の座標（ｘ，ｙ）の画素における、原画像の画素値と復号画像の画素値との差分値である。一般的な符号化モードの選択においては、この二乗誤差ＳＥと推定符号量とを一定の比率で足し合わせるコスト関数を最小化するように、符号化モードが選択される。

M.Date et al., "Real-time viewpoint image synthesis using strips of multi-camera images," Proc. of SPIE-IS&T, Vol.9391 939109-7, 17 March 2015. 伊達宗和 他, "視覚的に等価なライトフィールド フラットパネル３Ｄディスプレイ," 第22回日本バーチャルリアリティ学会大会論文集， 1B4-04， 2017年9月

上述した符号化歪みの歪み量の評価では、視点ごとに独立して評価が行われる。しかしながら、リニアブレンディングディスプレイに表示される画像に対し、視点ごとに独立して歪み量の評価を行った場合、生成される中間視点画像における歪み量が正しく考慮されないことがある。この点について、以下に具体例を挙げて説明する。

図６及び図７は、リニアブレンディングによる中間視点画像における符号化歪みを説明するための図である。図６（Ａ）及び図６（Ｂ）は、互いに隣接した視点である視点Ａ及び視点Ｂに対する画像におけるそれぞれの歪み量と、視点Ａ及び視点Ｂの中間視点画像における歪み量とについて、２つのケースを例示したものである。なお、中間視点とは、２つの視点の中間に位置する視点の集合に含まれる任意の視点である。図６において、黒丸は原画像の画素値を、及び白丸は復号画像の画素値を表す。また、原画像の画素値から復号画像の画素値へ伸びる矢印は両者の差分を表す。また、視点Ａに対する画像の座標（ｘ，ｙ）における差分値をｄ（ｘ，ｙ）と表し、視点Ｂに対する画像の座標（ｘ，ｙ）における差分値をｄ＾（ｘ，ｙ）と表す。

図６に示すように、視点Ａにおける原画像と復号画像との差分値ｄ（ｘ，ｙ）は、ケース１（図６（Ａ））とケース２（図６（Ｂ））とにおいて等しい。また、視点Ｂにおける原画像と復号画像との差分値ｄ＾（ｘ，ｙ）は、ケース１とケース２とにおいて符号が異なるが、これらの絶対値は等しい。そのため、従来の評価方法に従って視点ごとに二乗誤差を計算した場合、ケース１とケース２とでは同じ評価値になり、選択される符号化モードも同一になる。しかしながら、以下に説明する２つの観点から、ケース１とケース２とにおける符号化歪みは互いに区別して評価されるべきである。

まず、視点Ａと視点Ｂとの間の特定の中間視点に視点が固定されている場合において、原画像に近い画像を出力するという観点で符号化歪みの評価を考える。固定された中間視点画像は、視点Ａに対する画像と視点Ｂに対する画像が線形にブレンディングされたものとなる。そのため、符号化歪みの歪み量は中間視点の位置に応じて変化する。図６（Ａ）に示すように、ケース１においては、原画像の画素値と復号画像の画素値との大小関係が視点Ａと視点Ｂとの間で逆転する。これにより、中間視点画像における符号化歪みの歪み量は、視点Ａにおける歪み量及び視点Ｂにおける歪み量と比べて小さくなる。一方、図６（Ｂ）に示すように、ケース２においては、原画像の画素値と復号画像の画素値との大小関係が視点Ａと視点Ｂとの間で逆転しない。これにより、中間視点画像における符号化歪みの歪み量は、視点Ａにおける歪み量と視点Ｂにおける歪み量との中間程度の歪み量になる。したがって、ケース１とケース２とでは、ケース１のほうが中間視点画像における符号化歪みの歪み量はより小さくなる。視聴者が任意の位置からリニアブレンディングディスプレイを見る際、視聴されるのは離散的に存在する入力視点画像よりも連続的に存在する中間視点画像である場合が多い。そのため、原画像に近い画像を出力するという観点では、ケース１による符号化歪みの評価値を出力する符号化モードが優先的に選択されることが望ましい。

次に、視聴者の視点が視点Ａから視点Ｂに向かって移動する場合において、画素値の変化を本来の意図どおりに表示させるという観点で符号化歪みの評価を考える。図７に示すように、視点Ａにおける符号化歪みの歪み量と視点Ｂにおける符号化歪みの歪み量とが、それぞれ図６と同様の歪み量である２つのケースを考える。図７に示すように、視点Ａに対する画像から視点Ｂに対する画像への画素値の移り変わりを考えた場合、原画像においては、ケース１及びケース２ともに画素値は増加している。一方、復号画像においては、ケース２では原画像と同様に画素値が増加しているが、ケース１では画素値が減少している。そのため、視点を移動した場合の画素値の変化が本来意図したとおりに、すなわち符号化を行わない場合と同様に表示されるという観点では、ケース２による符号化歪みの評価値を出力する符号化モードが優先的に選択されることが望ましい。なお、符号化を行わない場合と同様な表示とは、原画像を用いて中間視点の画像を生成した場合の表示とほぼ同様な表示である。

以上のことから、中間視点画像が原画像と近くなることを優先する場合にはケース１に相当する符号化モードを、視点移動時における画素値の変化が本来意図したとおりに表示されることを優先する場合にはケース２に相当する符号化モードを選択することが望ましい。なお、実際には、視聴形態やコンテンツに応じてケース１及びケース２の両者のバランスを考慮し、符号化モードが決定されるべきである。例えば映画館等のように観客の視点がある程度固定されている場合、及び視聴距離が長く移動時の視線の角度変化が小さい場合等にはケース１に相当する符号化モードが優先的に選択され、観客が常に動き回る場合、及び視聴距離が短く移動時の視線の角度変化が大きい場合等にはケース２に相当する符号化モードが優先的に選択されることが望ましい。

しかしながら、二乗誤差による符号化歪みの評価を視点ごとに独立して行う従来の評価方法では、上述したように、ケース１における符号化歪みに対する評価値とケース２における符号化歪みに対する評価値とは同一となり、区別が出来ない。そのため、入力視点画像に対し、従来の評価方法を用いた場合には、符号化時に上記ケース１またはケース２に相当する符号化モードを優先的に選択することができないため、主観画質が最大化できないという課題がある。

本発明はこのような状況を鑑みてなされたもので、リニアブレンディングディスプレイにより表示される画像全体、すなわち入力視点画像及び中間視点画像の主観画質を向上させることができる技術の提供を目的としている。

本発明の一態様は、多視点画像における第一の視点に対する画像の符号化データの符号化品質を評価する評価装置であって、前記第一の視点に対する原画像の画素値と、前記第一の視点に係る符号化データから得られた画素値と、前記第一の視点とは異なる第二の視点に対する原画像の画素値と、前記第二の視点に係る符号化データから得られた画素値と、を関連付けることで前記第一の視点に係る符号化データの符号化品質を評価する評価部を備える評価装置である。

また、本発明の一態様は、上記の評価装置であって、前記評価部は、前記第二の視点に対する原画像の画素値と、前記第二の視点に係る符号化データから得られた画素値と、を用いることにより、前記多視点画像を構成する画像にはない、前記第一の視点及び前記第二の視点とは異なる第三の視点に係る評価を前記第一の視点に係る符号化データの符号化品質の評価に反映する。

また、本発明の一態様は、上記の評価装置であって、前記第三の視点は、前記第一の視点と前記第二の視点の中間に位置する視点の集合に含まれる任意の視点であり、前記評価部は、前記第一の視点に対する原画像と前記第二の視点に対する原画像とに基づく前記第三の視点に対する画像の画素値と、前記第一の視点に係る符号化データから得られた画素値と前記第二の視点に係る符号化データから得られた画素値とに基づく前記第三の視点に対する画像の画素値と、の差分値を用いて前記第一の視点に係る符号化データの符号化品質を評価する。

また、本発明の一態様は、上記の評価装置であって、前記第三の視点は、前記第一の視点と前記第二の視点の中間に位置する視点の集合に含まれる任意の視点であり、前記評価部は、前記第一の視点に対する原画像の画素値と、前記第二の視点に対する原画像の画素値と、前記第一の視点に対する原画像と前記第二の視点に対する原画像とに基づく前記第三の視点に対する画像の画素値と、のうち少なくとも２つの画素値の変化量と、前記第一の視点に係る符号化データから得られた画素値と、前記第二の視点に係る符号化データから得られた画素値と、前記第一の視点に係る符号化データから得られた画素値と前記第二の視点に係る符号化データから得られた画素値とに基づいて得られる前記第三の視点に対する画像の画素値と、のうち少なくとも２つの画素値の変化量と、を用いて前記第一の視点に係る符号化データの符号化品質を評価する。

また、本発明の一態様は、上記の評価装置であって、前記評価部は、前記第三の視点に対する画像の画素値同士の変化量を用いて、前記第一の視点に係る符号化データの符号化品質を評価する。

また、本発明の一態様は、上記の評価装置であって、前記評価部は、以下の評価式によって計算されるＳＥ_ＬＢＤの値を用いて、前記第一の視点に係る符号化データの符号化品質を評価する。

ここで、Ｗ及びＨは、前記第一の視点に対する原画像における、水平方向の画素数及び垂直方向の画素数をそれぞれ表す。また、ｄ（ｘ，ｙ）は、前記第一の視点に対する原画像における座標（ｘ，ｙ）の画素値と前記第一の視点に対する復号画像における座標（ｘ，ｙ）の画素値との差分値を表し、ｄ＾（ｘ，ｙ）は、前記第二の視点に対する原画像における座標（ｘ，ｙ）の画素値と前記第二の視点に対する復号画像における座標（ｘ，ｙ）の画素値との差分値を表す。

また、本発明の一態様は、多視点画像における第一の視点に対する画像の符号化データの符号化品質を評価する評価方法であって、前記第一の視点に対する原画像の画素値と、前記第一の視点に係る符号化データから得られた画素値と、前記第一の視点とは異なる第二の視点に対する原画像の画素値と、前記第二の視点に係る符号化データから得られた画素値と、を関連付けることで前記第一の視点に係る符号化データの符号化品質を評価する評価ステップを有する評価方法である。

また、本発明の一態様は、上記の評価装置としてコンピュータを機能させるためのプログラムである。

本発明により、リニアブレンディングディスプレイにより表示される画像全体、すなわち入力視点画像及び中間視点画像の主観画質を向上させることができる。

本発明の一実施形態に係る評価装置１の機能構成を示すブロック図である。 本発明の一実施形態に係る評価装置１の符号化モード選択部３０の機能構成を示すブロック図である。 本発明の一実施形態に係る評価装置１の符号化モード選択部３０の動作を示すフローチャートである。 リニアブレンディングされた入力画像を説明するための図である。 本発明の一実施形態に係る評価装置１によって符号化される符号化対象ブロックを説明するための図である。 リニアブレンディングによる中間視点画像における符号化歪みを説明するための図である。 リニアブレンディングによる中間視点画像における符号化歪みを説明するための図である。

＜実施形態＞
以下、本発明の一実施形態に係る評価装置、評価方法、及びプログラムについて、図面を参照しながら説明する。以下に説明する評価装置等は、入力視点画像を符号化した際の符号化歪みを評価するものである。以下に説明する評価装置等は、符号化された画像のみではなく、符号化された画像を用いて推定された視点の符号化歪みも考慮して、符号化された画像の符号化歪みの評価を行う。この評価結果は、多視点映像そのものの評価に用いることができるほか、例えば、多視点映像を符号化する際の符号化パラメータを決定するための指標としても用いることができる。

［評価装置の構成］
図１は、本発明の一実施形態に係る評価装置１の機能構成を示すブロック図である。図1に示すように、評価装置１は、原画像記憶部１０と、復号画像記憶部２０と、符号化モード選択部３０と、を含んで構成される。評価装置１は、例えばエンコーダの一部として実装される。

原画像記憶部１０は、符号化の対象となる原画像を格納する。復号画像記憶部２０は、符号化された原画像が復号された画像である復号画像を記憶する。原画像記憶部１０及び復号画像記憶部２０は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＤＤ（Solid State Drive）、ＲＡＭ（Random Access Memory；読み書き可能なメモリ）、レジスタ等によって実現される。

符号化モード選択部３０は、原画像記憶部１０から、符号化対象ブロックを示す情報、及び隣接視点に対する原画像を取得する。また、符号化モード選択部３０は、復号画像記憶部２０から、隣接視点に対する復号画像を取得する。符号化モード選択部３０は、符号化対象ブロックを示す情報、隣接視点に対する原画像、及び隣接視点に対する復号画像に基づいて、符号化歪みの歪み量（変化量）を算出する。符号化モード選択部３０は、歪み量が最少となる符号化モードを選択する。符号化モード選択部３０は、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）で行われる符号化モードの選択と同様に、符号化モードをひとつ決定するごとにコスト（歪み量）の評価式を計算する。

符号化モード選択部３０は、符号化対象ブロックに対して、選択された符号化モードによって符号化及び復号を行うことにより、符号化済みブロック及び復号済みブロックを得る。符号化モード選択部３０は、歪み量が最少となる符号化モードを示す情報、及び歪み量が最少となる符号化済みブロックを外部の装置へ出力する。また、符号化モード選択部３０は、歪み量が最少となる復号済みブロックを復号画像記憶部２０に格納する。

［符号化モード選択部の構成］
以下、符号化モード選択部３０の構成について更に詳しく説明する。
図２は、本発明の一実施形態に係る評価装置１の符号化モード選択部３０の機能構成を示すブロック図である。図２に示すように、符号化モード選択部３０は、符号化部３１と、復号部３２と、差分算出部３３と、歪み量算出部３４と、歪み量比較部３５と、符号化モード・歪み量記憶部３６と、を含んで構成される。

符号化部３１は、原画像記憶部１０から、符号化対象ブロックを示す情報、及び隣接視点に対する原画像を取得する。符号化部３１は、符号化モード・歪み量記憶部３６に記憶された符号化モードの中から、試行する符号化モードを決定する。符号化部３１は、決定された符号化モードによって符号化対象ブロックの符号化を行うことにより、符号化済みブロックを得る。符号化部３１は、符号化済みブロックを復号部３２へ出力する。また、符号化部３１は、上記の処理を繰り返すことによって得られる、歪み量が最少となる符号化済みブロックを外部の装置へ出力する。

復号部３２は、符号化部３１から出力された符号化済みブロックを取得する。復号部３２は、符号化済みブロックに対して復号を行うことにより、復号済みブロックを得る。復号部３２は、復号済みブロックを差分算出部３３へ出力する。また、符号化部３１は、上記の処理を繰り返すことによって得られる、歪み量が最少となる復号済みブロックを外部の装置へ出力する。

差分算出部３３は、原画像記憶部１０から、符号化対象ブロックを示す情報、及び隣接視点に対する原画像を取得する。また、差分算出部３３は、復号画像記憶部２０から、隣接視点に対する復号画像を取得する。また、差分算出部３３は、復号部３２から、上記符号化対象ブロックの位置と画面上において同位置にあたる隣接視点に係る復号済みブロックを取得する。

そして、差分算出部３３は、隣接視点に対する原画像における符号化ブロックの画素値と隣接視点に対する復号画像における同位置のブロックの画素値との差分値、及び隣接視点に対する原画像における符号化ブロックの画素値と復号部３２から取得した復号済みブロックの画素値との差分値を画素ごとにそれぞれ算出する。差分算出部３３は、算出された差分値を歪み量算出部３４へ出力する。

歪み量算出部３４は、差分算出部３３から出力された差分値を取得する。歪み量算出部３４は、取得した差分値をそれぞれ評価式に代入して計算を行うことにより、歪み量を算出する。歪み量算出部３４は、評価式による計算結果の計算結果を歪み量比較部３５へ出力する。

歪み量比較部３５は、歪み量算出部３４から出力された計算結果を取得する。歪み量比較部３５は、取得した計算結果を、符号化モード・歪み量記憶部３６に記憶させる。また、歪み量比較部３５は、符号化モード・歪み量記憶部３６から、それまでの計算結果の最小値を取得する。歪み量比較部３５は、上記計算結果と、それまでの計算結果の最小値とを比較する。

歪み量比較部３５は、それまでの計算結果の最小値よりも上記計算結果のほうが小さい場合、符号化モード・歪み量記憶部３６に記憶されている当該最小値の値を、上記計算結果によって更新する。また、歪み量比較部３５は、それまでの計算結果の最小値よりも上記計算結果のほうが小さい場合、符号化モード・歪み量記憶部３６に記憶されている、歪み量が最少となる符号化モードを示す変数の値を、符号化部３１によって決定された上記符号化モードを示す値によって更新する。

符号化モード・歪み量記憶部３６は、それまでの計算結果の最小値、及び歪み量が最少となる符号化モードを示す変数の値を記憶する。符号化モード・歪み量記憶部３６は、例えば、フラッシュメモリ、ＨＤＤ、ＳＤＤ、ＲＡＭ、レジスタ等によって実現される。

なお、評価装置１に入力されるリニアブレンディングされた入力視点画像は、図４に示すように、複数の視点に対する画像がそれぞれサブサンプリングされた上で、縦方向に積み重ねられた画像である。なお、差分算出部３３に入力される隣接視点に対する原画像及び隣接視点に対する復号画像は、画面上において符号化対象ブロックと同位置に相当する領域（原画像内及び復号画像内の部分的な画像）であってもよい。例えば図５に示すように、符号化対象ブロックが、視点Ａに対する画像の画像領域ａｒ１である場合、差分算出部３３に入力される、隣接視点に対する原画像及び隣接視点に対する復号画像は、視点Ｂに対する画像の画像領域ａｒ２の部分のみであってもよい。なお、符号化ブロックは、図５に示すように、座標（ｘ，ｙ）からなる画素の集合である。

なお、符号化対象ブロックは、入力画像内において最初に符号化される視点以外（すなわち、図４においては、視点１以外）の視点に対する画像の中から選択される必要がある。これは、以下に説明する評価手順において、符号化対象ブロックに係る評価を、当該符号化対象ブロックに対応する視点の一つ前に符号化される隣接視点に対する画像を用いて行うためである。なお、最初に符号化される視点視点に対する画像に対しては、例えば、一般的にＨ．２６５／ＨＥＶＣで行われるような、二乗誤差の計算に基づく符号化モードの選択を行えばよい。

［符号化モード選択部の動作］
以下、符号化モード選択部３０の動作について説明する。
図３は、本発明の一実施形態に係る評価装置１の符号化モード選択部３０の動作を示すフローチャートである。ここでは、水平方向のサイズがＷであり、垂直方向のサイズがＨである符号化ブロックの符号化を行う場合について説明する。なお、Ｗ及びＨは、例えば画素数である。

符号化部３１は、符号化対象ブロックを示す情報、及び隣接視点に対する原画像を取得する。符号化部３１は、新たに試行する符号化モードを示す変数であるＰｒｅｄ＿ｔｍｐの値を決定した後（ステップＳ００１）、当該符号化モードによって符号化対象ブロックの符号化を行うことにより、符号化済みブロックを得る。復号部３２は、符号化済みブロックに対して復号を行うことにより、復号済みブロックを得る（ステップＳ００２）。

差分算出部３３は、原画像記憶部１０から、符号化対象ブロックを示す情報、及び隣接視点に対する原画像を取得する。また、差分算出部３３は、復号画像記憶部２０から、隣接視点に対する復号画像を取得する。また、差分算出部３３は、復号部３２から、符号化対象ブロックの位置と画面上において同位置にあたる隣接視点に係る復号済みブロックを取得する（ステップＳ００３）。そして、差分算出部３３は、原画像の画素値と復号画像の画素値との差分値、及び原画像の画素値と復号済みブロックの画素値との差分値を、画素ごとにそれぞれ算出する（ステップＳ００４）。

歪み量算出部３４は、差分算出部３３によって算出された差分値を、評価式である以下の式（２）に代入して計算を行うことにより、歪み量を算出する（ステップＳ００５）。

ここで、Ｗ及びＨは、前記第一の視点に対する原画像における、水平方向の画素数及び垂直方向の画素数をそれぞれ表す。また、ｄ（ｘ，ｙ）は、前記第一の視点に対する原画像における座標（ｘ，ｙ）の画素値と前記第一の視点に対する復号画像における座標（ｘ，ｙ）の画素値との差分値を表し、ｄ＾（ｘ，ｙ）は、前記第二の視点に対する原画像における座標（ｘ，ｙ）の画素値と前記第二の視点に対する復号画像における座標（ｘ，ｙ）の画素値との差分値を表す。

ここで、Λ＝１とした場合には、式（２）は、原画像に近い画像を出力するという観点での符号化歪みの評価式となる。また、Λ＝－２とした場合、式（２）は、視点を移動した場合の画素値の変化が本来意図したとおりに、すなわち符号化を行わない場合と同様に表示されるという観点での符号化歪みの評価式となる。なお、符号化を行わない場合と同様な表示とは、原画像を用いて中間視点の画像を生成した場合の表示とほぼ同様な表示である。

歪み量比較部３５は、歪み量算出部３４によって算出された計算結果を、一時変数であるｃｏｓｔ＿ｔｍｐの値として符号化モード・歪み量記憶部３６に記憶させる。そして、歪み量比較部３５は、ｃｏｓｔ＿ｔｍｐと、それまでの式（２）の計算結果における最小値であるｃｏｓｔ＿ｍｉｎとを比較する（ステップＳ００６）。

歪み量比較部３５は、ｃｏｓｔ＿ｍｉｎよりもｃｏｓｔ＿ｔｍｐのほうが小さい場合、符号化モード・歪み量記憶部３６に記憶されているｃｏｓｔ＿ｍｉｎの値を、ｃｏｓｔ＿ｔｍｐの値によって更新する。また、歪み量比較部３５は、ｃｏｓｔ＿ｍｉｎよりもｃｏｓｔ＿ｔｍｐのほうが小さい場合、符号化モード・歪み量記憶部３６に記憶されている、歪み量が最少となる符号化モードを示す変数であるＰｒｅｄ＿ｍｉｎの値を、上記Ｐｒｅｄ＿ｔｍｐの値によって更新する（ステップＳ００７）。

符号化モード選択部３０は、全ての符号化モードを試行済みであるか否かを判定する（ステップＳ００８）。全ての符号化モードを試行済みである場合、符号化モード選択部３０は、Ｐｒｅｄ＿ｍｉｎの値を出力し（ステップＳ００９）、図３のフローチャートに示す動作を終了する。一方、試行済みでない符号化モードがある場合、符号化モード選択部３０は、試行済みでない符号化モードを用いて上記と同様の処理を繰り返す（ステップＳ００１に戻る）。

＜その他の実施形態＞
なお、上述した実施形態では、リニアブレンディングディスプレイにおける画像を対象とした符号化歪みの評価方法について述べたが、式（２）におけるΛの値を負の値とした場合には、この評価方法は、一般的な多視点画像を対象とした符号化歪みの評価にも用いることができる。

一般的な多視点画像においては、画面の切り替えによる多視点表示、及び左右の目に別々の映像を出力する立体視表示において中間視点が生成されない。そのため、上記課題におけるケース１について考慮する必要がない。一方、上記課題におけるケース２は、隣接視点の符号化歪みの整合性を意味するため、主観画質に影響することが考えられる。そのため、Λの値を負の値として隣接視点の符号化歪みとの相関を考慮することによって、主観画質の向上を図ることができる。

なお、上述した実施形態では、符号化モードの選択において、二乗誤差の代替として式（２）の評価式を用いた。この他、例えば以下のように画像全体の評価値を計算することによって、画質評価を行うこともできる。まず、最初に符号化される視点に対する画像と最後に符号化されるの視点に対する画像との間における画素値の二乗誤差を計算する。次に、最初に符号化される視点に対する画像を除く画像全体に対して、式（２）の評価式を計算する。そして、これら２つの計算結果を足し合わせる。ここで、各視点に対する画像の水平方向のサイズをＷ_０、垂直方向のサイズをＨ_０、及び視点数をｎとした場合、符号化歪みの評価式は以下の式（３）によって表される。

次に、解像度に関する依存性を無くすため、上記の式（３）の評価式をさらに画像の画素数、及び２で除算することで、ＭＳＥ（Mean Squared Error；平均二乗誤差）を拡張した以下の式（４）が得られる。以下に示すＭＳＥ_ＬＢＤの値が小さいほど、より主観画質が良くなることが期待される。

さらに画素値の階調に関する依存性を無くすため、上記の式（４）をピークとなる信号値でスケーリングすることで、既存のＰＳＮＲ（Peak Signal-to-Noise ratio；ピーク信号対雑音比）に対応する以下の式（５）が得られ、これにより以下の式（６）が得られる。以下に示すＰＳＮＲ_ＬＢＤの値が大きいほど、より主観画質が良くなることが期待される。

なお、上述した実施形態では、最後まで符号化を行った結果を用いて画像を評価する評価方法について述べた。しかしながら、本発明に係る評価方法を、例えば符号化パラメータを決定するための指標として用いる場合には、符号化された画像（を復号した画像）に代えて、例えばアダマール変換等を行った結果である変換値を用いて、より低演算量となる仮の評価を行うようにしてもよい。

以上説明したように、本発明の実施形態に係る評価装置１は、入力視点画像（多視点画像）における特定の視点（第一の視点）に対する画像の符号化データの符号化品質を評価する評価装置である。評価装置１は、前記第一の視点に対する原画像の画素値と、前記第一の視点に対する画像に係る符号化データから得られた画素値と、第一の視点とは異なる第二の視点に対する原画像の画素値と、前記第二の視点に対する画像に係る符号化データから得られた画素値と、を関連付けることで、前記第一の視点に対する画像に係る符号化データの符号化品質を評価する符号化モード選択部３０（評価部）を備える。

上記の構成を備えることによって、本発明の実施形態に係る評価装置１は、符号化歪みの評価値に基づいた符号化モードを選択することができる。これにより、従来の符号化歪みの評価尺度では、リニアブレンディングディスプレイに表示された差異の主観画質を十分に反映していないのに対し、評価装置１は、リニアブレンディングディスプレイにより表示される画像全体、すなわち入力視点画像及び中間視点画像の主観画質を、視聴形態やコンテンツの内容に適した形で向上させることができる。

上述した実施形態における評価装置１の一部又は全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び要旨を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。

１…評価装置、１０…原画像記憶部、２０…復号画像記憶部、３０…符号化モード選択部、３１…符号化部、３２…復号部、３３…差分算出部、３４…歪み量算出部、３５…歪み量比較部、３６…符号化モード・歪み量記憶部

Claims (8)

1. 多視点画像における第一の視点に対する画像の符号化データの符号化品質を評価する評価装置であって、
   前記第一の視点に対する原画像の画素値と前記第一の視点に係る符号化データから得られた画素値との差分値である第１差分値の２乗と、前記第一の視点とは異なる第二の視点に対する原画像の画素値と前記第二の視点に係る符号化データから得られた画素値との差分値である第２差分値の２乗と、前記第１差分値と前記第２差分値と画像出力の観点に応じて選択可能な値との積と、を足し合わせた値を画素加算した値に基づいて前記第一の視点に係る符号化データの符号化歪みを評価し、前記画像出力の観点に応じて選択可能な値の選択により所望とする画像出力の観点を変更可能とする評価部
   を備える評価装置。
2. 前記評価部は、
   前記第二の視点に対する原画像の画素値と、前記第二の視点に係る符号化データから得られた画素値と、を用いることにより、前記多視点画像を構成する画像にはない、前記第一の視点及び前記第二の視点とは異なる第三の視点に係る評価を前記第一の視点に係る符号化データの符号化品質の評価に反映する
   請求項１に記載の評価装置。
3. 前記第三の視点は、前記第一の視点と前記第二の視点の中間に位置する視点の集合に含まれる任意の視点であり、
   前記評価部は、
   前記第一の視点に対する原画像と前記第二の視点に対する原画像とに基づく前記第三の視点に対する画像の画素値と、前記第一の視点に係る符号化データから得られた画素値と前記第二の視点に係る符号化データから得られた画素値とに基づく前記第三の視点に対する画像の画素値と、の差分値を用いて前記第一の視点に係る符号化データの符号化品質を評価する
   請求項２に記載の評価装置。
4. 前記第三の視点は、前記第一の視点と前記第二の視点の中間に位置する視点の集合に含まれる任意の視点であり、
   前記評価部は、
   前記第一の視点に対する原画像の画素値と、前記第二の視点に対する原画像の画素値と、前記第一の視点に対する原画像と前記第二の視点に対する原画像とに基づく前記第三の視点に対する画像の画素値と、のうち少なくとも２つの画素値の変化量と、
   前記第一の視点に係る符号化データから得られた画素値と、前記第二の視点に係る符号化データから得られた画素値と、前記第一の視点に係る符号化データから得られた画素値と前記第二の視点に係る符号化データから得られた画素値とに基づいて得られる前記第三の視点に対する画像の画素値と、のうち少なくとも２つの画素値の変化量と、
   を用いて前記第一の視点に係る符号化データの符号化品質を評価する
   請求項２に記載の評価装置。
5. 前記評価部は、
   前記第三の視点に対する画像の画素値同士の変化量を用いて、前記第一の視点に係る符号化データの符号化品質を評価する
   請求項４に記載の評価装置。
6. 前記評価部は、
   以下の評価式によって計算されるＳＥＬＢＤの値を用いて、前記第一の視点に係る符号化データの符号化品質を評価する
   請求項３から請求項５のうちいずれか一項に記載の評価装置。
   

   

   ここで、Ｗ及びＨは、前記第一の視点に対する原画像における、水平方向の画素数及び垂直方向の画素数をそれぞれ表す。また、ｄ（ｘ，ｙ）は、前記第一の視点に対する原画像における画素値と前記第一の視点に対する復号画像の画素値との差分値を表し、ｄ＾（ｘ，ｙ）は、前記第二の視点に対する原画像における画素値と前記第二の視点に対する復号画像の画素値との差分値を表し、Λは前記画像出力の観点に応じて選択可能な値を表す。
7. 多視点画像における第一の視点に対する画像の符号化データの符号化品質を評価する評価方法であって、
   前記第一の視点に対する原画像の画素値と前記第一の視点に係る符号化データから得られた画素値との差分値である第１差分値の２乗と、前記第一の視点とは異なる第二の視点に対する原画像の画素値と前記第二の視点に係る符号化データから得られた画素値との差分値である第２差分値の２乗と、前記第１差分値と前記第２差分値と画像出力の観点に応じて選択可能な値との積と、を足し合わせた値を画素加算した値に基づいて前記第一の視点に係る符号化データの符号化歪みを評価する評価ステップと、
   前記画像出力の観点に応じて選択可能な値の選択により所望とする画像出力の観点を変更する変更 ステップと、
   を有する評価方法。
8. 請求項１から請求項６のうちいずれか一項に記載の評価装置としてコンピュータを機能させるためのプログラム。

Images