JP6404794B2 - 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム - Google Patents

Description

本発明は、画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラムに関する。

写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さっている不要なものを撮影してしまうことがある。被写体に被さった不要なものを含んで撮影された静止画像や動画像は、視聴における体感品質を大きく損なってしまうおそれがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。

また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの映像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も映像の視聴の体感品質を大きく損なうおそれがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。

以下、静止画像や動画像における、不要な物の映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が、欠損領域以外の領域（以下、「欠損周辺領域」という。）との見た目に違和感なく補完された画像を取得する処理をコンプリーション（Completion）処理という。

欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献１に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。

図１０は、欠損領域を表すマスクの例を示す図である。図１０（Ａ）は、マスクを二値の画像で与える一例である。図１０（Ａ）に示すマスク画像７１は、画像処理を施す対象の原画像である画像７０とは別に与えられる。このマスク画像７１は、ドットパターンを付与した領域７１ａに示す領域に対して画像処理を行うことを示し、白抜きの領域７１ｂに示す領域に対して画像処理を行わないことを示している。

図１０（Ｂ）は、画像処理を施す対象の画像７０にドットパターンで示すマスク７２を重畳することで、マスク領域を特定する一例である。図１０（Ｂ）に示すマスク７２は、マスク７２で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図１０（Ｂ）のようにマスク７２を画像７０に重畳する場合には、マスク７２は、他の領域との区別が容易な色やパターンなどで与えられる。他の領域との区別が容易な色とは、例えば画像７０内で使用されていない色を用いる。

コンプリーション処理の手法の一つにパッチ単位で逐次修復を行う手法がある。パッチ単位で逐次修復を行うコンプリーション処理は以下の手順によって行われる。
（手順１）コンプリーション処理の対象となる画像内の領域から、欠損領域と欠損周辺領域とを共に含む小領域（以下、「コンプリーション対象パッチ」という。）を選択する。欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する（例えば、非特許文献２参照）。
（手順２）手順１で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像である。
（手順３）手順２で探索した類似パッチを、手順１で選択されたコンプリーション対象パッチにコピーする。
以上の手順１〜３に示した処理が、コンプリーション対象領域であるマスクで示される欠損領域が無くなるまで繰り返し行なわれる。

上述したコンプリーション処理は、選定する手法やパラメータによって結果として出力される画像が変化する。よって、コンプリーション処理において、予め最適な手法やパラメータを設定するためには、コンプリーション処理後の画像の画質を適切に評価して、画質の良い画像を特定する技術が必要である。画像データに対して、その見た目の自然さを評価する方法としてＳＳＥＱ（Spatial-Spectral Entropy-based Quality）が知られている（例えば、非特許文献３参照）。そして、コンプリーション処理を行った画像に対して、ＳＳＥＱを用いて画質の評価を行う構成が考えられる。

Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70 A. Criminisi, P. Perez, and K. Toyama, "Region Filling and Object Removal by Exemplar-Based Image Inpainting", IEEE TRANSACTIONS ON IMAGEPROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004. Lixiong Liu, Bao Liu, Hua Huang, and Alan Conrad Bovik, "No reference image quality assessment based on spatial and spectral entropies", Sig. Proc.: Image Comm., Vol. 29, No. 8, pp. 856-863, 2014.

しかしながら、非特許文献３に記載されたＳＳＥＱによる画像評価は、コンプリーション処理によって得られた画像の画質の違いを検出する精度が低いという問題がある。そのため、画質の良い画像を特定するには、人間が手動でコンプリーション処理後の画像を観測して選択する必要があり、このような作業には時間と労力を必要とし、かつ、人による画質の判断のバラツキを含むものであった。

上記事情に鑑み、本発明は、欠損領域に対して修復処理を行った画像に対して、その画質を精度よく評価するための画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラムの提供を目的としている。

本発明の一態様は、欠損領域を修復した画像を入力する第１入力ステップと、前記第１入力ステップにおいて入力された前記画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出ステップと、を有し、前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第１の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第２の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第３の特徴量とのいずれか一つを少なくとも含む画像情報取得方法である。

本発明の一態様は、前記の画像情報取得方法であって、前記輪郭上にある画素を中心とした小領域において、前記第１の特徴量は、（式１）〜（式３）に基づいて求めるものであり、前記第２の特徴量は、（式４）〜（式６）に基づいて求めるものであり、前記第３の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである。

本発明の一態様は、欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第２の画像と、前記複数の第２の画像に対する画質評価の順位である評価順位とが入力される第２入力ステップと、前記第２入力ステップにおいて入力された複数の前記第２の画像に対して、前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、前記抽出ステップにおいて抽出した前記特徴量と、前記第２入力ステップにおいて入力された前記評価順位との対応関係を学習する学習ステップと、を有する画像評価方法である。

本発明の一態様は、欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第３の画像が入力される第３入力ステップと、前記第３入力ステップにおいて入力された複数の前記第３の画像に対して、前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、前記抽出ステップにおいて抽出した前記特徴量に基づいて複数の前記第３の画像の中から画質評価の最も高い第４の画像を選択する画像選択ステップと、を有する画像評価方法である。

本発明の一態様は、欠損領域を修復した画像が入力される第１入力部と、前記第１入力部に入力された前記欠損領域を含む画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出部と、を備え、前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第１の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第２の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第３の特徴量とのいずれか一つを少なくとも含む画像情報取得装置である。

本発明の一態様は、前記の画像情報取得装置であって、前記輪郭上にある画素を中心とした小領域において、前記第１の特徴量は、（式１）〜（式３）に基づいて求めるものであり、前記第２の特徴量は、（式４）〜（式６）に基づいて求めるものであり、前記第３の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである。

本発明の一態様は、欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第２の画像と、前記複数の第２の画像に対する画質評価の順位である評価順位とが入力される第２入力部と、前記第２入力部に入力された複数の前記第２の画像を入力して前記特徴量を抽出する前記画像情報取得装置と、抽出した前記特徴量と、前記第２入力部に入力された前記評価順位との対応関係を学習する学習処理部と、を備える画像評価装置である。

本発明の一態様は、欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第３の画像が入力される第３入力部と、前記第３入力部に入力された複数の前記第３の画像を入力して、前記特徴量を抽出する前記画像情報取得装置と、抽出した前記特徴量に基づいて複数の前記第３の画像の中から画質評価の最も高い第４の画像を選択する画像選択部と、を備える画像評価装置である。

本発明の一態様は、前記画像情報取得装置又は前記画像評価装置における各機能部を、コンピュータにより実現させるための画像処理プログラムである。

本発明により、欠損領域に対して修復処理を行った画像に対して、その画質を精度よく評価することができる。

第１の実施形態における画像処理システムの構成例を示す図である。 第１の実施形態における修復情報格納部１０２に格納されるパラメータリストの具体例を示す図である。 欠損領域Ｄの輪郭に着目して特徴量を算出する具体例を示す図である。 画素ｐを中心とするエッジ方向を特定する情報の具体例を示す図である。 学習データ２４の具体例を示す図である。 第１の実施形態における画像評価装置１０の動作を示すフロー図である。 第１の実施形態における学習モデル取得装置２０の動作を示すフロー図である。 第２の実施形態における画像評価システム１０Ａの構成例を示す図である。 第３の実施形態における学習モデル取得システム２０Ａの構成例を示す図である。 欠損領域を表すマスクの例を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態における画像処理システムの構成例を示す図である。図１に示すように、画像処理システム１は、入力された画像に対して複数種類の修復処理を行い複数の修復後画像を生成し、複数の修復後画像の画質を評価し、画質の評価の高い修復後画像を選択する画像評価装置１０と、入力された学習データである画像から少なくとも一つの特徴量を抽出し、抽出した特徴量と画像の画質の評価との関係を示す学習モデルを取得する学習モデル取得装置２０とを備える。

＜画像評価装置１０の構成について＞
画像評価装置１０の構成について説明する。
画像評価装置１０は、入力部１０１と、修復情報格納部１０２と、修復処理部１０３、特徴量抽出部１０４と、学習モデルＤＢ（データベース）１０５と、画像選択部１０６とを備える。入力部１０１は、コンプリーション処理（修復処理）を施す対象の画像Ｉ_ｉｎと、欠損領域を指定するマスク画像Ｉ_ｍａｓｋ又はマスク領域を表す色情報Ｃとが入力される。画像Ｉ_ｉｎとして入力される画像は、静止画像や動画像（映像）である。入力部１０１は、マスク画像Ｉ_ｍａｓｋ又は色情報Ｃに基づいて画像Ｉ_ｉｎにおける欠損領域Ｄを求める。ここで、色情報ＣはＲＧＢ値（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）をもつ三次元ベクトルＣ（Ｒ、Ｇ、Ｂ）で表すことができ、例えばマゼンダの色を有する。色情報Ｃは、マスク領域として指定されている場合はＣ（Ｒ、Ｇ、Ｂ）＝（２５５，０，２５５）のように表すことができる。

入力部１０１における具体的な処理について、図１０を用いて説明する。入力部１０１は、図１０（Ａ）に示した原画像である画像７０が画像Ｉ_ｉｎとして入力され、かつ、欠損領域を示すマスク画像７１が入力された場合は、領域７１ｂで示された領域を欠損領域Ｄとして特定する。また、入力部１０１は、図１０（Ｂ）に示した原画像である画像Ｉ_ｉｎとして画像７０と、その画像７０に重畳された色情報Ｃであるマスク７２とが入力された場合は、マスク７２で示された領域とそうでない領域を二値で表したマスク画像を生成し、これを欠損領域Ｄとして用いる。欠損領域Ｄは，欠損として指定されたピクセルの位置の集合｛（ｄ_ｘ１，ｄ_ｙ１），…，（ｄ_ｘｎ，ｄ_ｙｎ）｝で表しても良い。また、欠損領域Ｄは、画像Ｉ_ｉｎと同じ大きさの画像であって、欠損領域を１、そうでない領域を０とした２値画像としてもよい。

修復情報格納部１０２は、修復手法、パッチサイズ、ピラミッド階層数などの修復パラメータがＭ個、リスト形式で登録される。図２は、第１の実施形態における修復情報格納部１０２に格納されるパラメータリストの具体例を示す図である。図２に示すように、各パラメータリストを識別するＩＤに関連付けて、コンプリーション処理の方法を示す修復方法と、その修復方法に用いるパラメータ１、２、…、Ｎとが格納されている。ここで、例えばパラメータ１は、コンプリーション対象パッチの大きさを示すパッチサイズ、パラメータ２は、類似パッチを探索する画像の解像度を段階的に変更する場合のピラミッド階層数である。

図２の具体例では、ＩＤ＝１、２、…、Ｍが設定されている。すなわち、修復情報格納部１０２は、Ｍ種類（Ｍは２以上の整数）の修復情報であるパラメータリストを有している。修復情報として、ＩＤ＝１に関連付けて、修復手法＝Ａ、パラメータ１＝３、パラメータ２＝３、…、パラメータＮ＝Ｉが格納されており、ＩＤ＝Ｍに関連付けて、修復方法＝Ｘ、パラメータ１＝５、パラメータ２＝２、…、パラメータＮ＝Ｊが格納されている。

修復処理部１０３は、入力部１０１からコンプリーション対象の画像Ｉ_ｉｎ及び欠損領域Ｄが入力され、修復情報格納部１０２からパラメータリストを取得する。修復処理部１０３は、Ｍ種類のパラメータリスト全てに対応した修復処理を行い、Ｍ枚の修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を出力する。

特徴量抽出部１０４は、修復処理部１０３から入力される修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を入力とし、各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量を抽出して出力する。具体的には、特徴量抽出部１０４は、欠損領域Ｄの輪郭に対応する画素の値に基づいて、色一貫性特徴量（第１の特徴量）Ｆ_ｕ、エッジ一貫性特徴量（第２の特徴量）Ｆ_ｖ及びエッジ連続性特徴量（第３の特徴量）Ｆ_ｃの３つの特徴量を抽出する。ここで、欠損領域Ｄの輪郭に対応する画素は、欠損領域Ｄの輪郭上に位置する画素の他に、欠損領域Ｄの輪郭上に位置する画素の周辺に位置する画素も含むものとする。

図３は、欠損領域Ｄの輪郭に着目して特徴量を算出する具体例を示す図である。図３において、斜線部分で示す領域Ωは、欠損領域Ｄを示し、その欠損領域Ｄの輪郭をδΩで表す。輪郭δΩ上にある画素ｐを中心とした３×３のサイズのパッチをＰ（ｐ）で表す。

＜＜色一貫性特徴量Ｆ_ｕの算出方法＞＞
特徴量抽出部１０４は、輪郭δΩ上にある画素ｐを中心とした小領域のパッチＰ（ｐ）毎に欠損領域Ｄに含まれ画素の色と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素の色とに変化があるか否かを示す特徴量である色一貫性特徴量Ｆ_ｕを以下に説明する（式１）〜（式３）に基づいて算出する。まず、特徴量抽出部１０４は、以下の（式１）に基づいて第１色特徴量Ｕ_１を算出する。

ここで、ｕ（ｑ）はパッチＰ（ｐ）に含まれる画素ｑのＲＧＢ値である。

上記（式１）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、輪郭δΩ上及び輪郭δΩ内に位置する画素（以下、欠損領域画素という）のＲＧＢ値のそれぞれを加算した値を第１色特徴量Ｕ_１として算出する。

次に、特徴量抽出部１０４は、以下の（式２）に基づいて第２色特徴量Ｕ_２を算出する。

上記（式２）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、欠損領域画素を除いた画素のＲＧＢ値のそれぞれを加算した値を第２色特徴量Ｕ_２として算出する。

特徴量抽出部１０４は、第１色特徴量Ｕ_１を欠損領域画素の画素数ａで割った画素平均値と、第２色特徴量Ｕ_２とをパッチＰ（ｐ）の総画素数（図３では３×３＝９画素）から画素数ａを差し引いた画素数ｂ（図３ではｂ＝９−ａ）で割った平均値との比を計算する以下の（式３）に基づいて、色一貫性特徴量Ｆ_ｕを算出する。

色一貫性特徴量Ｆ_ｕは（式１）〜（式３）から明らかなように、パッチＰ（ｐ）の領域において、欠損領域画素の色と、欠損領域画素でない欠損領域Ｄの周辺の画素の色とが一貫しているほど（同じ色であるほど）１に近づく値である。色一貫性特徴量Ｆ_ｕは、パッチＰ（ｐ）の領域において、欠損領域画素の色と、欠損領域画素でない欠損領域Ｄの周辺の画素の色とが異なるほど（違う色であるほど）第１色特徴量Ｕ_１＞第２色特徴量Ｕ_２であれば大きな値に、第１色特徴量Ｕ_１＜第２色特徴量Ｕ_２であれば０に近づく値である。

上述した（式１）〜（式３）を用いて求めた色一貫性特徴量Ｆ_ｕは一例であり、これに限定されるものではない。例えば、（式３）に示した色一貫性特徴量Ｆ_ｕに対して、定数を乗除算した値や、定数を加減算した値を、色一貫性特徴量Ｆ_ｕとしてもよい。特徴量抽出部１０４は、欠損領域Ｄに含まれる画素の色と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素の色とに変化があるか否かを示す特徴量を計算する種々の計算式を用いて色一貫性特徴量Ｆ_ｕを算出してもよい。特徴量抽出部１０４は、例えば、欠損領域Ｄに含まれ画素の色と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素の色との色差を色一貫性特徴量Ｆ_ｕとして算出してもよい。

＜＜エッジ一貫性特徴量Ｆ_ｖの算出方法＞＞
特徴量抽出部１０４は、小領域のパッチＰ（ｐ）毎に欠損領域Ｄに含まれ画素のエッジ強度と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素のエッジ強度とに変化があるか否かを示す特徴量であるエッジ一貫性特徴量Ｆ_ｖを以下に説明する（式４）〜（式５）に基づいて算出する。まず、特徴量抽出部１０４は、以下の（式４）に基づいて第１エッジ特徴量Ｖ_１を算出する。

ここで、ｖ（ｑ）はパッチＰ（ｐ）に含まれる画素ｑのエッジ強度を表す。

上記（式４）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、欠損領域画素のエッジ強度を加算した値を第１エッジ特徴量Ｖ_１として算出する。画素のエッジ強度とは、例えば、画素ｑと周辺の画素との輝度値の差の絶対値を加算して求める。画素の輝度値は、例えば画素のＲＧＢ値を用いてＲ＋Ｇ＋Ｂで求まる値である。

次に、特徴量抽出部１０４は、以下の（式５）に基づいて第２エッジ特徴量Ｖ_２を算出する。

上記（式５）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、欠損領域画素を除いた画素のエッジ強度を加算した値を第２エッジ特徴量Ｖ_２として算出する。

特徴量抽出部１０４は、第１エッジ特徴量Ｖ_１を欠損領域画素の画素数ａで割った画素の平均値と、第２エッジ特徴量Ｖ_２とをパッチＰ（ｐ）の総画素数から画素数ａを差し引いた画素数ｂで割った画素の平均値との比を計算する以下の（式６）に基づいて、エッジ一貫性特徴量Ｆ_ｖを算出する。

エッジ一貫性特徴量Ｆ_ｖは（式４）〜（式６）から明らかなように、パッチＰ（ｐ）の領域において、欠損領域画素のエッジ強度と、欠損領域画素でない欠損領域Ｄの周辺の画素のエッジ強度とが一貫しているほど（同程度のエッジ強度であるほど）１に近づく値である。エッジ一貫性特徴量Ｆ_ｖは、パッチＰ（ｐ）の領域において、欠損領域画素のエッジ強度と、欠損領域画素でない欠損領域Ｄの周辺の画素のエッジ強度とが異なるほど第１エッジ特徴量Ｖ_１＞第２エッジ特徴量Ｖ_２であれば大きな値に、第１エッジ特徴量Ｖ_１＜第２エッジ特徴量Ｖ_２であれば０に近づく値である。

上述した（式４）〜（式６）を用いて求めたエッジ一貫性特徴量Ｆ_ｖは一例であり、これに限定されるものではない。例えば、（式６）に示したエッジ一貫性特徴量Ｆ_ｖに対して、定数を乗除算した値や、定数を加減算した値を、エッジ一貫性特徴量Ｆ_ｖとしてもよい。特徴量抽出部１０４は、欠損領域Ｄに含まれ画素のエッジ強度と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素のエッジ強度とに変化（レベル差）があるか否かを示す特徴量を計算する種々の計算式を用いてエッジ一貫性特徴量Ｆ_ｖを算出してもよい。

特徴量抽出部１０４は、例えば、欠損領域Ｄに含まれる画素のエッジ強度をエッジ方向情報も合わせて取得し、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素のエッジ強度をエッジの方向情報も合わせて取得し、エッジの方向の一致度に応じた重み係数を乗算して、加算する処理によりエッジ一貫性特徴量Ｆ_ｖを算出してもよい。なお、エッジの方向の一致度に応じた重み係数とは、例えば、同じ方向であれば１、反対方向であれば−１となる一致度に応じて−１〜１まで変化する係数である。また、特徴量抽出部１０４は、画素の輝度値に基づいてエッジ強度を求める構成であったが、これに限定されるものではない。特徴量抽出部１０４は、例えば、画素のＲＧＢ値に基づいてエッジ強度を求めてもよい。この場合、Ｒ、Ｇ、Ｂの各色別にエッジ強度が求まる。

＜＜エッジ連続性特徴量Ｆ_ｃの算出方法＞＞
特徴量抽出部１０４は、輪郭δΩ上にある各画素ｐにおけるエッジ方向と、画素ｐに隣接する画素のエッジ方向とに変化があるか否かを示す特徴量であるエッジ連続性特徴量Ｆ_ｃを以下に示す方法で算出する。

特徴量抽出部１０４は、輪郭δΩ上に位置する各画素ｐについて、エッジ方向を求める。このエッジ方向は、画素ｐを中心とするエッジ方向にある近傍の２画素を特定する情報であればよい。図４は、画素ｐを中心とするエッジ方向を特定する情報の具体例を示す図である。図４に示す通り画素ｐを中心として左下画素と右上画素とを通る斜め方向（１）と、左画素と右画素とを通る横方向（２）と、上画素と下画素とを通る縦方向（３）と、右下画素と左上画素とを通る斜め方向（４）とがある。特徴量抽出部１０４は、図４に示す４方向のうち、尤もらしい方向を特定すれば良い。特徴量抽出部１０４は、例えば、画素ｐの輝度値におけるｘ、ｙ方向のエッジ強度（ｄｘ，ｄｙ）に基づいて、ｃ（ｐ）＝ｄｙ／ｄｘを求め（ｔａｎｇｅｎｔを求めることに相当）その傾きから４つの方向のうちどこに該当するかを求める方法が挙げられる。

次に、特徴量抽出部１０４は、画素ｐに隣接する画素ｐｐと画素ｐｎについても同様にｃ（ｐｐ）、ｃ（ｐｎ）を求めて、これらの平均値ｃ（ｐ’）＝［ｃ（ｐｐ）＋ｃ（ｐｎ）］／２を求める。特徴量抽出部１０４は、ｃ（ｐ）、ｃ（ｐ’）を輪郭δΩ上にある全ての画素について求めて、ｃ（ｐ）で特定される第１のエッジ方向と、ｃ（ｐ’）で特定される第２のエッジ方向を取得する。特徴量抽出部１０４は、第１のエッジ方向と第２のエッジ方向とにおける方向の一致度を示す相関値を求めて、この相関値をエッジ連続性特徴量Ｆ_ｃとする。なお、画素ｐに隣接する画素ｐｐと画素ｐｎの位置は、例えば、画素ｐの下方向に隣接する画素を画素ｐｐとし、画素ｐの右方向に隣接する画素を画素ｐｎの位置とするが、これに限定されるものではない。

学習モデルＤＢ１０５は、学習モデル取得装置２０が取得した、画像の特徴量と、画像の画質の評価との関係を示す学習モデルを格納している。学習モデルは、具体的には、少なくとも２つ以上の特徴量を入力すると、各特徴量を有する画像の画質が優れているかを示す順位を推定して出力するための、特徴量と順位の対応関係を示す情報である。

画像選択部１０６は、特徴量抽出部１０４が抽出した各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量と学習モデルＤＢ１０５に格納される学習モデルとに基づいて、修復処理部１０３が出力したＭ枚の修復後の各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}に対して評価順位を付与し、最も画質が良いと推定される評価順位＝１位の画像Ｉ_ｂｅｓｔを出力する。

＜学習モデル取得装置２０の構成について＞
学習モデル取得装置２０の構成について説明する。
学習モデル取得装置２０は、学習データ入力部２０１と、特徴量抽出部２０２と、学習リストＤＢ（データベース）２０３と、評価順位学習部２０４とを備える。

学習データ入力部２０１は、学習モデルを生成するための図５に示すような学習データ２４が入力される入力部である。図５は、学習データ２４の具体例を示す図である。図５に示すように、学習データ２４は、一連の評価順位を付与した画像のグループを示すグループＩＤ２４１と、修復後の画像データに対する評価順位２４２と、修復後の画像データ２４４を得る際に用いたマスク情報２４３と、修復後の画像データ２４４とを含むリスト形式のデータである。学習データ２４は、いくつの修復後の画像データ２４４を比較するかによってリストの長さが変化する可変長テーブルである。

図５に示すように、学習データ２４は、グループＩＤに関連付けてマスク情報２４３と、修復後の画像データ２４４と、同一グループの修復後の画像データ２４４中における評価順位２４２とを対応付けるものである。したがって、同一グループ内の修復後の画像データ２４４の個数は、２以上である必要がある。また、同一のグループＩＤの修復後の画像データ２４４の個数がＫ個である場合、そのなかで同順位のものの個数は、少なくとも一つ異なる評価順位を付与可能とするためにＫ−１個以下でなければならない。

特徴量抽出部２０２は、上述した特徴量抽出部１０４と同様の構成であり、欠損領域Ｄの輪郭に着目して、色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する。特徴量抽出部２０２が処理の対象とするのは、学習データ入力部２０１から入力された修復後の画像データ２４４である。特徴量抽出部２０２は、全ての修復後の画像データ２４４に対して、欠損領域Ｄの輪郭に対応する画素の値に基づいて、色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する処理を行う。

学習リストＤＢ２０３は、グループＩＤに関連づけて、評価順位２４２と、３つの特徴量とを格納するデータベースである。

評価順位学習部２０４は、学習リストＤＢ２０３から学習リストを参照して、画像の特徴量と評価順位との対応関係についてランキング学習を行うことで学習モデルを生成する。ランキング学習とは、機械学習の枠組みで、画像の特徴量と評価順位との対応関係をあらかじめ学習して学習モデルを生成する処理である。この学習モデルを用いると、２枚以上の画像の特徴量に基づいて、それらの画像に対する評価順位を算出することができる。このようなランキング学習は、公知の技術であり、例えば、ＳＶＭ（Support Vector Machine）−Ｒａｎｋなどの方法が利用可能である。また、以下の公知文献１に記載のＳＶＭを用いてもよい。

公知文献１：T. Joachims, “Training Linear SVMs in Linear Time”, Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD), 2006

評価順位学習部２０４は、画像の特徴量と、画像の評価順位との対応関係を示す学習モデルを生成して、画像評価装置１０へ出力する。評価順位学習部２０４は、画像から抽出された色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量と、その画像の評価順位との対応関係を示す学習モデルを生成する。

なお、評価順位学習部２０４において生成された学習モデルは、データを多段階に分類する用途であれば評価順位を推定する構成に限定されるものではない。例えば、ＳＶＭを用いて学習リストを処理することで、画像の特徴量に基づいて例えば画質評価ＯＫと画質評価ＮＧとを示す二値分類を行う学習モデルを生成してもよい。学習モデルが出力する値は、二値に限定されるものではなく、例えば５段階の多値分類を出力してもよい。

＜画像評価装置１０の動作について＞
次に、第１の実施形態における画像評価装置１０の動作について説明する。図６は、第１の実施形態における画像評価装置１０の動作を示すフロー図である。入力部１０１において、コンプリーション処理を施す対象の画像Ｉ_ｉｎと、欠損領域を指定するマスク画像Ｉ_ｍａｓｋとが入力される（ステップＳ１０１）。入力部１０１は、マスク画像Ｉ_ｍａｓｋに基づいて画像Ｉ_ｉｎにおける欠損領域Ｄを特定する（ステップＳ１０２）。

修復処理部１０３は、入力部１０１から入力される画像Ｉ_ｉｎと欠損領域Ｄに基づいて、修復情報格納部１０２から取得したＭ種類の修復情報（パラメータリスト）全てに対応した修復処理を画像Ｉ_ｉｎに対して行い、Ｍ枚の修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を出力する（ステップＳ１０３）。特徴量抽出部１０４は、修復処理部１０３から入力される修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を入力とし、各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量を抽出して出力する（ステップＳ１０４）。具体的には、特徴量抽出部１０４は、欠損領域Ｄの輪郭に対応する画素の値に基づいて、各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}から色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する。

画像選択部１０６は、特徴量抽出部１０４が抽出した各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量と学習モデルＤＢ１０５に格納される学習モデルとに基づいて、修復処理部１０３が出力したＭ枚の修復後の各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}に対して評価順位を付与する（ステップＳ１０５）。画像選択部１０６は、画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の中から最も画質が良いと推定される評価順位＝１位を付与した画像を選択して画像Ｉ_ｂｅｓｔとして出力する（ステップＳ１０６）。

＜学習モデル取得装置２０の動作について＞
次に、第１の実施形態における学習モデル取得装置２０の動作について説明する。図７は、第１の実施形態における学習モデル取得装置２０の動作を示すフロー図である。学習データ入力部２０１において、学習モデルを生成するための図５に示すような学習データ２４が入力される（ステップＳ２０１）。

特徴量抽出部２０２は、学習データ入力部２０１から入力された学習データ２４の全てに対して特徴量を抽出するループ処理を開始する（ステップＳ２０２）。特徴量抽出部２０２は、処理対象の学習データ２４から修復後の画像データ２４４を取得する（ステップＳ２０３）。特徴量抽出部２０２は、取得した修復後の画像データ２４４に対して、欠損領域Ｄの輪郭に着目して、色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する。特徴量抽出部２０２は、グループＩＤに関連付けて、抽出した特徴量と、画像データ２４４の評価順位２４２とを学習リストＤＢ２０３に格納する（ステップＳ２０４）。

特徴量抽出部２０２は、処理対象の学習データ２４が最後のデータでなければステップＳ２０２に戻り、処理対象の学習データ２４が最後のデータであればループ処理を終了して、ステップＳ２０６に進む（ステップＳ２０５）。以上のループ処理によって、学習リストＤＢ２０３には、グループＩＤに関連づけて、評価順位２４２と、３つの特徴量とを格納するデータベースが構築される。

評価順位学習部２０４は、学習リストＤＢ２０３から学習リストを参照して、画像の特徴量と評価順位との対応関係について学習処理を行うことで学習モデルを生成する（ステップＳ２０６）。評価順位学習部２０４が生成した学習モデルは、画像評価装置１０へ出力され、学習モデルＤＢ１０５に格納される。

以上に説明したように、第１の実施形態における画像処理装置３０は、様々な手法やパラメータでコンプリーション処理された複数枚の修復後の画像データに対して、特徴量を抽出し、抽出した特徴量に基づいて修復後の画像データに評価順位を付与することができる。これにより、評価順位の最も良い修復後の画像データを選択することで、自動で最適なコンプリーション処理を施した画像データを得ることができる。また、既存の画像の評価手法とは異なり、欠損領域Ｄの境界に着目した特徴量を抽出して、学習モデルを参照してその特徴量に基づいた評価順位を得ることで、より高精度な画質の評価を実現している。また、学習モデル取得装置２０は、学習データから抽出した特徴量と評価順位とを対応させた学習リストに基づいて学習モデルを生成することで、学習モデルの精度を向上させることができる。

（第２の実施形態）
第１の実施形態の画像評価装置１０が備える特徴量抽出部１０４又は学習モデル取得装置２０が備える特徴量抽出部２０２を、独立した特徴量抽出装置として構成することも可能である。
以下では、第１の実施形態の画像評価装置１０が備える特徴量抽出部１０４を、独立した特徴量抽出装置１１として構成する第２の実施形態における画像評価システム１０Ａについて説明する。

図８は、第２の実施形態における画像評価システム１０Ａの構成例を示す図である。なお、図８において、図１に示した第１の実施形態の画像処理システム１と同じ構成のものは、同じ符号を付与しており、説明を省略又は簡略化する。

図８に示すように、画像評価システム１０Ａは、画像評価装置１０ａと、特徴量抽出装置１１とを備える構成である。図８に示す画像評価システム１０Ａは、図１に示した画像評価装置１０と同等の機能を有する。

＜特徴量抽出装置１１について＞
第２実施形態の特徴量抽出装置１１は、図８に示すように、画像入力部１１１と、特徴量抽出部１１２と、特徴量出力部１１３とを備える。画像入力部１１１は、修復処理部１０３から修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}が入力され、入力された修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を特徴量抽出部１１２へ出力する。特徴量抽出部１１２は、図１に示した特徴量抽出部１０４と同じ機能を有し、画像入力部１１１から入力される修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}から特徴量を抽出して、抽出した特徴量を特徴量出力部１１３へ出力する。特徴量出力部１１３は、特徴量抽出部１１２より入力された特徴量を、画像評価装置１０ａの画像選択部１０６へ出力する。

（第３の実施形態）
第１の実施形態の学習モデル取得装置２０が備える特徴量抽出部２０２を、独立した特徴量抽出装置として構成することも可能である。
以下では、第１の実施形態の学習モデル取得装置２０が備える特徴量抽出部２０２を、独立した特徴量抽出装置２１として構成する第３の実施形態の学習モデル取得システム２０Ａについて説明する。

図９は、第３の実施形態における学習モデル取得システム２０Ａの構成例を示す図である。なお、図９において、図１に示した第１の実施形態の画像処理システム１と同じ構成のものは、同じ符号を付与しており、説明を省略又は簡略化する。

図９に示すように、学習モデル取得システム２０Ａは、学習モデル取得装置２０ａと、特徴量抽出装置２１とを備える構成である。図９に示す学習モデル取得システム２０Ａは、図１に示した学習モデル取得装置２０と同等の機能を有する。

＜特徴量抽出装置２１について＞
第３実施形態の特徴量抽出装置２１は、図９に示すように、画像入力部２１１と、特徴量抽出部２１２と、特徴量出力部２１３とを備える。画像入力部２１１は、学習モデル取得装置２０ａの学習データ入力部２０１から学習データ２４に含まれる修復後の画像データ２４４が入力され、入力された修復後の画像データ２４４を特徴量抽出部２１２へ出力する。特徴量抽出部２１２は、図１に示した特徴量抽出部２０２と同じ機能を有し、画像入力部２１１から入力される修復後の画像データ２４４から特徴量を抽出して、抽出した特徴量を特徴量出力部２１３へ出力する。特徴量出力部２１３は、特徴量抽出部２１２より入力された特徴量を、学習モデル取得装置２０ａの学習リストＤＢ２０３へ出力する。

学習モデル取得装置２０ａの備える評価順位学習部２０４が出力する学習モデルは、第１の実施形態の画像評価装置１０へ出力される構成であっても、第２の実施形態における画像評価装置１０ａに出力される構成であってもよい。

上述した第１の実施形態における画像評価装置１０及び学習モデル取得装置２０、第２実施形態における画像評価システム１０Ａ及び第３の実施形態における学習モデル取得システム２０Ａの備える各機能部は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラムは、コンプリーション処理を行う画像処理装置において利用することができる。

１…画像処理システム， １０、１０ａ…画像評価装置， ２０、２０ａ…学習モデル取得装置，１１、２１…特徴量抽出装置，１０２…修復情報格納部，１０３…修復処理部，１０４、１１２、２０２、２１２…特徴量抽出部，１０５…学習モデルＤＢ，１０６…画像選択部，２０３…学習リストＤＢ，２０４…評価順位学習部

Claims (9)

1. 欠損領域を修復した画像を入力する第１入力ステップと、
   前記第１入力ステップにおいて入力された前記画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出ステップと、
   を有し、
   前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第１の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第２の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第３の特徴量とのいずれか一つを少なくとも含む画像情報取得方法。
2. 前記輪郭上にある画素を中心とした小領域において、
   前記第１の特徴量は、以下の（式１）〜（式３）に基づいて求めるものであり、
   

   

   前記第２の特徴量は、以下の（式４）〜（式６）に基づいて求めるものであり、
   

   

   前記第３の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである請求項１に記載の画像情報取得方法。
3. 欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第２の画像と、前記複数の第２の画像に対する画質評価の順位である評価順位とが入力される第２入力ステップと、
   前記第２入力ステップにおいて入力された複数の前記第２の画像に対して、請求項１又は請求項２に記載の前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、
   前記抽出ステップにおいて抽出した前記特徴量と、前記第２入力ステップにおいて入力された前記評価順位との対応関係を学習する学習ステップと、
   を有する画像評価方法。
4. 欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第３の画像が入力される第３入力ステップと、
   前記第３入力ステップにおいて入力された複数の前記第３の画像に対して、請求項１又は請求項２に記載の前記画像情報取得方法を適用して前記特徴量を抽出する抽出ステップと、
   前記抽出ステップにおいて抽出した前記特徴量に基づいて複数の前記第３の画像の中から画質評価の最も高い第４の画像を選択する画像選択ステップと、
   を有する画像評価方法。
5. 欠損領域を修復した画像が入力される第１入力部と、
   前記第１入力部に入力された前記欠損領域を含む画像に対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する特徴量抽出部と、
   を備え、
   前記特徴量は、前記輪郭上にある画素の色と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素の色とに基づいて求める第１の特徴量と、前記輪郭上にある画素のエッジ強度と、前記輪郭に対応する画素の周辺に位置する前記欠損領域に含まれない画素のエッジ強度とに基づいて求める第２の特徴量と、前記輪郭上にある画素におけるエッジ方向と、前記輪郭に対応する画素の周辺に位置し、かつ、前記欠損領域に含まれない画素のエッジ方向とに基づいて求める第３の特徴量とのいずれか一つを少なくとも含む画像情報取得装置。
6. 前記輪郭上にある画素を中心とした小領域において、
   前記第１の特徴量は、以下の（式７）〜（式９）に基づいて求めるものであり、
   

   

   前記第２の特徴量は、以下の（式１０）〜（式１２）に基づいて求めるものであり、
   

   

   前記第３の特徴量は、前記輪郭に対応する画素における水平方向のエッジ強度及び垂直方向のエッジ強度に基づいて当該画素におけるエッジ方向を特定して、特定したエッジ方向に基づいて求めるものである請求項５に記載の画像情報取得装置。
7. 欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第２の画像と、前記複数の第２の画像に対する画質評価の順位である評価順位とが入力される第２入力部と、
   前記第２入力部に入力された複数の前記第２の画像を入力して前記特徴量を抽出する請求項５又は請求項６に記載の前記画像情報取得装置と、
   抽出した前記特徴量と、前記第２入力部に入力された前記評価順位との対応関係を学習する学習処理部と、
   を備える画像評価装置。
8. 欠損領域を有する第１の画像に対して複数の修復方法で修復した複数の第３の画像が入力される第３入力部と、
   前記第３入力部に入力された複数の前記第３の画像を入力して、前記特徴量を抽出する請求項５又は請求項６に記載の前記画像情報取得装置と、
   抽出した前記特徴量に基づいて複数の前記第３の画像の中から画質評価の最も高い第４の画像を選択する画像選択部と、
   を備える画像評価装置。
9. 請求項５又は請求項６に記載の前記画像情報取得装置又は請求項７又は請求項８に記載の前記画像評価装置における各機能部を、コンピュータにより実現させるための画像処理プログラム。

Images