JP6450287B2 - 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム - Google Patents

Description

本発明は、学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラムに関する。

写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さっている不要なものを撮影してしまうことがある。被写体に被さった不要なものを含んで撮影された静止画像や動画像は、視聴における体感品質を大きく損なってしまうおそれがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。

また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの映像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も映像の視聴の体感品質を大きく損なうおそれがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。

以下、静止画像や動画像における、不要な物の映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が、欠損領域以外の領域（以下、「欠損周辺領域」という。）との見た目に違和感なく補完された画像を取得する修復処理をコンプリーション（Completion）処理という。

欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献１に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。

図９は、欠損領域を表すマスクの例を示す図である。図９（Ａ）は、マスクを二値の画像で与える一例である。図９（Ａ）に示すマスク画像７１は、画像処理を施す対象の原画像である画像７０とは別に与えられる。このマスク画像７１は、ドットパターンを付与した領域７１ａに示す領域に対して画像処理を行うことを示し、白抜きの領域７１ｂに示す領域に対して画像処理を行わないことを示している。

図９（Ｂ）は、画像処理を施す対象の画像７０にドットパターンで示すマスク７２を重畳することで、マスク領域を特定する一例である。図９（Ｂ）に示すマスク７２は、マスク７２で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図９（Ｂ）のようにマスク７２を画像７０に重畳する場合には、マスク７２は、他の領域との区別が容易な色やパターンなどで与えられる。他の領域との区別が容易な色とは、例えば画像７０内で使用されていない色を用いる。

コンプリーション処理の手法の一つにパッチ単位で逐次修復を行う手法がある。パッチ単位で逐次修復を行うコンプリーション処理は以下の手順によって行われる。
（手順１）コンプリーション処理の対象となる画像内の領域から、欠損領域と欠損周辺領域とを共に含む小領域（以下、「コンプリーション対象パッチ」という。）を選択する。欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する（例えば、非特許文献２参照）。
（手順２）手順１で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像である。
（手順３）手順２で探索した類似パッチを、手順１で選択されたコンプリーション対象パッチにコピーする。
以上の手順１〜３に示した処理が、コンプリーション対象領域であるマスクで示される欠損領域が無くなるまで繰り返し行なわれる。

上述したコンプリーション処理は、選定する手法やパラメータによって結果として出力される画像が変化する。よって、コンプリーション処理において、予め最適な手法やパラメータを設定するためには、コンプリーション処理後の画像の画質を適切に評価して、画質の良い画像を特定する技術が必要である。画像データに対して、その見た目の自然さを評価する方法としてＳＳＥＱ（Spatial-Spectral Entropy-based Quality）が知られている（例えば、非特許文献３参照）。そして、コンプリーション処理を行った画像に対して、ＳＳＥＱを用いて画質の評価を行う構成が考えられる。

しかしながら、非特許文献３に記載されたＳＳＥＱによる画像評価は、コンプリーション処理によって得られた画像の画質の違いを検出する精度が低いという問題がある。そのため、画質の良い画像を特定するには、人間が手動でコンプリーション処理後の画像を観測して選択する必要があり、このような作業には時間と労力を必要とする問題があった。

上記問題に対応する方法として、複数の様々な手法やパラメータでコンプリーション処理された複数枚の画像であって、予め各画像の画質を評価して順位付けした評価順位が付与された複数枚の画像に対して、ランキング学習を用いて処理する方法が考えられる。このランキング学習を用いた処理は、上記複数枚の画像より抽出した特徴量と、各画像の評価順位との対応を学習して、自動で評価順位の高い画像を得ることができるようにするものである。ここでランキング学習とは、機械学習の枠組みで、画像の特徴量と評価順位の対応関係をあらかじめ学習し、生成した学習モデルにより２枚以上の画像の評価順位を特定する手法である。このようなランキング学習には、ＳＶＭ（Support Vector Machine）−Ｒａｎｋを用いたり、非特許文献４に記載のＳＶＭを用いたりすることができる。

Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70 A. Criminisi, P. Perez, and K. Toyama, "Region Filling and Object Removal by Exemplar-Based Image Inpainting", IEEE TRANSACTIONS ON IMAGEPROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004. Lixiong Liu, Bao Liu, Hua Huang, and Alan Conrad Bovik, "No reference image quality assessment based on spatial and spectral entropies", Sig. Proc.: Image Comm., Vol. 29, No. 8, pp. 856-863, 2014. T. Joachims, "Training Linear SVMs in Linear Time", Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD), 2006

しかし、上述したようにランキング学習を用いてコンプリーション処理等の修復処理を行った画像の評価順位を特定する手法では、予め修復処理後の各画像の画質を評価して順位付けした評価順位が付与された複数枚の画像を含む学習データを用意する必要がある。このような学習データを用意する作業は、非常に手間のかかる作業である。

上記事情に鑑み、本発明は、欠損領域に対して修復処理を行った画像に対応した学習データを自動で生成することができる学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラムの提供を目的としている。

本発明の一態様は、第１の画像データと、前記第１の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力部と、前記入力部に入力された前記第１の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第２の画像データを生成し、前記第１の画像データ及び前記第２の画像データと、前記第１の画像データ及び前記第２の画像データの評価順位とを含む学習データを生成する学習データ生成部と、を備える学習データ生成装置である。

本発明の一態様は、前記学習データ生成装置が生成した前記学習データに基づいて、前記第１の画像データ及び前記第２の画像データから特徴量を抽出する第１の特徴量抽出部と、前記第１の特徴量抽出部が抽出した前記第１の画像データ及び前記第２の画像データの前記特徴量と、前記学習データに含まれる前記第１の画像データ及び前記第２の画像データの前記評価順位とに基づいて、前記特徴量と前記評価順位との対応関係を示す学習モデルを生成する学習モデル生成部と、を備える学習装置である。

本発明の一態様は、欠損領域を含む第３の画像データを修復して得た第４の画像データに対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する第２の特徴量抽出部と、前記第２の特徴量抽出部が抽出した前記特徴量と、前記学習装置で生成した前記学習モデルとに基づいて、前記第４の画像データを評価する評価部と、を備える画像評価装置である。

本発明の一態様は、第１の画像データと、前記第１の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力ステップと、前記入力ステップにおいて入力された前記第１の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第２の画像データを生成する生成ステップと、前記第１の画像データ及び前記生成ステップで生成された前記第２の画像データと、前記第１の画像データ及び前記第２の画像データの評価順位とを含む学習データを生成する学習データ生成ステップと、を有する学習データ生成方法である。

本発明の一態様は、前記学習データ生成方法において生成した前記学習データに基づいて、前記第１の画像データ及び前記第２の画像データから特徴量を抽出する第１の特徴量抽出ステップと、前記第１の特徴量抽出ステップにおいて抽出した前記第１の画像データ及び前記第２の画像データの前記特徴量と、前記学習データに含まれる前記第１の画像データ及び前記第２の画像データの前記評価順位とに基づいて、前記特徴量と前記評価順位との対応関係を示す学習モデルを生成する学習モデル生成ステップと、を有する学習方法である。

本発明の一態様は、欠損領域を含む第３の画像データを修復して得た第４の画像データに対して、前記欠損領域の輪郭に対応する画素から特徴量を抽出する第２の特徴量抽出ステップと、前記第２の特徴量抽出ステップにおいて抽出した前記特徴量と、請求項５に記載の前記学習方法において生成した前記学習モデルとに基づいて、前記第４の画像データを評価する評価ステップと、を有する画像評価方法である。

本発明の一態様は、前記学習データ生成装置、前記学習装置及び前記画像評価装置のいずれか一つにおける各機能部を、コンピュータにより実現させるための画像処理プログラムである。

本発明により、欠損領域に対して修復処理を行った画像に対応した学習データを自動で生成することができる。

本実施形態における画像処理システムの構成例を示す図である。 本実施形態における画像入力部２００に入力される原画像およびマスクデータと、生成される学習データの関係を示す図である。 学習データ２４の具体例を示す図である。 本実施形態における学習モデル取得装置２０の動作を示すフロー図である。 本実施形態における修復情報格納部１０２に格納されるパラメータリストの具体例を示す図である。 欠損領域Ｄの輪郭に着目して特徴量を算出する具体例を示す図である。 画素ｐを中心とするエッジ方向を特定する情報の具体例を示す図である。 本実施形態における画像評価装置１０の動作を示すフロー図である。 欠損領域を表すマスクの例を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。
図１は、本実施形態における画像処理システムの構成例を示す図である。図１に示すように、画像処理システム１は、入力された画像に対して複数種類の修復処理を行い複数の修復後画像を生成し、複数の修復後画像の画質を評価し、画質の評価の高い修復後画像を選択する画像評価装置１０と、入力された学習データである画像から少なくとも一つの特徴量を抽出し、抽出した特徴量と画像の画質の評価との関係を示す学習モデルを取得する学習モデル取得装置２０とを備える。

＜学習モデル取得装置２０の構成について＞
学習モデル取得装置２０の構成について説明する。
学習モデル取得装置２０は、画像入力部２００と、画像入力部２００に入力された画像データに基づいて学習データを生成する学習データ生成部２０１と、特徴量抽出部２０２と、学習リストＤＢ（データベース）２０３と、評価順位学習部２０４とを備える。

画像入力部２００には、原画像（第１の画像データ）および原画像に対してノイズを付加して模擬的にコンプリーション処理により修復した欠損領域とする領域を示すマスクデータが入力される。図２は、本実施形態における画像入力部２００に入力される原画像およびマスクデータと、生成される学習データとの関係を示す図である。図２に示すように、画像入力部２００には、原画像２２０と、原画像２２０に対してノイズを付加して模擬的に修復した欠損領域Ｄとする領域を示すマスクデータ２２１とが入力される。マスクデータ２２１は、ノイズを付加して模擬的にコンプリーション処理にて修復した欠損領域Ｄに対応する画素の集合｛（ｄ_ｘ１，ｄ_ｙ１），…，（ｄ_ｘｎ，ｄ_ｙｎ）｝で表しても良い。また、マスクデータ２２１は、原画像２２０と同じ大きさの画像であって、欠損領域Ｄを１、そうでない領域を０とした２値画像としてもよい。

学習データ生成部２０１は、原画像２２０に基づいて、コンプリーション処理（修復処理）の影響による画質の劣化を模擬的に実現するためのノイズを加えた画像であるノイズ付加画像２２２〜２２５を生成する。学習データ生成部２０１は、原画像２２０にボケ（ブラー）を加えたノイズ付加画像２２２と、原画像２２０を垂直方向に移動させて垂直ずれを加えたノイズ付加画像２２３と、原画像２２０を水平方向に移動させて水平ずれを加えたノイズ付加画像２２４と、原画像２２０を回転方向に回転させて回転ずれを加えたノイズ付加画像２２５とを生成する。

学習データ生成部２０１は、ノイズ付加画像２２２〜２２５に対して、マスクデータ２２１に基づいたマスク処理を行い、原画像２２０に対して欠損領域Ｄに該当する領域のみをノイズ付加画像２２２〜２２５で置き換えたダミー画像（第２の画像データ）２２６〜２２９を生成する。これにより、ダミー画像２２６〜２２９は、欠損領域Ｄに対してコンプリーション処理を行うことで画質の劣化が生じた状態を模擬的に実現した画像となる。このダミー画像２２６〜２２９は、学習データに含まれる画像データである。

学習データ生成部２０１は、ノイズを含まない原画像２２０に対して画質を評価して順位付けした評価順位＝１位を付与して、ノイズを含むダミー画像２２６〜２２９に対しては評価順位＝２位を付与して、評価順位を関連付けた原画像２２０及びダミー画像２２６〜２２９を含む学習データを生成する。

ここで、ノイズ付加画像２２２〜２２５を生成する方法の具体例について説明する。
学習データ生成部２０１は、原画像２２０にブラーを付加してノイズ付加画像２２２を生成する方法として、原画像２２０にローパスフィルタをかける処理によって生成する方法を用いる。学習データ生成部２０１は、垂直ずれを付加してノイズ付加画像２２３を生成する方法として、原画像２２０をｘ％拡大し、垂直方向にα１画素分ずらす処理によって生成する方法を用いる。

学習データ生成部２０１は、水平ずれを付加してノイズ付加画像２２４を生成する方法として、原画像２２０をｘ％拡大し、水平方向にα２画素分ずらす処理によって生成する方法を用いる。学習データ生成部２０１は、回転ずれを付加してノイズ付加画像２２５を生成する方法として、原画像２２０の中心を回転中心としてα度回転させる処理によって生成する方法を用いる。

ここで、α１、α２は、１以上の整数値であり、原画像２２０の欠損領域Ｄ内にオブジェクトが存在する場合は、ノイズ付加画像２２３、２２４において、そのオブジェクトが欠損領域Ｄの外に出るまでずれないような値とする。α度は、１以上で３６０の倍数を除く整数であり、かつ、回転によって変化するピクセル値が存在する値である。回転によって変化するピクセル値が存在する値とは、例えば回転対象のオブジェクトがあり、その回転対象のオブジェクトの中心を、回転ずれの回転の中心とした場合に、回転対象のオブジェクトが重なる（回転前と回転後とで同じ図形となる）角度を除く値である。

なお、画像にコンプリーション処理の影響による画質の劣化を模倣したノイズを加えた画像は、上述したノイズ付加画像２２２〜２２５に限定されるものではない。例えば、斜め方向のズレを加えた画像や、ブラーと所定方向のズレとを組み合わせたノイズを加えた画像等を用いてもよい。

また、ノイズを加える処理により、原画像２２０から値の変化した画素があるか、原画像２２０とノイズ付加後のノイズ付加画像との差分を検出する検出部を備える構成としてもよい。この検出部を備えることで、差分がほとんどない場合は、十分なノイズをできなかったとして、原画像２２０に対して異なる値のパラメータ（α１、α２、α）を用いてノイズを付加するようにすることができる。

学習データ生成部２０１は、具体的には以下の手順でダミー画像２２６〜２２９の生成を行う。画像入力部２００には、原画像２２０とマスクデータ２２１とが入力される。ここではマスクデータ２２１に基づいたコンプリーション処理を行うわけではなく、マスクデータ２２１は、コンプリーション処理された欠損領域Ｄを示すために用意したものである。

学習データ生成部２０１は、原画像２２０に対して上述した種々のノイズを付加することでノイズ付加画像２２２〜２２５を生成する。学習データ生成部２０１は、このノイズを付加する処理を原画像２２０の全体に対して行う。例えばブラーを付加する処理であれば学習データ生成部２０１は、原画像２２０の全体に対してローパスフィルタを掛けた画像をノイズ付加画像２２２として生成する。

学習データ生成部２０１は、原画像２２０に対してマスクデータ２２１で示した領域Ｄのみノイズ付加画像２２２〜２２５のデータに置き換えてダミー画像２２６〜２２９を生成する。例えば、ダミー画像２２６においては、領域Ｄに対応する矩形領域の内部のみがノイズ付加画像２２２のデータであり、その他の領域は原画像２２０のデータで構成されている。ダミー画像２２６は、欠損領域Ｄに対してコンプリーション処理を行うことで画質の劣化が生じた状態を模擬的に実現した画像となる。これに対して、原画像２２０は、欠損領域Ｄに対してコンプリーション処理を行うことで画質の劣化を全く生じていない状態を模擬的に実現した画像となる。

学習データ生成部２０１が生成する学習データの構成例について説明する。図３は、学習データ２４の具体例を示す図である。図３に示すように、学習データ２４は、一連の評価順位を付与した画像のグループを示すグループＩＤ２４１と、修復後の画像データに対する評価順位２４２と、修復後の画像データ２４４を得る際に用いたマスク情報２４３と、修復後の画像データ２４４とを含むリスト形式のデータである。学習データ２４は、いくつの修復後の画像データ２４４を比較するかによってリストの長さが変化する可変長テーブルである。

図３に示すように、学習データ２４は、グループＩＤに関連付けてマスク情報２４３と、修復後の画像データ２４４と、同一グループの修復後の画像データ２４４中における評価順位２４２とを対応付けるものである。したがって、同一グループ内の修復後の画像データ２４４の個数は、２以上である必要がある。また、同一のグループＩＤの修復後の画像データ２４４の個数がＫ個である場合、そのなかで同順位のものの個数は、少なくとも一つ異なる評価順位を付与可能とするためにＫ−１個以下でなければならない。

図２に示す原画像２２０及びダミー画像２２６〜２２９と図３に示すデータとの対応の一例を説明する。図３に示す修復後の画像データ２４４の「ｏｕｔｐｕｔ１．ｂｍｐ」は、例えば図２に示す原画像２２０であり、画質の劣化がないので評価順位は１位を示す「１」となる。修復後の画像データ２４４の「ｏｕｔｐｕｔ２．ｂｍｐ」は、例えばダミー画像２２６であり、ノイズの付加により画質が劣化しているので評価順位は２位を示す「２」となる。修復後の画像データ２４４の「ｏｕｔｐｕｔ３．ｂｍｐ」は、例えばダミー画像２２７であり、ノイズの付加により画質が劣化しているので評価順位は２位を示す「２」となる。図２のマスクデータ２２１は、例えば、図３の「ｍａｓｋ１．ｂｍｐ」である。図３に示すように学習データ２４は、ＩＤ別に異なる原画像、マスクデータ及びそれらの原画像及びマスクデータに基づいて作成したダミー画像を関連付けて、かつ、原画像には評価順位＝１位を、ダミー画像には評価順位＝２位を関連付けている。

特徴量抽出部２０２は、欠損領域Ｄの輪郭に着目して、色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する。特徴量抽出部２０２は、原画像２２０と、ダミー画像２２６〜２２９と、マスクデータ２２１とに基づいて、原画像２２０及びダミー画像２２６〜２２９から特徴量を抽出する。なお、色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する詳細な方法については、後述する。

学習リストＤＢ２０３は、グループＩＤに関連づけて、評価順位２４２と、３つの特徴量とを格納するデータベースである。

評価順位学習部２０４は、学習リストＤＢ２０３から学習リストを参照して、画像の特徴量と評価順位との対応関係についてランキング学習を行うことで学習モデルを生成する。ランキング学習とは、機械学習の枠組みで、画像の特徴量と評価順位との対応関係をあらかじめ学習して学習モデルを生成する処理である。この学習モデルを用いると、２枚以上の画像の特徴量に基づいて、それらの画像に対する評価順位を算出することができる。このようなランキング学習は、公知の技術であり、例えば、ＳＶＭ（Support Vector Machine）−Ｒａｎｋなどの方法が利用可能である。

評価順位学習部２０４は、画像の特徴量と、画像の評価順位との対応関係を示す学習モデルを生成して、画像評価装置１０へ出力する。評価順位学習部２０４は、画像から抽出された色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量と、その画像の評価順位との対応関係を示す学習モデルを生成する。

なお、評価順位学習部２０４において生成された学習モデルは、データを多段階に分類する用途であれば評価順位を推定する構成に限定されるものではない。例えば、ＳＶＭを用いて学習リストを処理することで、画像の特徴量に基づいて例えば画質評価ＯＫと画質評価ＮＧとを示す二値分類を行う学習モデルを生成してもよい。学習モデルが出力する値は、二値に限定されるものではなく、例えば５段階の多値分類を出力してもよい。

＜学習モデル取得装置２０の動作について＞
次に、本実施形態における学習モデル取得装置２０の動作について説明する。図４は、本実施形態における学習モデル取得装置２０の動作を示すフロー図である。画像入力部２００において、原画像２２０及びマスクデータ２２１が入力される（ステップＳ２００）。学習データ生成部２０１は、原画像２２０及びマスクデータ２２１に基づいて、図２、図３に示すような原画像２２０、ダミー画像２２６〜２２９、原画像２２０の評価順位及びダミー画像２２６〜２２９の評価順位を含む学習データ２４を生成する（ステップＳ２０１）。

特徴量抽出部２０２は、学習データ生成部２０１が生成した学習データ２４の全てに対して特徴量を抽出するループ処理を開始する（ステップＳ２０２）。特徴量抽出部２０２は、処理対象の学習データ２４から修復後の画像データ２４４を取得する（ステップＳ２０３）。特徴量抽出部２０２は、取得した修復後の画像データ２４４に対して、欠損領域Ｄの輪郭に着目して、色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する。特徴量抽出部２０２は、グループＩＤに関連付けて、抽出した特徴量と、画像データ２４４の評価順位２４２とを学習リストＤＢ２０３に格納する（ステップＳ２０４）。

特徴量抽出部２０２は、処理対象の学習データ２４が最後のデータでなければステップＳ２０２に戻り、処理対象の学習データ２４が最後のデータであればループ処理を終了して、ステップＳ２０６に進む（ステップＳ２０５）。以上のループ処理によって、学習リストＤＢ２０３には、グループＩＤに関連づけて、評価順位２４２と、３つの特徴量とを格納するデータベースが構築される。

評価順位学習部２０４は、学習リストＤＢ２０３から学習リストを参照して、画像の特徴量と評価順位との対応関係について学習処理を行うことで学習モデルを生成する（ステップＳ２０６）。評価順位学習部２０４が生成した学習モデルは、画像評価装置１０へ出力され、学習モデルＤＢ１０５に格納される。

＜画像評価装置１０の構成について＞
画像評価装置１０の構成について説明する。
画像評価装置１０は、入力部１０１と、修復情報格納部１０２と、修復処理部１０３、特徴量抽出部１０４と、学習モデルＤＢ（データベース）１０５と、画像選択部１０６とを備える。入力部１０１は、コンプリーション処理（修復処理）を施す対象の画像（第３の画像データ）Ｉ_ｉｎと、欠損領域を指定するマスク画像Ｉ_ｍａｓｋ又はマスク領域を表す色情報Ｃとが入力される。画像Ｉ_ｉｎとして入力される画像は、静止画像や動画像（映像）である。入力部１０１は、マスク画像Ｉ_ｍａｓｋ又は色情報Ｃに基づいて画像Ｉ_ｉｎにおける欠損領域Ｄを求める。ここで、色情報ＣはＲＧＢ値（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）をもつ三次元ベクトルＣ（Ｒ、Ｇ、Ｂ）で表すことができ、例えばマゼンダの色を有する。色情報Ｃは、マスク領域として指定されている場合はＣ（Ｒ、Ｇ、Ｂ）＝（２５５，０，２５５）のように表すことができる。

入力部１０１における具体的な処理について、図９を用いて説明する。入力部１０１は、図９（Ａ）に示した原画像である画像７０が画像Ｉ_ｉｎとして入力され、かつ、欠損領域を示すマスク画像７１が入力された場合は、領域７１ｂで示された領域を欠損領域Ｄとして特定する。また、入力部１０１は、図９（Ｂ）に示した原画像である画像Ｉ_ｉｎとして画像７０と、その画像７０に重畳された色情報Ｃであるマスク７２とが入力された場合は、マスク７２で示された領域とそうでない領域を二値で表したマスク画像を生成し、これを欠損領域Ｄとして用いる。欠損領域Ｄは，欠損として指定されたピクセルの位置の集合｛（ｄ_ｘ１，ｄ_ｙ１），…，（ｄ_ｘｎ，ｄ_ｙｎ）｝で表しても良い。また、欠損領域Ｄは、画像Ｉ_ｉｎと同じ大きさの画像であって、欠損領域を１、そうでない領域を０とした２値画像としてもよい。

修復情報格納部１０２は、修復手法、パッチサイズ、ピラミッド階層数などの修復パラメータがＭ個、リスト形式で登録される。図５は、本実施形態における修復情報格納部１０２に格納されるパラメータリストの具体例を示す図である。図５に示すように、各パラメータリストを識別するＩＤに関連付けて、コンプリーション処理の方法を示す修復方法と、その修復方法に用いるパラメータ１、２、…、Ｎとが格納されている。ここで、例えばパラメータ１は、コンプリーション対象パッチの大きさを示すパッチサイズ、パラメータ２は、類似パッチを探索する画像の解像度を段階的に変更する場合のピラミッド階層数である。

図５の具体例では、ＩＤ＝１、２、…、Ｍが設定されている。すなわち、修復情報格納部１０２は、Ｍ種類（Ｍは２以上の整数）の修復情報であるパラメータリストを有している。修復情報として、ＩＤ＝１に関連付けて、修復手法＝Ａ、パラメータ１＝３、パラメータ２＝３、…、パラメータＮ＝Ｉが格納されており、ＩＤ＝Ｍに関連付けて、修復方法＝Ｘ、パラメータ１＝５、パラメータ２＝２、…、パラメータＮ＝Ｊが格納されている。

修復処理部１０３は、入力部１０１からコンプリーション対象の画像Ｉ_ｉｎ及び欠損領域Ｄが入力され、修復情報格納部１０２からパラメータリストを取得する。修復処理部１０３は、Ｍ種類のパラメータリスト全てに対応した修復処理を行い、Ｍ枚の修復後の画像（第４の画像データ）Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を出力する。

特徴量抽出部１０４は、修復処理部１０３から入力される修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を入力とし、各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量を抽出して出力する。具体的には、特徴量抽出部１０４は、欠損領域Ｄの輪郭に対応する画素の値に基づいて、色一貫性特徴量（第１の特徴量）Ｆ_ｕ、エッジ一貫性特徴量（第２の特徴量）Ｆ_ｖ及びエッジ連続性特徴量（第３の特徴量）Ｆ_ｃの３つの特徴量を抽出する。ここで、欠損領域Ｄの輪郭に対応する画素は、欠損領域Ｄの輪郭上に位置する画素の他に、欠損領域Ｄの輪郭上に位置する画素の周辺に位置する画素も含むものとする。

図６は、欠損領域Ｄの輪郭に着目して特徴量を算出する具体例を示す図である。図６において、斜線部分で示す領域Ωは、欠損領域Ｄを示し、その欠損領域Ｄの輪郭をδΩで表す。輪郭δΩ上にある画素ｐを中心とした３×３のサイズのパッチをＰ（ｐ）で表す。

＜＜色一貫性特徴量Ｆ_ｕの算出方法＞＞
特徴量抽出部１０４は、輪郭δΩ上にある画素ｐを中心とした小領域のパッチＰ（ｐ）毎に欠損領域Ｄに含まれ画素の色と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素の色とに変化があるか否かを示す特徴量である色一貫性特徴量Ｆ_ｕを以下に説明する（式１）〜（式３）に基づいて算出する。まず、特徴量抽出部１０４は、以下の（式１）に基づいて第１色特徴量Ｕ_１を算出する。

ここで、ｕ（ｑ）はパッチＰ（ｐ）に含まれる画素ｑのＲＧＢ値である。

上記（式１）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、輪郭δΩ上及び輪郭δΩ内に位置する画素（以下、欠損領域画素という）のＲＧＢ値のそれぞれを加算した値を第１色特徴量Ｕ_１として算出する。

次に、特徴量抽出部１０４は、以下の（式２）に基づいて第２色特徴量Ｕ_２を算出する。

上記（式２）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、欠損領域画素を除いた画素のＲＧＢ値のそれぞれを加算した値を第２色特徴量Ｕ_２として算出する。

特徴量抽出部１０４は、第１色特徴量Ｕ_１を欠損領域画素の画素数ａで割った画素平均値と、第２色特徴量Ｕ_２とをパッチＰ（ｐ）の総画素数（図６では３×３＝９画素）から画素数ａを差し引いた画素数ｂ（図６ではｂ＝９−ａ）で割った平均値との比を計算する以下の（式３）に基づいて、色一貫性特徴量Ｆ_ｕを算出する。

色一貫性特徴量Ｆ_ｕは（式１）〜（式３）から明らかなように、パッチＰ（ｐ）の領域において、欠損領域画素の色と、欠損領域画素でない欠損領域Ｄの周辺の画素の色とが一貫しているほど（同じ色であるほど）１に近づく値である。色一貫性特徴量Ｆ_ｕは、パッチＰ（ｐ）の領域において、欠損領域画素の色と、欠損領域画素でない欠損領域Ｄの周辺の画素の色とが異なるほど（違う色であるほど）第１色特徴量Ｕ_１＞第２色特徴量Ｕ_２であれば大きな値に、第１色特徴量Ｕ_１＜第２色特徴量Ｕ_２であれば０に近づく値である。

上述した（式１）〜（式３）を用いて求めた色一貫性特徴量Ｆ_ｕは一例であり、これに限定されるものではない。例えば、（式３）に示した色一貫性特徴量Ｆ_ｕに対して、定数を乗除算した値や、定数を加減算した値を、色一貫性特徴量Ｆ_ｕとしてもよい。特徴量抽出部１０４は、欠損領域Ｄに含まれる画素の色と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素の色とに変化があるか否かを示す特徴量を計算する種々の計算式を用いて色一貫性特徴量Ｆ_ｕを算出してもよい。特徴量抽出部１０４は、例えば、欠損領域Ｄに含まれ画素の色と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素の色との色差を色一貫性特徴量Ｆ_ｕとして算出してもよい。

＜＜エッジ一貫性特徴量Ｆ_ｖの算出方法＞＞
特徴量抽出部１０４は、小領域のパッチＰ（ｐ）毎に欠損領域Ｄに含まれ画素のエッジ強度と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素のエッジ強度とに変化があるか否かを示す特徴量であるエッジ一貫性特徴量Ｆ_ｖを以下に説明する（式４）〜（式５）に基づいて算出する。まず、特徴量抽出部１０４は、以下の（式４）に基づいて第１エッジ特徴量Ｖ_１を算出する。

ここで、ｖ（ｑ）はパッチＰ（ｐ）に含まれる画素ｑのエッジ強度を表す。

上記（式４）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、欠損領域画素のエッジ強度を加算した値を第１エッジ特徴量Ｖ_１として算出する。画素のエッジ強度とは、例えば、画素ｑと周辺の画素との輝度値の差の絶対値を加算して求める。画素の輝度値は、例えば画素のＲＧＢ値を用いてＲ＋Ｇ＋Ｂで求まる値である。

次に、特徴量抽出部１０４は、以下の（式５）に基づいて第２エッジ特徴量Ｖ_２を算出する。

上記（式５）に示すように、特徴量抽出部１０４は、パッチＰ（ｐ）に含まれる３×３の画素の内、欠損領域画素を除いた画素のエッジ強度を加算した値を第２エッジ特徴量Ｖ_２として算出する。

特徴量抽出部１０４は、第１エッジ特徴量Ｖ_１を欠損領域画素の画素数ａで割った画素の平均値と、第２エッジ特徴量Ｖ_２とをパッチＰ（ｐ）の総画素数から画素数ａを差し引いた画素数ｂで割った画素の平均値との比を計算する以下の（式６）に基づいて、エッジ一貫性特徴量Ｆ_ｖを算出する。

エッジ一貫性特徴量Ｆ_ｖは（式４）〜（式６）から明らかなように、パッチＰ（ｐ）の領域において、欠損領域画素のエッジ強度と、欠損領域画素でない欠損領域Ｄの周辺の画素のエッジ強度とが一貫しているほど（同程度のエッジ強度であるほど）１に近づく値である。エッジ一貫性特徴量Ｆ_ｖは、パッチＰ（ｐ）の領域において、欠損領域画素のエッジ強度と、欠損領域画素でない欠損領域Ｄの周辺の画素のエッジ強度とが異なるほど第１エッジ特徴量Ｖ_１＞第２エッジ特徴量Ｖ_２であれば大きな値に、第１エッジ特徴量Ｖ_１＜第２エッジ特徴量Ｖ_２であれば０に近づく値である。

上述した（式４）〜（式６）を用いて求めたエッジ一貫性特徴量Ｆ_ｖは一例であり、これに限定されるものではない。例えば、（式６）に示したエッジ一貫性特徴量Ｆ_ｖに対して、定数を乗除算した値や、定数を加減算した値を、エッジ一貫性特徴量Ｆ_ｖとしてもよい。特徴量抽出部１０４は、欠損領域Ｄに含まれ画素のエッジ強度と、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素のエッジ強度とに変化（レベル差）があるか否かを示す特徴量を計算する種々の計算式を用いてエッジ一貫性特徴量Ｆ_ｖを算出してもよい。

特徴量抽出部１０４は、例えば、欠損領域Ｄに含まれる画素のエッジ強度をエッジ方向情報も合わせて取得し、欠損領域Ｄに含まれない欠損領域Ｄ周辺の画素のエッジ強度をエッジの方向情報も合わせて取得し、エッジの方向の一致度に応じた重み係数を乗算して、加算する処理によりエッジ一貫性特徴量Ｆ_ｖを算出してもよい。なお、エッジの方向の一致度に応じた重み係数とは、例えば、同じ方向であれば１、反対方向であれば−１となる一致度に応じて−１〜１まで変化する係数である。また、特徴量抽出部１０４は、画素の輝度値に基づいてエッジ強度を求める構成であったが、これに限定されるものではない。特徴量抽出部１０４は、例えば、画素のＲＧＢ値に基づいてエッジ強度を求めてもよい。この場合、Ｒ、Ｇ、Ｂの各色別にエッジ強度が求まる。

＜＜エッジ連続性特徴量Ｆ_ｃの算出方法＞＞
特徴量抽出部１０４は、輪郭δΩ上にある各画素ｐにおけるエッジ方向と、画素ｐに隣接する画素のエッジ方向とに変化があるか否かを示す特徴量であるエッジ連続性特徴量Ｆ_ｃを以下に示す方法で算出する。

特徴量抽出部１０４は、輪郭δΩ上に位置する各画素ｐについて、エッジ方向を求める。このエッジ方向は、画素ｐを中心とするエッジ方向にある近傍の２画素を特定する情報であればよい。図７は、画素ｐを中心とするエッジ方向を特定する情報の具体例を示す図である。図７に示す通り画素ｐを中心として左下画素と右上画素とを通る斜め方向（１）と、左画素と右画素とを通る横方向（２）と、上画素と下画素とを通る縦方向（３）と、右下画素と左上画素とを通る斜め方向（４）とがある。特徴量抽出部１０４は、図７に示す４方向のうち、尤もらしい方向を特定すれば良い。特徴量抽出部１０４は、例えば、画素ｐの輝度値におけるｘ、ｙ方向のエッジ強度（ｄｘ，ｄｙ）に基づいて、ｃ（ｐ）＝ｄｙ／ｄｘを求め（ｔａｎｇｅｎｔを求めることに相当）その傾きから４つの方向のうちどこに該当するかを求める方法が挙げられる。

次に、特徴量抽出部１０４は、画素ｐに隣接する画素ｐｐと画素ｐｎについても同様にｃ（ｐｐ）、ｃ（ｐｎ）を求めて、これらの平均値ｃ（ｐ’）＝［ｃ（ｐｐ）＋ｃ（ｐｎ）］／２を求める。特徴量抽出部１０４は、ｃ（ｐ）、ｃ（ｐ’）を輪郭δΩ上にある全ての画素について求めて、ｃ（ｐ）で特定される第１のエッジ方向と、ｃ（ｐ’）で特定される第２のエッジ方向を取得する。特徴量抽出部１０４は、第１のエッジ方向と第２のエッジ方向とにおける方向の一致度を示す相関値を求めて、この相関値をエッジ連続性特徴量Ｆ_ｃとする。なお、画素ｐに隣接する画素ｐｐと画素ｐｎの位置は、例えば、画素ｐの下方向に隣接する画素を画素ｐｐとし、画素ｐの右方向に隣接する画素を画素ｐｎの位置とするが、これに限定されるものではない。

学習モデルＤＢ１０５は、学習モデル取得装置２０が取得した、画像の特徴量と、画像の画質の評価との関係を示す学習モデルを格納している。学習モデルは、具体的には、少なくとも２つ以上の特徴量を入力すると、各特徴量を有する画像の画質が優れているかを示す順位を推定して出力するための、特徴量と順位の対応関係を示す情報である。

画像選択部１０６は、特徴量抽出部１０４が抽出した各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量と学習モデルＤＢ１０５に格納される学習モデルとに基づいて、修復処理部１０３が出力したＭ枚の修復後の各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}に対して評価順位を付与し、最も画質が良いと推定される評価順位＝１位の画像Ｉ_ｂｅｓｔを出力する。

＜画像評価装置１０の動作について＞
次に、本実施形態における画像評価装置１０の動作について説明する。図８は、本実施形態における画像評価装置１０の動作を示すフロー図である。入力部１０１において、コンプリーション処理を施す対象の画像Ｉ_ｉｎと、欠損領域を指定するマスク画像Ｉ_ｍａｓｋとが入力される（ステップＳ１０１）。入力部１０１は、マスク画像Ｉ_ｍａｓｋに基づいて画像Ｉ_ｉｎにおける欠損領域Ｄを特定する（ステップＳ１０２）。

修復処理部１０３は、入力部１０１から入力される画像Ｉ_ｉｎと欠損領域Ｄに基づいて、修復情報格納部１０２から取得したＭ種類の修復情報（パラメータリスト）全てに対応した修復処理を画像Ｉ_ｉｎに対して行い、Ｍ枚の修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を出力する（ステップＳ１０３）。特徴量抽出部１０４は、修復処理部１０３から入力される修復後の画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}を入力とし、各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量を抽出して出力する（ステップＳ１０４）。具体的には、特徴量抽出部１０４は、欠損領域Ｄの輪郭に対応する画素の値に基づいて、各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}から色一貫性特徴量Ｆ_ｕ、エッジ一貫性特徴量Ｆ_ｖ及びエッジ連続性特徴量Ｆ_ｃの３つの特徴量を抽出する。

画像選択部１０６は、特徴量抽出部１０４が抽出した各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の特徴量と学習モデルＤＢ１０５に格納される学習モデルとに基づいて、修復処理部１０３が出力したＭ枚の修復後の各画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}に対して評価順位を付与する（ステップＳ１０５）。画像選択部１０６は、画像Ｉ_{ｏｕｔ＿１}〜Ｉ_{ｏｕｔ＿Ｍ}の中から最も画質が良いと推定される評価順位＝１位を付与した画像を選択して画像Ｉ_ｂｅｓｔとして出力する（ステップＳ１０６）。

以上に説明したように、本実施形態における学習モデル取得装置２０は、欠損領域に対して修復処理を行った画像に対応した学習データを自動で生成することができる。本実施形態における画像処理装置３０は、様々な手法やパラメータでコンプリーション処理された複数枚の修復後の画像データに対して、特徴量を抽出し、抽出した特徴量に基づいて修復後の画像データに評価順位を付与することができる。これにより、評価順位の最も良い修復後の画像データを選択することで、自動で最適なコンプリーション処理を施した画像データを得ることができる。また、既存の画像の評価手法とは異なり、欠損領域Ｄの境界に着目した特徴量を抽出して、学習モデルを参照してその特徴量に基づいた評価順位を得ることで、より高精度な画質の評価を実現している。また、学習モデル取得装置２０は、学習データから抽出した特徴量と評価順位とを対応させた学習リストに基づいて学習モデルを生成することで、学習モデルの精度を向上させることができる。

上述した本実施形態における画像評価装置１０及び学習モデル取得装置２０の備える各機能部は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラムは、コンプリーション処理を行う画像処理装置において利用することができる。

１…画像処理システム， １０…画像評価装置， ２０…学習モデル取得装置，１０２…修復情報格納部，１０３…修復処理部，１０４、２０２…特徴量抽出部，１０５…学習モデルＤＢ，１０６…画像選択部，２００…画像入力部，２０１…学習データ生成部，２０３…学習リストＤＢ，２０４…評価順位学習部

Claims (5)

1. 第１の画像データと、前記第１の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力部と、
   前記入力部に入力された前記第１の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第２の画像データを生成し、前記第１の画像データ及び前記第２の画像データと、前記第１の画像データ及び前記第２の画像データの評価順位とを含む学習データを生成する学習データ生成部と、
   を備える学習データ生成装置。
2. 第１の画像データと、前記第１の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力部と、
   前記入力部に入力された前記第１の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第２の画像データを生成し、前記第１の画像データ及び前記第２の画像データと、前記第１の画像データ及び前記第２の画像データの評価順位とを含む学習データを生成する学習データ生成部と、
   前記学習データ生成部が生成した前記学習データに基づいて、前記第１の画像データ及び前記第２の画像データから特徴量を抽出する第１の特徴量抽出部と、
   前記第１の特徴量抽出部が抽出した前記第１の画像データ及び前記第２の画像データの前記特徴量と、前記学習データに含まれる前記第１の画像データ及び前記第２の画像データの前記評価順位とに基づいて、前記特徴量と前記評価順位との対応関係を示す学習モデルを生成する学習モデル生成部と、
   を備える学習装置。
3. 第１の画像データと、前記第１の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力ステップと、
   前記入力ステップにおいて入力された前記第１の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第２の画像データを生成する生成ステップと、
   前記第１の画像データ及び前記生成ステップで生成された前記第２の画像データと、前記第１の画像データ及び前記第２の画像データの評価順位とを含む学習データを生成する学習データ生成ステップと、
   を有する学習データ生成方法。
4. 第１の画像データと、前記第１の画像データにおいて欠損領域とする領域を特定するマスクデータとが入力される入力ステップと、
   前記入力ステップにおいて入力された前記第１の画像データ及び前記マスクデータに基づいて、前記欠損領域に対応する領域にノイズを付加して、模擬的に修復した欠損領域を有する第２の画像データを生成する生成ステップと、
   前記第１の画像データ及び前記生成ステップで生成された前記第２の画像データと、前記第１の画像データ及び前記第２の画像データの評価順位とを含む学習データを生成する学習データ生成ステップと、
   前記学習データ生成ステップにおいて生成した前記学習データに基づいて、前記第１の画像データ及び前記第２の画像データから特徴量を抽出する第１の特徴量抽出ステップと、
   前記第１の特徴量抽出ステップにおいて抽出した前記第１の画像データ及び前記第２の画像データの前記特徴量と、前記学習データに含まれる前記第１の画像データ及び前記第２の画像データの前記評価順位とに基づいて、前記特徴量と前記評価順位との対応関係を示す学習モデルを生成する学習モデル生成ステップと、
   を有する学習方法。
5. 請求項１に記載の前記学習データ生成装置又は請求項２に記載の前記学習装置のいずれか一つにおける各機能部を、コンピュータにより実現させるための画像処理プログラム。

Images