JP6339964B2 - 画像生成装置及びコンピュータプログラム - Google Patents

Description

本発明は、画像生成装置及びコンピュータプログラムに関する。

写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さって不要なものを撮影してしまうことがある。被写体に被さった不要なものが撮影された静止画像や動画像は視聴の体感品質を大きく損なってしまうおそれがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。

また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの画像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も画像の視聴の体感品質を大きく損なうおそれがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。

以下、静止画像や動画像における、不要なものの映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が、欠損領域以外の領域（以下、「欠損周辺領域」という。）との見た目に違和感なく補完された画像を取得する処理をコンプリーション（Completion）処理という。

欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献１に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。

図５は、欠損領域を表すマスクの例を示す図である。図５（Ａ）は、マスクを二値の画像で与える一例である。図５（Ａ）に示すマスクは、画像処理を施す対象の画像とは別に与えられる。このマスクは、領域９１ａで示す領域に対して画像処理を行うことを示し、領域９１ｂで示す領域に対して画像処理を行わないことを示している。図５（Ｂ）は、画像処理を施す対象の画像にマスクを重畳した画像でマスクを与える一例である。図５（Ｂ）に示すマスクは、領域９２で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図５（Ｂ）のようにマスクを与える場合には、領域９２は、他の領域との区別が容易な色やパターンなどで与えられる。

コンプリーション手法の一つにパッチベースの手法がある。パッチベースのコンプリーションは以下の手順によって行うことができる。
（手順１）コンプリーション対象の領域の中から欠損領域と欠損周辺領域とを共に含む小領域（以下、「コンプリーション対象パッチ」という。）を選択する。この方法としては、欠損領域の輪郭上に存在し、かつ、周辺のエッジの強いパッチを選定する方法などが挙げられる（例えば、非特許文献２参照）。
（手順２）手順１で選択されたコンプリーション対象パッチの欠損周辺領域の画素を基に、類似パッチを探索する。探索範囲としては、同一画像又は動画像内やストレージ上に保存されている静止画像や動画像等が挙げられる。
（手順３）手順２で探索した類似パッチを、手順１で選択されたコンプリーション対象パッチにコピーする。
以上の手順１〜３がコンプリーション対象の領域が無くなるまで繰り返し行なわれる。

Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70 A. Criminisi, P. Perez, and K. Toyama, "Region filling and object removal by exemplar-based image inpainting," IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 9, pp. 1200-1212, Sept. 2004.

しかしながら、コンプリーション処理はコンプリーション処理を行う特徴量空間によって結果が異なる。そのため、コンプリーション対象の領域に応じた特徴量空間内でコンプリーション処理を実施することが必要である。しかし、入力画像・映像と異なる特徴量空間で得られたコンプリーション結果を、変換前の元の特徴量空間へ戻す変換は多くの場合１対多変換となるため線形に変換処理が行えない。また、グレースケール空間からＲＧＢ空間への変換を行うカラリゼーション（Colorization）等の処理も存在するが、そのバリエーションは非常に少なく、あらゆる特徴量空間でコンプリーション処理を行い、その結果をＲＧＢ特徴量空間に戻すことは困難であるという問題があった。

上記事情に鑑み、本発明は、所定の変換後の特徴量空間から変換前の特徴量空間への変換を容易に行うことができる技術の提供を目的としている。

本発明の一態様は、欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、前記原画像を表すパラメータで定められる原画像空間と異なる画像空間への変換を前記原画像に対して行うことにより、前記異なる画像空間における第２画像を生成する変換部と、前記マスク情報と前記第２画像とに基づいて、前記第２画像における前記欠損領域に対するコンプリーション処理を行うことにより第３画像を生成するコンプリーション処理部と、前記原画像及び前記第２画像において前記欠損領域に該当しない領域をそれぞれ第１教師データ及び第２教師データとし、前記第１教師データと前記第２教師データとに基づいて、前記第２教師データにおける前記異なる画像空間から前記第１教師データにおける原画像空間への変換に用いられる逆変換を学習する逆変換学習部と、前記第３画像に対して、学習された前記逆変換を用いることによって、前記第３画像を前記異なる画像空間から前記原画像空間へ変換することによって前記第１画像を生成する特徴量空間逆変換部と、を備える画像生成装置である。

本発明の一態様は、上記の画像生成装置であって、前記逆変換学習部は、前記原画像及び前記第２画像の全ての領域を前記第１教師データ及び前記第２教師データとする。

本発明の一態様は、上記の画像生成装置であって、前記逆変換学習部は、所定の割合で示される前記原画像の領域及び前記原画像の領域に対応する前記第２画像の領域を前記第１教師データ及び前記第２教師データとする。

本発明の一態様は、上記の画像生成装置であって、前記逆変換学習部は、前記原画像及び前記第２画像において、エッジが所定の閾値以上である領域のうち、所定の割合で示される領域を前記第１教師データ及び前記第２教師データとする。

本発明の一態様は、上記の画像生成装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、所定の変換後の特徴量空間から変換前の特徴量空間への変換を容易に行うことが可能となる。

画像生成装置１０の構成例を示すブロック図である。 画像生成装置１０が入力する原画像とマスク情報との一例を示す図である。 変換後空間における特徴量の組み合わせの一例を示す図である。 画像生成装置１０の処理の流れを示すフローチャートである。 欠損領域を表すマスクの例を示す図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
画像生成装置は、入力される静止画像又は動画像において指定される欠損領域における画像を補完することにより、欠損領域の画像を除去した静止画像又は動画像を生成する装置である。以下、静止画像と動画像とを区別しない場合に静止画像と動画像とを単に画像という。なお、動画像は、複数の連続した静止画像（フレーム）の集合である。

図１は、画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、欠損領域Ｄａｍａｇｅｄを補完するコンプリーション処理の対象とする画像である原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋとを外部から入力する。画像生成装置１０は、原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとに基づいて原画像Ｉ＿Ｏｒｉｇｉｎａｌから欠損領域Ｄａｍａｇｅｄの画像を除去することによって欠損領域Ｄａｍａｇｅｄの画像が除去された画像を（第１画像）生成する。

図１に示すように、画像生成装置１０は、画像取得部１０１、参照画像記憶部１０２、変換部１０３、変換後画像記憶部１０４、コンプリーション処理部１０５、逆変換学習部１０６、特徴量空間逆変換部１０７を備える。図２は、画像生成装置１０が入力する原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとの一例を示す図である。画像生成装置１０は、図２（Ａ）及び（Ｂ）に示すように、原画像Ｉ＿Ｏｒｉｇｉｎａｌとマスク情報Ｍａｓｋとを個別に入力する。或いは画像生成装置１０は、図２（Ｃ）に示すように、原画像Ｉ＿Ｏｒｉｇｉｎａｌに対してマスクが重畳された画像を入力する。

画像取得部１０１は、コンプリーションを施す対象の原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋと、マスク領域を表す色情報Ｍａｓｋ＿ｃｏｌｏｒを外部から取得する。マスク情報Ｍａｓｋは、原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じサイズを有する画像であり、欠損領域Ｄａｍａｇｅｄの画素値が１（図２（Ｂ）では白）、欠損周辺領域の画素値が０（図２（Ｂ）では黒）で表される。ただし、マスク情報における画素値は、欠損領域Ｄａｍａｇｅｄと欠損周辺領域とが区別できれば上述の値以外の値であってもよい。また、色情報Ｍａｓｋ＿ｃｏｌｏｒはＲＧＢ値をもつ三次元ベクトルであり、例えばマゼンダがマスク領域として指定されている場合はＭａｓｋ＿ｃｏｌｏｒ＝（２５５，０，２５５）のように表すことができる。なお、図２（Ａ）、（Ｂ）のように原画像Ｉ＿Ｏｒｉｇｉｎａｌと、欠損領域Ｄａｍａｇｅｄを示すマスク情報Ｍａｓｋが別で与えられた場合にはマスクで示された領域を欠損領域Ｄａｍａｇｅｄとして用いる。このとき、マスク領域を表す色情報Ｍａｓｋ＿ｃｏｌｏｒが指定される必要はない。

また、図２（Ｃ）に示したような原画像Ｉ＿Ｏｒｉｇｉｎａｌにマスクが重畳された画像が画像生成装置１０に入力された場合には、画像取得部１０１は入力された画像においてマスクを表す色情報Ｍａｓｋ＿ｃｏｌｏｒで表されたマスク領域と、欠損周辺領域とを二値で表したマスク情報Ｍａｓｋを生成する。画像生成装置１０は、マスク領域で示された領域を欠損領域Ｄａｍａｇｅｄとして用いる。欠損領域Ｄａｍａｇｅｄは、欠損として指定されたピクセルの位置の集合｛（ｄｘ_１，ｄｙ_１）、・・・、（ｄｘｎ，ｄｙｎ）｝で表されても良いし、原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じ大きさの画像で欠損領域Ｄａｍａｇｅｄを１、欠損周辺領域を０とした２値画像として保持されてもよい。

参照画像記憶部１０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。参照画像記憶部１０２は、類似パッチの探索候補として使用される画像である参照画像Ｉ＿Ｓｏｕｒｃｅ＝｛Ｉ_１，・・・，Ｉ_Ｍ｝を記憶している。ここで、Ｍは２以上の整数である。類似パッチは、コンプリーション対象パッチの欠損周辺領域の画素と類似するパッチである。なお、参照画像Ｉ＿Ｓｏｕｒｃｅに原画像Ｉ＿Ｏｒｉｇｉｎａｌが含まれてもよい。原画像Ｉ＿Ｏｒｉｇｉｎａｌを格納する場合は、欠損領域Ｄａｍａｇｅｄの領域を除去するなどして参照画像Ｉ＿Ｓｏｕｒｃｅに含めないよう処理すればよい。

変換部１０３は、入力された原画像Ｉ＿Ｏｒｉｇｉｎａｌを、原画像Ｉ＿Ｏｒｉｇｉｎａｌを表すパラメータで定められる空間と異なる空間の画像へ変換する。以下、原画像Ｉ＿Ｏｒｉｇｉｎａｌを表すパラメータで定められる特徴量空間を原画像空間という。原画像Ｉ＿Ｏｒｉｇｉｎａｌの変換先の空間であって原画像空間と異なる特徴量空間を変換後空間という。本実施形態では、原画像空間はＲＧＢ特徴量空間である。変換部１０３は、ＲＧＢ特徴量空間から、ある所定の変換後空間Ｆへと変換することによって変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄ（第２画像）を生成する。また、変換部１０３は、参照画像Ｉ＿Ｓｏｕｒｃｅも原画像Ｉ＿Ｏｒｉｇｉｎａｌと同様にＲＧＢ特徴量空間から、ある所定の変換後空間Ｆへと変換することによって変換後参照画像Ｉ＿Ｓｏｕｒｃｅ＿ｃｏｎｖを生成する。

所定の変換後空間Ｆへの変換例としては、グレースケール変換、ＨＯＧ（Histogram of Oriented Gradients）特徴量への変換、ＧＩＳＴ特徴量への変換などが挙げられるが、本発明は特にこれを制限するものではない。また、上記のような特徴量空間に加え、１／２解像度といった画像の解像度を変化させた特徴量空間も変換後空間Ｆに包含させることが可能である。また、変換先の変換後空間を与える方法や変換を実施する方法に関しても特に制限はない。例えば、以下の方法１、方法２のような方法で実施することが可能である。この時、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄの生成アルゴリズムや原画像Ｉ＿Ｏｒｉｇｉｎａｌから変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄへの変換フィルタをユーザが把握する必要はない。これは、事前に実施された変換の情報が得られなくても問題ないためである。

（方法１：所定の特徴量変換を行う方法）
変換部１０３は、原画像Ｉ＿ＯｒｉｇｉｎａｌをＲＧＢ特徴量空間から所定の変換後空間Ｆへ変換し、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄを生成する。変換はユーザ独自のアルゴリズムにより実施してもよいし、市販の画像処理ソフトウェア等により実施してもよい。

（方法２：予め与えた変換後空間の候補の中から選択された空間に特徴量変換する方法）
変換後空間Ｆの候補Ｆ（ｉ）（１≦ｉ≦Ｎ、Ｎ：特徴量候補の総数）を、特徴量Ｆｅａｔｕｒｅの組み合わせにより予め与えておく。与える特徴量Ｆｅａｔｕｒｅの具体例としては、画素値（ＲＧＢ、グレースケールなど）、ＨＯＧ特徴量、ＧＩＳＴ特徴量などが挙げられる。特徴量Ｆｅａｔｕｒｅの組み合わせを与える方法に関して特に制限はないが、例えば図３のように与えることが可能である。

図３は、変換後空間における特徴量の組み合わせの一例を示す図である。
図３に示される例では、特徴量空間ＩＤ毎に、各特徴量の利用有無が示されている。特徴量空間ＩＤは、原画像空間と異なる特徴量空間である変換後空間を識別するための識別情報を表す。変換後空間の具体例として、Ｒ空間、Ｇ空間、Ｂ空間、グレースケール空間、ＨＯＧ特徴量空間などがある。また、特徴量空間ＩＤ毎に、特徴量Ｒ、Ｇ、Ｂ、Ｇｒａｙ、ＨＯＧ、ＧＩＳＴの各項目が０又は１で示されている。１の場合には変換後空間Ｆ（ｉ）に該当特徴量を利用することを意味し、０の場合には利用しないことを意味する。例えば、特徴量空間ＩＤ“１”で示される変換後空間は、特徴量Ｒのみを利用することが示されている。つまり、特徴量空間ＩＤ“１”で示される変換後空間は、Ｒ空間である。同様に、特徴量空間ＩＤ“４”で示される変換後空間は、特徴量Ｇｒａｙのみを利用することが示されている。つまり、特徴量空間ＩＤ“４”で示される変換後空間は、グレースケール空間である。図３の例では、Ｎ通りの特徴量空間の候補が登録されている。ユーザは、上記のように与えた特徴量空間の候補Ｆ（ｉ）から１つ以上の候補を選択し、その変換後空間Ｆ（ｉ）への変換を実施する。

変換後画像記憶部１０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。変換後画像記憶部１０４は、変換部１０３によって所定の変換後空間Ｆへと変換された変換後参照画像Ｉ＿Ｓｏｕｒｃｅ＿ｃｏｎｖを記憶する。
コンプリーション処理部１０５は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと、欠損領域Ｄａｍａｇｅｄと、変換後画像記憶部１０４に記憶されている変換後参照画像Ｉ＿Ｓｏｕｒｃｅ＿ｃｏｎｖとに基づいて、コンプリーション処理を行うことによって欠損領域Ｄａｍａｇｅｄの画像が除去された変換後画像を生成する。以下、具体的な処理について説明する。

ステップ１：コンプリーション処理部１０５は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄからコンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈを選択する。この方法としては、欠損領域Ｄａｍａｇｅｄの輪郭上に存在し、周辺のエッジの強いパッチから選定する方法などが挙げられる。なお、パッチの大きさは欠損領域Ｄａｍａｇｅｄと欠損周辺領域とを共に含む小領域の大きさであればどのような大きさであってもよい。

ステップ２：コンプリーション処理部１０５は、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを、変換後参照画像Ｉ＿Ｓｏｕｒｃｅ＿ｃｏｎｖから探索し、探索して得られた類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを用いてコンプリーション処理を実施することによって欠損領域Ｄａｍａｇｅｄの画像が除去された変換後画像Ｉ＿Ｃｏｍｐｌｅｔｅｄ＿ｃｏｎｖ（第３画像）を生成する。類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈは、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの欠損周辺領域の画素と類似するパッチである。このようにして、コンプリーション処理部１０５は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと同じ特徴量空間内における変換後画像Ｉ＿Ｃｏｍｐｌｅｔｅｄ＿ｃｏｎｖを取得する。

なお、画像に対するコンプリーション処理に関する研究は多数行われており、コンプリーション処理部１０５は、公知の技術を用いて原画像Ｉ＿Ｏｒｉｇｉｎａｌにコンプリーション処理を行う。コンプリーション処理部１０５は、コンプリーション処理が施された画像と、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと、原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報Ｍａｓｋとを逆変換学習部１０６に出力する。

逆変換学習部１０６は、変換後画像Ｉ＿Ｃｏｍｐｌｅｔｅｄ＿ｃｏｎｖと、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと、原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報Ｍａｓｋとを取得する。逆変換学習部１０６は、取得した原画像Ｉ＿Ｏｒｉｇｉｎａｌと、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと、欠損領域Ｄａｍａｇｅｄとに基づいて、変換後画像Ｉ＿Ｃｏｍｐｌｅｔｅｄ＿ｃｏｎｖの特徴量空間から原画像Ｉ＿Ｏｒｉｇｉｎａｌの特徴量空間への変換を行う変換処理を学習によって求める。

この処理をｆで表す。ｆはフィルタ行列である。また、コンプリーション処理が施された画像の特徴量空間と原画像Ｉ＿Ｏｒｉｇｉｎａｌの特徴量空間の次元数は同じであるとは限らない。そのため、逆変換フィルタｆは、線形変換で表すことができない一対多変換である場合もある。そこで、逆変換学習部１０６は、以下のような処理によって学習に基づいて逆変換フィルタｆを求める。

ステップ１：逆変換学習部１０６は、原画像Ｉ＿Ｏｒｉｇｉｎａｌ及び変換部１０３で得られた変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄにおいて、欠損領域Ｄａｍａｇｅｄに該当しない部分を学習用教師データとして設定する。原画像Ｉ＿Ｏｒｉｇｉｎａｌ及び変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄから得られた教師データをそれぞれ、原画像教師データＩ＿ｔｒａｉｎ＿ｏｒｉｇ（第１教師データ）、変換後原画像教師データＩ＿ｔｒａｉｎ＿ｃｏｎｖ（第２教師データ）とする。
ステップ２：逆変換学習部１０６は、変換後原画像教師データＩ＿ｔｒａｉｎ＿ｃｏｎｖから原画像教師データＩ＿ｔｒａｉｎ＿ｏｒｉｇへの変換を学習することによって逆変換フィルタｆを求める。逆変換フィルタｆを求める手法は特に制限しないが、例えば以下の参考文献１の技術が用いられてもよい。
［参考文献１］A Hertzmann, CE Jacobs, N Oliver, B Curless, DH Salesin, “Image Analigies”, Proceedings of the 28th annual conference on Computer graphics and interactive techniques, pp.327-340, 2001.

逆変換フィルタｆを求める際の学習用教師データとして用いる画像（原画像Ｉ＿Ｏｒｉｇｉｎａｌ及び変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄ）の領域をＡ＿ｔｒａｉｎとする。Ａ＿ｔｒａｉｎの決定方法として以下の３つの決定方法がある。

（決定方法１）
画像の全ての領域をＡ＿ｔｒａｉｎとする方法。
この方法では、逆変換学習部１０６は、原画像Ｉ＿Ｏｒｉｇｉｎａｌの全ての領域を原画像教師データＩ＿ｔｒａｉｎ＿ｏｒｉｇとする。また、逆変換学習部１０６は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄの全ての領域を変換後原画像教師データＩ＿ｔｒａｉｎ＿ｃｏｎｖとする。

（決定方法２）
学習に用いる画像の割合を指定する方法。
具体的には、逆変換学習部１０６は、予め定められた０以上１００以下の実数で表される、学習に用いる教師データの割合Ｒを用いて原画像Ｉ＿Ｏｒｉｇｉｎａｌの解像度のＲ％を学習用教師データとして用いる。Ｒは、学習に要する所望の計算時間から定めればよい。例えば、学習アルゴリズムの計算時間オーダーがＯ（ｎ）、ここでｎはデータ画像の画素数で表され、画像中の全ての領域をＡ＿ｔｒａｉｎとする場合の半分の時間で学習したい場合には、Ｒ＝０．５としデータ画像の画素数を半分に指定すればよい。
この方法では、逆変換学習部１０６は、指定された割合Ｒで示される原画像Ｉ＿Ｏｒｉｇｉｎａｌの領域を原画像教師データＩ＿ｔｒａｉｎ＿ｏｒｉｇとする。また、逆変換学習部１０６は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄに対しても上記で求めた原画像Ｉ＿Ｏｒｉｇｉｎａｌの領域に対応する領域を変換後原画像教師データＩ＿ｔｒａｉｎ＿ｃｏｎｖとする。

（決定方法３）
顕著性のある領域を用いる方法。
具体的には、まず逆変換学習部１０６は、フィルタを畳み込み、原画像Ｉ＿Ｏｒｉｇｉｎａｌのエッジを求める。フィルタとしてはラプラシアン・フィルタなどを適用することができる。次に、逆変換学習部１０６は、エッジが所定の閾値以上である領域は顕著性が高いと判断し、予め定められた０以上１００以下の実数で表される、学習に用いる教師データの割合Ｒに応じて顕著性の高い領域を原画像教師データＩ＿ｔｒａｉｎ＿ｏｒｉｇとする。また、逆変換学習部１０６は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄに対しても上記で求めた原画像Ｉ＿Ｏｒｉｇｉｎａｌのエッジが所定の閾値以上である領域に対応する領域を変換後原画像教師データＩ＿ｔｒａｉｎ＿ｃｏｎｖとする。

以上のように、逆変換学習部１０６は、３つの決定方法の中からいずれかの方法によりＡ＿ｔｒａｉｎを決定する。決定方法１のように原画像Ｉ＿Ｏｒｉｇｉｎａｌの全ての領域を教師データとして用いれば高精度な変換フィルタが生成可能であるが、決定方法２、３のような方法を選択することで計算量を削減しながら効率の良い学習が可能となる。

特徴量空間逆変換部１０７は、逆変換学習部１０６によって得られた逆変換フィルタｆと、コンプリーション処理部１０５で得られたコンプリーション処理が施された画像とに基づいて、逆変換フィルタｆとコンプリーション処理が施された画像との畳み込み演算を行うことによって、コンプリーション処理が施された画像を原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じ特徴量空間であるＲＧＢ特徴量空間へ逆変換し、ＲＧＢ特徴量空間におけるコンプリーション結果Ｉ＿Ｃｏｍｐｌｅｔｅｄを生成する。特徴量空間逆変換部１０７は、取得したコンプリーション結果Ｉ＿Ｃｏｍｐｌｅｔｅｄを、欠損領域Ｄａｍａｇｅｄの画像が除去された画像として出力する。

図４は、画像生成装置１０の処理の流れを示すフローチャートである。なお、図３の説明では、画像生成装置１０には原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報とが個別に入力される場合を例に説明する。また、図３の説明において、参照画像記憶部１０２に記憶されている参照画像Ｉ＿Ｓｏｕｒｃｅの全てが変換部１０３によってＲＧＢ特徴量空間から、ある所定の変換後空間Ｆへと変換されて変換後画像記憶部１０４に変換後参照画像Ｉ＿Ｓｏｕｒｃｅ＿ｃｏｎｖとして記憶されている場合を例に説明する。

画像取得部１０１は、外部から原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋを個別に取得する（ステップＳ１０１）。画像取得部１０１は、取得した原画像Ｉ＿Ｏｒｉｇｉｎａｌを変換部１０３に出力し、原画像Ｉ＿Ｏｒｉｇｉｎａｌ及びマスク情報Ｍａｓｋをコンプリーション処理部１０５に出力する。変換部１０３は、出力された原画像Ｉ＿Ｏｒｉｇｉｎａｌを、原画像Ｉ＿Ｏｒｉｇｉｎａｌの特徴量空間であるＲＧＢ空間から所定の変換後空間に変換することによって変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄを生成する（ステップＳ１０２）。変換部１０３は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄをコンプリーション処理部１０５に出力する。

コンプリーション処理部１０５は、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと、欠損領域Ｄａｍａｇｅｄと、原画像Ｉ＿Ｏｒｉｇｉｎａｌとを取得する。コンプリーション処理部１０５は、取得した変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄからコンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈを選択する（ステップＳ１０３）。次に、コンプリーション処理部１０５は、変換後画像記憶部１０４に記憶されている変換後参照画像Ｉ＿Ｓｏｕｒｃｅ＿ｃｏｎｖから、コンプリーション対象パッチＤａｍａｇｅｄ＿Ｐａｔｃｈの類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを探索する（ステップＳ１０４）。

コンプリーション処理部１０５は、探索した類似パッチＳｉｍｉｌａｒ＿Ｐａｔｃｈを用いて、マスク情報Ｍａｓｋで示される欠損領域Ｄａｍａｇｅｄに対して、コンプリーション処理を行う（ステップＳ１０５）。その後、コンプリーション処理部１０５は、コンプリーション対象領域全てに対してコンプリーション処理を行ったか否か判断する（ステップＳ１０６）。コンプリーション対象領域全てに対してコンプリーション処理を行った場合（ステップＳ１０６−ＹＥＳ）、コンプリーション処理部１０５はコンプリーション処理がなされた画像を、コンプリーション処理が施された画像（変換後画像Ｉ＿Ｃｏｍｐｌｅｔｅｄ＿ｃｏｎｖ）として逆変換学習部１０６及び特徴量空間逆変換部１０７に出力する。
一方、コンプリーション対象領域全てに対してコンプリーション処理を行っていない場合（ステップＳ１０６−ＮＯ）、画像生成装置１０はコンプリーション対象領域全てに対してコンプリーション処理が終了するまでステップＳ１０３〜１０５の処理を繰り返し実行する。

逆変換学習部１０６は、コンプリーション処理が施された画像と、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと、原画像Ｉ＿Ｏｒｉｇｉｎａｌと、マスク情報Ｍａｓｋとを取得する。逆変換学習部１０６は、取得した原画像Ｉ＿Ｏｒｉｇｉｎａｌと、変換後原画像Ｉ＿Ｃｏｎｖｅｒｔｅｄと、欠損領域Ｄａｍａｇｅｄとに基づいて逆変換フィルタｆを算出する（ステップＳ１０７）。その後、特徴量空間逆変換部１０７は、算出された逆変換フィルタｆと、コンプリーション処理が施された画像との畳み込み演算を行うことによって、コンプリーション処理が施された画像を原画像Ｉ＿Ｏｒｉｇｉｎａｌと同じ特徴量空間であるＲＧＢ特徴量空間へ逆変換する。この処理によって、特徴量空間逆変換部１０７は、ＲＧＢ特徴量空間におけるコンプリーション結果Ｉ＿Ｃｏｍｐｌｅｔｅｄを生成する。特徴量空間逆変換部１０７は、生成したコンプリーション結果Ｉ＿Ｃｏｍｐｌｅｔｅｄを、原画像における欠損領域が除去された画像として出力する。

以上のように構成された画像生成装置１０によれば、所定の変換後の特徴量空間から変換前の特徴量空間への変換を容易に行うことができる。以下、この効果について詳細に説明する。
画像生成装置１０は、コンプリーション処理を行う対象の原画像を、原画像であるカラー画像の画像空間と異なる画像空間に変換してからコンプリーション処理を行う。画像生成装置１０は、コンプリーション処理が施された画像（変換後画像Ｉ＿Ｃｏｍｐｌｅｔｅｄ＿ｃｏｎｖ）を、変換前の画像空間に逆変換するための変換処理を学習により求める。そして、画像生成装置１０は、学習の結果に基づいて、コンプリーション処理が施された画像に対して逆変換フィルタｆの畳み込み演算を施すことによって、変換前の画像空間に逆変換することができる。このように、画像生成装置１０は、学習によって逆変換するための変換処理を学習して逆変換を行うため、所定の変換後の特徴量空間から変換前の特徴量空間への変換を容易に行うことが可能になる。

＜変形例＞
本実施形態では、コンプリーション対象となる画像を外部から画像生成装置１０に入力する構成を示したが、これに限定される必要はない。例えば、画像生成装置１０がコンプリーション対象となる画像を記憶する画像記憶部をさらに備え、画像記憶部に記憶されている画像に対してコンプリーション処理を行ってもよい。このように構成される場合、マスク情報は、外部から入力される。
画像取得部１０１、参照画像記憶部１０２、変換部１０３、変換後画像記憶部１０４、コンプリーション処理部１０５、逆変換学習部１０６、特徴量空間逆変換部１０７の各機能部は、それぞれ別の装置に実装されてもよいし、各機能部の一部が別の装置に実装されてもよい。

上述した実施形態における画像生成装置１０をコンピュータで実現するようにしてもよい。その場合、画像生成装置１０が有する構成要素を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…画像生成装置， １０１…画像取得部， １０２…参照画像記憶部， １０３…変換部， １０４…変換後画像記憶部， １０５…コンプリーション処理部， １０６…逆変換学習部， １０７…特徴量空間逆変換部

Claims (5)

1. 欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とに基づいて前記原画像から前記欠損領域の画像を除去することによって第１画像を生成する画像生成装置であって、
   前記原画像を表すパラメータで定められる原画像空間と異なる画像空間への変換を前記原画像に対して行うことにより、前記異なる画像空間における第２画像を生成する変換部と、
   前記マスク情報と前記第２画像とに基づいて、前記第２画像における前記欠損領域に対するコンプリーション処理を行うことにより第３画像を生成するコンプリーション処理部と、
   前記原画像及び前記第２画像において前記欠損領域に該当しない領域をそれぞれ第１教師データ及び第２教師データとし、前記第１教師データと前記第２教師データとに基づいて、前記第２教師データにおける前記異なる画像空間から前記第１教師データにおける原画像空間への変換に用いられる逆変換を学習する逆変換学習部と、
   前記第３画像に対して、学習された前記逆変換を用いることによって、前記第３画像を前記異なる画像空間から前記原画像空間へ変換することによって前記第１画像を生成する特徴量空間逆変換部と、
   を備える画像生成装置。
2. 前記逆変換学習部は、前記原画像及び前記第２画像の全ての領域を前記第１教師データ及び前記第２教師データとする、請求項１に記載の画像生成装置。
3. 前記逆変換学習部は、所定の割合で示される前記原画像の領域及び前記原画像の領域に対応する前記第２画像の領域を前記第１教師データ及び前記第２教師データとする、請求項１に記載の画像生成装置。
4. 前記逆変換学習部は、前記原画像及び前記第２画像において、エッジが所定の閾値以上である領域のうち、所定の割合で示される領域を前記第１教師データ及び前記第２教師データとする、請求項１に記載の画像生成装置。
5. 請求項１から４のいずれか一項に記載の画像生成装置としてコンピュータを機能させるためのコンピュータプログラム。

Images