JP6273582B2 - 画像補間装置、画像処理装置および画像補間方法 - Google Patents

Description

本開示は、画像補間装置、画像処理装置および画像補間方法に関する。

撮影した写真の中に、時として撮影者にとって不要な被写体が映り込むことがある。例えば偶然通りかかった他人の顔などについては、写真を他者に公開する際に、顔領域を塗りつぶしたりモザイク処理したりすることで、個人の特定ができないように編集する必要がある。また、写真の美しさを向上させるために、景観を乱す物体を、加工して消し去りたいという欲求がある。これらの画像編集作業を手作業で行うことには労力を要し、また結果画像の品質は作業者の技能に依存するものであった。そのため、自動的に不要な被写体を除去する画像補間技術が求められる。

従来の画像補間方法としては、写真の傷や重畳された文字の領域に対して、周辺領域の画素値を繰り返し伝搬させることにより、対象の領域を滑らかに補間するものがあった（例えば、非特許文献１参照）。また、非特許文献２においては、パッチと呼ばれる矩形領域単位で類似するテクスチャ領域を探索し、結合部分が連続的に繋がるように補間を行う方式（パッチマッチング）が提案されている。特許文献１は、マスク領域内のテクスチャを推定することを開示している。

国際公開第２０１１／０６１９４３号

Ｍ．Ｂｅｒｔａｌｍｉｏ， Ｇ．Ｓａｐｉｒｏ， Ｃ．Ｂａｌｌｅｓｔｅｒ， ａｎｄ Ｖ．Ｃａｓｅｌｌｅｓ， "Ｉｍａｇｅ Ｉｎｐａｉｎｔｉｎｇ"， ＳＩＧＧＲＡＰＨ２０００． Ａ．Ｃｒｉｍｉｎｉｓｉ， Ｐ．Ｐｅｒｅｘ， ａｎｄ Ｋ．Ｔｏｙａｍａ， "Ｒｅｇｉｏｎ Ｆｉｌｌｉｎｇ ａｎｄ Ｏｂｊｅｃｔ Ｒｅｍｏｖａｌ ｂｙＥｘｅｍｐｌａｒ−Ｂａｓｅｄ Ｉｍａｇｅ Ｉｎｐａｉｎｔｉｎｇ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｐ．１２００−１２１２， Ｖｏｌ．１３， Ｎｏ．９， ２００４．

非特許文献１の技術は、補間領域の面積が大きい場合に細かいテクスチャ情報が失われるという課題を有している。また、非特許文献２の技術は、マッチングベースの処理方法であるため、不適切なパッチが選択されて補間領域に貼り付けられたとき、補間結果の違和感が大きいという課題を有している。更に、特許文献１の技術は、テクスチャ形状の推定を行うため、複雑なテクスチャの場合、推定の失敗によって正常な補間ができないという課題を有している。

本開示の実施形態は、補間によって得られる画像の質を高めることのできる画像補間装置および画像補間方法を提供する。

本開示による画像補間装置は、画像データと前記画像データのうちで補間処理を行うマスク領域を規定する情報とを受け取り、前記マスク領域と重複する補間対象パッチと前記マスク領域と重複しない参照パッチとの画像データ上の誤差を求める第１処理部と、前記画像データから各パッチ領域の平坦さを表す特徴量を算出する第２処理部と、前記特徴量の誤差を求める第３処理部と、前記第１処理部の結果と、前記第３処理部の結果とに基づいて最も誤差の少ない参照パッチを決定する第４処理部と、前記第４処理部の選択した参照パッチの画素データを前記補間対象パッチに貼り付ける第５処理部と、補間処理を行った結果画像データを出力する画像出力部とを備え、前記第３処理部は、前記補間対象パッチのマスク外領域の特徴量と、前記参照パッチ全体の領域の特徴量とを比較して前記特徴量の誤差を算出する。

本開示による画像処理装置は、画像データと前記画像データのうちで補間処理を行うマスク領域を規定する情報とを受け取り、前記マスク領域と重複する補間対象パッチと前記マスク領域と重複しない参照パッチとの画像データ上の誤差を求める第１ステップと、前記画像データから各パッチ領域の平坦さを表す特徴量を算出する第２ステップと、前記特徴量の誤差を求める第３ステップと、前記第１および第３ステップの結果に基づいて最も誤差の少ない参照パッチを決定する第４ステップと、前記第４ステップで選択された参照パッチの画素データを前記補間対象パッチに貼り付ける第５ステップと、補間処理を行った結果画像データを生成する第６ステップとを実行し、前記第３ステップでは、前記補間対象パッチのマスク外領域の特徴量と、前記参照パッチ全体の領域の特徴量とを比較して前記特徴量の誤差を算出する。

本開示による画像補間方法は、画像データと前記画像データのうちで補間処理を行うマスク領域を規定する情報とを受け取り、前記マスク領域と重複する補間対象パッチと前記マスク領域と重複しない参照パッチとの画像データ上の誤差を求める第１ステップと、前記画像データから各パッチ領域の平坦さを表す特徴量を算出する第２ステップと、前記特徴量の誤差を求める第３ステップと、前記第１ステップ、および、前記第３ステップの結果に基づいて最も誤差の少ない参照パッチを決定する第４ステップと、前記第４ステップで選択された参照パッチの画素データを前記補間対象パッチに貼り付ける第５ステップと、補間処理を行った結果画像データを生成する第６ステップとを実行し、前記第３ステップでは、前記補間対象パッチのマスク外領域の特徴量と、前記参照パッチ全体の領域の特徴量とを比較して前記特徴量の誤差を算出する。

本開示による画像補間装置、画像処理装置および画像補間方法によれば、ユーザにとって違和感の少ない補間結果を得ることができる。

パッチマッチング方式を用いた画像補間装置の全体構成図 （ａ）から（ｄ）は、パッチマッチング方式の補間方法を示す図 （ａ）および（ｂ）は、パッチマッチング方式の課題を示す図 （ａ）から（ｆ）は、繰り返し貼り付けによる課題を示す図 本開示の実施形態における画像補間装置のハードウェアブロック図 本開示の実施形態における画像補間装置の機能ブロック図 （ａ）から（ｃ）は、本開示の実施形態における画像特徴量を用いたパッチ比較方法を示す図 （ａ）から（ｈ）は、本開示の実施形態におけるパッチ貼り付け回数の記録方法を示す図 本開示の実施形態における全体処理フロー図 本開示の実施形態における最適パッチ探索処理フロー図

本開示の実施形態を説明する前に、まず、パッチマッチング方式を用いた画像補間装置の基本的な構成を説明する。この基本的な構成そのものは非特許文献２に開示されている。

図１は、パッチマッチング方式を用いた画像補間装置の構成例を示している。図１の構成例では、画像補間処理（以下、単に「補間処理」と称する）の対象となる画像データが画像入力部１１０から画像補間装置２００に入力される。他方、上記の画像データのうちで補間処理が行われる対象領域（ターゲット）を特定するデータであるマスク情報がマスク情報入力部１１１から画像補間装置２００に入力される。

本明細書では、マスク情報によって特定される対象領域を「マスク領域」と称する。画像から削除される対象が存在している領域を含むように「マスク領域」が手動または自動で設定され得る。また、画像のテクスチャの特徴を示す最小領域を「テクスチャ・エレメント」と称し、そのようなテクスチャ・エレメントよりも大きな領域を「パッチ」として選択する。パッチは、典型的には矩形領域のマクロブロックであり、例えば、８画素×８画素よりも大きなサイズを有している。また、パッチのサイズは、画像全体の画素数の例えば１％よりも小さい。画像入力部１１０から入力された画像データのうち、除去したい対象が存在している領域が補間処理の対象（ターゲット）として選択され、マスクされる。マスクされた領域（マスク領域）が、マスクされていない領域（以下、「周辺領域」と称する。）に位置するパッチに基づいて補間される。

画素値誤差算出処理部１０１は、「マスク領域を一部に含むパッチ（以下、単に「マスク領域を含むパッチ」と称する）」と「周辺領域のパッチ」とを比較して、画素値の誤差を算出する。具体的には、「マスク領域を含むパッチ」を１つ選択し、そのパッチと、そのパッチの周辺領域に位置してマスク領域を含まない複数のパッチとの比較を順次実行する。誤差は、例えば公知のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などの方法によって計算され得る。こうして、周辺領域の複数のパッチの各々について誤差を求める。誤差が求められると、マスク領域を含むパッチとして他のパッチが選択される。このようにして、誤差は、マスク領域を含むパッチと周辺領域のパッチとによって構成される各組に与えられる。

誤差最小パッチ選択処理部１０２は、前記パッチ同士の組の中から、最も誤差の小さいパッチの組み合わせを選択する。次に最適パッチ貼り付け処理部１０３において、前記誤差の小さい周辺領域のパッチの画像データを、マスク領域を含むパッチ内に貼り付ける。パッチデータの張り付けられた更新画像１１３と、更新マスク１１４は、前記画素値誤差算出処理部１０１へ入力され、更新マスク１１４が全てなくなるまで繰り返され、最終的な処理結果画像が画像出力部１１２から出力される。

図２（ａ）から（ｄ）を参照して、非特許文献２に開示されたパッチマッチング方式の動作を示す。

まず、図２（ａ）に示すように、画像データにおいて補間処理の対象となるマスク領域３００が特定される。この例における画像は、斜めに伸びる直線状の境界によって２つの領域に分割されている。マスク領域３００は、上述したように、手動または自動的に設定された補間対象領域である。図２の例では、マスク領域３００は、２つの領域に分割された背景における直線状の境界を跨ぐように設定され、山形の形状を有している。マスク領域３００以外をマスク外領域３０１とし、マスク領域３００とマスク外領域３０１との境界線をマスク境界３０２とする。

次に、マスク領域３００を含むパッチを対象パッチとして選択し、対象パッチに張り付けられるパッチを、画像データ内のマスク外領域３０１から探索する。図２（ｂ）に示すように、マスク境界３０２上の点Ｐを中心とした対象パッチ３１０内のマスク領域３００の部分を補間する際には、対象パッチ３１０からマスク領域３００を除いた領域と最も類似するパッチを探索して張り付ける。図２（ｂ）の例において、対象パッチ３１０からマスク領域３００を除いた領域は、直線状の境界を挟んだ２つの領域を含んでいる。

図２（ｃ）に示すように、例えばマスク外領域３０１中の点ｑ、ｑ’、ｑ”をそれぞれ中心とした参照パッチ３２０、３２１、３２２と、対象パッチ３１０との誤差を求め、最も誤差の少ない参照パッチを選択する。より具体的には、参照パッチ３２０、３２１、３２２のうち、対象パッチ３１０からマスク領域３００を除いた領域に対応する領域と、対象パッチ３１０からマスク領域を除いた領域との間の誤差を求める。図２（ｄ）に示すように、参照パッチ３２０が選択された際には、参照パッチ３２０の画素値を対象パッチ３１０に貼り付ける。参照パッチ３２０は、対象パッチ３１０からマスク領域３００を除いた領域と同様に、直線状の境界を挟んだ２つの領域を含んでいる。

次にマスク領域３００から対象パッチ３１０を除いた後、マスク境界３０２を更新する。これらの処理を、マスク領域３００がなくなるまで繰り返すことで、マスク領域３００をマスク外領域３０１のテクスチャにより補間する。

上記のパッチマッチング方式によれば、マスク領域３００の被写体が除去された背景のテクスチャが有するであろう直線的な構造を含む参照パッチ３２０が選択されて補間に使用される。このため、図２（ｄ）に示されるように、テクスチャの直線構造が補間処理によって再現される。

しかしながら、本願発明者は、上記のパッチマッチング方式には以下の課題があることを見出した。

図３（ａ）および（ｂ）を参照しながら、この課題を説明する。図３（ａ）および（ｂ）は、上記のパッチマッチング方式による参照パッチの選択を示す図である。

この例では、直角三角形の形状を有するマスク領域４００が設定されている。マスク領域４００以外の領域に円形のテクスチャ４０１が存在している。そして、図３（ａ）に示すように、マスク領域４００を含む対象パッチ４１０が選択され、対象パッチ４１０は、テクスチャ４０１を一部に含む参照パッチ４２０と比較されている。対象パッチ４１０は、マスク領域４００とマスク外領域との境界を跨いでいる。このため、対象パッチ４１０は、マスク領域４００の内側部分と外側部分とに分けられる。対象パッチ４１０のうち、マスク領域４００の内側部分を「対象パッチマスク内領域４１１」と称する。対象パッチ４１０のうち、マスク領域４００の外側部分を「対象パッチマスク外領域４１２」と称する。

なお、図３（ａ）に示される参照パッチ４２０は、対象パッチ４１０の「対象パッチマスク内領域４１１」に対応する「参照パッチマスク内領域４２１」と、「対象パッチマスク外領域４１２」に対応する「参照パッチマスク外領域４２２」とに分けられる。

図３（ａ）の対象パッチ４１０と参照パッチ４２０との誤差を求める際、対象パッチ４１０のうち、マスク領域４００に含まれる対象パッチマスク内領域４１１は、パッチ同士の比較には用いられない。すなわち、対象パッチマスク外領域４１２と参照パッチマスク外領域４２２の比較により、パッチ同士の誤差が求められる。このため、参照パッチ４２０のうち、参照パッチマスク内領域４２１に含まれるテクスチャについては考慮されない。従って、図３（ａ）に示されるように、参照パッチ４２０の参照パッチマスク内領域４２１が、円形のテクスチャ４０１の一部を含んでいても、そのことは誤差の算出に影響を与えない。

そのため、図３（ｂ）に示すように、参照パッチ４２０が選択され、参照パッチマスク内領域４２１のテクスチャが対象パッチマスク内領域４１１に当てはめられてしまうことになる。そうなると、テクスチャ４０１の一部がマスク領域４００の部分に張り付けられ、結果として不適切な補間結果となる場合がある。

また、パッチマッチング方式では、同一のパッチが選択され、そのパッチがマスク領域内に繰り返して張り付けられることがある。図４（ａ）から（ｆ）に示す例では、まず、マスク領域５０１を含む対象パッチ５０３に張り付けられるパッチとして、テクスチャ５０２を含む参照パッチ５０４が選択される。次に、図４（ｂ）に示すように、対象パッチ５０３に参照パッチ５０４が張り付けられる。こうして、図４（ａ）から（ｆ）に示すように、同一のテクスチャ５０２が繰り返し張り付けられることにより、不自然な補間結果となる場合がある。特に自然画像等の周期的なテクスチャを含まないような画像においては、周期的な貼り付けが行われた領域は非常に不自然に見える。

本開示の実施形態は、このような課題を解決し、高品質な補間結果が得られる画像補間装置を提供することができる。

以下、本開示の実施形態を詳細に説明する。

（実施形態）
図５Ａは、本開示の実施形態における画像補間装置のハードウェア構成を示すブロック図である。図５Ａに示すように、画像補間装置１００は、入力インターフェース（ＩＦ）１２０と、プロセッサ１３０と、メモリ１４０と、出力インターフェース（ＩＦ）１５０とを備えている。メモリ１４０は本実施形態における画像処理方法を規定するコンピュータプログラム１４２を格納している。プロセッサ１３０がプログラム１４２を実行することにより、後述する各種の処理を実行することができる。

図５Ｂは、本実施形態における画像補間装置の機能ブロック図である。図５Ｂにおいて、図１に記載されている構成要素と同じ構成要素については同じ符号を付している。なお、図１に記載されている構成要素と同じ構成要素については、ここで説明を繰り返さない。図１に記載されている構成要素と同じ構成要素の詳細（例えばアルゴリズム）は、非特許文献２に開示されている。非特許文献２の内容の全体をここに援用する。

画像処理装置１００は、図１に示す構成要素に加えて、さらに特徴量算出処理部１０４と、特徴量誤差算出処理部１０５と、貼付回数評価処理部１０６とを備えている。本明細書において、画素値誤差算出処理部１０１、特徴量算出処理部１０４、特徴量誤差算出処理部１０５、誤差最小パッチ選択処理部１０２、最適パッチ貼り付け処理部１０３、および貼り付け回数評価処理部１０６を、それぞれ、第１処理部、第２処理部、第３処理部、第４処理部、第５処理部、および第６処理部と呼ぶことがある。これらの第１から第６処理部は、いずれも、後述する各動作を実行するように構成されたコンピュータプログラム１４２を１個または複数のプロセッサ１３０に組み合わせることによって実現され得る。なお、第１から第６処理部は、それぞれが別個の部品に分かれている必要は無く、１個または１組の部品を備える１個の画像処理装置が複数の処理部として動作し得る。このように、第１から第６処理部の各々または全体が、ハードウェアおよびソフトウェアの組み合わせによって実現され得る。

図５Ｂの画像補間装置１００は、画像データを受け取る画像入力部１１０と、画像データに補間処理を適用するマスク領域の範囲情報を受け取るマスク情報入力部１１１とに接続されている。図５Ａに示す入力インターフェース１２０は、画像入力部１１０から画像データを取得し、マスク情報入力部１１１からマスク情報を取得する。画像入力部１１０は、例えば補間を要する画像データを記録した外部の記録媒体や情報機器であり得る。マスク情報入力部１１１は、例えばユーザからのマスク領域の範囲指定を受け付けるユーザインターフェースや、所定のアルゴリズムに従って画像からマスク領域を決定する処理回路を含み得る。

図５Ｂの構成例において、特徴量算出処理部１０４は画像入力部１１０から読み込まれた画像データを取得して、テクスチャの平坦さを表現する特徴量を算出する。例えば、画像データに対してＳｏｂｅｌフィルタ等を用いたエッジ検出処理を行った結果である、エッジ強度濃淡データを特徴量とする。

ここで、図６（ａ）および（ｂ）を参照する。図６（ａ）は、図３（ａ）に相当しており、直角三角形の形状を有するマスク領域４００が設定されている。マスク領域４００以外の領域に円形のテクスチャ４０１が存在している。前述したように、対象パッチ４１０は、対象パッチマスク内領域４１１と対象パッチマスク外領域４１２とから構成されている。図６（ｂ）に、エッジ検出処理を行った特徴量の例を示す。図６（ｂ）中において、灰色領域は、テクスチャの平坦な領域を表す。テクスチャ４０１の輪郭にあたる円形の白線部分がテクスチャのエッジ部分に相当し、平坦ではない領域を表す。また、マスク領域４００の輪郭についてはテクスチャのエッジにはあたらないため、平坦な領域として特徴量が算出される。

なお、エッジ強度濃淡データに対して、ガウスフィルタ等のフィルタ演算を行って、エッジ強度濃淡データをぼかしたものを特徴量としても良い。また、エッジ強度濃淡データに対して、小領域毎の平均や分散を求め、その分散を特徴量としても良い。また、画像データの輝度データの平均や分散を求め、その平均や分散を特徴量としても良い。

再び図５Ｂを参照する。特徴量誤差算出処理部１０５は、特徴量算出処理部１０４から出力された特徴量と、マスク情報入力部１１１から読み込まれたマスク情報とに基づいて、パッチ間の特徴量の誤差を計算する。本実施形態では、図６（ｂ）に示すように、対象パッチマスク外領域４１２の特徴量と、参照パッチ４２０の全体（参照パッチマスク内領域４２１＋参照パッチマスク外領域４２２）の特徴量とを比較する。ここで、対象パッチマスク外領域４１２と参照パッチマスク外領域４２２はいずれも平坦なテクスチャであり、前記特徴量はどちらも小さな値となる。一方で、参照パッチマスク内領域４２１はテクスチャ４０１のエッジ部分を含むため、前記特徴量（例えば「エッジ強度」）の値は大きくなる。その結果、対象パッチ４１０と参照パッチ４２０の間の特徴量誤差は大きくなる。なお、図６（ｂ）には、テクスチャ４０１から外れた位置にある参照パッチ４３０が示されている。参照パッチ４３０における参照パッチマスク内領域４３１のテクスチャは平坦である。参照パッチマスク内領域４３１のテクスチャが平坦である参照パッチ４３０が、参照パッチ４２０に比べて、より特徴量誤差が少ない。本実施形態では、図６（ｃ）に示すように、参照パッチ４３０が選択され、対象パッチ４１０の位置に張り付けられることになる。

再び図５Ｂを参照する。本実施形態の画像補間装置１００は、貼り付け回数評価処理部１０６を更に備えている。この貼り付け回数評価処理部１０６は、本開示による画像処理に不可欠の構成要素ではないが、貼り付け回数評価処理部１０６を用いることにより、以下に説明する効果を発生させることができる。

本実施形態における貼り付け回数評価処理部１０６は、マスク情報入力部１１１から読み込まれたマスク情報とパッチの貼り付け回数１１５とを取得する。そして、参照パッチとして多く貼り付けられた領域であるほど、パッチ比較時の誤差を大きくするペナルティ値を算出する。すなわち、何度も張り付けられたパッチは次第に選択されにくくなっていくことにより、繰り返し貼り付けの発生を抑える。貼り付け回数１１５は、最適パッチ貼り付け処理部１０３にて、パッチ貼り付け時に記録・更新される。

以下、具体的な処理について図７（ａ）〜（ｈ）を参照しながら説明する。図７（ａ）の例において、領域（Ｘ２：Ｘ３、Ｙ２：Ｙ３）の対象パッチ６０２に対して、領域（Ｘ５：Ｘ６、Ｙ３：Ｙ４）の参照パッチ６０３が最適パッチとして選択されたとする。ここで、領域（Ｘ２：Ｘ３、Ｙ２：Ｙ３）とは、座標（Ｘ２、Ｙ２）、座標（Ｘ３、Ｙ２）、座標（Ｘ２、Ｙ３）、座標（Ｘ３、Ｙ３）の４つの画素から構成される矩形領域を表す。対象パッチ６０２の中でマスク領域６０１に属する領域（Ｘ２、Ｙ２：Ｙ３）に対応する、参照パッチ６０３のマスク内領域（Ｘ５、Ｙ３：Ｙ４）の画素が、領域（Ｘ２、Ｙ２：Ｙ３）に張り付けられる。

図７（ｂ）に示すように、貼り付け元となった領域（Ｘ５、Ｙ３：Ｙ４）に、テクスチャとして貼り付けられた回数６０４が記録される。さらに図７（ｃ）に示すように、貼り付け先の画素がどの位置から貼り付けられたかを示す参照リンク６０５を記録する。領域（Ｘ２、Ｙ２）の参照リンク６０５は領域（Ｘ５、Ｙ３）を、領域（Ｘ２、Ｙ３）の参照リンク６０５は領域（Ｘ５、Ｙ４）をそれぞれ指し示す。図７（ｄ）に示すように、領域（Ｘ２、Ｙ２）に貼り付けられたテクスチャの貼り付け回数は、領域（Ｘ５、Ｙ３）の貼り付け回数と等しく、領域（Ｘ２，Ｙ３）に張り付けられたテクスチャの貼り付け回数は、領域（Ｘ５，Ｙ４）の貼り付け回数と等しい。

次に図７（ｅ）に示すように、領域（Ｘ１：Ｘ２、Ｙ２：Ｙ３）の対象パッチ６１２に対して、領域（Ｘ５：Ｘ６、Ｙ４：Ｙ５）の参照パッチ６１３が最適パッチとして選択されたとする。図７（ｆ）に示すように、領域（Ｘ５、Ｙ４）の貼り付け回数６１４は、１加算されて“２”となり、領域（Ｘ５、Ｙ５）の貼り付け回数６１４は“１”となる。また図７（ｇ）に示すように、領域（Ｘ１、Ｙ２）は領域（Ｘ５、Ｙ４）を、領域（Ｘ１、Ｙ３）は領域（Ｘ５、Ｙ５）を指し示す参照リンク６１５が形成される。この時、領域（Ｘ１、Ｙ２）と領域（Ｘ２、Ｙ３）はともに、同じ領域（Ｘ５、Ｙ４）へのリンクを持つ。このため、図７（ｈ）に示すように、領域（Ｘ２、Ｙ３）の貼り付け回数は、領域（Ｘ５、Ｙ４）の貼り付け回数である２回に設定される。

なお、パッチのテクスチャが平坦である場合は、そのパッチが繰り返し貼り付けられたとしても不自然な補間結果とはならない。そのため、特徴量算出処理部１０４で求められたパッチの平坦さを表す特徴量を基に、平坦領域（例えば、特徴量が所定の閾値以下）であれば出力するペナルティの値を小さくしてもよい。また、平坦な領域ほど特徴量の値を小さくする場合、ペナルティの値に特徴量を掛けた値を出力としても良い。

再び図５Ｂを参照する。本実施形態の画像補間装置１００は、誤差最小パッチ選択処理部１０２を更に備えている。本実施形態における誤差最小パッチ選択処理部１０２は、画素値誤差算出処理部１０１から出力された画素値誤差と、特徴量誤差算出処理部１０５から出力された特徴量誤差と、貼り付け回数評価処理部から出力されたペナルティを入力とし、３つの入力値の合計値が最も小さくなる参照パッチを、対象パッチ領域に張り付ける最適なパッチとして選択する。

なお、３つの入力値の合計値を求める際に、それぞれの値にあらかじめ設定された重みを乗じても良い。また、３つの値から１つまたは２つのいずれかの組み合わせのみを用いて最適パッチを決定しても良い。その際、使用しない値に係る誤差算出処理および評価処理については省略しても構わない。

また、画像補間装置１００が貼り付け回数評価処理部１０６を備えていない場合、誤差最小パッチ選択処理部１０２は、画素値誤差算出処理部１０１から出力された画素値誤差と、特徴量誤差算出処理部１０５から出力された特徴量誤差とを入力とし、２つの入力値の合計値またはこれらの入力値にあらかじめ設定された重みを乗じたものの合計値が最も小さくなる参照パッチを、対象パッチ領域に張り付ける最適なパッチとして選択する。

本実施形態の全体処理フローを図８に示す。以下、図８を参照しながら、本実施形態における全体処理のフローの一例を説明する。

はじめに、処理対象となる画像データを取り込む（Ｓ１００）。

次に、不要物の除去対象となるマスク領域をセットする（Ｓ１１０）。領域はユーザが手動で選択して設定してもよいし、画像認識技術を用いて自動的に設定してもよい。

次に、入力画像からテクスチャの平坦さを表す画像特徴量を算出する（Ｓ１２０）。

次に、マスク領域と非マスク領域の境界線上の一点を選択し、その点を中心とした領域を対象パッチとして選択する（Ｓ１３０）。

次に、対象パッチに張り付けるための、最適なパッチを選択する（Ｓ１４０）。詳細については図９を参照して後述する。

次に、選択された最適パッチの画素値を、対象パッチ領域に貼り付ける。また、補間処理の完了した対象パッチに属するマスク領域をマスク外領域へと更新する（Ｓ１５０）。

次に、マスク領域がまだ残されているか否かの判定を行い（Ｓ１６０）、まだマスク領域が残っている場合はＳ１３０へと戻り、マスク領域が全て処理された場合は、出力ＩＦ１５０を介して不図示の記録媒体やディスプレイに処理結果画像を出力して終了する（Ｓ１７０）。

本実施形態の最適パッチ探索処理フローを図９に示す。以下、図９を参照しながら、本実施形態における最適パッチ探索処理のフローの一例を説明する。

最適パッチ探索処理（Ｓ１４０）では、前記Ｓ１３０にて選択された対象パッチに対して、貼り付け対象として最適な参照パッチを一つ選択する。

まず、対象パッチとの誤差を算出する参照パッチを、対象パッチの周辺領域から一つ選択する（Ｓ２１０）。

次に、対象パッチ内の非マスク領域の画像特徴量と、Ｓ２１０で選択した参照パッチ全体の画像特徴量との誤差を求める（Ｓ２２０）。

以降のＳ２３０〜Ｓ２５０では、パッチ内の各画素単位での比較を行う。

まず、対象パッチと参照パッチの、各画素の誤差を求める（Ｓ２３０）。誤差の値はあらかじめ設定された重みを掛けたうえで、前記Ｓ２２０で求めた画像特徴量の誤差の値に加算される。なお、比較元パッチ内のマスク領域に相当する画素については誤差の算出を行わない。

次に、対象パッチに含まれる画像特徴量からその領域のテクスチャが平坦であるか否かを判定する（Ｓ２４０）。平坦な領域である場合は、Ｓ２５０をスキップしてＳ２６０へ進む。平坦な領域でない場合は、Ｓ２５０へと進む。

Ｓ２５０では、参照パッチの貼り付け回数を参照し、回数に応じた値をペナルティ値として、前記Ｓ２２０で求めた画像特徴量の誤差の値に加算する。

次に、パッチ内で未だ比較を行っていない画素があるか否かを判定し（Ｓ２６０）、未処理の画素がある場合は、Ｓ２３０へと戻る。全ての画素の比較が終わった場合は、Ｓ２７０へと進む。

Ｓ２７０にて、パッチ同士の比較の対象となるパッチが未だ残っているか否かの判定を行い、未比較のパッチがある場合はＳ２１０へと戻り、次の未処理パッチとの比較を行う。全てのパッチの比較が終わった際には、Ｓ２８０へと進む。

最後に、対象パッチとの誤差の合計値が最も小さい参照パッチを選択し（Ｓ２８０）、その結果を返す。

かかる構成によれば、最適な貼り付けパッチを決定する際に、参照パッチマスク外領域の画像特徴量を参照することにより、不自然な補間を回避し、補間結果の品質を向上させることができる。また、パッチ貼り付け回数を参照することにより、繰り返し貼り付けの発生を抑え、補間結果の品質を向上させることができる。

上記の実施形態における画像補間装置１００は、画素値誤差算出処理部１０１以外に、特徴量誤差算出処理部１０５および貼り付け回数評価処理部１０６の両方を備えているが、特徴量誤差算出処理部１０５および貼り付け回数評価処理部１０６の一方を備えていれば、従来の画像補間装置では得られなかった効果を得ることができる。従って、本開示の画像補間装置または画像処理装置は、特徴量誤差算出処理部１０５および貼り付け回数評価処理部１０６の少なくとも一方を備えていればよい。

なお、本開示の画像補正装置は、公知の電子機器または電気機器が備えるコンピュータやプロセッサに以下のステップを実行させるように構成されたコンピュータプログラムによっても実現され得る。その場合、プログラムはメモリに内蔵され、公知の画像処理装置と組み合わせて使用され得る。このプログラムは、画像データと画像データのうちで補間処理を行うマスク領域を規定する情報とを受け取り、マスク領域と重複する補間対象パッチとマスク領域と重複しない参照パッチとの画像データ上の誤差を求める第１ステップと、画像データから各パッチ領域の平坦さを表す特徴量を算出する第２ステップと、特徴量の誤差を求める第３ステップと、第１および第３ステップの結果に基づいて最も誤差の少ない参照パッチを決定する第４ステップと、第４ステップで選択された参照パッチの画素データを補間対象パッチに貼り付ける第５ステップと、補間処理を行った結果画像データを生成する第６ステップとを、画像処理装置に実行させる。また、第３ステップでは、補間対象パッチのマスク外領域の特徴量と、参照パッチ全体の領域の特徴量とを比較して特徴量の誤差を画像処理装置に算出させる。

本開示にかかる画像補間装置は、デジタルスチルカメラ等の画像撮影装置の搭載機能として有用である。またＰＣやスマートフォン等の画像編集アプリケーション用途にも利用できる。

１００ 画像補正装置
１０１ 画素値誤差算出処理部
１０２ 誤差最小パッチ選択処理部
１０３ 最適パッチ貼り付け処理部
１０４ 特徴量算出処理部
１０５ 特徴量誤差算出処理部
１０６ 貼り付け回数評価処理部
１１０ 画像入力部
１１１ マスク情報入力部
１１２ 画像出力部
１１３ 更新画像
１１４ 更新マスク
１１５ 貼り付け回数
２００ 従来例における画像補正装置
３００、４００、５０１ マスク領域
３０１ マスク外領域
３０２ マスク境界
３１０、４１０、５０３、６０２、６１２、７０２、７０５ 対象パッチ
３２０、３２１、３２２、４２０、４３０、５０４、６０３、６１３、７０３、７０４ 参照パッチ
４０１、５０２ テクスチャ領域
４１１ 対象パッチマスク内領域
４１２ 対象パッチマスク外領域
４２１、４３１ 参照パッチマスク内領域
４２２ 参照パッチマスク外領域
６０４、６１４ 貼り付け回数
６０５、６１５ 参照リンク
７００ 入力画像

Claims (9)

1. 画像データと前記画像データのうちで補間処理を行うマスク領域を規定する情報とを受け取り、前記マスク領域と重複する補間対象パッチと前記マスク領域と重複しない参照パッチとの画像データ上の誤差を求める第１処理部と、
   前記画像データから前記補間対象パッチおよび前記参照パッチの各々の領域の平坦さを表す特徴量を算出する第２処理部と、
   前記特徴量の誤差を求める第３処理部であって、前記補間対象パッチのマスク外領域の特徴量と、前記参照パッチ全体の領域の特徴量とを比較して前記特徴量の誤差を算出する第３処理部と、
   前記第１処理部の結果と、前記第３処理部の結果とに基づいて最も誤差の少ない参照パッチを決定する第４処理部と、
   前記第４処理部の選択した参照パッチの画素データを前記補間対象パッチに貼り付ける第５処理部と、
   補間処理を行った結果画像データを出力する画像出力部と、
   を備える、画像補間装置。
2. 前記参照パッチ内の貼付回数に従って、貼付回数の多い領域については前記補間対象パッチとの誤差が大きくなるようにペナルティを付与する第６処理部をさらに備え、
   前記第４処理部は、前記第１処理部の結果と、前記第３および第６処理部の少なくとも一方の結果に基づいて最も誤差の少ない参照パッチを決定する、請求項１に記載の画像補間装置。
3. 前記第６処理部は、参照パッチのテクスチャの平坦さを表す特徴量に応じて、前記ペナルティの値を変更する、請求項２に記載の画像補間装置。
4. 前記第４処理部は、前記第１処理部と前記第６処理部の結果に基づいて最も誤差の少ない参照パッチを決定する、請求項２に記載の画像補間装置。
5. 前記第４処理部は、前記第１、第３および第６処理部の結果に基づいて最も誤差の少ない参照パッチを決定する、請求項２に記載の画像補間装置。
6. 画像処理装置であって、
   画像データと前記画像データのうちで補間処理を行うマスク領域を規定する情報とを受け取り、前記マスク領域と重複する補間対象パッチと前記マスク領域と重複しない参照パッチとの画像データ上の誤差を求める第１ステップと、
   前記画像データから前記補間対象パッチおよび前記参照パッチの各々の領域の平坦さを表す特徴量を算出する第２ステップと、
   前記特徴量の誤差を求める第３ステップであって、前記補間対象パッチのマスク外領域の特徴量と、前記参照パッチ全体の領域の特徴量とを比較して前記特徴量の誤差を算出する第３ステップと、
   前記第１および第３ステップの結果に基づいて最も誤差の少ない参照パッチを決定する第４ステップと、
   前記第４ステップで選択された参照パッチの画素データを前記補間対象パッチに貼り付ける第５ステップと、
   補間処理を行った結果画像データを生成する第６ステップと、
   を実行する、画像処理装置。
7. 前記参照パッチ内の貼り付け回数に従って、貼り付け回数の多い領域については前記補間対象パッチとの誤差が大きくなるようペナルティを付与するステップを更に実行し、
   前記第４ステップは、前記第１および第３ステップの結果と前記ペナルティとに基づいて最も誤差の少ない参照パッチを決定する、請求項６に記載の画像処理装置。
8. 画像データと前記画像データのうちで補間処理を行うマスク領域を規定する情報とを受け取り、前記マスク領域と重複する補間対象パッチと前記マスク領域と重複しない参照パッチとの画像データ上の誤差を求める第１ステップと、
   前記画像データから前記補間対象パッチおよび前記参照パッチの各々の領域の平坦さを表す特徴量を算出する第２ステップと、
   前記特徴量の誤差を求める第３ステップであって、前記補間対象パッチのマスク外領域の特徴量と、前記参照パッチ全体の領域の特徴量とを比較して前記特徴量の誤差を算出する第３ステップと、
   前記第１ステップおよび前記第３ステップの結果に基づいて最も誤差の少ない参照パッチを決定する第４ステップと、
   前記第４ステップで選択された参照パッチの画素データを前記補間対象パッチに貼り付ける第５ステップと、
   補間処理を行った結果画像データを生成する第６ステップと、
   を含む、画像補間方法。
9. 前記参照パッチ内の貼り付け回数に従って、貼り付け回数の多い領域については前記補間対象パッチとの誤差が大きくなるようペナルティを付与するステップを更に含み、
   前記第４ステップは、前記第１および第３ステップの結果と前記ペナルティとに基づいて最も誤差の少ない参照パッチを決定する、請求項８に記載の画像補間方法。

Images