JPWO2009142333A1 - 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体 - Google Patents

Abstract

本発明の画像処理方法は、特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理方法である。まず、特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第１構造特徴パッチを定義し、第１構造特徴パッチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第２構造特徴パッチを、特定画像領域の前記周辺領域の既知領域において検索する。第１構造特徴パッチの前記注目未知画素の値を、前記第２構造特徴パッチで対応する配置にある画素の画素値で決定する。このように輪郭部分において注目未知画素の画素値を決定することにより、特定画像領域の外縁の画素から内側に向かって画素値を決定していくことを特徴とする。

Description

本発明は、画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体に関する。

従来から、イメージインペインティング（Ｉｍａｇｅ ｉｎｐａｉｎｔｉｎｇ）という技術が知られている。非特許文献１乃至３に開示されているように、Ｂｅｒｔａｌｍｉｏらが開発したＢＳＣＢインペインティングアルゴリズムが、２０００年〜２００１年に発表されてから、イメージインペインティングは、大きな注目を集め、多くのイメージインペインティングメソッドが新たに開発されてきた。それらのイメージインペインティングアルゴリズムは、図１７に示すように、大きく２つのグループ（１７０１、１７０２）に分類することができる。第１のグループ１７０１は、小さな或いは細長いギャップを埋めるための「補完方法（ｉｎｔｅｒｐｏｌａｔｉｏｎ ｍｅｔｈｏｄ）」であり、第２のグループ１７０２は、大きな欠損領域を埋めるための「テクスチャ合成方法（ｔｅｘｔｕｒｅ ｓｙｎｔｈｅｓｉｓ ｍｅｔｈｏｄ）」である。

また、従来の多くのイメージインペインティングメソッドは、第１のグループ１７０１に属している。ＢＳＢＣモデルでは、画像の平滑度情報がラプラシアン画像によって推定され、アイソフォト（等しい明度を持つ線又は表面、図１８の１８０１）方向に沿って、欠損領域（１８０２）に対し、伝搬する（１８０３）。非特許文献４に記載された全変動（ＴＶ：Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎａｌ）モデル及び非特許文献５に記載された曲率駆動拡散（ＣＤＤ：Ｃｕｒｖａｔｕｒｅ−Ｄｒｉｖｅｎ Ｄｉｆｆｕｓｉｏｎ）モデルは、異方性拡散方程式に加えてオイラー・ラグランジュ方程式を用いることによってアイソフォトの方向を維持させる。これら全ての方法は、基本的に、アイソフォトの方向を維持しようとする様々なヒューリスティックス（思考モデル）に従って、欠損領域内への色の伝搬を示す偏微分方程式（ＰＤＥ：Ｐａｒｔｉａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅｑｕａｔｉｏｎ）を解くものである。

Ｂｅｒｔａｌｍｉｏ Ｍ，Ｓａｐｉｒｏ Ｇ，Ｃａｓｅｌｌｅｓ Ｖ，Ｂａｌｌｅｓｔｅｒ Ｃ，"Ｉｍａｇｅ ｉｎｐａｉｎｔｉｎｇ"，Ｐｒｏｃ．ｏｆ ｔｈｅ ＡＣＭ ＳＩＧＧＲＡＰＨ ２０００，Ｎｅｗ Ｏｒｌｅａｎｓ，２０００，ｐｐ．４１７−４２４ Ｂｅｒｔａｌｍｉｏ Ｍ，Ｂｅｒｔｏｚｚｉ ＡＬ，Ｓａｐｉｒｏ Ｇ．Ｎａｖｉｅｒ−Ｓｔｏｋｅｓ，"ｆｌｕｉｄ ｄｙｎａｍｉｃｓ，ａｎｄ ｉｍａｇｅ ａｎｄ ｖｉｄｅｏ ｉｎｐａｉｎｔｉｎｇ"，Ｐｒｏｃ．Ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔ’１ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌｕｍｅ Ｉ．Ｈａｗａｉｉ，２００１，ｐｐ．３５５−３６２ Ｃ．Ｂａｌｌｅｓｔｅｒ，Ｍ．Ｂｅｒｔａｌｍｉｏ，Ｖ．Ｃａｓｅｌｌｅｓ，Ｇ．Ｓａｐｉｒｏ，Ｊ．Ｖｅｒｄｅｒａ，"Ｆｉｌｌｉｎｇ−Ｉｎ ｂｙ Ｊｏｉｎｔ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｏｆ Ｖｅｃｔｏｒ Ｆｉｅｌｄｓ ａｎｄ Ｇｒａｙ Ｌｅｖｅｌｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，１０（８），２００１，ｐｐ．１２００−１２１１ Ｔ．Ｃｈａｎ，Ｊ．Ｓｈｅｎ，"Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｄｅｌｓ ｆｏｒ Ｌｏｃａｌ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｉｎｐａｉｎｔｉｎｇｓ"，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＡＭ ００−１１，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｒｅｓｅａｒｃｈ Ｇｒｏｕｐ，ＵＣＬＡ，２０００ Ｔ．Ｃｈａｎ，Ｊ．Ｓｈｅｎ，"Ｎｏｎ−Ｔｅｘｔｕｒｅ Ｉｎｐａｉｎｔｉｎｇ ｂｙ Ｃｕｒｖａｔｕｒｅ Ｄｒｉｖｅｎ Ｄｉｆｆｕｓｉｏｎｓ（ＣＤＤ）"，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＡＭ ００−３５，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｒｅｓｅａｒｃｈ Ｇｒｏｕｐ，ＵＣＬＡ，２０００ Ａｌｅｘａｎｄｒｕ Ｔｅｌｅａ，"Ａｎ Ｉｍａｇｅ Ｉｎｐａｉｎｔｉｎｇ Ｔｅｃｈｎｉｑｕｅ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｍｅｔｈｏｄ"，Ｊｏｕｒｎａｌ ｏｆ Ｇｒａｐｈｉｃｓ Ｔｏｏｌｓ，９（１），２００４，ｐｐ．２５−３６ Ａ．Ａ．Ｅｆｒｏｓ，Ｔ．Ｋ．Ｌｅｕｎｇ，"Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ ｂｙ Ｎｏｎｐａｒａｍｅｔｒｉｃ Ｓａｍｐｌｉｎｇ"，Ｉｎ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌｕｍｅ ２，１９９９，１０３３−１０３８ Ｌ．−Ｙ．Ｗｅｉ，Ｍ．Ｌｅｖｏｙ，"Ｆａｓｔ Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ Ｕｓｉｎｇ Ｔｒｅｅ−Ｓｔｒｕｃｔｕｒｅｄ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ"，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ（ＳＩＧＧＲＡＰＨ ２０００ Ｃｏｎｆ．Ｐｒｏｃ．），２０００，ｐｐ．４７９−４８８ Ｐｅｎｇ Ｔａｎｇ，"Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ ｔｏ Ｉｍａｇｅ Ｉｎｐａｉｎｔｉｎｇ"，Ｍ．Ｓ．，Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｎｅｗ Ｍｅｘｉｃｏ，２００４ Ａｎｔｏｎｉｏ Ｃｒｉｍｉｎｉｓｉ，Ｐａｔｒｉｃｋ Ｐｅｒｅｚ，Ｋｅｎｔａｒｏ Ｔｏｙａｍａ，"Ｏｂｊｅｃｔ Ｒｅｍｏｖａｌ ｂｙ Ｅｘｅｍｐｌａｒ−ｂａｓｅｄ Ｉｎｐａｉｎｔｉｎｇ（ＰＤＦ）Ｊｕｎ"，ＷＩ Ｐｒｏｃ．ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００３（２），ｐｐ．７２１−７２８ Ｈｉｔｏｓｈｉ Ｙａｍａｕｃｈｉ，Ｊｏｒｇ Ｈａｂｅｒ，Ｈａｎｓ−Ｐｅｔｅｒ Ｓｅｉｄｅｌ，"Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ ｕｓｉｎｇ Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ ａｎｄ Ｉｍａｇｅ Ｉｎｐａｉｎｔｉｎｇ"，Ｐｒｏｃ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ（ＣＧＩ）２００３，ｐｐ．１２０−１２５ Ｈ．Ｇｒｏｓｓａｕｅｒ，"Ａ Ｃｏｍｂｉｎｅｄ ＰＤＥ ａｎｄ Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ Ａｐｐｒｏａｃｈ ｔｏ Ｉｎｐａｉｎｔｉｎｇ"，Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ＬＮＣＳ ３０２２，２００４，ｐｐ．２１４−２２４

上述の非特許文献１乃至５に登場するＰＤＥベースのアルゴリズムの複雑さを抜きにすれば、その主な問題は、アイソフォトの推定及びその情報の伝搬が、両方とも数値の拡散の影響を受けてしまう点にある。解くべきＰＤＥを安定化させる拡散であれば好ましいが、修復しようとする領域が「ボケ」てしまうことは避けられない（図１９）。非特許文献６にて論じられたＦＭＭ（Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｍｅｔｈｏｄ）モデルは、非特許文献１及び２のＢＳＢＣモデルと同様に、画像の階調変化に従って画像平滑度を伝搬する。しかしながら、この画像平滑度は、修復すべき画素に近接した既知の画像における加重平均値に基づいて導かれるので、この方法も、やはり「ボケ」を発生させてしまう。細く長い欠損領域の修正においては目立たないかもしれない（図１９の１９０１）が、大きく太い欠損領域の修正においては、そのような「ボケ」は許容できない（図１９の１９０２）。

これに対し、従来から、様々な研究者が、大きく太い欠損領域を埋める方法として、テクスチャ合成インペインティングについて研究を行なってきた（非特許文献７乃至１０）。テクスチャ合成は、「ピュアな」テクスチャ、つまり、モデレートな確率変動を有する２次元テクスチャパターンの繰り返し、を用いて大きな画像領域を埋めるのに適している。異なる領域がそのようなテクスチャを有すると、常に、近似した（同一性の高い）ものとして認識される。多くのリアル画像及び合成画像においては、欠損領域は、リニアなストラクチャーと混合テクスチャ（多くのリアル画像及び合成画像において空間的に相互作用する複数のテクスチャ）から構成される。従来のテクスチャ合成技術の中には、事例ベース（ｅｘｅｍｐｌａｒ−ｂａｓｅｄ）技術のように、ソースから色値をサンプリングしてコピーすることにより、安価かつ効果的に新しいテクスチャを生成する技術もあるが、このようなテクスチャ合成技術では、上述のような領域を埋めることは困難であり、混合テクスチャに対してなすすべがない。一方、非特許文献１１、１２に示すように、近年では補完法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）とテクスチャ合成とを組み合わせた方法も提案されてきているが、（データ値の）補完には時間がかかるため、処理スピードが非常に遅くなる。

このように、従来は、イメージインペインティングよって、大きな欠損領域を修復することは困難であった。具体的には、以下の２つの主な懸念事項が存在していた。つまり、（１）既知のパッチのテクスチャ特徴情報及び構造特徴情報を欠損領域に伝搬しつつアイソフォトの連続性を維持するにはどうすればよいのか、そして、（２）短時間に効果的にアルゴリズムを実行するにはどうすればよいのか、である。

本発明は、上記従来技術を踏まえ、イメージインペインティング技術を用いつつ、高速且つ効果的に画像を処理し、高品質の画像処理結果を得る。

本発明は、特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理方法である。その特徴は、前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第１構造特徴パッチを定義し、前記第１構造特徴パッチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第２構造特徴パッチを、前記特定画像領域の前記周辺領域の既知領域において検索する検索ステップと、前記第１構造特徴パッチに含まれる前記注目未知画素の画素値を、第２構造特徴パッチにおいて対応する配置にある画素の画素値で決定する画素値決定ステップと、を前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していくことである。

発明の効果
本発明は、イメージインペインティング技術を用いつつ、高速且つ効果的に画像を処理することができ、高品質の画像処理結果を得ることができる。

本発明の実施形態に係る画像処理の一例を示す図である。 本発明の実施形態に係る画像処理の基礎理論を説明するための図である。 本発明の実施形態に係る処理対象画素を示す図である。 本発明の実施形態に係る画像処理方法に用いられる構造特徴とテクスチャ特徴を例示する図である。 本発明の実施形態に係る画像処理方法における、構造特徴の伝搬を示す図である。 本発明の実施形態に係る画像処理方法による、エラー蓄積回避の様子を示す図である。 本発明の実施形態に係る画像処理方法による、エラー蓄積回避の方法を示す図である。 本発明の実施形態に係る画像処理方法による、様々な画像処理結果の例を示す図である。 本発明の実施形態に係る画像処理方法による、画像処理結果の一例を示す図である。 本発明の実施形態に係る画像処理方法による画像処理結果と、過去の画像処理方法による画像処理結果の比較例を示す図である。 本発明の実施形態に係る画像処理方法を実現するシステムの一例を示す図である。 本発明の実施形態に係る画像処理方法を実現するアプリケーションのユーザインタフェースの一例を示す図である。 本発明の実施形態に係る画像処理方法を実現するアプリケーションの処理の流れを説明するフローチャートである。 本発明の実施形態に係る画像処理方法を実現するアプリケーションの実行結果例を示す図である。 本発明の実施形態に係る画像処理方法を実現するアプリケーションの実行結果例を示す図である。 本発明の実施形態に係る画像処理方法を実現するアプリケーションのユーザインタフェースの他の例を示す図である。 イメージインペインティング技術について説明する図である。 アイソフォトの連続性の維持について説明する図である。 従来の画像処理結果を示す図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

１． 概要
本発明の実施形態としての画像処理方法は、画像において特定画像領域を、その周辺領域の既知の画像情報を用いて埋め、完全かつ自然に見える画像を生成するものである。以下の説明では、「欠損領域」や「未知の画像領域」という表現が用いられているが、これは「損傷を受けた画像領域」や「情報のない画像領域」を示すのだけではなく、周辺領域の画像情報を用いて埋めようとするあらゆる領域を意味し、本発明でいう「特定画像領域」である。つまり、処理前から何ら情報が欠落していない領域であっても、ユーザによって作為的に特定された処理対象領域は「欠損領域」（「特定画像領域」）の概念に含まれるものとする。

イメージインペインティングは、画像において欠損領域を修復し、修復後の画像が、完全かつ自然に見えるようにするための１つの手段であり、本実施形態に係る画像処理方法では、新しいイメージインペインティングアルゴリズムを提案し利用する。本実施形態で提案する新しい画像処理アルゴリズムによれば、モルフォロジー収縮演算及びストラクチャー特性の複製によって、特定画像領域の処理を行なう。構造特徴及びテクスチャ特徴マッチングアルゴリズムに基づく方法によれば、周辺領域のパッチのテクスチャ特徴情報と構造特徴情報の両方を、特定画像領域に伝搬（ｐｒｏｐａｇａｔｅ）させることによって、アイソフォト（ｉｓｏｐｈｏｔｅ）の連続性を維持することができる。結果として、完全かつ自然に見え、ぼやけていない画像を出力することが可能となる。モルフォロジー収縮によって領域を埋める方法によれば、各インペインティングステップにおいて、１画素のみならず複数の画素をまとめて処理することができるので、従来の多くのテクスチャ合成インペインティングアルゴリズムよりも高速に処理を行なうことができる。イメージインペインティングを適用できる技術範囲は広く、例えば、スキャンした画像データ上の傷やゴミを取り除くことによる劣化した画像の再構築にも利用できるし、デジタル画像から文字やロゴの除去するために利用することもできる。更には、芸術的効果の創作などの様々な目的にも利用可能である。

２． モルフォロジー収縮処理に基づくイメージインペインティング
２．１ モルフォロジー収縮処理
モルフォロジー収縮演算とは、非線形フィルタの一種（モルフォロジーフィルタ）を用いた演算である。モルフォロジー演算とは、「構造要素（ｓｔｒｕｃｔｕｒａｌ ｅｌｅｍｅｎｔ）」と呼ばれる図形要素（エッジ、輪郭など）を利用して、画像データに拡張（Ｄｉｌａｔｉｏｎ）、収縮（Ｅｒｏｓｉｏｎ）を施すことをいう。構造要素とは、複数の位置ベクトルの集合を画素に置き換えたものである。つまり、拡張（Ｄｉｌａｔｉｏｎ）及び収縮（Ｅｒｏｓｉｏｎ）の２種類の処理が、基本的なモルフォロジーカル動作である。「拡張」は、画像中のオブジェクトの境界部分に画素を追加する処理であり、「収縮」は、その境界部分から画素を取り除く処理である。特定の領域が、小さくなるべき領域として認識される場合、「収縮」をイメージインペインティングに用いる。

モルフォロジー収縮処理は、下の式のように定義される。

上記数式１において、Ａは入力二値画像であり、Ｂは構造要素であって、数式１は、二値画像Ａが構造要素Ｂによって収縮されることを示している。構造要素（Ｂ）ｘは、画素ｘを中心とする構造要素Ｂを示す。拡張及び収縮処理において重要なのは、入力画像を処理するために用いられる構造要素である。構造要素は、０と１のみからなり任意の構成及びサイズを持つマトリクスである。構造要素のサイズは、通常、処理すべき画像のサイズよりもずっと小さい。「オリジン（ｏｒｉｇｉｎ）」と呼ばれる構造要素の中心画素は、注目未知画素、つまり処理すべき画素である。

２．２ 領域充填アルゴリズム
図２を用いて、２値画像のイメージインペインティング収縮処理について説明する。ここでは、構造要素の領域を表す画素が１（理論値）で定義されている。図２において、構造要素１０１は、オリジン１０２を中心とする３×３画素のマトリクスであり、構造要素１０１に含まれる全ての画素の値は１となっている。これにより図２では、１画素幅の帯状部分のみが、収縮処理の各ループにおいて収縮される模式を示している。

この処理の主な利点は、（特定画像領域、欠損領域等の）未知の画像領域をモルフォロジー収縮処理で用いる構造要素の領域とし、既知の画像領域から切り離し、次に修復すべき画素を示すナローバンド（細い帯状領域）を確実に維持できることにある。一方、グレースケール画像又はカラー画像においても、隣接画素の情報に基づいて未知の画素のグレー情報又はカラー情報を復元可能な場合には、やはり、欠損領域等のイメージインペインティング処理を、収縮処理を利用して実行することができる。このような領域を埋める処理を、図１に示す。図１において、欠損領域２０２を含む入力画像２０１に対し、１つの収縮ループにおいて、構造要素２０４における構造特徴及びテクスチャ特徴を修復する（２０３）。これの収縮ループを繰り返して、欠損領域２０２を完全に埋めた後、出力する（２０５）。

簡単に言えば、欠損領域２０２を修復するために、１つの構造要素２０４を繰り返し適用し、結果として、処理対象の境界部分δΩｔの不明瞭な（ｄｉｓｃｒｅｔｅ）画素を全て収縮させ、修復する。δΩｔは、時間ｔ（ｔ＝０，１，…，Ｔ，…）のタイミングでの境界部分を示し、δΩ０は初期境界部分である。そして、全体領域が修復されるまで、領域Ωの内側に向かって境界部分は移動していく。

ここで、インペインティングアルゴリズムの１ループについて説明する。時間ｔにおいて、欠損領域Ωと既知の画像領域との間の境界部分３０１（δΩｔ）を抽出し、図３に示すように、「ＫＮＯＷＮ（既知）」３０２、「ＥＤＧＥ（境界）」３０３、「ＵＮＫＮＯＷＮ（未知）」３０４という、３つのフラグで、画素をマークする。ここで、「ＫＮＯＷＮ」３０２は、境界部分δΩｔの外側、つまり既知の画像領域の画素を示し、「ＵＮＫＮＯＷＮ」３０４は、境界部分３０１の内側、つまり修復すべき領域の画素を示し、「ＥＤＧＥ」３０３は、「ＫＮＯＷＮ」３０２と「ＵＮＫＮＯＷＮ」３０４との間の画素であって、欠損領域Ωに属する画素を示す。

構造要素は、処理対象となる境界部分のそれぞれの画素を全て収縮（ｅｒｏｄｅ）するために繰り返し適用される。この収縮処理の各ステップでは、構造要素によってカバーされた画素が、後述する構造特徴及びテクスチャ特徴マッチング処理を経て修復される。修復された全ての画素は、「ＫＮＯＷＮ」のフラグでマークされる。「ＥＤＧＥ」のフラグでマークされた画素が無くなるまでこの処理は繰り返し行なわれる。
１つの収縮ループが終了すると、１つのレイヤーの画素が修復される。そして、「ＵＮＫＮＯＷＮ」のフラグでマークされた画素が無くなるまで、このループ処理は繰り返される。
各領域充填ループの各収縮ステップでは、修復すべき次の画素或いは次のパッチは、構造要素によってカバーされた範囲として明確に特定される。その範囲の画素が充填され、その範囲の構造特徴及びテクスチャ特徴が修復されるまで、グレースケール画像又はカラー画像のインペインティング処理は完了しない。

２．３ 各収縮ステップにおける構造特徴及びテクスチャ特徴の修復
ほぼ全てのＰＤＥベースのインペインティング方法は、ボケを回避することはできず、ボケが目立たない長くて細い欠損領域についてのみ効果的であるということがよく知られている。一方、大きく太い欠損領域については、ボケは許容されない。ボケることなく構造特徴及びテクスチャ特徴が修復された場合のみ、完全かつ自然に見える画像を実現することができる。本発明では、グレースケール又はカラー画像において、どの種の構造特徴及びテクスチャ特徴について図４にその定義が示されている。処理対象画像４０１の部分拡大画像４０２において、テクスチャ特徴４０４は、類似或いはほぼ同一に認識される領域であって、その領域中の各画素は少しの隣接画素群にしか関連しないような、異なる領域のグレー画素値又はカラー画素値を示す。構造特徴４０３は、異なるテクスチャ領域の境となる輪郭線であり、各画素は、その輪郭線に沿った複数の画素と強く関連している。

また、本発明では、既知の画像（画素）情報を三次元のデータであらわすことができる。Ｘ及びＹの値はその既知の画像の各々画素の平面座標の値であり、Ｚはその画素の色材等を表す値（その値は予め個別で決めておくことができる）である。したがって、多くの画素で構成した既知の画像のデータは、そこにある各々の画素の三次元のデータで集まりである。その三次元データでは、連続性の持つ三次元の面（曲面）を表すデータに置き換えることができる。その連続性のある三次元の曲面において、前記特定画像領域（修復すべき欠損領域）が生じると、そこだけは前記連続性を失うことになる。そこで、特定画像領域にある画素の構造特徴及びテクスチャ特徴のマッチングは、既知の画像の画素データと連続性を有する画素データを特定画像領域の未知画素のデータとして算出することで行う。

よって、本発明は、特定画像領域にある画素の構造特徴及びテクスチャ特徴のマッチングは当該構造特徴及びテクスチャ特徴を個別に取り出して別々で行うのではなく、後述する、所定の画素数を有する構造特徴パッチにより一体的に行っている。また、本発明では、既知の画像の画素データからアイソフォトの方向を維持した、前記特定画像領域の画素データを算出することができる。
次に、図５を用いて、構造特徴及びテクスチャ特徴マッチングアルゴリズムについて説明する。このアルゴリズムは、大きく太い欠損領域についても、細長い欠損領域についても、いくつかの構造特徴（直線的な輪郭線や小さな曲率を有するカーブといった普通の構造）を、ボケを発生させることなく修復できる。

欠損領域５１２を含む処理対象画像５０１の一部５０２を拡大した場合、前記注目未知画素５０６を中心とする構造特徴パッチ５０７（第１構造特徴パッチ）内のグレー画素値（又はカラー画素値）５１０と同じ或いは類似の画素値を有する構造特徴パッチ（ここでは７×７画素領域）５１１（第２構造特徴パッチ）を、サーチ範囲５０３（特定画像領域の周辺領域の既知領域）の内部において左から右へ、上から下へ向かって検索する。ここで、本発明において、前記注目未知画素５０６を一画素とすることが好ましい。

２つのパッチの類似性は、そこに含まれる全ての既知画素のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ：輝度差の二乗和）の最小値を用いて測定される。検索範囲において、既知画素５０５を中心とする構造特徴パッチ５１１が最大の類似性（最小ＳＳＤ）を有することが分かれば、構造要素５０７に含まれる未知画素群５０８の画素値は、構造特徴パッチ５１１の構造要素５０４の範囲に含まれる既知画素群５０９の画素値によって置き換えられる。このようにして、インペインティング処理の１ステップが完了する。この方法によれば、インペインティング処理の１ステップで複数画素（図５の例では６画素）を処理することができ、処理を高速化できる。また、既知領域の構造特徴及びテクスチャ特徴が欠損領域内に伝搬し、同時にナローバンドが維持される。

このように、本実施形態に係る画像処理方法は、図２０のように、特定画像領域（欠損領域）における未知の画像情報を該特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理方法である。まず、前記特定画像領域の輪郭部分に含まれる注目未知画素を特定（２００１）し、前記注目未知画素を中心とする所定の画素数を有する第１構造特徴パッチを定義（２００２）する。そして、前記第１構造特徴パッチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第２構造特徴パッチを、前記特定画像領域の周辺領域の既知領域において検索（２００３）する。次いで前記第１構造特徴パッチに含まれる前記注目未知画素の周囲にある未知画素群の画素値を、第２構造特徴パッチにおいて対応する配置にある画素の画素値で決定（２００４）する。最後に、前記特定画像領域に注目未知画素が含まれているか否かと判断（２００５）する。存在するなら、前記輪郭部分に含まれる別の前記注目未知画素に対して２００１、２００２、２００３及び２００４のステップを繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していく。存在しないなら、画像処理を終了する。

また、本実施形態によれば、特定画像領域の構造特徴及びテクスチャ特徴を個別に識別しない。前記第１構造特徴パッチの未知画素の値を第２構造特徴パッチにおいて対応する配置の画素の値を置き換える（複製する）ことによって、特定画像領域の構造特徴及びテクスチャ特徴のマッチングを一緒に行うことができる。さらに、第１構造特徴パッチの画素数をたとえば、５×５、７×７等とすることで、前記モルフォロジー収縮演算は１画素ずつではなく、５×５又は７×７画素を単位として前記特定画像領域の輪郭に沿って収縮していき、特定画像領域の未知画素の処理の高速化を可能にすることができる。本発明では、第１構造特徴パッチ（第２構造特徴パッチ）の画素数をたとえば、５×５、７×７または９×９等とすることが好ましい。
また、本実施形態でいう、「置き換える」とは、第２構造特徴パッチにおいて対応する配置の画素の値を完全に第１構造特徴パッチの未知画素の値として複製する場合以外に、適宜に加工（エラー修正等）を加えて算出することもできる。

２．４ 改良点の詳細
２．４．１ エラー蓄積回避方法
本方法では、境界部分に沿ったインペインティングの１ループの後で、欠損領域と既知領域との間の境界部分に沿った新しいナローバンドが前のナローバンドに基づいて形成される。この場合、例えば、図６のように、欠損領域６０４を有するリアル画像（又は合成画像）６０１に対し、インペインティング処理を施した結果、画像６０２に示すようにエラー蓄積現象６０５が起こりうることが分かる。すなわち、なんらかの理由で以前のナローバンドにおける情報に誤りがあった場合、次々と新しいナローバンドにその誤りが伝搬する可能性がある。

この問題を解決するため、各収縮ステップにおける構造特徴及びテクスチャ特徴の修復処理を改良する。すなわち、サーチ範囲の中心を、始めからずっとオリジナルの境界線に合わせる。そして、オリジナル画像からの情報しか信頼性がないという事実に基づき、オリジナル画像の内部にあるサーチ範囲の一部のみが用いられる。この処理は、図７に示されており、次の２つのステップを含む。まず、サーチ範囲７０３の中心画素７０４を、処理しようとする未知画素に最も近いオリジナルの境界線上で検索する。そして、そのサーチ範囲７０３を、その中心画素７０４に基づいて決定する。この時、オリジナルの境界部分７０５と処理進行後の境界部分７０６の間にある、既に修復された領域（オリジナルの欠損領域）をサーチ範囲から排除する。つまり、インペインティング処理が進んで、輪郭部分が内側に移動しても、修復領域をサーチ範囲に加えず、例えばサーチ範囲７０３内の斜線部分のみから類似した構造特徴パッチを探し続ける。言い換えれば、処理対象となる注目未知画素がオリジナルの欠損領域の内側になっても、第２構造特徴パッチを検索する周辺領域の範囲には、オリジナルの欠損領域を含めない。この方法により、エラー蓄積現象を避けることができる（図６の画像６０３）。

２．４．２ インペインティング処理の高速化方法
図２に示された２値画像の収縮処理では、各収縮ステップにおいて、一層の画素のみが収縮される。しかし、ここには、少なくとも以下の２つの問題（１）、（２）がある。隣接画素間の相互関係を無視すること、及び、収縮ループの各ステップにおいて、１つの画素のみを修復することは、（１）最適解とは言えず、完全に分析されきれていない情報を含み、（２）修復スピードを低速化してしまう。

そこで、図１や図５に示したように各収縮ステップにおいて構造特徴及びテクスチャ特徴の修復処理を行なえば、各インペインティングステップにおいて、１画素のみならず複数画素を修復できるので、従来のテクスチャ合成インペインティングアルゴリズムに比べて処理は高速になり、同時に、情報の信頼性を示すナローバンドも維持される。具体的には、前記のように、本発明では、第１構造特徴パッチ（第２構造特徴パッチ）の画素数をたとえば、５×５、７×７または９×９等とすることができる。

３． 実験結果
本アルゴリズムは、図８に示すように様々な画像の修復に適用される。画像中、塗りつぶされた領域が欠損領域である。８００×６００画素のカラー画像の１８％の画素を修復しようとする場合、クロックが１．２ＧＨｚのコンピュータによって本実施形態で説明してきたアルゴリズムに基づくプログラム（Ｃ＋＋（登録商標）で書かれたもの）を実行すると、５分で修復できる。一方同様の画像に対して同様のコンピュータでＪａｖａで書かれた同様のプログラムを実行すると、約２０秒で修復できる。

図８の例１、例２の結果を見れば、本インペインティングメソッドが、大きく太い欠損領域においてテクスチャ特徴と構造特徴をボケ為しに修復できることが分かる。図８の例３、例４では、本方法を、様々な形状の欠損領域に対して実行している。図９には、画像を加工する例を示している。図１０には、欠損領域１００４を有する画像１００１に対する処理について、他の方法との比較例を示している。これによれば、本方法の結果１００３が、従前の方法の結果１００２に比べて高品質であることがわかる。

これらの例を見れば、本方法が、テクスチャ特徴情報と構造特徴情報の両方を、既知領域から欠損領域へ受け渡すことにより、アイソフォトの連続性を維持することができ、完全且つ自然な、ボケの無い画像を出力できることが分かる。

４．結論
インペインティング処理とは、画像の欠損領域を修復する一つの手段である。過去の文献に開示された大部分のインペインティングアルゴリズムは、理解及び実行するには複雑すぎた。本インペインティングアルゴリズムは、モルフォロジー収縮処理及び構造特徴のマッチング処理に基づいて欠損領域を充填する新しいアルゴリズムである。言い換えれば、モルフォロジー収縮処理と、構造特徴及びテクスチャ特徴のマッチング処理と組み合わせることにより、特定画像領域における未知の画像情報を、該特定画像領域の周辺領域の既知の画像情報に基づいて算出する。簡単に言えば、本画像処理方法は、以下の特徴を有する。

（１）画像処理方法は、構造特徴及びテクスチャ特徴のマッチングアルゴリズムに基づき、大きく太い欠損領域又は細長い欠損領域の両方について、いくつかの構造特徴（輪郭線又は小さな曲率を持つカーブなど）をぼけさせることなく修復する。

（２）モルフォロジー収縮処理に基づく画像処理方法により、各インペインティングステップにおいて、単一の画素ではなく複数画素を修復する。これにより、従来の多くのテクスチャ合成インペインティングアルゴリズムに比べて、高速に処理を行なうことが可能である。

これにより、パッチのテクスチャ特徴情報及び構造特徴情報を欠損領域に伝搬しつつアイソフォトの連続性を維持し、かつ、短時間に効果的にアルゴリズムを実行する。

５． 画像処理システム
５．１ ハードウェア構成
図１１に、上述してきた画像処理方法を実現する画像処理システム１１００を示す。ＣＰＵ１１０１は画像処理システム全体を制御する中央処理ユニットである。ＲＯＭ１１０２は、ＣＰＵ１１０１によってブートされる基本プログラムを格納したリードオンリーメモリである。ＲＡＭ１１０３は、ＨＤ１１０４に格納されたプログラムやデータを展開するための記憶領域を有するランダムアクセスメモリである。ＨＤ１１０４は、ハードディスクであり、本実施形態の画像処理システムにおいては、ＯＳ（オペレーションシステム）１１０５や、画像データ１１０６の他に、上述した画像処理方法を実行するプログラムとして、インペインティングアプリケーション１１０７を備えている。

インペインティングアプリケーション１１０７は、図のように、パラメータ設定モジュール１１０７ａと、画像処理領域設定モジュール１１０７ｂと、画像処理モジュール１１０７ｃと、画像描画モジュール１１０７ｄとを備える。このうち、パラメータ設定モジュール１１０７ａは、ユーザの操作に応じて各種のパラメータを設定する。また、画像処理領域設定モジュール１１０７ｂは、処理対象となる画像において、ユーザの操作に応じて或いは自動的に画像処理領域（いわゆる欠損領域）を設定する。更に、画像処理モジュール１１０７ｃは、設定された画像処理領域に対して、周辺画像領域のデータを用いてインペインティング処理を行なう。そして、画像描画モジュール１１０７ｄは、各種の指示やタイミングに応じて、ＯＳ１１０５の機能を利用して様々な画像を描画する。

本画像処理システム１１００は更に、外部の画像入力装置１１１０から画像データを入力したり、ディスプレイ１１１１に画像データを出力したり、マウスやキーボードなどの入力装置１１１２から情報を入力したりするための、インタフェースである入出力部（Ｉ／Ｏ）１１０８を備えている。

５．２ ユーザインターフェース
ＣＰＵ１１０１がＯＳ１１０５及び本実施形態に係るインペインティングアプリケーション１１０７を実行した場合に、ディスプレイ１１１１に表示されるユーザインタフェースの一例を図１２に示す。図１２のユーザインタフェース１２００において、最上部には、「Ｆｉｌｅ」、「Ｉｎｐａｉｎｔｉｎｇ」、「Ｅｘｔｒａｓ」、「Ｈｅｌｐ」の４種類のコマンドを選択できるコマンドライン１２０１が設けられている。そして上から２段目には、「Ｏｐｅｎ」、「Ｓａｖｅ」、「Ｓａｖｅ Ａｓ」、「Ｚｏｏｍ−」、「（Ｚｏｏｍ）Ｒｅｓｅｔ」、「Ｚｏｏｍ＋」、「Ｂｒｕｓｈ」、「Ｓｈａｐｅ」、「Ａｒｅａ」、「Ｂｙ Ｃｏｌｏｒ」、「Ｂｙ Ａｒｅａ」、「Ｕｎｄｏ」、「Ｒｅｄｏ」、「Ｉｎｐａｉｎｔｉｎｇ」、「Ｐａｕｓｅ」、「Ｓｔｏｐ」といったコマンドを選択できるアイコンライン１２０２が設けられ、各アイコンが状況に応じて選択可能となっている。アイコン「Ｂｒｕｓｈ」、「Ｓｈａｐｅ」、「Ａｒｅａ」、「Ｂｙ Ｃｏｌｏｒ」、「Ｂｙ Ａｒｅａ」は、それぞれ、表示された画像に対して、画像処理を行なう領域（いわゆる欠損領域）を設定するためのコマンドに対応する。例えば、「Ｂｒｕｓｈ」は、ペンによって欠損領域を描くコマンドであり、「Ｓｈａｐｅ」は、図形によって欠損領域を描くコマンドであり、「Ａｒｅａ」は、ドラッグして囲むことにより欠損領域を描くコマンドである。更に、「Ｂｙ Ｃｏｌｏｒ」は、開かれた画像データ中において共通の色値（又は色値範囲）を有する画素を一度に欠損領域として選択するコマンドである。「Ｂｙ Ａｒｅａ」は、選択された画素と共通の色値（又は色値範囲）を有する画素であって、選択された画素と連続するものを欠損領域として選択するコマンドである。

アイコンライン１２０２の下方には、画像表示エリア１２０３が設けられ、Ｆｉｌｅメニューを選択して表示されるＯｐｅｎコマンドの選択、或いはＯｐｅｎアイコンのクリックによって開かれた画像データ又は動画データを表示する。画像表示エリア１２０３には、複数の画像データを仮想的に重ねて表示することができるようになっており、上方に表示されたタブにより、一旦開かれた複数の画像データの中から、表示される画像データを切り替えることができる。

画像表示エリア１２０３の、右側には、各種パラメータを設定するためのダイアログがならんでいる。まず、アイコンライン１２０２の「Ｂｒｕｓｈ」を選択した場合の線の太さを設定するダイアログ１２０４、アイコンライン１２０２の「Ｂｒｕｓｈ」を選択した場合の線の端部形状（スクエアかラウンドか）を設定するダイアログ１２０５が表示される。またその下方には、アイコンライン１２０２の「Ｂｙ Ｃｏｌｏｒ」や「Ｂｙ Ａｒｅａ」を選択した場合に用いられる色値範囲を決定する許容差ダイアログ１２０６が表示されている。

更に下方には、アイコンライン１２０２において、「Ｓｈａｐｅ」アイコンを選択した場合に描かれる図形（四角形、円形、多角形）を選択するダイアログ１２０７が表示される。

さらに、動画データを開いた場合に、マスク（欠損領域）をコピーする対象となるフレームを設定するダイアログ１２０８が設けられている。これにより、動画データの複数のフレームにおいて同じマスクを用いてインペインティング処理を行なうことが可能となる。

５．３ 処理の流れ
上述のインペインティングアプリケーション１１０７を起動後の通常の処理の流れについて、図１３のフローチャートを用いて説明する。

まず、ステップＳ１３０１において、ＯＳ１１０５及びインペインティングアプリケーション１１０７を実行中のＣＰＵ１１０１は、図１２における「Ｏｐｅｎ」アイコンの選択及び開くべき画像データの特定操作に応じて、ＨＤ１２０４から処理対象画像データを読み込む。

次に、ステップＳ１３０２において、ＣＰＵ１１０１は、ＯＳ１１０５及びインペインティングアプリケーション１１０７の機能を協働させて、読み込まれた処理対象画像を、ユーザインタフェース１２００の画像表示エリア１２０３に描画する。

次に、ステップＳ１３０３において、ユーザからの各種パラメータ設定、コマンド又はアイコンの選択、及び、画像表示エリア１２０３に表示された画像上におけるカーソルの操作に応じて、描画画像に対する処理対象領域（欠損領域）を決定する。

更に、ステップＳ１３０４において、ユーザによる「Ｉｎｐａｉｎｔｉｎｇ」アイコンの選択などに応じて、処理対象領域に対してインペインティング処理を施す。そして、ステップＳ１３０５において、処理中及び処理後の画像を描画する。

次に、ステップＳ１３０６においては、ユーザによる指示に応じて、インペインティング処理前の状態に戻すか、保存するか、或いは追加的にインペインティング処理を行なうか等を選択する。これらの選択肢は一例に過ぎず、更に、処理対象領域が無い状態に戻すなど、他の処理を選択することもできる。

ステップＳ１３０６において、「Ｕｎｄｏ」アイコンが選択されれば、ステップＳ１３０４に戻り、インペインティング処理前の画像を表示する。ステップＳ１３０６において、「Ｂｒｕｓｈ」、「Ｓｈａｐｅ」、「Ａｒｅａ」、「Ｂｙ Ｃｏｌｏｒ」又は「Ｂｙ Ａｒｅａ」アイコンが選択されると、それぞれ、インペインティング処理後の画像に対して、更に追加的にインペインティング処理を行なうべく、ステップＳ１３０３に戻る。

ステップＳ１３０６において、「Ｓａｖｅ」アイコンや「Ｓａｖｅ ａｓ」アイコンが選択されれば、ステップＳ１３０７に進み、インペインティング処理後の画像を上書き或いは新たに保存する。保存後、再度処理を行なう場合には、ステップＳ１３０８からステップＳ１３０３に戻ることもできるが、処理を終了する指示を受け付けた場合には、アプリケーションを終了する。

５．４ 処理例
図１１乃至図１３を用いて説明したインペインティングアプリケーションの実行例を図１４に示す。図１４に示されているように、インペインティング処理前の画像１４０１においては、子供の顔についたひっかき傷と鼻水が写ってしまっている。これに対し、「Ｂｒｕｓｈ」アイコンを選択後、画像１４０２に示すように、マウスなどでひっかき傷部分と鼻水部分とをドラッグしてなぞり、更に「Ｉｎｐａｉｎｔｉｎｇ」をクリックすれば、トータル１０秒ほどで画像１４０３が生成される。すなわち、非常に簡便且つ高速に画像の修正／加工を行なうことができる。

５．５ 画像比較
更に、図１２のコマンドライン１２０１に含まれる「Ｅｘｔｒａｓ」を選択した場合、画像比較コマンドが更に表示される。この画像比較コマンドが選択されると、ＣＰＵ１１０１は、インペインティング処理前後の２つの画像を１枚の画像に含めて描画し、図１５に示すように画像比較ウィンドウ１５０１をディスプレイ１１１１に表示する。画像比較ウィンドウ１５０１において、１５０２は、インペインティング処理前の画像を示し、１５０３は、インペインティング処理後の画像を示す。更に、インペインティング処理による変化率が、１５０４に示されている。

以上の画像比較処理により、ユーザは、インペインティング処理による画像処理を効果的に確認することができる。

５．６ ユーザインタフェースの他の例
本実施形態に係るインペインティングアプリケーション１１０７によるユーザインタフェースの他の例を図１６に示す。図１６のユーザインタフェース１６００は、図１２のユーザインタフェース１２００に加えて、処理の進捗を表示するパーセンテージバー１６０１と、スピードと画質とをどのようなバランスで達成したいかを設定するスピード−クオリティバー１６０２とを備えている。スピードを重視したい場合には、▽のマークを図中左側に移動させ、画質を重視したい場合には、▽のマークを図中右側に移動させればよい。そして、この▽の位置に応じて、図５のサーチ範囲５０３や、構造特徴パッチ５０７、５１１、構造要素５０４の大きさを決定すればよい。

（他の実施形態）
本発明の他の実施形態として、上述の実施形態の機能を実現するソフトウェアのプログラムが挙げられる。直接或いは遠隔から供給されたそのプログラムを、システム或いは装置のコンピュータが読み出して実行しても、同様の結果が得られるからである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない、また、例えば、フロッピー（登録商標）ディスク、ハートディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などの記録媒体に記憶されたプログラムも本発明の範疇に含まれる。更に、インターネットのサイトからダウンロードされたプログラム又はサーバコンピュータにおいてダウンロード可能に記憶されたプログラムやファイルも本発明の範疇に含まれる。

さらに、一般的なコンピュータに含まれるオペレーションシステムやハードウェアが提供する機能と協働することで、上記実施形態に示した機能を実現するプログラムも本発明の範疇に含まれるものとする。

［産業上の利用可能性］
画像処理装置及び画像処理アプリケーション、例えば、画像の加工を目的とするもの、画像の修復を目的とするもの、画像の合成を目的とするものなどに利用可能である。具体的には、人物が含まれた画像から人物を消す処理、更にその人物を他のキャラクタ−画像で置き換える処理、人物画像と背景画像との合成処理（境界部分を自然に見せる）などに利用でき、非常に高速に高品質の結果を得ることができる。

Claims (12)

1. 特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理方法であって、
   前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第１構造特徴パッチを定義し、前記第１構造特徴パッチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第２構造特徴パッチを、前記特定画像領域の前記周辺領域の既知領域において検索する検索ステップと、
   前記第１構造特徴パッチに含まれる前記注目未知画素の画素値を、第２構造特徴パッチにおいて対応する配置にある画素の画素値で決定する画素値決定ステップと、
   を前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していくことを特徴とする画像処理方法。
2. 前記画素値決定ステップでは、前記第１構造特徴パッチに含まれる前記注目未知画素の周囲にある未知画素の画素値を、前記第２構造特徴パッチで対応する配置にある画素の画素値によって置き換えることを特徴とする請求項１に記載の画像処理方法。
3. 前記検索ステップでは、輝度差の二乗和の最小値を用いて、前記第１構造特徴パッチと類似する前記第２構造特徴パッチを検索することを特徴とする請求項１に記載の画像処理方法。
4. 前記注目未知画素が前記特定画像領域の内側に移動しても、前記第２構造特徴パッチを検索する周辺領域として、前記特定画像領域を含めないことを特徴とする請求項１に記載の画像処理方法。
5. モルフォロジー収縮処理と、構造特徴及びテクスチャ特徴のマッチング処理とを組み合わせたインペインティングアルゴリズムにより、特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出することを特徴とする画像処理方法。
6. 特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理装置であって、
   前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第１構造特徴パッチを定義し、前記第１構造特徴パッチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第２構造特徴パッチを、前記特定画像領域の前記周辺領域の既知領域において検索する検索手段と、
   前記第１構造特徴パッチに含まれる前記注目未知画素の画素値を、前記第２構造特徴パッチで対応する配置にある画素の画素値で決定する画素値決定手段と、
   による、検索処理及び画素値決定処理を前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していくことを特徴とする画像処理装置。
7. 前記画素値決定手段では、前記第１構造特徴パッチに含まれる前記注目未知画素の周囲にある未知画素の画素値を、前記第２構造特徴パッチで対応する配置にある画素の画素値によって置き換えることを特徴とする請求項６に記載の画像処理装置。
8. 前記検索手段では、輝度差の二乗和の最小値を用いて、前記第１構造特徴パッチと類似する前記第２構造特徴パッチを検索することを特徴とする請求項６に記載の画像処理装置。
9. 前記注目未知画素が前記特定画像領域の内側に移動しても、前記第２構造特徴パッチを検索する周辺領域として、前記特定画像領域を含めないことを特徴とする請求項６に記載の画像処理装置。
10. モルフォロジー収縮処理と、構造特徴及びテクスチャ特徴のマッチング処理とを組み合わせたインペインティングアルゴリズムにより、特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出することを特徴とする画像処理装置。
11. コンピュータによって実行されることにより、
    請求項１乃至５の何れか１項に記載の画像処理方法を実現する画像処理プログラム。
12. 請求項１１に記載の画像処理プログラムを格納したことを特徴とするコンピュータ読取可能な記憶媒体。