JP5706740B2 - 画像修正装置およびそのプログラム - Google Patents

Description

本発明は、画像の指定領域を他の領域の画像値を利用して補完する画像修正装置およびそのプログラムに関する。

従来、古いフィルム映像（静止画像）のスクラッチ等のノイズ部分や、撮影映像（動画像）内の不要物を除去し、その除去した領域を他の領域の情報を基に補完して修正する画像修正手法が種々開発されている（非特許文献１、２参照）。
非特許文献１には、いわゆるインペインティング（Inpainting）の手法が開示されている。このインペインティング手法は、修正対象領域の周辺の等輝度線等の情報を、修正対象領域の内部に伝播させていく手法（以下、第１従来手法という）である。

しかし、この第１従来手法は、周辺の情報を伝播させていくだけであるため、スクラッチノイズのような細い領域においては有効に作用するが、修正対象領域が色や輝度の異なるテクスチャのような空間的に広がった領域においては適正に修正を行うことができなかった。また、このように、第１従来手法は、基本的に色や輝度が変化する領域には適用できないため、時間方向に広がった領域の修正、すなわち、動画像への適用も困難である。

これに対し、非特許文献２には、時空間方向に広がった修正対象領域を修正可能な手法（以下、第２従来手法という）が開示されている。
この第２従来手法は、動画像の修正対象の領域に予め定めた初期値を設定した第１のビデオシーケンスにおいて、各画素を中心に時空間方向にある大きさを持った画素情報である画像パッチのリスト（第１パッチリスト）を生成する。また、第２従来手法は、修正対象の動画像から修正対象領域を除外した第２のビデオシーケンスにおいて、第１のビデオシーケンスのデータセット（素材）となる画像パッチのリスト（第２パッチリスト）を生成する。

そして、第２従来手法は、第１パッチリストの各画像パッチに、当該画像パッチと類似度が最も高い第２パッチリストの画像パッチを適用して新たなパッチリストを生成し、類似度の累積〔累計〕（コヒーレンス）を計算するとともに、この新たなパッチリストを構成する画像パッチの画素によって、新たな動画像（ビデオシーケンス）を生成する。
そして、第２従来手法は、修正後の新たな動画像を第１のビデオシーケンスとして、前記処理を繰り返し、コヒーレンスが最大となる動画像を、修正した動画像として出力する。

M.Bertalmio, G.Sapiro, V.Caselles, and C.Ballester: "Image Inpainting," Proceedings of SIGGRAPH 2000, pp.417-424, July 2000. Y.Wexler, E.Shechtman, and M.Irani: "Space-Time Completion of Video," IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL.29, NO.3 pp.463-476, March 2007

第１従来手法は、前記したように、色や輝度の異なるテクスチャのような空間的に広がった領域においては適正に修正を行うことができないという問題がある。
また、第２従来手法は、高品質の修正画像を得るためには、修正対象の動画像に対して、データセットとなる第２パッチリストのデータ量が膨大（おおよそ、第２のビデオシーケンスの画素数分必要）になる。すなわち、第２従来手法は、大量の画像パッチを処理するための膨大な処理コスト（メモリ量、処理時間）が必要になるという問題がある。

さらに、第２従来手法は、第１パッチリストの各画像パッチに、当該画像パッチと類似度が最も高い第２パッチリストの画像パッチを適用し、コヒーレンスの値によって評価を行っている。しかし、この場合、修正対象領域からかけ離れた領域の画素の画像パッチが最も類似すると、それらの組み合わせによって生成されたパッチリストのコヒーレンスが最大となることがある。すなわち、第２従来手法は、コヒーレンスという指標だけでは、必ずしも最適な画像パッチが選定されたことを認定することができず、高品質な修正画像を生成することができないという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、従来手法に比べて、処理コスト（メモリ量、処理時間）を抑えて、高品質な修正画像を生成することが可能な画像修正装置およびそのプログラムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の画像修正装置は、入力画像の指定領域を他の領域の画素値を利用して補完する画像修正装置であって、ＣＧデータ記憶手段と、指定領域入力手段と、隣接領域探索手段と、修正対象パッチリスト生成手段と、素材パッチリスト生成手段と、修正対象パッチリスト更新手段と、を備える構成とした。

かかる構成において、画像修正装置は、ＣＧデータ記憶手段に、入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報を記述したＣＧデータを予め記憶しておく。この構造情報は、入力画像として撮影される被写体（構造物）の形状や配置位置を特定するものであって、例えば、物体を構成する形状である三角形や四角形の面の頂点座標等である。
そして、画像修正装置は、指定領域入力手段によって、入力画像において修正を行う指定領域を外部から入力する。この指定領域は、操作者が入力画像において不要である（削除したい）と判断した領域であって、任意の領域である。

そして、画像修正装置は、隣接領域探索手段によって、ＣＧデータの構造情報で特定される物体の構造の入力画像内に投影される領域である構造領域の中で、指定領域と隣接する領域である隣接領域を探索する。この入力画像は、構造情報によって物体の構造ごとに領域を区分することが可能である。すなわち、隣接領域探索手段は、指定領域が構造情報で区分されるどの領域と隣接しているのかを検出し、指定領域に隣接する構造情報で特定される領域を隣接領域として特定する。

そして、画像修正装置は、修正対象パッチリスト生成手段によって、入力画像における指定領域と隣接領域とからなる領域を修正領域とし、当該修正領域において、指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像情報である修正対象パッチで構成される修正対象パッチリストを生成する。この修正対象パッチは、当該画素周辺のローカルな特徴量を示す情報を保持することになる。

また、画像修正装置は、素材パッチリスト生成手段によって、入力画像における隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした修正対象パッチと同じ範囲の画素の画素値からなる画像情報である素材パッチ構成される素材パッチリストを生成する。この素材パッチは、素材領域の各画素周辺のローカルな特徴量を示す情報を保持することになる。

そして、画像修正装置は、修正対象パッチリスト更新手段によって、修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い素材パッチリストの素材パッチで置換して修正対象パッチリストを順次更新する。このとき、修正対象パッチリスト更新手段は、修正対象パッチと素材パッチとの類似度の累計が最大となるまで、または、予め定めた回数だけ、修正対象パッチリストの更新を繰り返す。

また、画像修正装置は、修正対象パッチリスト更新手段によって、更新された修正対象パッチリストを構成する修正対象パッチ群から、修正対象画素に関係する、すなわち、修正対象画素の画素位置に対応する画素を有する修正対象パッチ群から得られるすべての画素値を用いて予め定めた統計処理で画素値を算出し、入力画像の指定領域を補完する。これによって、入力画像の指定領域が、類似する素材領域の最尤推定画素値で置換され、指定領域の画素が補完される。これらの処理を繰り返すことによって、個々の修正対象パッチが隣接領域および素材パッチの特徴に類似していくことになる。

また、請求項２に記載の画像修正装置は、請求項１に記載の画像修正装置において、ＣＧデータの１つの構造情報内に１以上の質感が異なる領域を示す質感情報を記述し、隣接領域探索手段が、質感情報において質感が異なる領域を異なる領域を異なる構造領域として区分して、隣接構造領域を探索する構成とした。

かかる構成において、画像修正装置は、隣接領域探索手段によって、ＣＧデータに１つの構造情報として複数の質感が異なる領域を持つ場合に、それぞれの異なる質感の領域を異なる領域として区分して、指定領域に隣接する隣接領域を探索する。

また、請求項３に記載の画像修正装置は、請求項１または請求項２に記載の画像修正装置において、カメラパラメータ入力手段と、構造情報変換手段と、をさらに備える構成とした。

かかる構成において、画像修正装置は、カメラパラメータ入力手段によって、入力画像を撮影したカメラのカメラパラメータを入力する。このカメラパラメータは、入力画像に同期した情報であって、カメラの位置や画角を特定する情報である。
そして、画像修正装置は、構造情報変換手段によって、カメラパラメータに基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータの構造情報を、入力画像内の位置に対応する構造情報に射影変換する。これによって、ＣＧデータとして、カメラが撮影可能な撮影空間内の構造情報とすることで、カメラが任意の方向で撮影した入力画像を修正対象とすることができる。

また、請求項４に記載の画像修正装置は、請求項１から請求項３のいずれか一項に記載の画像修正装置において、入力画像は、静止画像であって、修正対象パッチリスト生成手段が、修正領域の画素ごとに、当該画素を中心として、空間方向において予め定めた範囲の画素の画素値で修正対象パッチを構成し、素材パッチリスト生成手段が、素材領域の画素ごとに、当該画素を中心として、空間方向において修正対象パッチと同じ範囲の画素の画素値で素材パッチを構成することとした。

かかる構成において、画像修正装置は、修正対象パッチおよび素材パッチを、空間方向において予め定めた範囲の画像情報とすることで、入力画像が静止画像である場合、修正領域と素材領域とが空間的に類似するか否かによって、修正領域を素材領域に近似させることができる。

さらに、請求項５に記載の画像修正装置は、請求項１から請求項３のいずれか一項に記載の画像修正装置において、入力画像は、動画像であって、修正対象パッチリスト生成手段が、修正領域の画素ごとに、当該画素を中心として、空間方向および時間方向において予め定めた範囲の画素の画素値で修正対象パッチを構成し、素材パッチリスト生成手段が、素材領域の画素ごとに、当該画素を中心として、空間方向および時間方向において修正対象パッチと同じ範囲の画素の画素値で素材パッチを構成することとした。

かかる構成において、画像修正装置は、修正対象パッチおよび素材パッチを、空間方向および時間方向において予め定めた範囲の画像情報とすることで、入力画像が動画像である場合、修正領域と素材領域とが空間的および時間方向に類似するか否かによって、修正領域を素材領域に近似させることができる。

また、請求項６に記載の画像修正プログラムは、ＣＧデータ記憶手段に予め記憶した入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報に基づいて、入力画像の指定領域を他の領域の画素値を利用して補完するために、コンピュータを、指定領域入力手段、隣接領域探索手段、修正対象パッチリスト生成手段、素材パッチリスト生成手段、修正対象パッチリスト更新手段、として機能させる構成とした。

かかる構成において、画像修正プログラムは、指定領域入力手段によって、入力画像において修正を行う指定領域を外部から入力する。
そして、画像修正プログラムは、隣接領域探索手段によって、ＣＧデータの構造情報で特定される物体の構造の入力画像内に投影される領域である構造領域の中で、指定領域と隣接する領域である隣接領域を探索する。

そして、画像修正プログラムは、修正対象パッチリスト生成手段によって、入力画像における指定領域と隣接領域とからなる領域を修正領域とし、当該修正領域において、指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像情報である修正対象パッチで構成される修正対象パッチリストを生成する。

また、画像修正プログラムは、素材パッチリスト生成手段によって、入力画像における隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした修正対象パッチと同じ範囲の画素の画素値からなる画像情報である素材パッチ構成される素材パッチリストを生成する。そして、画像修正プログラムは、修正対象パッチリスト更新手段によって、修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い素材パッチリストの素材パッチで置換して修正対象パッチリストを順次更新する。このとき、修正対象パッチリスト更新手段は、修正対象パッチと素材パッチとの類似度の累計が最大となるまで、または、予め定めた回数だけ、修正対象パッチリストの更新を繰り返す。

また、画像修正プログラムは、修正対象パッチリスト更新手段によって、更新された修正対象パッチリストを構成する修正対象パッチ群から、修正対象画素に関係する修正対象パッチ群から得られるすべての画素値を用いて、最尤推定画素値により入力画像の指定領域を補完する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，６に記載の発明によれば、ＣＧデータの構造情報を利用して、修正すべき対象となる修正領域や、その素材となる素材領域を限定して画像修正を行うため、従来のように画像全体を修正対象として演算を行う場合に比べて、処理時間が短く、使用するメモリ量を抑えることができる。また、請求項１，６に記載の発明によれば、修正を行う際の素材となる画像として、指定領域に隣接する領域の画像を用いるため、従来のように指定領域からかけ離れた場所の画像情報を利用しないため、高品質に修正画像を生成することができる。

請求項２に記載の発明によれば、１つの物体の構造に複数の質感を定義可能な一般的なＣＧデータを用いて、入力画像から高速、高品質に修正画像を生成することができる。
請求項３に記載の発明によれば、カメラパラメータによって、入力画像に対応した構造情報を、入力画像の領域（修正領域、素材領域）を区分するために利用することができる。これによって、本発明は、カメラの撮影空間のＣＧデータを作成すれば、カメラが撮影した任意の画像から、高速、高品質に修正画像を生成することができる。

請求項４に記載の発明によれば、静止画像を入力画像として、修正対象領域を制限することで、高速、高品質に静止画像を修正することができる。
請求項５に記載の発明によれば、動画像を入力画像として、修正対象領域を制限することで、高速、高品質に動画像を修正することができる。

本発明の実施形態に係る画像修正装置の構成を示すブロック図である。 本発明の実施形態に係る画像修正装置の動作を示すフローチャートである。 画像修正装置に入力された修正対象の入力画像の一例を示す図である。 入力画像において、ＣＧデータの構造情報によって画像を区分した例を示す図である。 入力画像において、指定領域を設定した例を示す図である。 指定領域を膨張させて隣接領域を探索する手法を説明するための説明図である。 隣接領域のみを選択した例を説明するための説明図である。 入力画像から指定領域の画像を補完して修正した例を示す図である。 画像パッチの内容を説明するための説明図である。 修正対象画像と素材画像との関係を説明するための説明図である。 修正対象画像を更新する内容を説明するための説明図である。 画素値補完手段における画素値を決定する手法を説明するための説明図である。 ＣＧデータの構造情報の例を示す図である。 ＣＧデータの複数の質感情報を含んだ構造情報の例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。
［画像修正装置の構成］
最初に、図１を参照して、本発明の実施形態に係る画像修正装置の構成について説明する。

画像修正装置１は、カメラＣによって撮影された画像（入力画像）において、操作者が指定した領域（指定領域）を、他の領域の画像情報を利用して補完することで、入力画像を修正するものである。ここでは、画像修正装置１が修正対象とする画像を、動画像（映像）として説明し、以下、単に画像という。

また、ここでは、画像修正装置１は、カメラＣから、画像およびその画像を撮影した際のカメラパラメータを入力することとするが、予めカメラＣで撮影した画像やカメラパラメータを、図示を省略した記憶手段に記憶しておき、その記憶手段から画像やカメラパラメータを入力することとしてもよい。
画像修正装置１は、図１に示すように、ＣＧデータ記憶手段１０と、修正領域決定手段２０と、修正領域補完手段３０と、を備えている。

ＣＧデータ記憶手段１０は、入力画像を撮影した撮影空間における物体の構造ごとの形状および位置を示す構造情報をコンピュータグラフィックス（Computer Graphics；以下、ＣＧという）データとして予め記憶するものである。このＣＧデータ記憶手段１０は、ハードディスク、半導体メモリ等の一般的な記憶装置である。

このＣＧデータ記憶手段１０に予め記憶しておく構造情報は、カメラの撮影空間を世界座標とした座標系において、撮影空間上に存在する被写体（物体）の幾何的形状を記述した情報（例えば、各頂点座標）である。この構造情報には、固有の識別情報（ＩＤ）を付しておく。なお、このＣＧデータは、厳密なＣＧ画像の生成を目的とするものではないため、簡略化した概略形状を示す情報であればよい。

このＣＧデータにおける構造情報は、一般的なデータの記述手法で記述しておくことができる。例えば、３次元座標（世界座標）上の（０，０，０）、（１，０，０）、（０，１，０）に、当該座標を３頂点とする物体の三角形の面が存在する場合、ＯｐｅｎＧＬ（登録商標）において、図１３に示すように記述することができる。

修正領域決定手段２０は、入力画像の修正の対象となる領域を決定するものである。ここでは、修正領域決定手段２０は、カメラパラメータ入力手段２１と、構造情報変換手段２２と、指定領域入力手段２３と、隣接領域探索手段２４と、を備えている。

カメラパラメータ入力手段２１は、カメラＣから、ＣＧデータに記述されている構造情報を入力画像内に射影変換するための情報であって、撮影した画像（入力画像）の画角等を特定するためのカメラパラメータを入力するものである。ここでは、カメラパラメータ入力手段２１は、パン、チルト、ズーム等の各値であるパン値、チルト値、ズーム値等をカメラパラメータとして入力する。なお、カメラパラメータは、入力画像と同期している必要があるが、逐次、カメラＣが撮影している状態で、カメラ雲台に組みこまれたロータリエンコーダの値を入力することとしてもよいし、入力画像内の予め定めた特徴点を検出し、その特徴点の位置や大きさ等の情報に基づいて演算処理によって求めることとしてもよい。このカメラパラメータ入力手段２１は、入力されたカメラパラメータを、構造情報変換手段２２に出力する。

構造情報変換手段２２は、カメラパラメータ入力手段２１において入力されたカメラパラメータ（パン値、チルト値、ズーム値等）に基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータに記述されている構造情報を、カメラＣが撮影した入力画像内の位置に対応する構造情報に変換するものである。

すなわち、この構造情報変換手段２２は、予め定めた世界座標上のカメラ位置をカメラ座標の原点として、カメラパラメータで特定され、カメラＣの固有の画角に対応したＣＧデータ（構造情報）の幾何的形状の頂点座標を、入力画像内に射影変換する。
これによって、カメラＣが撮影した入力画像の領域を、画像内部に映し出される被写体（物体）の構造によって、区分（セグメンテーション）することができる。

この構造情報変換手段２２は、入力画像内の座標に変換した物体の構造ごとの構造情報を、当該物体に付されている固有の識別情報（ＩＤ）とともに、隣接領域探索手段２４に出力する。
例えば、入力画像が、図３に示すような画像Ａであった場合、構造情報変換手段２２は、ＣＧデータの構造情報の世界座標をカメラパラメータに基づいて変換し、図４に示すような、入力画像内の個々の構造を領域として区分可能な領域の座標に変換する。
なお、図４では、ＣＧデータに記述されている構造情報の各物体の構造を概略形状とした例を示し、「窓」、「天井」等をそれぞれ１つの構造とした例を示している。

指定領域入力手段２３は、入力画像において、修正、すなわち、削除したい領域（指定領域）を外部から入力するものである。ここで、指定領域は、表示装置Ｇに表示された入力画像において、操作者が不要であると判断した画像領域である。

この指定領域入力手段２３における領域を指定する手法は、画像内で任意の領域を設定可能であれば、その手法は問わない。例えば、指定領域入力手段２３は、外部に接続したマウスＭによって選択された任意の２点を対角頂点とする矩形領域を指定領域としてもよいし、マウスＭのボタンをクリックした状態で、マウス表示位置を中心とした、ある大きさを持った領域の移動軌跡を指定領域としてもよい。また、この指定領域入力手段２３に入力される指定領域は、１つに限定されず、複数の領域であっても構わない。
例えば、図５に示すように、図３に示した画像Ａ内から、扉Ｒのみを削除したい場合、操作者は、複数の扉Ｒをそれぞれ指定領域Ｈとして指定する。
このように指定された領域（指定領域）は、隣接領域探索手段２４に出力される。

この指定領域入力手段２３が出力する指定領域は、例えば、当該領域が矩形領域であれば対角頂点座標、あるいは１つの頂点座標（例えば、領域左上の座標）と領域の大きさ（幅、高さ）とする。また、例えば、修正領域が任意の形状であれば、当該領域の位置と形状を示すビットマップデータとする。

隣接領域探索手段２４は、入力画像内の構造領域の中で、指定領域と隣接する構造領域である隣接領域を探索するものである。
ここでは、隣接領域探索手段２４は、構造情報変換手段２２で入力画像内に射影変換された構造領域の中で、指定領域入力手段２３で入力された指定領域に隣接する領域（隣接領域）を探索する。

この隣接領域を探索する手法は、一般的な手法を用いることができる。例えば、隣接領域探索手段２４は、指定領域の外縁画素を周辺方向に膨張（例えば、１画素分）させて、その膨張した画素が、構造領域のどの領域（どのＩＤを持った構造情報）に含まれるか否かを判定することで、隣接領域を探索する。

一例として、構造情報変換手段２２で入力画像内に射影変換された構造領域が図４に示した領域であって、指定領域入力手段２３で入力された指定領域が図５で示した領域（指定領域Ｈ）であったとする。この場合、隣接領域探索手段２４は、図６に示すように、指定領域Ｈ（Ｈ１，Ｈ２）を膨張させ、その膨張した領域δＨ１、δＨ２が属する領域であるＣ４，Ｃ５を隣接領域とする。

この指定領域Ｈ１，Ｈ２を入力画像から削除する場合、当該領域に隣接する隣接領域Ｃ４，Ｃ５の画素値を用いて指定領域Ｈ１，Ｈ２の画素値を補完することが、画素値が近似していることから、最も適しているといえる。
そこで、隣接領域探索手段２４は、修正領域を補完するための素材領域として、当該領域の領域情報（構造情報を入力画像に射影変換した座標等）を、修正領域補完手段３０に出力する。また、隣接領域探索手段２４は、指定領域と素材領域（隣接領域）とからなる領域を演算対象となる修正領域とし、当該領域を特定する領域情報を、修正領域補完手段３０に出力する。

例えば、図６において、隣接領域をＣ４，Ｃ５として検出した場合、隣接領域探索手段２４は、図７に示すように、隣接領域Ｃ４，Ｃ５を、素材領域として修正領域補完手段３０に出力する。また、隣接領域Ｃ４，Ｃ５に指定領域を加えた領域を修正領域として修正領域補完手段３０に出力する。

修正領域補完手段３０は、入力画像内の指定領域を、修正領域決定手段２０で決定された素材領域の画像を利用して補完するものである。ここでは、修正領域補完手段３０は、修正対象パッチリスト生成手段３１と、素材パッチリスト生成手段３２と、修正対象パッチリスト更新手段３３と、を備えている。

修正対象パッチリスト生成手段３１は、入力画像のうちで、修正領域決定手段２０で決定された修正領域（指定領域＋隣接領域）の画像（修正対象画像）において、指定領域を予め定めた画素値とするとともに、当該画像から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ（修正対象パッチ）で構成される修正対象パッチリストを生成するものである。

すなわち、この修正対象パッチリスト生成手段３１は、入力画像のうちで指定領域の画素値を一定の値に初期化する。この指定領域の画素の初期値は、例えば、画素値“０”等としてもよいし、指定領域のすべての画素の画素値の平均値（平均画素値）としてもよい。

そして、修正対象パッチリスト生成手段３１は、指定領域に初期値が設定された修正領域の画像から、画素ごとに、当該画素を中心とした周囲の画素を含んだ小領域の画像パッチ（修正対象パッチ）を生成することで、当該画像パッチで構成されるリスト（修正対象パッチリスト）を生成する。この生成された修正対象パッチリストは、修正対象パッチリスト更新手段３３に出力される。

ここで、図９を参照して、画像パッチについて説明する。
図９に示すように、修正領域の画像（修正対象画像）Ｓを、ｘｙ座標の座標系で表されるフレーム画像の修正領域分の画像が時間方向ｔに連続した画像（動画像、映像）であるとする。このとき、座標（ｘ、ｙ）、時刻ｔにおける画素ｐ＝（ｘ，ｙ，ｔ）を中心として、ｘｙ方向（空間方向）およびｔ方向（時間方向）に予め定めた大きさの画素群（Ｗｐ）、具体的にはそれら画像群の画素値の集合を画像パッチと呼ぶ。この画像パッチの大きさは、例えば、５×５×５画素、７×７×７画素等である。
図１に戻って、画像修正装置１の構成について説明を続ける。

素材パッチリスト生成手段３２は、入力画像のうちで、修正領域決定手段２０で決定された素材領域（隣接領域）の画像（素材画像）から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ（素材パッチ）で構成される素材パッチリストを生成するものである。この生成された素材パッチリストは、修正対象パッチリスト更新手段３３に出力される。

この素材パッチリスト生成手段３２が生成する素材パッチリストを構成する画像パッチ（素材パッチ）は、その元となる画像が、修正領域の画像ではなく、素材領域の画像である点が、修正対象パッチリスト生成手段３１と異なるだけである。

すなわち、素材パッチリスト生成手段３２は、図９に示すように、素材領域の画像（素材画像）Ｄを、ｘｙ座標の座標系で表されるフレーム画像の素材領域分の画像が時間方向ｔに連続した画像（動画像、映像）であるとしたとき、座標（ｘ、ｙ）、時刻ｔにおける画素ｑ＝（ｘ，ｙ，ｔ）を中心として、ｘｙ方向（空間方向）およびｔ方向（時間方向）に予め定めた大きさの画素群（Ｖｑ）を素材パッチとする。なお、修正対象パッチリスト生成手段３１が生成する修正対象パッチと、素材パッチリスト生成手段３２が生成する素材パッチの大きさ（画素数）は同じである。

ここで、図１０を参照して、修正対象パッチリスト生成手段３１が対象とする修正対象画像と、素材パッチリスト生成手段３２が対象とする素材画像とについて説明する。図１０（ａ）に示すように、修正対象画像Ｓは、指定領域Ｈを含んだ画像である。一方、図１０（ｂ）に示すように、素材画像Ｄは、修正対象画像Ｓから指定領域Ｈを除いた画像である。
図１に戻って、画像修正装置１の構成について説明を続ける。

修正対象パッチリスト更新手段３３は、修正対象パッチリストの画像パッチを、当該画像パッチと最も類似度が高い素材パッチリストの画像パッチで置換して修正対象パッチリストを更新し、類似度の累積〔累計〕（コヒーレンス〔関連度〕）が最大となる最近似パッチリストを生成するものである。
すなわち、修正対象パッチリスト更新手段３３は、以下の（１）式に示すコヒーレンスＣｏの値が最大となる修正対象パッチリストを生成するものである。

ここで、ｐは修正対象画像Ｓ内の画素、ｑは素材画像Ｄ内の画素、Ｗｐは修正対象画像Ｓの画像パッチ（修正対象パッチ）、Ｖｑは素材画像Ｄの画像パッチ（素材パッチ）である（図９，図１０参照）。また、ｓｉｍは、類似度を計算する関数であって、詳細は後記する。なお、修正対象画像Ｓは、コヒーレンスが最大となるように順次更新されるものであるため、ここでは、Ｓ^＊で表記している。

この修正対象パッチリスト更新手段３３は、前記（１）式を最大とするため、類似パッチ探索手段３３１と、関連度計算手段３３２と、類似パッチ置換手段３３３と、画素値補完手段３３４と、更新終了判定手段３３５と、を備えている。

類似パッチ探索手段３３１は、修正対象パッチリストの修正対象パッチＷｐごとに、画像特徴量が最も類似する素材パッチリストの素材パッチＶｑを探索するものである。
この類似パッチ探索手段３３１は、修正対象パッチＷｐごとに、以下の（２）式（前記（１）式の関数ｓｉｍ）によって、修正対象パッチＷｐと素材パッチＶｑとの類似度を計算する。

このｄは、以下の（３）式に示すＷｐとＶｑとの画像特徴量の距離（例えば、各パッチに所属する全ピクセル分の特徴量を並べたベクトルのＳＳＤ〔Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｓｔａｎｃｅ〕距離）である。また、σは、画像特徴量の分散を示す予め定めた定数である。

なお、Ｗｐ（ｘ，ｙ，ｔ）は、修正対象パッチＷｐの画像特徴量である。例えば、画像特徴量Ｗｐ（ｘ，ｙ，ｔ）は、修正対象パッチＷｐに属するすべての画素値（Ｒ，Ｇ，Ｂ）と、輝度の２方向の瞬間変化量成分（ｕ，ｖ）からなる特徴量ベクトル（Ｒ，Ｇ，Ｂ，ｕ，ｖ）とする。

この（Ｒ，Ｇ，Ｂ）は、修正対象パッチＷｐに属するすべての画素を構成する色の画素値からなるベクトルである。また、（ｕ，ｖ）は、修正対象パッチＷｐにおける空間方向（ｘ方向、ｙ方向）の輝度の微分値Ｙｘ、Ｙｙ、および、時間方向（ｔ方向）の輝度の微分値Ｙｔで特定される瞬間変化量ベクトル（Ｙｔ／Ｙｘ，Ｙｔ／Ｙｙ）である。
なお、Ｖｑ（ｘ，ｙ，ｔ）は、素材パッチＶｑの画像特徴量であって、その内容は、修正対象パッチＷｐの画像特徴量と同じである。

そして、類似パッチ探索手段３３１は、修正対象パッチＷｐに最も類似する素材パッチＶｑを特定し、その類似度を関連度計算手段３３２に出力するともに、対応する修正対象パッチＷｐと素材パッチＶｑとを類似パッチ置換手段３３３に出力する。

関連度計算手段３３２は、類似パッチ探索手段３３１で探索された修正対象パッチＷｐごとに最も類似する素材パッチＶｑの類似度を、修正対象パッチＷｐ分累積（累計）して、修正対象パッチリストの修正対象パッチを、類似する素材パッチで置き換えたときの、置換後の修正対象パッチリストと素材パッチリストとの関連の度合いを示す関連度（コヒーレンス）を計算するものである。

すなわち、関連度計算手段３３２は、類似パッチ探索手段３３１において前記（２）式で計算された類似度を用いて、前記（１）式に示すように、修正対象パッチＷｐと素材パッチＶｑとの最大類似度を修正対象パッチＷｐ分累積（累計）することで、コヒーレンスＣｏを算出する。この関連度計算手段３３２で計算されたコヒーレンスＣｏの値は、更新終了判定手段３３５に出力される。

類似パッチ置換手段３３３は、修正対象パッチリストの各修正対象パッチを、類似パッチ探索手段３３１で探索された類似度が最も高い素材パッチに置換して、新たな修正対象パッチリストを生成するものである。
この類似パッチ置換手段３３３は、後記する更新終了判定手段３３５から終了の指示が通知されるまで、更新した修正対象パッチリストを類似パッチ探索手段３３１に出力する。これによって、修正対象パッチリストは、順次更新されることになる。
また、類似パッチ置換手段３３３は、更新した修正対象パッチリストを画素値補完手段３３４に出力する。

画素値補完手段３３４は、入力画像の指定領域を補完するものである。
この画素値補完手段３３４は、得られたすべての修正対象パッチリストから、それぞれの修正対象画素に関係する修正対象パッチ群から得られるすべての画素値を用いて最尤推定画素値を求め、これにより入力画像の指定領域を補完する。
この修正された画像は、更新終了判定手段３３５から終了の指示が通知された場合に、外部（例えば、表示装置Ｇ）に出力される。

具体的には、画素値補完手段３３４は、修正対象パッチリストの中で、入力画像の補完対象の画素の画素位置を含んだ修正対象パッチの当該画素位置に対応するすべての画素の画素値について、統計処理により求めた値（例えば、平均値等）によって、当該画素位置の画素値を最尤推定画素値として決定する。

例えば、図１２（ａ）に示すように、ある入力画像の補完対象の画素ｇの画素値を求める場合、修正対象パッチを３×３の画像パッチとすると、画素値補完手段３３４は、図１２（ｂ）に示すように、補完対象の画素ｇの位置を含んだ画像に類似する９つの修正対象パッチにおいて、画素ｇの位置に対応する画素ｇ_１〜ｇ_９の各画素の平均画素値を、画素ｇの最尤推定画素値として決定する。

なお、画素値補完手段３３４が最尤推定画素値を求めるために平均値を用いる手法は、統計的手法の一例であって、これに限定されるものではない。例えば、画素値補完手段３３４は、補完対象の画素の画素位置を含んだ修正対象パッチにおける当該画素位置に対応する画素値に対して、前記（２）式で表されるパッチ間の類似度を信頼度の指標とし、これを係数とした平均値シフト（ｍｅａｎｓｈｉｆｔ）法により補完対象の画素の画素値を求めてもよい。

なお、この画素値補完手段３３４は、必ずしも修正領域分の画素値を設定し直す必要はなく、修正領域のうちで、指定領域入力手段２３で入力された指定領域に対応する画素の画素値のみを設定し直すこととしてもよい。

更新終了判定手段３３５は、類似パッチ置換手段３３３が行う修正対象パッチリストの更新の終了判定、すなわち、画素値補完手段３３４における最適な画素値の補完が完了したか否かの判定を行うものである。
ここでは、更新終了判定手段３３５は、関連度計算手段３３２で計算されたコヒーレンス（関連度）Ｃが、最も大きくなったことを終了判定の基準とする。すなわち、更新終了判定手段３３５は、コヒーレンスＣｏが最大となったときを更新の終了と判定し、画素値補完手段３３４にその旨を通知する。

ここで、コヒーレンスＣｏが最大となったときとは、これ以上、コヒーレンスＣｏの値が増加しないと判断したとき、例えば、コヒーレンスＣｏの増分割合が予め定めた閾値以下となったときである。

なお、ここでは、更新終了判定手段３３５は、コヒーレンスＣｏの値によって、終了判定を行ったが、予め定めた更新回数を終了の判定条件としてもよい。また、更新終了判定手段３３５は、一旦更新を終了した場合であっても、図示を省略した入力手段を介して、操作者から更新の指示を入力された場合、指定回数分更新を繰り返すこととしてもよい。

このように、画像修正装置１は、図１１に示すように、素材画像Ｄと、順次更新される指定領域Ｈ（Ｈ^＊）の画像とによって、素材画像Ｄとのコヒーレンスが最大となる修正対象画像Ｓ（Ｓ^＊）を生成し、当該修正対象画像Ｓ^＊を入力画像の修正領域の画像として生成する。

例えば、画像修正装置１は、図５に示した画像Ａにおいて指定領域Ｈを指定することで、指定領域Ｈ内の画像を他の領域（隣接領域）で補完し、図８に示すように、あたかも初めから指定領域Ｈ内の物体が存在していなかったような画像を生成することができる。

なお、画像修正装置１は、一般的なＣＰＵ、ＲＡＭ、ＲＯＭなどで構成することができ、コンピュータを、前記した各手段として機能させるプログラム（画像修正プログラム）で動作させることができる。

以上説明したように、画像修正装置１は、操作者が指定した画像領域を補完する際に、ＣＧデータの構造情報を利用して、修正すべき対象となる領域（修正領域）や、その素材となる領域（素材領域）を限定して画像修正を行うため、従来のように画像全体を修正対象として演算を行う場合に比べて、処理時間が短く、使用するメモリ量を抑えることができる。
また、画像修正装置１は、修正を行う際の素材となる画像として、操作者が指定した領域に隣接する領域の画像を用いるため、従来のように指定領域からかけ離れた場所から画像パッチを選択することがなく、高品質に修正画像を生成することができる。

［画像修正装置の動作］
次に、図２を参照（構成については、適宜図１参照）して、本発明の実施形態に係る画像修正装置の動作について説明する。なお、ここでは、ＣＧデータ記憶手段１０に、撮影空間の被写体の構造ごとの形状を示す構造情報を記述したＣＧデータが予め記憶されているものとする。また、カメラＣが撮影した画像が表示装置Ｇに表示されているものとする。

まず、画像修正装置１は、カメラパラメータ入力手段２１によって、カメラＣからカメラパラメータ（パン値、チルト値、ズーム値等）を逐次入力する（ステップＳ１）。
そして、画像修正装置１は、指定領域入力手段２３によって、操作者から、入力画像上の削除を行いたい指定領域を入力する（ステップＳ２）。

そして、画像修正装置１は、構造情報変換手段２２によって、ステップＳ１で入力されたカメラパラメータに基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータ（構造情報）を、カメラＣが撮影した入力画像内の位置に対応する構造情報に変換（射影変換）し、入力画像を被写体（構造）の形状に応じた領域に区分する（ステップＳ３）。

その後、画像修正装置１は、隣接領域探索手段２４によって、ステップＳ３で区分されている入力画像内の構造領域の中で、ステップＳ２で入力された指定領域と隣接する構造領域である隣接領域を探索する（ステップＳ４）。
このステップＳ４で探索された指定領域に隣接する隣接領域に対応する画像が、指定領域を補完するための素材となる。

そして、画像修正装置１は、修正対象パッチリスト生成手段３１によって、ステップＳ２で指定された指定領域と、ステップＳ４で探索された隣接領域とからなる修正領域に対応する画像（修正対象画像）において、指定領域を予め定めた画素値（初期値）とするとともに、当該画像から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ（修正対象パッチ）で構成される修正対象パッチリストを生成する（ステップＳ５）。

さらに、画像修正装置１は、素材パッチリスト生成手段３２によって、ステップＳ４で探索された隣接領域（素材領域）に対応する画像（素材画像）において、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ（素材パッチ）で構成される素材パッチリストを生成する（ステップＳ６）。

そして、画像修正装置１は、類似パッチ探索手段３３１によって、修正対象パッチリストの修正対象パッチごとに、画像特徴量が最も類似する素材パッチリストの素材パッチを探索する（ステップＳ７）。そして、画像修正装置１は、関連度計算手段３３２によって、ステップＳ７で探索された素材パッチの類似度を累積（累計）し、コヒーレンスを計算（（１）式参照）する（ステップＳ８）。

その後、画像修正装置１は、類似パッチ置換手段３３３によって、修正対象パッチリストの各修正対象パッチを、ステップＳ７で探索された類似度が最も高い素材パッチに置換して、修正対象パッチリストを更新する（ステップＳ９）。

そして、画像修正装置１は、画素値補完手段３３４によって、修正対象パッチリストを構成する画像パッチ（修正対象パッチ）から、各修正対象画素に対して最尤推定画素値を求め、入力画像の指定領域を更新する。これにより入力画像の指定領域を補完する（ステップＳ１０）。

そして、画像修正装置１は、更新終了判定手段３３５によって、ステップＳ８で計算されたコヒーレンスが最大になったか否かを判定する（ステップＳ１１）。例えば、更新終了判定手段３３５は、更新前後のコヒーレンスの増分割合が予め定めた閾値以下となったか否かによって、コピーレンスが最大になったか否かを判定する。

そして、コヒーレンスが最大でないと判定した場合（ステップＳ１１でＮｏ）、画像修正装置１は、ステップＳ７に戻って、修正対象パッチリストの更新動作を続ける。
一方、コヒーレンスが最大であると判定した場合（ステップＳ１１でＹｅｓ）、画像修正装置１は、ステップＳ１０で補完された画像を入力画像の補完結果とし、動作を終了する。
以上の動作によって、画像修正装置１は、操作者が指定した画像領域を補完する際に、ＣＧデータの構造情報を利用して、修正すべき対象となる領域（修正領域）や、その素材となる領域（素材領域）を限定して、画像修正を行うことができる。

以上、本発明の実施形態に係る画像修正装置について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、本実施形態では、ＣＧデータ記憶手段１０が記憶するＣＧデータを１つの構造に１つの領域を持たせた構造情報の例で説明したが、ＣＧデータには、３次元構造を記述した１つの構造情報内に、質感情報（色、透明度等）の異なる領域を定義することができる。
すなわち、ＣＧデータとして、１つの構造に複数の異なる質感が定義可能な場合、指定領域に隣接する領域を特定しても、その領域に複数の質感が含まれ、指定領域として削除したい画像に類似しない画像が含まれることがある。

そこで、このようなＣＧデータを用いる場合、隣接領域探索手段２４は、異なる質感を持った領域を異なる領域として区分することとする。これによって、隣接領域探索手段２４は、指定領域に隣接する領域を探索する際に、１つの隣接領域の中に質感の異なる領域を含めずに、類似する画像情報によって、補完を行うことができる。

例えば、３次元座標（世界座標）上の（−０．５，−０．５，０．５）、（０．５，−０．５，０．５）、（０．５，０．５，０．５）、（−０．５，０．５，０．５）、（０．５，−０．５，−０．５）、（−０．５，−０．５，−０．５）、（−０．５，０．５，−０．５）、（０．５，０．５，−０．５）に、当該座標を８頂点とする立方体の各面が存在し、各面の質感である色が異なる場合、ＯｐｅｎＧＬ（登録商標）において、図１４に示すように記述することができる。
この場合、隣接領域探索手段２４は、１つの物体であっても、例えば、赤色、緑色、青色といった異なる質感を持った領域を異なる領域として区分する。

また、本実施形態では、入力される画像を動画像（映像）として説明したが、静止画像であっても構わない。
その場合、修正領域補完手段３０が扱う画像パッチを、時空間方向に大きさを持つ画像パッチではなく、空間方向（ｘｙ方向）のみに大きさを持つものとすればよい。
そして、類似パッチ探索手段３３１は、（３）式の代わりに、以下の（４）式を用いることとする。

このＷｐ（ｘ，ｙ）、Ｖｑ（ｘ，ｙ）は、修正対象パッチＷｐ、素材パッチＶｑのそれぞれの空間画像特徴量である。例えば、Ｗｐ（ｘ，ｙ）として、パッチ内の全画素の画素値（Ｒ，Ｇ，Ｂ）のベクトルを用いることができる。

また、本実施形態では、カメラパラメータによって、ＣＧデータの構造情報を入力画像上に射影変換して修正対象となる領域を区分することとしたが、固定カメラで撮影された固定の画角で撮影された画像を修正対象とするのであれば、ＣＧデータ記憶手段１０に、予めＣＧデータの構造情報として、すでに入力画像の座標に変換した構造情報を記憶しておけばよい。その場合、図１の構成からカメラパラメータ入力手段２１、構造情報変換手段２２を省略し、隣接領域探索手段２４が、直接、ＣＧデータ記憶手段１０の構造情報を参照して、隣接領域を探索すればよい。

１ 画像修正装置
１０ ＣＧデータ記憶手段
２０ 修正領域決定手段
２１ カメラパラメータ入力手段
２２ 構造情報変換手段
２３ 指定領域入力手段
２４ 隣接領域探索手段
３０ 修正領域補完手段
３１ 修正対象パッチリスト生成手段
３２ 素材パッチリスト生成手段
３３ 修正対象パッチリスト更新手段
３３１ 類似パッチ探索手段
３３２ 関連度計算手段
３３３ 類似パッチ置換手段
３３４ 画素値補完手段
３３５ 更新終了判定手段

Claims (6)

1. 入力画像の指定領域を他の領域の画素値を利用して補完する画像修正装置であって、
   前記入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報を記述したＣＧデータを予め記憶するＣＧデータ記憶手段と、
   前記入力画像において修正を行う指定領域を外部から入力する指定領域入力手段と、
   前記ＣＧデータの構造情報で特定される前記物体の構造の前記入力画像内に投影される領域である構造領域の中で、前記指定領域と隣接する領域である隣接領域を探索する隣接領域探索手段と、
   前記入力画像における前記指定領域と前記隣接領域とからなる領域を修正領域とし、当該修正領域において、前記指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる修正対象パッチで構成される修正対象パッチリストを生成する修正対象パッチリスト生成手段と、
   前記入力画像における前記隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした前記修正対象パッチと同じ範囲の画素の画素値からなる素材パッチで構成される素材パッチリストを生成する素材パッチリスト生成手段と、
   前記修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い前記素材パッチリストの素材パッチで置換して前記修正対象パッチリストを順次更新するとともに、前記入力画像の前記指定領域の画素の画素値を、前記修正対象パッチリストを構成する修正対象パッチ群の当該画素位置に対応する複数の画素から、予め定めた統計処理によって算出し補完する修正対象パッチリスト更新手段と、を備え、
   前記修正対象パッチリスト更新手段が、前記修正対象パッチと前記素材パッチとの類似度の累計が最大となるまで、または、予め定めた回数だけ、前記修正対象パッチリストの更新を繰り返すことを特徴とする画像修正装置。
2. 前記ＣＧデータの１つの構造情報内に１以上の質感が異なる領域を示す質感情報を記述し、
   前記隣接領域探索手段は、前記質感情報において質感が異なる領域を異なる構造領域として区分して、前記隣接構造領域を探索することを特徴とする請求項１に記載の画像修正装置。
3. 前記入力画像を撮影したカメラのカメラパラメータを入力するカメラパラメータ入力手段と、
   このカメラパラメータ入力手段で入力されたカメラパラメータに基づいて、前記ＣＧデータ記憶手段に記憶されているＣＧデータの構造情報を、前記入力画像内の位置に対応する構造情報に射影変換する構造情報変換手段と、
   をさらに備えていることを特徴とする請求項１または請求項２に記載の画像修正装置。
4. 前記入力画像は、静止画像であって、
   前記修正対象パッチリスト生成手段は、前記修正領域の画素ごとに、当該画素を中心として、空間方向において予め定めた範囲の画素の画素値で前記修正対象パッチを構成し、
   前記素材パッチリスト生成手段は、前記素材領域の画素ごとに、当該画素を中心として、空間方向において前記修正対象パッチと同じ範囲の画素の画素値で前記素材パッチを構成することを特徴とする請求項１から請求項３のいずれか一項に記載の画像修正装置。
5. 前記入力画像は、動画像であって、
   前記修正対象パッチリスト生成手段は、前記修正領域の画素ごとに、当該画素を中心として、空間方向および時間方向において予め定めた範囲の画素の画素値で前記修正対象パッチを構成し、
   前記素材パッチリスト生成手段は、前記素材領域の画素ごとに、当該画素を中心として、空間方向および時間方向において前記修正対象パッチと同じ範囲の画素の画素値で前記素材パッチを構成することを特徴とする請求項１から請求項３のいずれか一項に記載の画像修正装置。
6. ＣＧデータ記憶手段に予め記憶した入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報に基づいて、前記入力画像の指定領域を他の領域の画素値を利用して補完するために、コンピュータを、
   前記入力画像において修正を行う指定領域を外部から入力する指定領域入力手段、
   前記ＣＧデータの構造情報で特定される前記物体の構造の前記入力画像内に投影される領域である構造領域の中で、前記指定領域と隣接する領域である隣接領域を探索する隣接領域探索手段、
   前記入力画像における前記指定領域と前記隣接領域とからなる領域を修正領域とし、当該修正領域において、前記指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる修正対象パッチで構成される修正対象パッチリストを生成する修正対象パッチリスト生成手段、
   前記入力画像における前記隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした前記修正対象パッチと同じ範囲の画素の画素値からなる素材パッチで構成される素材パッチリストを生成する素材パッチリスト生成手段、
   前記修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い前記素材パッチリストの素材パッチで置換して前記修正対象パッチリストを順次更新するとともに、前記入力画像の前記指定領域の画素の画素値を、前記修正対象パッチリストを構成する修正対象パッチ群の当該画素位置に対応する複数の画素から、予め定めた統計処理によって算出し補完する修正対象パッチリスト更新手段、として機能させ、
   前記修正対象パッチリスト更新手段が、前記修正対象パッチと前記素材パッチとの類似度の累計が最大となるまで、または、予め定めた回数だけ、前記修正対象パッチリストの更新を繰り返すことを特徴とする画像修正プログラム。

Images