JP5836831B2 - 画像修正装置及びそのプログラム - Google Patents

Description

本発明は、入力画像から修正対象領域を除去すると共に、修正対象領域に隠された背景部分を復元する画像修正装置及びそのプログラムに関する。

従来、古いフィルム映像（静止画像）のスクラッチ等のノイズ部分や、撮影映像（動画像）内の不要物を除去し、その除去した領域を他の領域の情報を基に修正する画像修正手法が種々開発されている（非特許文献１、２参照）。
非特許文献１には、いわゆるインペインティング（Inpainting）の手法が開示されている。このインペインティング手法は、修正対象領域の周辺の等輝度線等の情報を、修正対象領域の内側に伝搬させていく手法（以下、第１従来手法という）である。

この第１従来手法は、周辺の情報を伝搬させていくだけであるため、スクラッチノイズのような細い領域においては有効に作用するが、修正対象領域が色や輝度の異なるテクスチャのような空間的に広がった領域においては適正に修正を行うことができない。また、第１従来手法は、基本的に色や輝度が変化する領域には適用できないため、時間方向に広がった領域の修正、すなわち、動画像への適用も困難である。

これに対し、非特許文献２には、解像度の階層関係（解像度ピラミッド）に基づいて、時空間方向に広がった修正対象領域を修正可能な手法（以下、第２従来手法という）が開示されている。
この第２従来手法は、動画像の修正対象の領域に予め定めた初期値を設定した第１のビデオシーケンスにおいて、各画素を中心に時空間方向にある大きさを持った画素情報である画像パッチのリスト（第１パッチリスト）を生成する。また、第２従来手法は、修正対象の動画像から修正対象領域を除外した第２のビデオシーケンスにおいて、第１のビデオシーケンスのデータセット（素材）となる画像パッチのリスト（第２パッチリスト）を生成する。

そして、第２従来手法は、第１パッチリストの各画像パッチに、当該画像パッチと類似度が最も高い第２パッチリストの画像パッチを適用して新たなパッチリストを生成し、類似度の累計（コヒーレンス）を計算するとともに、この新たなパッチリストを構成する画像パッチの画素によって、新たな動画像（ビデオシーケンス）を生成する。
そして、第２従来手法は、修正後の新たな動画像を第１のビデオシーケンスとして、前記処理を繰り返し、コヒーレンスが最大となる動画像を、修正した動画像として出力する。

しかし、この第２従来手法では、修正対象領域に隠された背景部分に存在する直線的な構造物の修正で問題が起きやすい。
ここで、図３０の画像から修正対象領域を除去して、この修正対象領域に隠された背景部分を復元する例で説明する。この画像は、奥側が森林で、芝生が生えた平地に柵が設置されており、この柵の手前を横切るように鷹が飛んでいる様子を撮影したものである。この森林は、濃淡が異なる木々が生い茂っている。また、この芝生は黄緑色であり、この柵は桃色である。さらに、この鷹は、胴部が黒色であり、頭部が白色であり、嘴が黄色であり、脚が茶色である。

この例では、図３０の鷹が修正対象領域であり、説明を分かりやすくするため、鷹を黒塗りで図示した（図３１）。
また、説明を分かりやすくするため、図３０では、柵を網掛で図示した。

この場合、第２従来手法は、解像度ピラミッドの最低解像度において、修正対象領域の平均画素値を算出して、この修正対象領域に隠された背景部分の初期値としている。例えば、図３０の画像では、森が大部分を占めるため、修正対象領域の平均画素値（初期値）が緑色となる。このため、桃色の柵（直線的な構造物）は、その画素値が修正対象領域の平均画素値と大きく異なるため、修正対象領域の内側で確率的に残存しにくくなる。
さらに、第２従来手法は、画素値決定のプロセスにおいて、修正対象領域の境界から内側に対して重み付けがされているとしても、この直線的な構造物を長い距離にわたって延長することが困難である。
従って、第２従来手法では、図３２のように柵が修正対象領域の中心まで延長されないことや、図３３のように柵が修正対象領域の内側で接続されない（接続時につじつまが合わない）といった不正接続が発生する。この不正接続により、第２従来手法では、視覚的に望ましい結果が得られず、画像の品質が著しく低下することが多い。

そこで、修正対象領域に隠された直線的な構造物の接続関係を手動設定し、この接続情報で設定された直線的な構造物を優先的に修正することで、第２従来手法の問題を解決する手法が開示されている（非特許文献３、４）。
さらに、二次元画像に含まれる構造物の領域分布情報である構造情報を推定することで、第２従来手法の問題を解決する手法も開示されている（非特許文献５）。

M.Bertalmio, G.Sapiro, V.Caselles, and C.Ballester: "Image Inpainting," Proceedings of SIGGRAPH 2000, pp.417-424, July 2000. Y.Wexler, E.Shechtman, and M.Irani: "Space-Time Completion of Video," IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL.29, NO.3 pp.463-476, March 2007 Barnes, C., Shechtman, E., Finkelstein, A., Goldman, D.B.: Patchmatch: A randomized correspondence algorithm for structural image editing. In: Proceedings of ACM SIGGRAPH. (2009) Jian Sun, Lu Yuan, Jiaya Jia, and Heung-Yeung Shum. 2005. Image completion with structure propagation. ACM Trans. Graph. 24, 3 (July 2005), 861-868. Jiaya Jia, Chi-Keung Tang, "Image Repairing: Robust Image Synthesis by Adaptive ND Tensor Voting," Computer Vision and Pattern Recognition, IEEE Computer Society Conference on, p. 643, 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR '03) - Volume 1, 2003

しかし、非特許文献３−５に記載の技術には、以下のような問題がある。
非特許文献３，４に記載の技術は、接続情報が複数存在する場合、それぞれを手動設定する必要があり、煩雑である。また、非特許文献３，４に記載の技術は、動画像を修正する場合、時間方向に正確な（つじつまのあった）接続情報を手動設定する必要もあり、非常に煩雑である。さらに、非特許文献３，４に記載の技術は、接続情報を手動設定するために、アプリケーションとして、インタラクティブなユーザーインターフェースの実現が必要となる。このように、接続情報に関する問題の原因となる接続情報の手動設定は、回避したいという強い要望がある。

また、非特許文献５に記載の技術は、修正対象領域に隠された背景部分において、構造物同士が交差しないことが適用条件となる。この適用条件が存在するため、非特許文献５に記載の技術は、一般的な動画像への適用が極めて限定され、汎用性が低くなる。

そこで、本発明は、前記した問題を解決し、高品質な背景復元画像を生成でき、接続情報を手動設定する必要がなく、汎用性が高い画像修正装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願第１発明に係る画像修正装置は、入力画像から修正対象領域を除去すると共に、修正対象領域に隠された背景部分を復元する画像修正装置であって、領域代表色画像生成手段と、接続領域抽出手段と、接続可能ペア判定手段と、相互接続ペア判定手段と、色占有率算出手段と、背景色画像生成手段と、背景推定画像生成手段と、第１画像修正手段と、第２画像修正手段と、を備えることを特徴とする。

かかる構成によれば、画像修正装置は、領域代表色画像生成手段によって、入力画像を類似色の画素で構成される分割領域に分割し、分割領域ごとの平均色である領域代表色を算出し、分割領域の各画素を分割領域の領域代表色とした領域代表色画像を生成する。ここで、領域代表色画像生成手段は、平均シフト法等の領域分割処理を入力画像に施すことで、入力画像を減色して、色解像度が低い領域代表色画像を生成する。

また、画像修正装置は、接続領域抽出手段によって、領域代表色画像で修正対象領域に隣接する修正対象隣接領域において、同一の領域代表色の画素が予め設定した数以上連続する接続領域を抽出すると共に、接続領域の両端から修正対象領域の内側へ接続領域の境界方向を示す２つの方向ベクトルの延長線に挟まれる延長領域を算出する。

なお、接続領域は、修正対象領域の内側で他の分割領域に接続される可能性がある分割領域を示すものである。
また、延長領域は、修正対象領域の内側に延長された分割領域を示すものである。

また、画像修正装置は、接続可能ペア判定手段によって、接続領域の全組み合わせについて領域代表色が類似するか否かを判定し、領域代表色が類似する接続領域の組み合わせを接続可能ペアとして出力する。ここで、接続可能ペア判定手段は、色空間上での距離が近いか否かによって、接続領域それぞれの領域代表色が類似するか否かを判定する。

また、画像修正装置は、相互接続ペア判定手段によって、接続可能ペアそれぞれの延長領域が互いに交差することを示す交差条件を満たすか否かを判定し、交差条件を満たす接続可能ペアを相互接続ペアとして出力する。ここで、画像修正装置は、背景部分の接続情報を示す相互接続ペアを求めるため、接続情報を手動設定する必要がない。さらに、画像修正装置は、構造物同士が交差しないといった適用条件が存在しないため、様々な画像に適用できる。
そして、画像修正装置は、色占有率算出手段によって、領域代表色ごとの画素数と、修正対象隣接領域の全画素数との比である色占有率を算出する。

また、画像修正装置は、背景色画像生成手段によって、色占有率が最高となる領域代表色を背景色として決定し、修正対象領域の全画素を背景色とした背景色画像を生成する。そして、画像修正装置は、背景推定画像生成手段によって、全ての相互接続ペアについて、背景色の次に色占有率が高い領域代表色の順に、領域代表色を有する相互接続ペアそれぞれの延長領域に沿って、背景色画像の画素を相互接続ペアの領域代表色とする。
この領域代表色背景推定画像は、修正対象領域に隠された背景部分を領域代表色として推定した画像であり、修正対象領域に隠されていた直線的な構造物が領域代表色による減色表現で描画されている。

また、画像修正装置は、第１画像修正手段によって、領域代表色画像の修正対象領域を領域代表色背景推定画像で置き換えた合成画像に対して、時空間上での解像度の階層関係に基づいて、類似する画像パッチの探索による画像修正処理を施して、領域代表色画像の背景部分が復元された領域代表色背景復元画像を生成する。ここで、第１画像修正手段は、この合成画像において、修正対象領域に隠されていた直線的な構造物が予め描画されているため、この直線的な構造物が確率的に残存し易く、不正接続を防止できる。

また、画像修正装置は、第２画像修正手段によって、入力画像の修正対象領域を領域代表色背景復元画像で置き換えた合成画像に対して、時空間上での解像度の階層関係に基づいて、類似する画像パッチの探索による画像修正処理を施して、入力画像の背景部分が復元された背景復元画像を生成する。ここで、第２画像修正手段は、この合成画像において、修正対象領域に隠されていた直線的な構造物が予め描画されているため、この直線的な構造物が確率的に残存し易く、不正接続を防止できる。さらに、画像修正装置は、第１画像修正手段及び第２画像修正手段がそれぞれ、類似する画像パッチの探索による画像修正処理を施すため、時空間及び色空間上での解像度の階層関係（２階層）を利用することができる。

なお、解像度の階層関係とは、色空間又は時空間上で解像度が異なる複数の画像において、低い解像度の計算結果（画素値）が高い解像度の画像に反映される関係を示すものである。
以下、「類似する画像パッチの探索による画像修正処理」を「画像修正処理」と略記する。

また、本願第２発明に係る画像修正装置は、相互接続ペア判定手段が、延長領域の交差により形成される交差領域が修正対象領域の内側に予め設定された割合以上含まれることを示す交差条件が、予め設定されたことを特徴とする。
かかる構成によれば、画像修正装置は、相互接続ペアを正確に判定できる。

また、本願第３発明に係る画像修正装置は、接続領域抽出手段が、２つの方向ベクトルが対向することを示す対向条件が予め設定され、接続領域の２つの方向ベクトルが対向条件を満たすか否かを判定し、対向条件を満たす接続領域を出力しないことを特徴とする。
かかる構成によれば、画像修正装置は、交差条件を満たす可能性のない延長領域を有する接続領域が、接続可能ペアに含まれる事態を防止できる。

また、本願第４発明に係る画像修正装置は、背景推定画像生成手段が、相互接続ペア判定手段で交差条件を満たさないと判定された接続可能ペアについて、当該接続可能ペアそれぞれの接続領域から修正対象領域の内側に予め設定された範囲までの領域代表色背景推定画像の画素を、接続領域の領域代表色とすることを特徴とする。
かかる構成によれば、画像修正装置は、修正対象領域の内側で途切れる背景部分も描画して、詳細な領域代表色背景推定画像を生成できる。

また、本願第５発明に係る画像修正装置は、修正対象領域として、領域代表色画像生成手段が分割した分割領域の１以上が指定され、指定された修正対象領域を接続領域抽出手段に出力する修正対象領域入力手段、をさらに備えることを特徴とする。
かかる構成によれば、画像修正装置は、ユーザが、修正対象領域を構成する分割領域を指定できるため、修正対象領域の輪郭をなぞって入力する場合に比べて、その手間を軽減できる。

なお、本願第１発明に係る画像修正装置は、一般的なコンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、領域代表色画像生成手段、接続領域抽出手段、接続可能ペア判定手段、相互接続ペア判定手段、色占有率算出手段、背景色画像生成手段、背景推定画像生成手段、第１画像修正手段、第２画像修正手段として機能させるための画像修正プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、背景部分の接続情報を示す相互接続ペアを求めるため、接続情報を手動設定する必要がない。また、本願第１発明によれば、構造物同士が交差しないといった適用条件が存在しないため、様々な画像に適用でき、汎用性を高くすることができる。さらに、本願第１発明によれば、画像修正処理を施す際、修正対象領域に隠されていた直線的な構造物が予め描画されているため、不正接続を防止して、高品質な背景復元画像を生成することができる。

本願第２発明によれば、相互接続ペアの接続関係を正確に判定できるため、背景部分が詳細に復元された背景復元画像を生成することができる。
本願第３発明によれば、交差条件を満たす可能性のない延長領域を有する接続領域が接続可能ペアに含まれる事態を防止できるため、背景部分がより詳細に復元された背景復元画像を生成することができる。

本願第４発明によれば、修正対象領域の内側で途切れる背景部分も描画するため、背景部分がより詳細に復元された背景復元画像を生成することができる。
本願第５発明によれば、分割領域を修正対象領域として指定できるため、修正対象領域の輪郭をなぞって入力する場合に比べて、その手間を軽減でき、利便性を向上させることができる。

本発明の実施形態に係る画像修正装置の構成を示すブロック図である。 図１の領域分割・領域代表色算出手段で生成された領域代表色画像を示す図である。 図２の領域代表色画像の左上部分において、分割領域に付与されたＩＤを示す図である。 図２の領域代表色画像での修正対象隣接領域を示す図である。 図１の接続領域リスト生成手段による接続領域の抽出を説明するための修正対象隣接領域の拡大図である。 図１の接続領域リスト生成手段による方向ベクトルの算出を説明するための修正対象隣接領域の拡大図である。 図１の接続領域リスト生成手段による延長領域の算出を説明する図である。 図１の接続領域リスト生成手段による対向条件の判定を説明する図である。 図１の接続可能ペアリスト生成手段において、交差条件判定の第１例を説明する図である。 図１の接続可能ペアリスト生成手段において、交差条件判定の第２例を説明する図である。 図１の接続可能ペアリスト生成手段において、交差条件判定の第３例を説明する図である。 図１の接続可能ペアリスト生成手段において、交差条件判定の第４例を説明する図である。 図１の前景接続描画手段による初期構造分布推定画像の生成を説明する図である。 図２の領域代表色画像において、柵に対応する接続領域を示す図である。 図１４の符号α部分の拡大図である。 図１４の符号β部分の拡大図である。 図２の領域代表色画像から生成された初期構造分布推定画像を示す図である。 図１の初期構造分布修正手段の処理対象となる合成画像の図である。 図１の初期構造分布修正手段において、画像パッチを説明する図である。 図１の初期構造分布修正手段において、修正対象画像と素材画像との関係を説明する図である。 図１の初期構造分布修正手段において、画素値の更新を説明する図である。 図１の初期構造分布修正手段において、修正対象画像の更新を説明する図である。 図１の初期構造分布修正手段が生成した修正対象画像（領域代表色背景復元画像）の図である。 図１の最終修正手段の処理対象となる合成画像の図である。 図１の最終修正手段が生成した修正対象画像（背景復元画像）の図である。 図１の画像修正装置の全体動作を示すフローチャートである。 図２６の初期構造分布推定処理を示すフローチャートである。 図２６の初期構造分布修正処理を示すフローチャートである。 図２６の最終修正処理を示すフローチャートである。 入力画像の一例を示す図である。 図３０の入力画像に設定された修正対象領域の一例を示す図である。 従来の画像修正処理において、直線的な構造物が修正対象領域の中心まで延長されない状態の一例を示す図である。 従来の画像修正処理において、直線的な構造物の接続が正常に行われない状態の一例を示す図である。

［画像修正装置の構成］
図１を参照して、本発明の実施形態に係る画像修正装置１の構成について説明する。
画像修正装置１は、入力画像から修正対象領域を除去すると共に、修正対象領域に隠された背景部分を復元するものである。このため、画像修正装置１は、図１に示すように、修正対象領域処理手段１０と、初期構造分布推定手段２０と、初期構造分布修正手段（第１画像修正手段）３０と、最終修正手段（第２画像修正手段）４０とを備える。

ここで、画像修正装置１が修正対象とする入力画像を、図３０の画像（映像）として説明する。
また、画像修正装置１は、カメラ（不図示）から入力画像を入力することとするが、予めカメラで撮影した入力画像を記憶手段（不図示）に記憶しておき、その記憶手段から入力画像を入力することとしてもよい。

修正対象領域処理手段１０は、入力画像に関する処理を施すものであり、領域分割・領域代表色算出手段（領域代表色画像生成手段）１１と、修正対象領域入力手段１２とを備える。

領域分割・領域代表色算出手段１１は、入力画像を類似色の画素で構成される分割領域に分割し、分割領域ごとの平均色である領域代表色を算出し、分割領域の各画素を分割領域の領域代表色として設定した領域代表色画像を生成するものである。

＜領域分割処理＞
図２，図３を参照して、領域分割処理について説明する（適宜図１参照）。
この領域分割・領域代表色算出手段１１は、平均値シフト法（Mean Shift Segmentation法）等を応用した領域分割処理を入力画像に施す。この平均値シフト法では、一定の時空間バンド幅と色空間バンド幅とを指定することにより、時空間的に近隣にあり、かつ、ＲＧＢ色空間等の色空間上での距離が近い画素の集合で、一つの分割領域（クラスタ）を形成する。その後、その微小な分割領域を統合して大きな分割領域にするために、それぞれの分割領域の算出色（平均色）画素の画素値同士の差が、非常に小さく設定された閾値（例えば、平均値シフト法で指定した色空間バンド幅の１／１０）以下の領域を束ねていくことで、分割領域を形成する。このように、領域分割・領域代表色算出手段１１は、平均値シフト法を応用することにより、入力画像を、総画素数に対して極めて小さい数の分割領域に分割できる。

また、領域分割・領域代表色算出手段１１は、分割した分割領域ごとに、この分割領域内に含まれる画素の平均的な色を領域代表色として算出する。そして、領域分割・領域代表色算出手段１１は、分割領域内に含まれる画素を、その分割領域の平均的な色とする。

なお、平均値シフト法は、例えば、参考文献「D. Comaniciu, P. Meer, "Mean Shift: A Robust Approach Toward Feature Space Analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 603-619, May, 2002」に記載されている。

例えば、領域分割・領域代表色算出手段１１は、図３０の入力画像を、桃色の柵、黄緑色の芝生、黒色の鷹胴部、茶色の鷹脚部、白色の鷹頭部、黄色の鷹嘴部など、類似色の画素で構成される分割領域に分割して、図２の領域代表色画像を生成する。この領域代表色画像は、領域分割処理により、図３０の入力画像と比べて、テクスチャなどの詳細な情報が消失し、構造的に類似した部分が領域代表色により統合され、単純な構造化画像になる。
なお、図２では、図面を見やすくするため、柵を網掛で図示した。

このとき、領域分割・領域代表色算出手段１１は、分割した分割領域のそれぞれに、各分割領域を一意に識別するＩＤを付与する。例えば、図３に示すように、領域分割・領域代表色算出手段１１は、図２の入力画像左上において、順番にＩＤ＝１，２，３，４，５，・・・というように、ＩＤを１ずつインクリメントしながら各分割領域に付与する。
なお、ＩＤを付与する規則は、分割領域を一意に識別できればよく、この例に制限されない。

その後、領域分割・領域代表色算出手段１１は、生成した領域代表色画像を、修正対象領域入力手段１２と、接続領域リスト生成手段２１と、修正対象パッチリスト生成手段３１と、素材パッチリスト生成手段３２とに出力する。

図１に戻り、画像修正装置１の構成について、説明を続ける。
修正対象領域入力手段１２は、領域分割・領域代表色算出手段１１から領域代表色画像が入力され、修正対象領域Ｈとして、この領域代表色画像を構成する分割領域の１以上を入力（指定）させるものである。

このとき、修正対象領域入力手段１２は、表示装置（不図示）に表示された領域代表色画像において、修正対象領域Ｈとなる分割領域をユーザにマウス（不図示）で指定させることが好ましい。

ここで、修正対象領域Ｈは、入力画像において、ユーザが除去したいと指定した画像領域である。
また、修正対象領域Ｈは、複数の分割領域が選択された場合、一筆書きできるように、全ての分割領域の最外周が連続していればよい。
また、以下の説明では、図３０の鷹が修正対象領域Ｈであることとする。

その後、修正対象領域入力手段１２は、入力された修正対象領域Ｈを、接続領域リスト生成手段２１と、修正対象パッチリスト生成手段３１と、素材パッチリスト生成手段３２と、修正対象パッチリスト生成手段４１と、素材パッチリスト生成手段４２とに出力する。

初期構造分布推定手段２０は、修正対象領域Ｈに隠された背景部分の構造を推定する初期構造分布推定処理を施すものである。このため、初期構造分布推定手段２０は、接続領域リスト生成手段（接続領域抽出手段）２１と、接続可能ペアリスト生成手段（接続可能ペア判定手段）２２と、相互接続ペア判定手段２３と、色占有率算出手段２４と、背景塗りつぶし手段（背景色画像生成手段）２５と、前景接続描画手段（背景推定画像生成手段）２６とを備える。

接続領域リスト生成手段２１は、領域代表色画像で修正対象領域Ｈに隣接する修正対象隣接領域９１（図４）において、同一の領域代表色の画素が予め設定した数以上連続する接続領域９２（図４）を抽出するものである（接続領域の抽出）。
さらに、接続領域リスト生成手段２１は、抽出した接続領域９２の両端から修正対象領域Ｈの内側に向けた２つの方向ベクトル９３（図６）の延長線に挟まれる延長領域９４（図７）を算出する（延長領域の算出）。

＜接続領域の抽出＞
図４，５を参照して、接続領域の抽出について説明する（適宜図１参照）。
図４に示すように、接続領域リスト生成手段２１は、領域分割・領域代表色算出手段１１から入力された領域代表色画像において、修正対象領域入力手段１２から入力された修正対象領域Ｈを外側に予め設定された画素数（例えば、１画素分）だけ拡大させて、修正対象隣接領域９１を生成する。つまり、図４の修正対象隣接領域９１は、おおよそ、図３０の鷹（修正対象領域Ｈ）の輪郭を表しており、領域代表色を有する画素で構成されている。

以下、図５に示すように、修正対象隣接領域９１が、異なる領域代表色Ａ，Ｂ，Ｃ，Ｄの画素で構成される場合を例に、接続領域の抽出を詳細に説明する。
図５では、各正方形が修正対象隣接領域９１の各画素を表し、この正方形の内部に付されたＡ，Ｂ，Ｃ，Ｄが各画素の領域代表色を表す。この場合、接続領域リスト生成手段２１は、修正対象隣接領域９１において、隣接画素の画素値（ＲＧＢ値）を比較することで領域代表色Ａ，Ｂ，Ｃ，Ｄの境界を検出する。そして、接続領域リスト生成手段２１は、領域代表色Ａ，Ｂ，Ｃ，Ｄそれぞれの画素が連続する画素集合を求める。
なお、接続領域リスト生成手段２１は、隣接画素の画素値を比較する代わりに、分割領域のＩＤが変化する位置を境界として検出してもよい。

このとき、接続領域リスト生成手段２１は、この画素集合が予め設定した画素数（例えば、３画素）以上であれば、この画素集合を接続領域９２として抽出する。一方、接続領域リスト生成手段２１は、この画素集合が予め設定した画素数未満であれば、この画素集合を処理対象としない。図５の例では、接続領域リスト生成手段２１は、領域代表色Ｂの画素集合が２画素であるため、領域代表色Ａ，Ｃ，Ｄの画素集合を接続領域９２_Ａ，９２_Ｃ，９２_Ｄとして抽出する。
この接続領域９２は、修正対象領域Ｈの内側で他の分割領域に接続される可能性がある分割領域を示すものである。

＜延長領域の算出＞
図６，図７を参照して、延長領域の算出について説明する（適宜図１参照）。
図６では、図面を見やすくするため、接続領域９２_Ｃの領域代表色を示す“Ｃ”を省略した。また、図６では、修正対象領域Ｈの境界を一点鎖線で図示した。
図７では、図面を見やすくするため、修正対象隣接領域９１を楕円形の実線で図示し、接続領域９２を太線で図示し、延長領域９４を網掛で図示した（図８〜図１２も同様）。

図６に示すように、接続領域リスト生成手段２１は、１画素幅である接続領域９２_Ｃを外側に予め設定された画素幅（例えば、２画素幅）だけ拡大させる。この例では、接続領域９２_Ｃが３画素幅となる。そして、接続領域リスト生成手段２１は、接続領域９２_Ｃの両端、つまり、領域代表色Ｃと、領域代表色Ｂ，Ｄとの境界において、方向ベクトル９３_１，９３_２をそれぞれ算出する。以下、方向ベクトル９３の算出方法について、２つの具体例を説明する。

方向ベクトルの算出方法の第１例は、接続領域９２_Ｃの両端で、外側と内側とに位置する画素の中心位置を結んで方向ベクトル９３_１，９３_２を求めるものである。具体的には、接続領域リスト生成手段２１は、３画素幅に拡大された接続領域９２_Ｃの一端において、最も外側の画素中心点ＰＯ_１から、修正対象領域Ｈに隣接する最も内側の画素中心点ＰＩ_１を指す方向ベクトル９３_１を求める。また、接続領域リスト生成手段２１は、この接続領域９２_Ｃの他端において、最も外側の画素中心点ＰＯ_２から、修正対象領域Ｈに隣接する最も内側の画素中心点ＰＩ_２を指す方向ベクトル９３_２を求める。
この方向ベクトル９３_１，９３_２は、接続領域９２_Ｃの両端から修正対象領域Ｈの内側に向けて、接続領域９２_Ｃの境界方向を示すものである。言い換えるなら、方向ベクトル９３_１，９３_２は、修正対象領域Ｈの内側に向けて、分割領域を延長する方向を示す。

方向ベクトルの算出方法の第２例は、接続領域の両端において、接線ベクトルの投票により方向ベクトル９３を求めるものである（不図示）。具体的には、接続領域リスト生成手段２１は、３画素幅に拡大された接続領域９２の両端において、境界方向で隣り合う画素同士の接線ベクトルを算出する。そして、接続領域リスト生成手段２１は、算出した接線ベクトルを数え上げて投票し、最多得票の接線ベクトルを方向ベクトル９３として求める。

なお、方向ベクトル９３は、その長さが任意であり、例えば、単位ベクトルであってもよい。
また、接続領域リスト生成手段２１は、第１例又は第２例の何れを用いるか手動で設定できる。以下の説明では、接続領域リスト生成手段２１が第１例の手法を用いることとする。

さらに、図７に示すように、接続領域リスト生成手段２１は、方向ベクトル９３_１，９３_２の延長線に挟まれる領域を、延長領域９４として算出する。このとき、接続領域リスト生成手段２１は、方向ベクトル９３_１，９３_２と同じ方向で、方向ベクトル９３_１，９３_２の始点から両延長線が互いに交差するまで、両延長線を延長する。そして、接続領域リスト生成手段２１は、接続領域９２_Ｃ及び修正対象領域Ｈの境界線と、方向ベクトル９３_１，９３_２の両延長線との内側を、延長領域９４として算出する。

この延長領域９４は、修正対象領域Ｈの内側に延長された分割領域を示すものである。言い換えるなら、延長領域９４は、分割領域ごとの領域代表色が修正対象領域Ｈの内側でどのように分布するか示したものである。

なお、接続領域リスト生成手段２１は、方向ベクトル９３_１，９３_２の両延長線が互いに交差しない場合、領域代表色画像の端に到達するまで、方向ベクトル９３_１，９３_２の延長線を延長する。

＜対向条件の判定＞
図８を参照して、対向条件の判定について説明する（適宜図１参照）。
例えば、分割領域の一部が修正対象領域Ｈの内側に入り込んだ場合、他の分割領域に接続されることがなく、後記する交差条件を満たす可能性がないといえる。このため、接続領域リスト生成手段２１は、図８に示すように、接続領域９２の２つの方向ベクトル９３_１，９３_２が対向条件を満たすか否かを判定することが好ましい。そして、接続領域リスト生成手段２１は、対向条件を満たす接続領域９２を、後記する接続可能ペアリスト生成手段２２に出力しない。

この対向条件は、２つの方向ベクトル９３_１，９３_２が対向することを示す条件である。具体的には、対向条件は、方向ベクトル９３_１，９３_２のなす角が任意の角度（例えば、１５０°）以下といった条件で予め設定される。
また、対向条件を満さない、つまり、交差条件を満たす可能性がある接続領域９２は、接続可能ペアリスト生成手段２２に出力することは言うまでもない。

その後、接続領域リスト生成手段２１は、全ての接続領域９２と、接続領域９２それぞれについて、２つの方向ベクトル９３と延長領域９４とを格納した接続領域リストを生成して、接続可能ペアリスト生成手段２２に出力する。

図５に戻り、画像修正装置１の構成について、説明を続ける（適宜図１参照）。
接続可能ペアリスト生成手段２２は、接続領域リスト生成手段２１から入力された接続領域リストに含まれる接続領域９２_Ａ，９２_Ｃ，９２_Ｄの全組み合わせについて、領域代表色Ａ，Ｃ，Ｄが類似するか否かを判定するものである。

具体的には、接続可能ペアリスト生成手段２２は、接続領域９２_Ａ，９２_Ｃ，９２_Ｄの領域代表色Ａ，Ｃ，Ｄについて、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｓｔａｎｃｅ）が予め設定された閾値以下である場合には類似すると判定し、このＳＳＤが閾値を越える場合には類似しないと判定する（閾値判定）。
この閾値は、領域分割・領域代表色算出手段１１で用いた閾値に基づいて予め設定できる（例えば、領域代表色算出手段１１の閾値の半分）。

そして、接続可能ペアリスト生成手段２２は、領域代表色Ａ，Ｃ，Ｄが類似する接続領域９２_Ａ，９２_Ｃ，９２_Ｄの組み合わせを、接続可能ペア（９２，９２）として対応づける。例えば、領域代表色Ａ，Ｄが類似し、領域代表色Ａ，Ｃ及びＣ，Ｄが類似しない場合、接続可能ペアリスト生成手段２２は、接続領域９２_Ａ，９２_Ｄの組み合わせを接続可能ペア（９２_Ａ，９２_Ｄ）として対応づける。
この接続可能ペア（９２_Ａ，９２_Ｄ）は、後記する相互接続ペアの候補である。

その後、接続可能ペアリスト生成手段２２は、全ての接続可能ペア（９２，９２）と、接続可能ペア（９２，９２）の接続領域９２それぞれについて、２つの方向ベクトル９３と延長領域９４とを格納した接続可能ペアリストを生成して、相互接続ペア判定手段２３に出力する。

相互接続ペア判定手段２３は、接続可能ペアリスト生成手段２２から入力された接続可能ペアリストに含まれる接続可能ペア（９２，９２）について、それぞれの延長領域９４が交差条件を満たすか否かを判定するものである。

＜交差条件の判定：第１例＞
図９〜図１２を参照して、交差条件の判定について、４つの具体例を説明する（適宜図１参照）。
図９，図１０では、交差領域９５のうち、修正対象領域Ｈの内側に含まれる部分をハッチングで図示した。

前記した交差条件は、図９に示すように、接続可能ペア（９２，９２）を構成する接続領域９２について、２つの延長領域９４が交差することを示す条件である。具体的には、交差条件は、延長領域９４の交差により形成される交差領域９５が、修正対象領域Ｈの内側に予め設定された割合（例えば、５０％）以上含まれるといった条件で予め設定される。

この第１例では、ある接続可能ペア（９２，９２）について、２つの接続領域９２それぞれの延長領域９４が交差しており、交差領域９５が形成される。そして、この交差領域９５のハッチング部分が、修正対象領域Ｈの内側に５０％以上含まれている。言い換えるなら、交差領域９５の全面積のうち、修正対象領域Ｈの内側に５０％以上の面積が残っている。このため、相互接続ペア判定手段２３は、２つの延長領域９４が交差条件を満たすと判定する。

＜交差条件の判定：第２例＞
この第２例では、図１０に示すように、２つの延長領域９４が交差しており、交差領域９５が形成される。しかし、この交差領域９５のハッチング部分が、修正対象領域Ｈの内側に５０％以上含まれていない。このため、相互接続ペア判定手段２３は、２つの延長領域９４が交差条件を満たさないと判定する。

＜交差条件の判定：第３例＞
この第３例では、図１１に示すように、２つの延長領域９４が平行のために交差せず、交差領域９５が形成されない。つまり、交差領域９５のハッチング部分が修正対象領域Ｈの内側に一切含まれない。このため、相互接続ペア判定手段２３は、２つの延長領域９４が交差条件を満たさないと判定する。

＜交差条件の判定：第４例＞
この第４例では、図１２に示すように、２つの延長領域９４が修正対象領域Ｈの内側で途切れるために交差せず、交差領域９５が形成されない。このため、相互接続ペア判定手段２３は、２つの延長領域９４が交差条件を満たさないと判定する。

前記した第１例のように、相互接続ペア判定手段２３は、交差条件を満たす接続可能ペアを相互接続ペア（９２，９２）とする。
この相互接続ペア（９２，９２）は、互いに接続される接続領域９２のペアを示した接続情報である。
その後、相互接続ペア判定手段２３は、相互接続ペア（９２，９２）と、相互接続ペア（９２，９２）の接続領域９２それぞれについて、２つの方向ベクトル９３と延長領域９４とを格納した相互接続ペアリストを生成して、色占有率算出手段２４に出力する。

図１に戻り、画像修正装置１の構成について、説明を続ける。
色占有率算出手段２４は、相互接続ペア判定手段２３から入力された相互接続ペアリストに含まれる相互接続ペア（９２，９２）について、領域代表色ごとの色占有率を算出するものである。

この色占有率算出手段２４は、修正対象隣接領域９１における領域代表色ごとの画素数の合計と、修正対象隣接領域９１の全画素数との比によって、領域代表色ごとの色占有率を算出する。そして、色占有率算出手段２４は、この色占有率が高い領域代表色の順番を算出する。その後、色占有率算出手段２４は、算出した領域代表色の順番と、相互接続ペア判定手段２３から入力された相互接続ペアリストとを背景塗りつぶし手段２５に出力する。

背景塗りつぶし手段２５は、色占有率算出手段２４から領域代表色の順番が入力され、色占有率が最高となる領域代表色を背景色として決定し、修正対象領域Ｈの全画素を背景色とした背景色画像を生成するものである。
その後、背景塗りつぶし手段２５は、生成した背景色画像と、色占有率算出手段２４から入力された領域代表色の順及び相互接続ペアリストとを前景接続描画手段２６に出力する。

前景接続描画手段２６は、全ての相互接続ペアについて、背景色の次から色占有率が高い領域代表色を有する相互接続ペアの順に、背景塗りつぶし手段２５から入力された背景色画像の画素をその相互接続ペアの領域代表色とすることで、初期構造分布推定画像（領域代表色背景推定画像）を生成するものである。

＜初期構造分布推定画像の生成＞
図１３を参照して、初期構造分布推定画像の生成について説明する（適宜図１参照）。
図１３では、相互接続ペアを構成する接続領域は、それぞれ、符号９２_Ｐ，９２_Ｑで図示した。また、接続領域９２_Ｐの２つの方向ベクトルは、それぞれ、符号９３_Ｐ１，９３_Ｐ２で図示した。また、接続領域９２_Ｑの２つの方向ベクトルは、それぞれ、符号９３_Ｑ１，９３_Ｑ２で図示した。
また、図１３では、図面を見やすくするため、修正対象隣接領域９１を楕円形の実線で図示し、接続領域９２を太線で図示し、点ＰＸＱから作られる２次ベジェ曲線Ｌ２を一点鎖線で図示した。

具体的には、前景接続描画手段２６は、接続領域９２_Ｐの中間点Ｐと、接続領域９２_Ｑの中間点Ｑとを算出する。また、前景接続描画手段２６は、この中間点Ｐを起点として、方向ベクトル９３_Ｐ１，９３_Ｐ２の平均方向に延長した直線Ｌ１_Ｐを算出する。また、前景接続描画手段２６は、この中間点Ｑを起点として、方向ベクトル９３_Ｑ１，９３_Ｑ２の平均方向に延長した直線Ｌ１_Ｑを算出する。そして、前景接続描画手段２６は、直線Ｌ１_Ｐ，Ｌ１_Ｑの交点Ｘを算出する。これによって、前景接続描画手段２６は、点Ｐ，Ｘ，Ｑを制御点として、中間点Ｐ，Ｑを接続するベジェ曲線Ｌ２を算出できる。

ここで、中間点Ｐ，Ｑの一方がベジェ曲線Ｌ２の始点（例えば、中間点Ｐ）であり、残りの他方がベジェ曲線Ｌ２の終点（例えば、中間点Ｑ）であることとする。この場合、前景接続描画手段２６は、接続領域９２_Ｐの端から中心点Ｐまでの長さ、つまり、方向ベクトル９３_Ｐ１又は方向ベクトル９３_Ｐ２から中心点Ｐまでの長さを、描画円９６の半径として算出する。そして、前景接続描画手段２６は、ベジェ曲線Ｌ２の上に描画円９６の中心が位置するように、ベジェ曲線Ｌ２の始点Ｐから終点Ｑまでベジェ曲線Ｌ２に沿って描画円９６を移動させる。このとき、前景接続描画手段２６は、この描画円９６の移動範囲に含まれる画素を領域代表色で描画する。

このとき、前景接続描画手段２６は、描画円９６の直径を一定とせず、延長領域９４でその描画円９６が位置する箇所の幅に応じて、描画円９６の直径を変化させてもよい。例えば、前景接続描画手段２６は、描画円９６の直径を、ベジェ曲線Ｌ２の始点Ｐで接続領域９２_Ｐの両端の長さとし、ベジェ曲線Ｌ２の終点Ｑで接続領域９２_Ｑの両端の長さとする。このとき、前景接続描画手段２６は、始点Ｐと終点Ｑの間において、描画円９６の中心とベジェ曲線Ｌ２の始点Ｐとの距離、及び、描画円９６の中心とベジェ曲線Ｌ２の終点Ｑとの距離の割合により、接続領域９２_Ｐ，９２_Ｑの両端の長さを比例配分した値を直径とする。

その後、前景接続描画手段２６は、生成した初期構造分布推定画像を初期構造分布修正手段３０に出力する。
このように、前景接続描画手段２６は、延長領域９４に沿ったベジェ曲線Ｌ２を算出し、ベジェ曲線Ｌ２の上で描画円９６を移動させながら、この描画円９６_Ｐ，９６_Ｑに含まれる各画素を相互接続ペア（９２_Ｐ，９２_Ｑ）の領域代表色とする。これによって、前景接続描画手段２６は、接続されると推定された接続領域９２が領域代表色により構造的に接続された初期構造分布推定画像の生成を可能にしている。

＜接続領域の延長描画＞
以下、図１１，図１２に戻り、接続領域の延長描画について説明する（適宜図１参照）。
例えば、図１１，図１２のような接続可能ペア（９２，９２）は、修正対象領域Ｈの内側に延長される可能性がありながら、交差条件を満たさないために相互接続ペア（９２，９２）と判定されない。従って、この接続可能ペア（９２，９２）の接続領域９２は、入力画像の修正対象領域Ｈで隠される背景部分において、この修正対象領域Ｈの内側に延長され、かつ、その途中で途切れる可能性がある。

このため、前景接続描画手段２６は、交差条件を満たさないと判定された接続可能ペア（９２，９２）について、接続領域９２の延長描画を行うことが好ましい。具体的には、前景接続描画手段２６は、この接続領域９２から修正対象領域Ｈの内側に予め設定された範囲までの初期構造分布推定画像の画素を、接続領域の領域代表色で描画する（接続領域９２の延長描画）。

ここで、接続領域９２の延長描画を行う範囲は、例えば、２つの方向ベクトル９３の平均方向を求め、その平均方向に数画素分である。また、接続領域９２の延長描画を行う範囲は、接続領域９２から修正対象領域Ｈの中心までの長さに対する割合（例えば、１０％）としてもよい。

＜初期構造分布推定画像の具体例＞
以下、図３０の柵に注目して、画像修正装置１が初期構造分布推定画像をどのように生成するか、具体例をあげて説明する。

領域分割・領域代表色算出手段１１は、図３０の入力画像に領域分割処理を施して、図２の領域代表色画像を生成する。
修正対象領域入力手段１２は、図３０の鷹が修正対象領域Ｈとして入力される。

接続領域リスト生成手段２１は、図２の領域代表色画像で図３１の修正対象領域Ｈに隣接する１画素分の領域を、図４の修正対象隣接領域９１として求める。また、接続領域リスト生成手段２１は、図４の修正対象隣接領域９１から、図３０の柵に対応する接続領域９２_１，９２_２，９２_３，９２_４を抽出する。

ここで、図１４に示すように、図２の領域代表色画像において、符号α，βを付した接続領域９２_１，９２_２の近辺を拡大すると、図１５，図１６のようになる。
図１４では、図面を見やすくするため、柵の部分を網掛で図示し（図１７，図１８，図２３，図２４も同様）し、鷹の部分における分割領域の図示を省略した。
図１５，図１６では、各正方形が各画素を表し、網掛で図示した画素が図１４の柵の部分に対応し、黒塗りした画素が図１４の修正対象領域Ｈに対応する。
また、図１５，図１６では、接続領域９２を太線で図示した。

図１５の接続領域９２_１において、領域代表色は、Ｒ＝０．７０、Ｇ＝０．６０、Ｂ＝０．６３となる桃色である。また、図１６の接続領域９２_２において、領域代表色は、Ｒ＝０．６４、Ｇ＝０．５５、Ｂ＝０．６２となる桃色である。従って、接続領域９２_１，９２_２の領域代表色が類似するため、接続可能ペアリスト生成手段２２は、図４の修正対象隣接領域９１に含まれる接続領域９２_１，９２_２を接続可能ペア（９２_１，９２_２）として判定する。

これと同様、接続可能ペアリスト生成手段２２は、図４の修正対象隣接領域９１から、接続可能ペア（９２_１，９２_３），（９２_１，９２_４），（９２_２，９２_３），（９２_２，９２_４），（９２_３，９２_４）とを判定する。

相互接続ペア判定手段２３は、図４の接続可能ペア（９２_１，９２_２），（９２_１，９２_３），（９２_１，９２_４），（９２_２，９２_３），（９２_２，９２_４），（９２_３，９２_４）が、交差条件を満たすか否かを判定する。ここで、前記６つの接続可能ペアのうち、接続可能ペア（９２_１，９２_２），（９２_３，９２_４）だけが交差条件を満たす。従って、相互接続ペア判定手段２３は、接続可能ペア（９２_１，９２_２），（９２_３，９２_４）のみを相互接続ペアとして判定する。

図４の修正対象隣接領域９１は、濃い緑色の森に対応する画素が大部分を占める。このため、色占有率算出手段２４は、濃い緑色の領域代表色を１番目とし、柵（桃色）の領域代表色も色占有率に応じた順番を算出する。そして、背景塗りつぶし手段２５は、濃い緑色を背景色として決定し、修正対象領域Ｈを濃い緑色とした背景色画像を生成する。

前景接続描画手段２６は、相互接続ペア（９２_１，９２_２）の間をベジェ曲線で接続すると共に、相互接続ペア（９２_３，９２_４）の間をベジェ曲線で接続し、それぞれ、領域代表色である桃色で描画する。

ここで、接続領域９２_１と接続領域９２_２との領域代表色は、類似色であるが、厳密には異なる色である。この場合、前景接続描画手段２６は、接続領域９２_１と接続領域９２_２との全画素数に対する領域代表色の平均を求め、平均した領域代表色で描画してもよい。また、前景接続描画手段２６は、接続領域９２_１又は接続領域９２_２の領域代表色をランダムに選択し、選択した領域代表色で描画してもよい。

その結果、初期構造分布推定手段２０は、図１７の初期構造分布推定画像を生成する。この初期構造分布推定画像では、図３０の鷹に隠されていた柵９７_１が、図４の相互接続ペア（９２_１，９２_２）の間を接続するように、桃色で描画されている。また、この初期構造分布推定画像では、図３０の鷹に隠されていた柵９７_２が、図４の相互接続ペア（９２_３，９２_４）の間を接続するように、桃色で描画されている。さらに、この初期構造分布推定画像では、図３０の鷹に隠されていた木が、それぞれの領域代表色で描画されている。

以上の具体例では、一枚のフレーム画像（静止画像）に初期構造分布推定処理を施す例を説明したが、入力画像が動画像の場合、初期構造分布推定手段２０は、この入力画像を構成する全フレーム画像に初期構造分布推定処理を施すことは言うまでもない。
また、図３０の柵に注目して説明したが、初期構造分布推定手段２０は、柵以外についても同様の処理を施すことは言うまでもない。

図１に戻り、画像修正装置１の構成について、説明を続ける。
初期構造分布修正手段３０は、時空間上での解像度の階層関係に基づいて、修正対象画像（合成画像）に初期構造分布修正処理（第１の画像修正処理）を施して領域代表色背景復元画像を生成するものである。このため、初期構造分布修正手段３０は、修正対象パッチリスト生成手段３１と、素材パッチリスト生成手段３２と、修正対象パッチリスト更新手段３３と、を備えている。

この修正対象画像は、修正対象パッチリスト生成手段３１によって、領域分割・領域代表色算出手段１１から入力された領域代表色画像の修正対象領域Ｈを、前景接続描画手段２６から入力された初期構造分布推定画像で置き換えて合成されたものである。例えば、この修正対象画像は、図１８に示すように、図２の領域代表色画像の鷹の部分に、図１７の初期構造分布推定画像の鷹に隠された背景部分を合成した画像である。

なお、画像修正処理の詳細は、例えば、参考文献「Y.Wexler, E.Shechtman, and M.Irani: "Space-Time Completion of Video," IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL.29, NO.3 pp.463-476, March 2007」に記載されている。

また、解像度の階層関係は、解像度ピラミッドとも呼ばれ、本実施形態では、修正対象画像と同じ解像度である最高解像度と、最高解像度の半分の解像度である中間解像度と、最高解像度の１／４の解像度である最低解像度というように、３階層となっている。そして、解像度の階層関係は、低い解像度の計算結果（画素値）が高い解像度の画像に反映される関係を示している。
なお、解像度の階層関係は、前記参考文献に記載されており、画像修正装置１の動作と共に詳細に説明する。

修正対象パッチリスト生成手段３１は、修正対象画像から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ（修正対象パッチ）で構成される修正対象パッチリストを生成するものである。

この修正対象パッチリスト生成手段３１は、修正領域画像から、画素ごとに、当該画素を中心とした周囲の画素を含んだ小領域の画像パッチ（修正対象パッチ）を生成することで、当該画像パッチで構成されるリスト（修正対象パッチリスト）を生成する。この生成された修正対象パッチリストは、修正対象パッチリスト更新手段３３に出力される。

ここで、図１９を参照して、画像パッチについて説明する。
図１９に示すように、修正対象画像Ｓは、ｘｙ座標の座標系で表されるフレーム画像の修正領域分の画像が時間方向ｔに連続した画像（動画像、映像）であるとする。このとき、座標（ｘ、ｙ）、時刻ｔにおける画素ｐ＝（ｘ，ｙ，ｔ）を中心として、ｘｙ方向（空間方向）およびｔ方向（時間方向）に予め定めた大きさの画素群（Ｗ_ｐ）、具体的にはそれら画像群の画素値の集合を画像パッチと呼ぶ。この画像パッチの大きさは、例えば、３×３×３画素、５×５×５画素、７×７×７画素等である。

図１に戻って、画像修正装置１の構成について説明を続ける。
素材パッチリスト生成手段３２は、素材画像から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ（素材パッチ）で構成される素材パッチリストを生成するものである。この生成された素材パッチリストは、修正対象パッチリスト更新手段３３に出力される。

この素材画像は、領域分割・領域代表色算出手段１１から入力された領域代表色画像において、修正対象領域入力手段１２に入力された修正対象領域Ｈを除去した画像である。
また、この素材パッチリスト生成手段３２が生成する素材パッチリストを構成する画像パッチ（素材パッチ）は、その元となる画像が、修正対象パッチリスト生成手段３１で処理した画像と異なるだけである。

すなわち、素材パッチリスト生成手段３２は、図１９に示すように、素材画像Ｄを、ｘｙ座標の座標系で表されるフレーム画像の素材領域分の画像が時間方向ｔに連続した画像（動画像、映像）であるとしたとき、座標（ｘ、ｙ）、時刻ｔにおける画素ｑ＝（ｘ，ｙ，ｔ）を中心として、ｘｙ方向（空間方向）およびｔ方向（時間方向）に予め定めた大きさの画素群（Ｖ_ｑ）を素材パッチとする。なお、修正対象パッチリスト生成手段３１が生成する修正対象パッチと、素材パッチリスト生成手段３２が生成する素材パッチの大きさ（画素数）は同じである。

ここで、図２０を参照して、修正対象パッチリスト生成手段３１が対象とする修正対象画像と、素材パッチリスト生成手段３２が対象とする素材画像とについて説明する。図２０（ａ）に示すように、修正対象画像Ｓは、修正対象領域Ｈを含んだ画像である。一方、図２０（ｂ）に示すように、素材画像Ｄは、修正対象画像Ｓから修正対象領域Ｈを除いた画像である。

図１に戻って、画像修正装置１の構成について説明を続ける。
修正対象パッチリスト更新手段３３は、修正対象パッチリストの画像パッチを、当該画像パッチと最も類似度が高い素材パッチリストの画像パッチで置換して修正対象パッチリストを更新し、類似度の累計（コヒーレンス〔関連度〕）が最大となる最近似パッチリストを生成するものである。
すなわち、修正対象パッチリスト更新手段３３は、以下の（１）式に示すコヒーレンスＣｏの値が最大となる修正対象パッチリストを生成するものである。

ここで、ｐは修正対象画像Ｓ内の画素、ｑは素材画像Ｄ内の画素、Ｗ_ｐは修正対象画像Ｓの画像パッチ（修正対象パッチ）、Ｖ_ｑは素材画像Ｄの画像パッチ（素材パッチ）である（図１９，図２０参照）。また、ｓｉｍは、類似度を計算する関数であって、詳細は後記する。なお、修正対象画像Ｓは、コヒーレンスが最大となるように順次更新されるものであるため、ここでは、Ｓ^＊で表記している。

この修正対象パッチリスト更新手段３３は、前記（１）式を最大とするため、類似パッチ探索手段３３１と、関連度算出手段３３２と、類似パッチ置換手段３３３と、画素値更新手段３３４と、更新終了判定手段３３５と、を備える。

類似パッチ探索手段３３１は、修正対象パッチリストの修正対象パッチＷ_ｐごとに、画像特徴量が最も類似する素材パッチリストの素材パッチＶ_ｑを探索するものである。
この類似パッチ探索手段３３１は、修正対象パッチＷ_ｐごとに、以下の（２）式（前記（１）式の関数ｓｉｍ）によって、修正対象パッチＷ_ｐと素材パッチＶ_ｑとの類似度を計算する。

このｄは、以下の（３）式に示すＷ_ｐとＶ_ｑとの画像特徴量の距離（例えば、各パッチに所属する全ピクセル分の特徴量を並べたベクトルのＳＳＤ距離である。また、σは、画像特徴量の分散を示す予め定めた定数である。

なお、Ｗ_ｐ（ｘ，ｙ，ｔ）は、修正対象パッチＷ_ｐの画像特徴量である。例えば、画像特徴量Ｗ_ｐ（ｘ，ｙ，ｔ）は、修正対象パッチＷ_ｐに属するすべての画素値（Ｒ，Ｇ，Ｂ）と、輝度の２方向の瞬間変化量成分（ｕ，ｖ）からなる特徴量ベクトル（Ｒ，Ｇ，Ｂ，ｕ，ｖ）とする。

この（Ｒ，Ｇ，Ｂ）は、修正対象パッチＷ_ｐに属するすべての画素を構成する色の画素値からなるベクトルである。また、（ｕ，ｖ）は、修正対象パッチＷ_ｐにおける空間方向（ｘ方向、ｙ方向）の輝度の微分値Ｙｘ、Ｙｙ、および、時間方向（ｔ方向）の輝度の微分値Ｙｔで特定される瞬間変化量ベクトル（Ｙｔ／Ｙｘ，Ｙｔ／Ｙｙ）である。
なお、Ｖ_ｑ（ｘ，ｙ，ｔ）は、素材パッチＶ_ｑの画像特徴量であって、その内容は、修正対象パッチＷ_ｐの画像特徴量と同じである。

そして、類似パッチ探索手段３３１は、修正対象パッチＷ_ｐに最も類似する素材パッチＶ_ｑを特定し、その類似度を関連度算出手段３３２に出力するともに、対応する修正対象パッチＷ_ｐと素材パッチＶ_ｑとを類似パッチ置換手段３３３に出力する。

関連度算出手段３３２は、類似パッチ探索手段３３１で探索された修正対象パッチＷ_ｐごとに最も類似する素材パッチＶ_ｑの類似度を、修正対象パッチＷ_ｐ分累計して、修正対象パッチリストの修正対象パッチを、類似する素材パッチで置き換えたときの、置換後の修正対象パッチリストと素材パッチリストとの関連の度合いを示す関連度（コヒーレンス）を計算するものである。

すなわち、関連度算出手段３３２は、類似パッチ探索手段３３１において前記（２）式で計算された類似度を用いて、前記（１）式に示すように、修正対象パッチＷ_ｐと素材パッチＶ_ｑとの最大類似度を修正対象パッチＷ_ｐ分累計することで、コヒーレンスＣｏを算出する。この関連度算出手段３３２で計算されたコヒーレンスＣｏの値は、更新終了判定手段３３５に出力される。

類似パッチ置換手段３３３は、修正対象パッチリストの各修正対象パッチを、類似パッチ探索手段３３１で探索された類似度が最も高い素材パッチに置換して、新たな修正対象パッチリストを生成するものである。
この類似パッチ置換手段３３３は、後記する更新終了判定手段３３５から終了の指示が通知されるまで、更新した修正対象パッチリストを類似パッチ探索手段３３１に出力する。これによって、修正対象パッチリストは、順次更新されることになる。
また、類似パッチ置換手段３３３は、更新した修正対象パッチリストを画素値更新手段３３４に出力する。

画素値更新手段３３４は、入力画像の指定領域を更新するものである。
この画素値更新手段３３４は、得られたすべての修正対象パッチリストから、それぞれの修正対象画素に関係する修正対象パッチ群から得られるすべての画素値を用いて推定画素値を求め、これにより修正対象画像Ｓの修正対象領域Ｈの画素値を更新する。

具体的には、画素値更新手段３３４は、修正対象パッチリストの中で、修正対象画像Ｓの更新対象の画素の画素位置を含んだ修正対象パッチの当該画素位置に対応するすべての画素の画素値について、統計処理により求めた値（例えば、重み付き平均値等）によって、当該画素位置の画素値を推定画素値として決定する。

図２１に示すように、例えば、画像パッチの大きさが３×３×３画素の場合、画素値を更新するために、２７つの画素候補が存在することになる。ここで、図２１では、画像パッチのうち、空間成分を表す３×３画素のみを図示した。このため、画素値更新手段３３４は、以下の式（４）及び式（５）で定義される重み付き平均値を用いて、推定画素値ｃを求める。

ここで、式（５）では、修正対象パッチＷ_ｐと素材パッチＶ_ｑとの類似度Ｓｉｍ（Ｗ^ｉ _ｐ，Ｖ_ｑ）及びα^ｉという２つの係数で重みｗ^ｉ _ｐが定義されている。このとき、素材パッチＶ_ｑが修正対象領域Ｈの境界内側に入った距離をｄｉｓｔとした場合、α^ｉ _ｐ＝γ^(−ｄｉｓｔ)を満たす。このとき、修正対象領域Ｈの境界から内側に対して距離変換処理（distance transform）を行うことで、修正対象領域Ｈの内側にある各ピクセルが境界からどれだけ内側に入ったかという距離（ユークリッド距離）を求めることができる。例えば、修正対象パッチＷ_ｐの中心が修正対象領域Ｈの内側で所定位置にある場合、その所定位置における距離がｄｉｓｔになる。
なお、式（４）及び式（５）では、ｐが画素を表す。

その後、画素値更新手段３３４は、更新終了判定手段３３５から入力された判定結果に応じて、修正対象領域Ｈの画素値が更新された修正対象画像Ｓを出力する。ここで、判定結果が次の解像度で更新の場合、画素値更新手段３３４は、この修正対象画像Ｓを修正対象パッチリスト生成手段３１にフィードバック（出力）する。一方、判定結果が全解像度で更新完了の場合、画素値更新手段３３４は、この修正対象画像Ｓを最終修正手段４０に出力する。

なお、画素値更新手段３３４が推定画素値を求めるために平均値を用いる手法は、統計的手法の一例であって、これに限定されるものではない。例えば、画素値更新手段３３４は、外れ値を落として確率的に高い推定画素値ｃを求めるため、平均値シフト（ｍｅａｎｓｈｉｆｔ）法を用いて、更新対象の画素の画素値を求めてもよい。

更新終了判定手段３３５は、解像度ピラミッドの全解像度において、類似パッチ置換手段３３３が行う修正対象パッチリストの更新の終了判定、すなわち、画素値更新手段３３４における最適な画素値の更新が完了したか否かの判定を行うものである。

ここで、更新終了判定手段３３５は、関連度算出手段３３２で計算されたコヒーレンス（関連度）Ｃｏが、各解像度において最も大きくなったことを、各解像度における更新処理の完了判定の基準とする。つまり、更新終了判定手段３３５は、コヒーレンスＣｏが最大と判定されたとき、次の解像度で初期構造分布修正処理を行う。
ここで、コヒーレンスＣｏが最大となったときとは、これ以上、コヒーレンスＣｏの値が増加しないと判断したとき、例えば、コヒーレンスＣｏの増分割合が予め定めた閾値以下となったときである（コヒーレンスＣｏの収束）。

例えば、更新終了判定手段３３５は、解像度カウンタの初期値を０とし、最低解像度でコヒーレンスＣｏが最大となったとき、解像度カウンタをインクリメントして、解像度カウンタが予め設定された上限値未満であるか否かを判定する。ここで、更新終了判定手段３３５は、解像度カウンタが上限値未満であれば、次の解像度で更新を継続すると判定し、画素値更新手段３３４にその判定結果を通知する。一方、更新終了判定手段３３５は、解像度カウンタが上限値以上であれば、全解像度で更新完了と判定し、画素値更新手段３３４にその判定結果を通知する。

なお、更新終了判定手段３３５は、コヒーレンスＣｏの値によって、終了判定を行ったが、予め定めた更新回数を終了の判定条件としてもよい。また、更新終了判定手段３３５は、一旦更新を終了した場合であっても、図示を省略した入力手段を介して、操作者から更新の指示を入力された場合、指定回数分更新を繰り返すこととしてもよい。

このように、初期構造分布修正手段３０は、図２２示すように、素材画像Ｄと、順次更新される修正対象領域Ｈ（Ｈ^＊）の画像とによって、素材画像Ｄとのコヒーレンスが最大となる修正対象画像Ｓ（Ｓ^＊）を生成する。
この修正対象画像Ｓは、図２３に示すように、図２の領域代表色画像と同等の色解像度で、図３０の鷹に隠された背景部分が領域代表色で復元されているため、領域代表色背景復元画像とも呼ばれる。

最終修正手段４０は、時空間上での解像度の階層関係に基づいて、修正対象画像（合成画像）に最終修正処理（第２の画像修正処理）を施して背景復元画像を生成するものである。このため、最終修正手段４０は、修正対象パッチリスト生成手段４１と、素材パッチリスト生成手段４２と、修正対象パッチリスト更新手段４３と、を備えている。

この修正対象画像は、修正対象パッチリスト生成手段４１によって、外部から入力された入力画像の修正対象領域Ｈを、画素値更新手段３３４から入力された領域代表色背景復元画像の修正対象領域Ｈで置き換えて合成された画像である。この修正対象画像は、図２４に示すように、図３０の入力画像の鷹の部分に、図２３の領域代表色背景復元画像の鷹に隠された背景部分を合成した画像である。

なお、最終修正手段４０は、処理対象とする画像が異なるだけで、初期構造分布修正手段３０と同様のため、詳細な説明を省略する。
また、この修正対象画像Ｓは、図２５に示すように、入力画像と同等の色解像度で、柵（網掛で図示）も含めて、鷹に隠された背景部分が復元されているため、背景復元画像とも呼ばれる。

［画像修正装置の全体動作］
図２６を参照して、図１の画像修正装置１の全体動作について説明する（適宜図１参照）。
画像修正装置１は、外部から、入力画像が入力される（ステップＳ１）。
画像修正装置１は、領域分割・領域代表色算出手段１１によって、領域代表色画像を生成し、分割領域ごとの領域代表色を算出する（ステップＳ２、領域分割処理）。
画像修正装置１は、修正対象領域入力手段１２によって、修正対象領域Ｈを指定する（ステップＳ３）。

画像修正装置１は、初期構造分布推定手段２０によって、初期構造分布推定処理を行う（ステップＳ４）。
なお、この初期構造分布推定処理は、詳細を後記する（図２７参照）。

画像修正装置１は、初期構造分布推定手段２０によって、初期構造分布推定処理の結果を初期構造分布修正処理の初期値としてセットする。言い換えるなら、初期構造分布推定手段２０は、初期構造分布修正処理の初期値として、初期構造分布推定画像を初期構造分布修正手段３０に出力する（ステップＳ５）。

画像修正装置１は、初期構造分布修正手段３０によって、時空間上での解像度の階層関係に基づいた初期構造分布修正処理（第１の画像修正処理）を施して、領域代表色背景復元画像を生成する（ステップＳ６）。
なお、この初期構造分布修正処理は、詳細を後記する（図２８参照）。

画像修正装置１は、初期構造分布修正手段３０によって、初期構造分布修正処理の結果を最終修正処理の初期値としてセットする。言い換えるなら、初期構造分布修正手段３０は、最終修正処理の初期値として、領域代表色背景復元画像を最終修正手段４０に出力する（ステップＳ７）。

画像修正装置１は、最終修正手段４０によって、時空間上での解像度の階層関係に基づいた最終修正処理（第２の画像修正処理）を施して、背景復元画像を生成する（ステップＳ８）。
なお、この最終修正処理は、詳細を後記する（図２９参照）。

［初期構造分布推定処理］
図２７を参照して、図２６の初期構造分布推定処理について説明する（適宜図１参照）。
初期構造分布推定手段２０は、領域分割・領域代表色算出手段１１から、領域代表色画像と、分割領域ごとの領域代表色とが入力される（ステップＳ４１）。

接続領域リスト生成手段２１は、領域代表色画像での修正対象隣接領域９１から、接続領域リストを生成する（ステップＳ４２）。
接続可能ペアリスト生成手段２２は、接続領域リストに含まれる接続領域の全組み合わせについて、互いの領域代表色が類似するか否かによって接続可能ペアであるか否かを判定し（ステップＳ４３）、接続可能ペアリストを生成する（ステップＳ４４）。

相互接続ペア判定手段２３は、接続可能ペアリストに含まれる接続可能ペアについて、交差条件を満たすか否かによって相互接続ペアであるか否かを判定する（ステップＳ４５）。

色占有率算出手段２４は、領域代表色ごとの色占有率を算出し、この色占有率が高い領域代表色の順番を算出する。
背景塗りつぶし手段２５は、色占有率が最高となる領域代表色を背景色として決定する（ステップＳ４６）。

背景塗りつぶし手段２５は、修正対象領域Ｈを背景色で塗りつぶして描画する（ステップＳ４７）。
前景接続描画手段２６は、色占有率が高い領域代表色の順番に相互接続ペアを描画する（ステップＳ４８）。

［初期構造分布修正処理］
＜１回目の初期構造分布修正処理：最低解像度＞
図２８を参照して、図２６の初期構造分布修正処理について説明する（適宜図１参照）。

初期構造分布修正手段３０は、領域分割・領域代表色算出手段１１から領域代表色画像が入力される（ステップＳ６１）。
初期構造分布修正手段３０は、修正対象領域入力手段１２から修正対象領域Ｈが入力される（ステップＳ６２）。

初期構造分布修正手段３０は、初期構造分布推定手段２０から、初期構造分布修正処理の初期値として、初期構造分布推定処理の結果が入力される。言い換えるなら、初期構造分布修正手段３０は、初期構造分布推定手段２０から、初期構造分布修正処理の初期値として、初期構造分布推定画像が入力される（ステップ６３）。

修正対象パッチリスト生成手段３１は、領域代表色画像の修正対象領域Ｈを初期構造分布推定画像で置き換えて合成画像を生成する。そして、修正対象パッチリスト生成手段３１は、この合成画像を縮小して、最低解像度の低解像度修正対象画像Ｓを生成する。

素材パッチリスト生成手段３２は、領域代表色画像から修正対象領域Ｈを除去して素材画像を生成する。そして、素材パッチリスト生成手段３２は、この素材画像を縮小して、最低解像度の低解像度素材画像Ｄを生成する（ステップＳ６４）。

素材パッチリスト生成手段３２は、低解像度素材画像Ｄから、素材パッチで構成される素材パッチリストを生成する（ステップＳ６５）。
修正対象パッチリスト生成手段３１は、低解像度修正対象画像Ｓから、修正対象パッチで構成される修正対象パッチリストを生成する（ステップＳ６６）。

類似パッチ探索手段３３１は、修正対象パッチリストの修正対象パッチごとに、画像特徴量が最も類似する素材パッチリストの素材パッチを探索する（ステップＳ６７）。
関連度算出手段３３２は、探索された素材パッチの類似度を累計し、コヒーレンスを算出する（ステップＳ６８）。

類似パッチ置換手段３３３は、修正対象パッチリストの各修正対象パッチを、類似度が最も高い素材パッチに置換して、修正対象パッチリストを更新する（ステップＳ６９）。
画素値更新手段３３４は、修正対象パッチリストを構成する修正対象パッチから、低解像度修正対象画像Ｓの修正対象領域Ｈに対して推定画素値を求める。これによって、低解像度修正対象画像Ｓは、修正対象領域Ｈの画素値が更新される（ステップＳ７０）。

更新終了判定手段３３５は、算出したコヒーレンスが最大になったか否かを判定する。例えば、更新終了判定手段３３５は、更新前後のコヒーレンスの増分割合が予め定めた閾値以下となったか否かによって、コピーレンスが最大になったか否かを判定する（ステップＳ７１）。

ここで、コヒーレンスが最大でないと判定した場合（ステップＳ７１でＮｏ）、画像修正装置１は、ステップＳ６７に戻って、修正対象パッチリストの更新を続ける。
一方、コヒーレンスが最大であると判定した場合（ステップＳ７１でＹｅｓ）、画像修正装置１は、ステップＳ７２の処理に進む。

更新終了判定手段３３５は、次の解像度で初期構造分布修正処理を行うか否かを判定する（ステップＳ７２）。
ここで、中間解像度及び最大解像度での初期構造分布修正処理を行うため（ステップＳ７２でＹｅｓ）、画素値更新手段３３４は、修正対象領域Ｈの画素値が更新された低解像度修正対象画像Ｓを、修正対象パッチリスト生成手段３１にフィードバックする。その後、画像修正装置１は、ステップＳ６４の処理に戻る。

＜２回目の初期構造分布修正処理：中間解像度＞
修正対象パッチリスト生成手段３１は、フィードバックされた低解像度修正対象画像Ｓから、画素値が更新された修正対象領域Ｈを抽出して、中間解像度まで拡大する。また、修正対象パッチリスト生成手段３１は、中間解像度の領域代表色画像の修正対象領域Ｈを、拡大した修正対象領域Ｈで置き換えて合成画像を生成する。以上の処理により、修正対象パッチリスト生成手段３１は、中間解像度の中解像度修正対象画像Ｓを生成する。

素材パッチリスト生成手段３２は、中間解像度の領域代表色画像から修正対象領域Ｈを除去して、中間解像度の中解像度素材画像Ｄを生成する（ステップＳ６４）。

ステップＳ６５〜Ｓ７１までの処理は、最低解像度と同様のため、説明を省略する。
このとき、中解像度修正対象画像Ｓは、ステップＳ７０の処理によって、修正対象領域Ｈの画素値が更新される。

更新終了判定手段３３５は、次の解像度で初期構造分布修正処理を行うか否かを判定する（ステップＳ７２）。
ここで、最大解像度での初期構造分布修正処理を行うため（ステップＳ７２でＹｅｓ）、画素値更新手段３３４は、修正対象領域Ｈの画素値が更新された中解像度修正対象画像Ｓを、修正対象パッチリスト生成手段３１にフィードバックする。その後、画像修正装置１は、ステップＳ６４の処理に戻る。

＜３回目の初期構造分布修正処理：最高解像度＞
修正対象パッチリスト生成手段３１は、フィードバックされた中解像度修正対象画像Ｓから、画素値が更新された修正対象領域Ｈを抽出して、最高解像度まで拡大する。また、修正対象パッチリスト生成手段３１は、領域代表色画像の修正対象領域Ｈを、拡大した修正対象領域Ｈで置き換えて合成画像を生成する。
この合成画像は、最高解像度の高解像度修正対象画像Ｓとなる。

素材パッチリスト生成手段３２は、領域代表色画像から修正対象領域Ｈを除去して、素材画像を生成する。
この素材画像は、最高解像度の高解像度素材画像Ｄとなる（ステップＳ６４）。

ステップＳ６５〜Ｓ７１までの処理は、最低解像度及び中間解像度と同様のため、説明を省略する。
このとき、高解像度修正対象画像Ｓは、ステップＳ７０の処理によって、修正対象領域Ｈの画素値が更新される。

更新終了判定手段３３５は、次の解像度レベルで初期構造分布修正処理を行うか否かを判定する（ステップＳ７２）。
ここで、全解像度で初期構造分布修正処理が完了したため（ステップＳ７２でＮｏ）、画素値更新手段３３４は、修正対象領域Ｈの画素値が更新された高解像度修正対象画像Ｓを、領域代表色背景復元画像として最終修正手段４０に出力する。その後、画像修正装置１は、初期構造分布修正処理を終了する。
このように、初期構造分布修正手段３０は、色解像度が領域代表色まで減色された修正対象画像Ｓ及び素材画像Ｄを処理対象とすることで、解像度の階層関係に基づいた初期構造分布修正処理を施すことができる。

［最終修正処理］
＜１回目の最終修正処理：最低解像度＞
図２９を参照して、図２６の最終修正処理について説明する（適宜図１参照）。
最終修正手段４０は、外部から入力画像が入力される（ステップＳ８１）。
最終修正手段４０は、修正対象領域入力手段１２から修正対象領域Ｈが入力される（ステップＳ８２）。

最終修正手段４０は、初期構造分布修正手段３０から、最終修正処理の初期値として、初期構造分布修正処理の結果が入力される。言い換えるなら、最終修正手段４０は、初期構造分布修正手段３０から、最終修正処理の初期値として、領域代表色背景復元画像が入力される（ステップ８３）。

修正対象パッチリスト生成手段４１は、入力された領域代表色背景復元画像から修正対象領域Ｈを抽出する。また、修正対象パッチリスト生成手段４１は、入力画像の修正対象領域Ｈを、抽出した修正対象領域Ｈで置き換えて合成画像を生成する。そして、修正対象パッチリスト生成手段４１は、この合成画像を縮小して、最低解像度の低解像度修正対象画像Ｓを生成する。

素材パッチリスト生成手段４２は、入力画像から修正対象領域Ｈを除去して素材画像を生成する。そして、素材パッチリスト生成手段３２は、この素材画像を縮小して、最低解像度の低解像度素材画像Ｄを生成する（ステップＳ８４）。

ステップＳ８５〜Ｓ９１までの処理は、図２８のステップＳ６５〜Ｓ７１と同様のため、説明を省略する。
このとき、低解像度修正対象画像Ｓは、ステップＳ９０の処理によって、修正対象領域Ｈの画素値が更新される。

更新終了判定手段４３５は、次の解像度で最終修正処理を行うか否かを判定する（ステップＳ９２）。
ここで、中間解像度及び最大解像度での最終修正処理を行うため（ステップＳ９２でＹｅｓ）、画素値更新手段４３４は、修正対象領域Ｈの画素値が更新された低解像度修正対象画像Ｓを、修正対象パッチリスト生成手段４１にフィードバックする。その後、画像修正装置１は、ステップＳ８４の処理に戻る。

＜２回目の最終修正処理：中間解像度＞
修正対象パッチリスト生成手段４１は、フィードバックされた低解像度修正対象画像Ｓから、画素値が更新された修正対象領域Ｈを抽出して、中間解像度まで拡大する。また、修正対象パッチリスト生成手段４１は、中間解像度の入力画像の修正対象領域Ｈを、拡大した修正対象領域Ｈで置き換えて合成画像を生成する。以上の処理により、修正対象パッチリスト生成手段４１は、中間解像度の中解像度修正対象画像Ｓを生成する。

素材パッチリスト生成手段４２は、中間解像度の入力画像から修正対象領域Ｈを除去して、中間解像度の中解像度素材画像Ｄを生成する（ステップＳ８４）。

ステップＳ８５〜Ｓ９１までの処理は、最低解像度と同様のため、説明を省略する。
このとき、中解像度修正対象画像Ｓは、ステップＳ９０の処理によって、修正対象領域Ｈの画素値が更新される。

更新終了判定手段４３５は、次の解像度で最終修正処理を行うか否かを判定する（ステップＳ９２）。
ここで、最大解像度での最終修正処理を行うため（ステップＳ９２でＹｅｓ）、画素値更新手段４３４は、修正対象領域Ｈの画素値が更新された中解像度修正対象画像Ｓを、修正対象パッチリスト生成手段４１にフィードバックする。その後、画像修正装置１は、ステップＳ８４の処理に戻る。

＜３回目の最終修正処理：最大解像度＞
修正対象パッチリスト生成手段４１は、フィードバックされた中解像度修正対象画像Ｓから、画素値が更新された修正対象領域Ｈを抽出して、最高解像度まで拡大する。また、修正対象パッチリスト生成手段４１は、入力画像の修正対象領域Ｈを、拡大した修正対象領域Ｈで置き換えて合成画像を生成する。
この合成画像は、時空間及び色空間上で最高解像度の高解像度修正対象画像Ｓとなる。

素材パッチリスト生成手段４２は、入力画像から修正対象領域Ｈを除去して、素材画像を生成する。
この素材画像は、時空間及び色空間上で最高解像度の高解像度素材画像Ｄとなる（ステップＳ８４）。

ステップＳ８５〜Ｓ９１までの処理は、最低解像度及び中間解像度と同様のため、説明を省略する。
このとき、高解像度修正対象画像Ｓは、ステップＳ９０の処理によって、修正対象領域Ｈの画素値が更新される。

更新終了判定手段４３５は、次の解像度で最終修正処理を行うか否かを判定する（ステップＳ９２）。
ここで、全解像度で最終修正処理が完了したため（ステップＳ９２でＮｏ）、画素値更新手段４３４は、修正対象領域Ｈの画素値が更新された高解像度修正対象画像Ｓを、背景復元画像として外部（例えば、表示装置）に出力する。その後、画像修正装置１は、処理を終了する。
このように、最終修正手段４０は、色解像度が入力画像と同等の修正対象画像Ｓ及び素材画像Ｄを処理対象とすることで、解像度の階層関係に基づいた最終修正処理を施すことができる。

以上のように、本発明の実施形態に係る画像修正装置１は、背景部分の接続情報を示す相互接続ペアを求めるため、この接続情報を手動設定する必要がない。さらに、画像修正装置１は、構造物同士が交差しないといった適用条件が存在しないため、様々な入力画像に適用でき、汎用性を高くすることができる。さらに、画像修正装置１は、画像修正処理を施す際、鷹に隠されていた柵が予め描画されているため、この柵が確率的に残存し易く、不正接続を防止して、高品質な背景復元画像を生成することができる。

さらに、画像修正装置１は、領域分割・領域代表色算出手段１１が領域分割処理を行うことから、色空間上での減色効果が与えられた領域代表色画像を生成できる。このため、画像修正装置１は、時空間上での解像度の階層関係に加えて、色空間上での解像度の階層関係に基づいた画像修正処理を施すことで、背景部分がより詳細に復元された背景復元画像を生成することができる。

さらに、画像修正装置１は、修正対象領域入力手段１２において、修正対象領域Ｈとして分割領域を指定できるため、修正対象領域Ｈの輪郭をマウスでなぞって入力する場合に比べて、その手間を軽減でき、利便性を向上させることができる。

さらに、画像修正装置１は、接続領域リスト生成手段２１が対向条件を判定するため、交差条件を満たす可能性のない延長領域を有する接続領域９２が接続可能ペアに含まれる事態を防止して、背景部分がより詳細に復元された背景復元画像を生成することができる。

さらに、画像修正装置１は、前景接続描画手段２６が接続領域９２の延長描画を行うため、修正対象領域Ｈの内側で途切れる背景部分も描画して、背景部分がより詳細に復元された背景復元画像を生成することができる。

本発明の実施形態に係る画像修正装置１について説明したが、本発明は、この実施形態に限定されるものでない。
以下、本発明の実施形態に係る画像修正装置１について、変形例を具体的に説明する。

（変形例１）
本実施形態では、入力画像を動画像（映像）として説明したが、静止画像であってもよい。
この場合、画像パッチは、時空間方向に大きさを持つ画像パッチではなく、空間方向（ｘｙ方向）のみに大きさを持つものとすればよい。
そして、類似パッチ探索手段３３１は、（３）式の代わりに、以下の（６）式を用いることとする。

このＷ_ｐ（ｘ，ｙ）、Ｖ_ｑ（ｘ，ｙ）は、修正対象パッチＷ_ｐ、素材パッチＶ_ｑのそれぞれの空間画像特徴量である。例えば、Ｗ_ｐ（ｘ，ｙ）として、パッチ内の全画素の画素値（Ｒ，Ｇ，Ｂ）のベクトルを用いることができる。

（変形例２）
本実施形態では、修正対象領域Ｈとなる分割領域をユーザにマウスで指定させることとしたが、本発明は、これに限定されない。
つまり、修正対象領域入力手段１２は、表示装置に表示された入力画像において、修正対象領域Ｈとなる分割領域をユーザにマウスで直接入力させてもよい。例えば、修正対象領域入力手段１２は、マウスによって選択された任意の２点を対角頂点とする矩形領域を修正対象領域Ｈとしてもよいし、マウスのボタンをクリックした状態で、マウス表示位置を中心とした、ある大きさを持った領域の移動軌跡を修正対象領域Ｈとしてもよい。さらに、修正対象領域入力手段１２は、入力画像から除去したい領域が修正対象領域Ｈに含まれていれば、除去したい領域の輪郭を正確に入力しなくともよい。

（その他変形例）
本実施形態では、解像度の階層関係を３レベルとしたが、本発明は、これに限定されない。例えば、解像度の階層関係は、画像パッチのサイズ制限から、通常で３レベル程度であり、最大で９レベル程度となる。さらに、本実施形態では、初期構造分布推定処理を行っているため、解像度の階層関係をあまり多くすることなく、背景部分を詳細に復元できる。以上の点を考慮して、本発明では、解像度の階層関係を任意に設定できる。

本実施形態では、ベジェ曲線を用いて初期構造分布推定画像を描画することとしたが、本発明は、これに限定されない。つまり、前景接続描画手段２６は、ベジェ曲線以外の曲線、又は、直線を用いて、初期構造分布推定画像を描画してもよい。
本実施形態では、ＲＧＢ色空間を用いることとしたが、本発明は、ＨＳＶ色空間、Ｌ*ａ*ｂ色空間等の色空間を利用することができる。
本実施形態では、図３０の入力画像を一例として説明したが、本発明は、図３０以外の入力画像に適用できることは言うまでもない。
本実施形態では、修正対象領域Ｈを１つとして説明したが、本発明は、これに限定されない。例えば、本発明は、修正対象領域Ｈが複数の場合、修正対象領域Ｈのそれぞれに対して、本実施形態で説明した処理を施せばよい。

１ 画像修正装置
１０ 修正対象領域処理手段
１１ 領域分割・領域代表色算出手段（領域代表色画像生成手段）
１２ 修正対象領域入力手段
２０ 初期構造分布推定手段
２１ 接続領域リスト生成手段（接続領域抽出手段）
２２ 接続可能ペアリスト生成手段（接続可能ペア判定手段）
２３ 相互接続ペア判定手段
２４ 色占有率算出手段
２５ 背景塗りつぶし手段（背景色画像生成手段）
２６ 前景接続描画手段（背景推定画像生成手段）
３０ 初期構造分布修正手段（第１画像修正手段）
３１ 修正対象パッチリスト生成手段
３２ 素材パッチリスト生成手段
３３ 修正対象パッチリスト更新手段
３３１ 類似パッチ探索手段
３３２ 関連度算出手段
３３３ 類似パッチ置換手段
３３４ 画素値更新手段
３３５ 更新終了判定手段
４０ 最終修正手段（第２画像修正手段）
４１ 修正対象パッチリスト生成手段
４２ 素材パッチリスト生成手段
４３ 修正対象パッチリスト更新手段
４３１ 類似パッチ探索手段
４３２ 関連度算出手段
４３３ 類似パッチ置換手段
４３４ 画素値更新手段
４３５ 更新終了判定手段

Claims (6)

1. 入力画像から修正対象領域を除去すると共に、前記修正対象領域に隠された背景部分を復元する画像修正装置であって、
   前記入力画像を類似色の画素で構成される分割領域に分割し、前記分割領域ごとの平均色である領域代表色を算出し、前記分割領域の各画素を当該分割領域の領域代表色として設定した領域代表色画像を生成する領域代表色画像生成手段と、
   前記領域代表色画像で前記修正対象領域に隣接する修正対象隣接領域において、同一の前記領域代表色の画素が予め設定した数以上連続する接続領域を抽出すると共に、前記接続領域の両端から前記修正対象領域の内側へ当該接続領域の境界方向を示す２つの方向ベクトルの延長線に挟まれる延長領域を算出する接続領域抽出手段と、
   前記接続領域の全組み合わせについて前記領域代表色が類似するか否かを判定し、前記領域代表色が類似する接続領域の組み合わせを接続可能ペアとして出力する接続可能ペア判定手段と、
   前記接続可能ペアそれぞれの延長領域が互いに交差することを示す交差条件を満たすか否かを判定し、前記交差条件を満たす接続可能ペアを相互接続ペアとして出力する相互接続ペア判定手段と、
   前記領域代表色ごとの画素数と、前記修正対象隣接領域の全画素数との比である色占有率を算出する色占有率算出手段と、
   前記色占有率が最高となる領域代表色を背景色として決定し、前記修正対象領域の全画素を前記背景色とした背景色画像を生成する背景色画像生成手段と、
   全ての前記相互接続ペアについて、前記背景色の次に色占有率が高い領域代表色の順に、当該領域代表色を有する相互接続ペアそれぞれの延長領域に沿って、前記背景色画像の画素を当該相互接続ペアの領域代表色とすることで、前記修正対象領域に隠された背景部分を前記領域代表色とした領域代表色背景推定画像を生成する背景推定画像生成手段と、
   前記領域代表色画像の修正対象領域を前記領域代表色背景推定画像で置き換えた合成画像に対し、類似する画像パッチの探索による画像修正処理を施して、前記領域代表色画像の前記背景部分が復元された領域代表色背景復元画像を生成する第１画像修正手段と、
   前記入力画像の修正対象領域を前記領域代表色背景復元画像で置き換えた合成画像に対し、類似する画像パッチの探索による画像修正処理を施して、前記入力画像の前記背景部分が復元された背景復元画像を生成する第２画像修正手段と、
   を備えることを特徴とする画像修正装置。
2. 前記相互接続ペア判定手段は、前記延長領域の交差により形成される交差領域が前記修正対象領域の内側に予め設定された割合以上含まれることを示す前記交差条件が、予め設定されたことを特徴とする請求項１に記載の画像修正装置。
3. 前記接続領域抽出手段は、前記２つの方向ベクトルが対向することを示す対向条件が予め設定され、前記接続領域の２つの方向ベクトルが前記対向条件を満たすか否かを判定し、前記対向条件を満たす接続領域を出力しないことを特徴とする請求項１又は請求項２に記載の画像修正装置。
4. 前記背景推定画像生成手段は、前記相互接続ペア判定手段で交差条件を満たさないと判定された接続可能ペアについて、当該接続可能ペアそれぞれの接続領域から前記修正対象領域の内側に予め設定された範囲までの前記領域代表色背景推定画像の画素を、当該接続領域の領域代表色とすることを特徴とする請求項１から請求項３の何れか一項に記載の画像修正装置。
5. 前記修正対象領域として、前記領域代表色画像生成手段が分割した分割領域の１以上が指定され、指定された当該修正対象領域を前記接続領域抽出手段に出力する修正対象領域入力手段、
   をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の画像修正装置。
6. 入力画像から修正対象領域を除去すると共に、前記修正対象領域に隠された背景部分を復元するために、コンピュータを、
   前記入力画像を類似色の画素で構成される分割領域に分割し、前記分割領域ごとの平均色である領域代表色を算出し、前記分割領域の各画素を当該分割領域の領域代表色として設定した領域代表色画像を生成する領域代表色画像生成手段、
   前記領域代表色画像で前記修正対象領域に隣接する修正対象隣接領域において、同一の前記領域代表色の画素が予め設定した数以上連続する接続領域を抽出すると共に、前記接続領域の両端から前記修正対象領域の内側へ当該接続領域の境界方向を示す２つの方向ベクトルの延長線に挟まれる延長領域を算出する接続領域抽出手段、
   前記接続領域の全組み合わせについて前記領域代表色が類似するか否かを判定し、前記領域代表色が類似する接続領域の組み合わせを接続可能ペアとして出力する接続可能ペア判定手段、
   前記接続可能ペアそれぞれの延長領域が互いに交差することを示す交差条件を満たすか否かを判定し、前記交差条件を満たす接続可能ペアを相互接続ペアとして出力する相互接続ペア判定手段、
   前記領域代表色ごとの画素数と、前記修正対象隣接領域の全画素数との比である色占有率を算出する色占有率算出手段、
   前記色占有率が最高となる領域代表色を背景色として決定し、前記修正対象領域の全画素を前記背景色とした背景色画像を生成する背景色画像生成手段、
   全ての前記相互接続ペアについて、前記背景色の次に色占有率が高い領域代表色の順に、当該領域代表色を有する相互接続ペアそれぞれの延長領域に沿って、前記背景色画像の画素を当該相互接続ペアの領域代表色とすることで、前記修正対象領域に隠された背景部分を前記領域代表色とした領域代表色背景推定画像を生成する背景推定画像生成手段、
   前記領域代表色画像の修正対象領域を前記領域代表色背景推定画像で置き換えた合成画像に対し、類似する画像パッチの探索による画像修正処理を施して、前記領域代表色画像の前記背景部分が復元された領域代表色背景復元画像を生成する第１画像修正手段、
   前記入力画像の修正対象領域を前記領域代表色背景復元画像で置き換えた合成画像に対し、類似する画像パッチの探索による画像修正処理を施して、前記入力画像の前記背景部分が復元された背景復元画像を生成する第２画像修正手段、
   として機能させるための画像修正プログラム。

Images