JP6091727B1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

画像の復元の精度を高める。画像処理装置（１０）の第１画像取得手段（１０１）は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する。第２画像取得手段（１０２）は、第１画像における空間の影部分又は被遮蔽部分から離れた第２位置から撮影され、影部分又は被遮蔽部分が写された第２画像を取得する。加工対象領域特定手段（１０３）は、第１画像において影又は遮蔽物が写された加工対象領域を特定する。撮影部分領域特定手段（１０４）は、第１画像における被写体と合うように第２画像を低解像度化し、低解像度化された第２画像において影部分又は被遮蔽部分が写された撮影部分領域を特定する。類似領域特定手段（１０５）は、第１画像及び第２画像の少なくとも一方の中から、撮影部分領域に類似する類似領域を特定する。加工手段（１０６）は、類似領域に基づいて、第１画像における加工対象領域を加工する。

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、空間をカメラで撮影した画像に写された影又は遮蔽物を取り除くための技術が検討されている。例えば、特許文献１には、被写体の一部が遮蔽物で遮られている場合に、遮蔽物の周囲のパターンに基づいて、画像から遮蔽物を除去し、遮蔽物で遮られた部分を復元する技術が記載されている。

http://research.microsoft.com/pubs/69211/siggraph05_0265_final.pdf

しかしながら、非特許文献１の技術を利用しても、遮蔽物で遮られた部分と同じパターンがその近くに写されているとは限らないので、復元の精度を高められない可能性がある。

この点、本発明の発明者達は、ある第１画像において影又は遮蔽物が写された場合に、その部分が見える位置から撮影した第２画像を利用し、復元の精度を高めることを極秘に独自で検討している。しかし、この場合、第１画像と第２画像は互いに異なる位置から撮影されており、被写体の写り方は第１画像と第２画像で異なる。このため、発明者達は、第２画像に写された上記部分をそのまま第１画像に貼り付けても精度を高めることができないと考えている。例えば、第２画像が第１画像よりも遠くから撮影されていたり、第２画像が第１画像とは異なる角度から撮影されていたりする場合、第１画像と合わせるために、第２画像の上記部分を拡大したり変形したりする必要がある。この場合、第２画像の上記部分に対する加工により例えば解像度が低下し、第１画像に貼り付けた部分だけが低解像度となってしまい、第１画像が不自然になってしまう。

本発明は上記課題に鑑みてなされたものであって、その目的は、影又は遮蔽物が写された画像の復元の精度を高めることである。

上記課題を解決するために、本発明に係る画像処理装置は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段と、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段と、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段と、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段と、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段と、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段と、を含むことを特徴とする。

本発明に係る画像処理方法は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得ステップと、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得ステップと、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定ステップと、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定ステップと、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定ステップと、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工ステップと、を含むことを特徴とする。

本発明に係るプログラムは、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段、としてコンピュータを機能させる。

また、本発明に係る情報記憶媒体は、上記のプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様では、前記類似領域特定手段は、前記低解像度化された第２画像の解像度と合うように前記第１画像を低解像度化し、当該低解像度化された第１画像において、前記撮影部分領域に類似する領域を、前記類似領域として特定する。

また、本発明の一態様では、前記加工手段は、低解像度化される前の前記第１画像における前記類似領域の画素値に基づいて加工する。

また、本発明の一態様では、前記類似領域特定手段は、前記撮影部分領域と、前記第１画像における前記影又は前記遮蔽物を含む周囲領域と、に類似する前記類似領域を特定する。

また、本発明の一態様では、前記画像処理装置は、前記第１画像及び前記第２画像の少なくとも一方の中から、前記第１画像における前記影又は前記遮蔽物を含む周囲領域に類似する周囲類似領域を特定する周囲類似領域特定手段を更に含み、前記加工手段は、更に前記周囲類似領域に基づいて加工する、ことを特徴とする。

また、本発明の一態様では、前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段を更に含み、前記加工手段は、更に前記推定手段による推定結果に基づいて加工する、ことを特徴とする。

また、本発明の一態様では、前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段と、前記推定手段による推定結果に基づいて、前記周囲領域を取得する周囲領域取得手段と、を含むことを特徴とする。

また、本発明の一態様では、前記加工対象領域は、複数の加工対象小領域を含み、前記撮影部分領域特定手段は、前記複数の加工対象小領域にそれぞれ対応する複数の前記撮影部分領域を特定し、前記類似領域特定手段は、前記複数の撮影部分領域にそれぞれ類似する複数の前記類似領域を特定し、前記加工手段は、前記複数の加工対象小領域の各々を、対応する前記撮影部分領域に類似する前記類似領域に基づいて加工する、ことを特徴とする。

また、本発明の一態様では、前記加工対象小領域は、前記第１画像において前記影又は前記遮蔽物が写された個々の画素又は複数の画素である。

本発明によれば、影又は遮蔽物が写された画像の復元の精度が高まる。

画像処理装置のハードウェア構成を示す図である。 カメラで空間が撮影される様子を示す図である。 第１位置で撮影された第１画像の一例であり、 第２位置で撮影された第２画像の一例である。 画像処理装置で実現される機能の一例を示す機能ブロック図である。 加工対象領域及び加工対象小領域を示す図である。 加工された第２画像の一例を示す図である。 撮影部分領域を示す図である。 類似領域の特定方法を示す図である。 加工部による加工方法を示す図である。 加工部により加工された第１画像を示す図である。 画像処理装置において実行される処理の一例を示すフロー図である。 変形例の機能ブロック図である。 低解像度化された第１画像を示す図である。 変形例（２）における類似領域の特定方法を示す図である。 影部分の推定方法を示す図である。

以下、本発明に関わる画像処理装置の実施形態の例を説明する。画像処理装置は、画像処理が可能なコンピュータであり、例えば、パーソナルコンピュータ、サーバコンピュータ、携帯情報端末（タブレット型コンピュータを含む）、又は携帯電話機（スマートフォンを含む）等である。

［１．画像処理装置のハードウェア構成］
図１は、画像処理装置のハードウェア構成を示す図である。図１に示すように、画像処理装置１０は、制御部１１、記憶部１２、通信部１３、操作部１４、表示部１５、及び入出力部１６を含む。

制御部１１は、例えば、一又は複数のマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークを介してデータ通信を行う。

操作部１４は、ユーザが操作を行うための入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等である。操作部１４は、ユーザによる操作内容を制御部１１に伝達する。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１５は、制御部１１の指示に従って画面を表示する。入出力部１６は、入出力インタフェースであり、例えば、ＵＳＢポートである。入出力部１６は、外部機器とデータ通信を行うために用いられる。例えば、入出力部１６は、カメラ２０と接続可能であり、画像を取り込めるようにしてよい。

カメラ２０は、静止画や動画を撮影可能な一般的な撮像装置であり、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどの撮像素子を含む。カメラ２０は、撮像素子で撮影した画像を生成してそのデータをメモリに記録する。このメモリは、カメラ２０に内蔵されたメモリであってもよいし、取り外し可能なフラッシュメモリなどであってもよい。また、カメラ２０は、広角レンズ又は魚眼レンズを備えていてもよく、画角や焦点距離は任意であってよい。例えば、カメラ２０は、全天球カメラであってもよいし、複数のレンズを備えることで水平方向及び垂直方向の少なくとも一方の全方向を撮影可能なカメラであってもよい。

なお、記憶部１２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して供給されるようにしてもよい。また、画像処理装置１０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、画像処理装置１０は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）を含んでもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが当該読取部や入出力部１６を介して、画像処理装置１０に供給されるようにしてもよい。

［２．画像処理装置が実行する処理の概要］
次に、画像処理装置１０が実行する処理の概要を説明する。本実施形態では、例えば、ユーザが空間内を移動しながらカメラ２０で撮影し、複数の位置でそれぞれ撮影された複数の画像が生成される。なお、空間は、カメラ２０の撮影対象となる地球上の場所であり、複数の被写体が配置されている。

図２は、カメラ２０で空間が撮影される様子を示す図である。図２に示すように、例えば、空間３０には、地面３１の上に道路３２と塀３３が配置されている。ユーザは、道路３２の上においてカメラ２０を三脚２１で固定して撮影する。ここでは、ユーザは、第１位置Ｐ_１と第２位置Ｐ_２で撮影する場合を説明するが、３地点以上において撮影してもよい。また、第１位置Ｐ_１における撮影方向Ｖ_１と、第２位置Ｐ_２における撮影方向Ｖ_２と、は異なっていてもよいが、説明の簡略化のために、ここでは同じとする。

また、本実施形態では、カメラ２０の後方に太陽があるものとする。このため、図２に示すように、第１位置Ｐ_１における撮影時には、カメラ２０及び三脚２１の影Ｓ_１が前方に伸び、第２位置Ｐ_２における撮影時には、カメラ２０及び三脚２１の影Ｓ_２が前方に伸びている。また、塀３３の影Ｓ_３も地面３１の上にある。なお、図２では、説明の都合上、影Ｓ_１，Ｓ_２の両方を示しているが、実際には、第１位置Ｐ_１における撮影時には影Ｓ_２は存在せず、第２位置Ｐ_２における撮影時には影Ｓ_１は存在しない。

図３は、第１位置Ｐ_１で撮影された第１画像の一例であり、図４は、第２位置Ｐ_２で撮影された第２画像の一例である。なお、ここでは、画像の左上を原点Ｏ_Ｓとしたスクリーン座標軸（Ｘ_Ｓ軸及びＹ_Ｓ軸）が設定され、画像内の画素の位置は、２次元座標で示されるものとする。また、第１画像Ｉ_１Ｈと第２画像Ｉ_２Ｈは、互いに同じサイズであり、ここでは、正方形とする。

図３及び図４に示すように、第１画像Ｉ_１Ｈには影Ｓ_１が写されており、第２画像Ｉ_２Ｈには影Ｓ_２が写されている。先述したように、第２画像Ｉ_２Ｈの撮影時には影Ｓ_１が存在しないので、第１画像Ｉ_１Ｈにおいて影Ｓ_１がある空間３０の一部分（ここでは、道路３２上の一部分である。以降、影部分３４という。）は、第２画像Ｉ_２Ｈでは、影で暗くなっておらず、明るい状態で写されている。このため、第１画像Ｉ_１Ｈでは影Ｓ_１で暗くなって見えにくい影部分３４の模様が、第２画像Ｉ_２Ｈでは鮮明に写されている。

一応、第２画像Ｉ_２Ｈにおいて影部分３４を判別可能ではあるが、先述したように、第２画像Ｉ_２Ｈの影部分３４は拡大したり変形したりする必要があるため十分に復元の精度を高めることができないと、発明者達は考えている。一方、第１画像Ｉ_１Ｈには、道路３２の他の部分が撮影されており、影部分３４と似た様子が写されている可能性がある。このため、本実施形態では、第１画像Ｉ_１Ｈの中から影部分３４に類似する領域を探し出し、当該領域に基づいて第１画像Ｉ_１Ｈに写された影Ｓ_１の色を変えるようにしている。以降、この技術の詳細を説明する。

［３．画像処理装置において実現される機能］
図５は、画像処理装置１０で実現される機能の一例を示す機能ブロック図である。図５に示すように、本実施形態では、データ記憶部１００、第１画像取得部１０１、第２画像取得部１０２、加工対象領域特定部１０３、撮影部分領域特定部１０４、類似領域特定部１０５、及び加工部１０６が画像処理装置１０で実現される場合を説明する。

［３−１．データ記憶部］
データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、カメラ２０が撮影した画像（写真）を記憶する。本実施形態は、複数の画像の各々の縦横比、サイズ、解像度、色数（カラー画像におけるビット数）、及びデータ形式が互いに同じであるものとするが、画像間でこれらは異なっていてもよい。データ記憶部１００は、互いに異なる位置から撮影された複数の画像を記憶することになる。

なお、本実施形態では、データ記憶部１００に画像が記憶される場合を説明するが、画像は、他の機器又はコンピュータに記憶されているようにしてもよい。例えば、画像は、カメラ２０のメモリに記憶されていてもよいし、サーバコンピュータに記憶されていてもよい。即ち、後述する第１画像取得部１０１及び第２画像取得部１０２は、データ記憶部１００以外から画像を取得してもよい。

［３−２．第１画像取得部］
第１画像取得部１０１は、制御部１１を主として実現される。本実施形態の第１画像取得部１０１は、第１位置Ｐ_１から撮影され、空間３０の一部に影Ｓ_１がある様子が写された第１画像Ｉ_１Ｈを取得する。例えば、第１画像取得部１０１は、データ記憶部１００に記憶された第１画像Ｉ_１Ｈを取得する。

第１画像Ｉ_１Ｈは、空間３０の一部である影部分３４に影Ｓ_１がある状態で撮影された画像である。先述したように、影部分３４は、第１画像Ｉ_１Ｈの撮影時に影Ｓ_１が落とされた部分である。別の言い方をすれば、影部分３４は、第１画像Ｉ_１Ｈに写された被写体のうち、影Ｓ_１で暗くなった部分の被写体である。本実施形態では、影部分３４は、第１画像Ｉ_１Ｈの撮影時にカメラ２０及び三脚２１の影Ｓ_１がある道路３２の一部分である。

［３−３．第２画像取得部］
第２画像取得部１０２は、制御部１１を主として実現される。第２画像取得部１０２は、第２位置Ｐ_２から撮影され、第１画像Ｉ_１Ｈにおける空間３０の影部分３４が写された第２画像Ｉ_２Ｈを取得する。本実施形態では、第２画像取得部１０２は、第１画像Ｉ_１Ｈにおける空間３０の影部分３４から第１位置Ｐ_１よりも離れた第２位置Ｐ_２から撮影され、影部分３４が写された第２画像Ｉ_２Ｈを取得する。例えば、第２画像取得部１０２は、データ記憶部１００に記憶された第２画像Ｉ_２Ｈを取得する。

第２画像Ｉ_２Ｈは、影部分３４に影がない状態で撮影されている。即ち、第２画像Ｉ_２Ｈは、影部分３４に対して光が当たった状態で撮影されている。なお、第２画像Ｉ_２Ｈには、影部分３４に絶対に影があってはならないわけではなく、第１画像Ｉ_１Ｈよりも影部分３４が鮮明であれば、影部分３４に少しだけ影があってもよい。また、本実施形態では、図２に示すように、第２位置Ｐ_２は、第１位置Ｐ_１よりも影部分３４から離れているので、影部分３４は、第２画像Ｉ_２Ｈでは第１画像Ｉ_１Ｈよりも小さく写されている。同様に、第１画像Ｉ_１Ｈに写された道路３２及び塀３３の部分も、第２画像Ｉ_２Ｈでは、第１画像Ｉ_１Ｈよりも小さく写されている。

［３−４．加工対象領域特定部］
加工対象領域特定部１０３は、制御部１１を主として実現される。加工対象領域特定部１０３は、第１画像Ｉ_１Ｈにおいて影Ｓ_１が写された加工対象領域を特定する。

加工対象領域は、影Ｓ_１の一部又は全部を少なくとも含む領域であり、加工部１０６による画像処理の対象となる領域といえる。加工対象領域は、影Ｓ_１を示す画素だけから構成されてもよいし、影Ｓ_１を示す画素とその周囲の画素とから構成されてもよい。ここでは、加工対象領域が、影Ｓ_１を示す画素だけから構成される場合を説明する。なお、加工対象領域が、影Ｓ_１を示す画素とその周囲の画素を含む場合には、加工対象領域は、影Ｓ_１の輪郭から所定距離以内の画素を含む領域としてもよいし、所定形状及び所定サイズの領域であってもよい。

加工対象領域は、特に複数の領域に分かれていなくてもよいが、本実施形態では、複数の加工対象小領域を含むものとする。加工対象小領域は、後述する類似領域の検索単位となる領域であり、例えば、影Ｓ_１を示す画素全体のうち、少なくとも１つの画素から構成される領域である。本実施形態では、加工対象小領域は、第１画像Ｉ_１Ｈにおいて影Ｓ_１が写された個々の画素である場合を説明するが、影Ｓ_１が写された複数の画素であってもよい。このため、加工対象領域である影Ｓ_１がｎ個（ｎは正整数であり、加工対象領域の総画素数を示す。）の画素によって示されたとすると、加工対象小領域もｎ個存在する。

図６は、加工対象領域及び加工対象小領域を示す図である。先述したように、本実施形態では、加工対象領域は影Ｓ_１であるため、図６に示すように、加工対象小領域は、影Ｓ_１を構成する個々の画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）となる。なお、（ｘ_ｎ，ｙ_ｎ）は、画素を識別する２次元座標である。本実施形態では、画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）ごとに、当該画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）を含む所定サイズの周囲領域Ａ_ｎが設定される。ここでは、周囲領域Ａ_ｎは、画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）を中心点とする所定サイズの正方形である。本実施形態では、周囲領域Ａ_ｎは、後述する撮影部分領域を特定するために用いられる。なお、図６では、周囲領域Ａ_ｎを１つだけ示しているが、周囲領域Ａ_ｎは、加工対象小領域の数（即ち、ｎ個）だけ設定される。

加工対象領域特定部１０３は、ユーザの操作又は画像解析に基づいて、加工対象領域を特定すればよい。例えば、ユーザの操作に基づいて加工対象領域が特定される場合には、加工対象領域特定部１０３は、表示部１５に第１画像Ｉ_１Ｈを表示させ、ユーザの操作を受け付ける。例えば、ユーザは、操作部１４を操作して、影Ｓ_１を表す領域を選択する。領域を選択する操作は、一般的なペイントソフトで採用されている領域選択操作であってよく、例えば、ポインティングデバイスを利用してカーソルで影Ｓ_１の輪郭又はその付近をなぞる操作であってもよい。加工対象領域特定部１０３は、ユーザが選択した領域に基づいて、加工対象領域を特定する。

また例えば、画像解析に基づいて加工対象領域が特定される場合には、加工対象領域特定部１０３は、影Ｓ_１の基本パターンを示すテンプレート画像を利用したテンプレートマッチングに基づいて、影Ｓ_１を特定し、加工対象領域を特定する。他にも例えば、影Ｓ_１は所定の色（例えば、黒、濃紺、又はグレー）を有しているので、加工対象領域特定部１０３は、第１画像Ｉ_１Ｈに対してエッジ検出処理を実行して抽出した領域（即ち、同一色又は類似色が連続する領域）のうち所定の色を有する領域を、加工対象領域として特定してもよい。なお、影Ｓ_１を特定するアルゴリズム自体は、公知の種々の影検出アルゴリズムを適用可能である。加工対象領域特定部１０３は、影検出アルゴリズムで検出した領域に基づいて、加工対象領域を特定すればよい。

なお、第１画像Ｉ_１Ｈの中には、カメラ２０の三脚２１の影Ｓ_１以外の影（例えば、塀３３の影Ｓ_３）も存在するので、例えば、加工対象領域特定部１０３は、第１画像Ｉ_１Ｈの所定領域（例えば、画像の下半分や中央付近）だけを加工対象領域の検索対象としてもよい。このように、加工対象領域の位置が予想可能である場合には、検索対象となる領域を少なくして、画像処理装置１０の処理負荷軽減及び加工対象領域の迅速な特定を図るようにしてもよい。

［３−５．撮影部分領域特定部］
撮影部分領域特定部１０４は、制御部１１を主として実現される。撮影部分領域特定部１０４は、第２画像Ｉ_２Ｈに基づいて、空間３０の影部分３４が写された撮影部分領域を特定する。なお、本実施形態では、撮影部分領域特定部１０４は、第２画像Ｉ_２Ｈを加工して撮影部分領域を特定する場合を説明するが、特に加工せずに第２画像Ｉ_２Ｈの中で撮影部分領域を特定してもよい。

撮影部分領域は、影部分３４が写された画像の一部分である。別の言い方をすれば、撮影部分領域は、第１画像Ｉ_１Ｈよりも影部分３４が鮮明に又は明るく写された画像の一部分である。本実施形態では、撮影部分領域は、空間３０の影部分３４に影がない状態で写された画像内の一部分である。

例えば、第１画像Ｉ_１Ｈの撮影タイミングと、第２画像Ｉ_２Ｈの撮影タイミングと、の時間差がほとんどない場合、塀３３と太陽との位置関係はほとんど変わらないので、道路３２上にできた塀３３の影Ｓ_３の形状もほとんど変わらない。本実施形態では、この点に注目し、撮影部分領域特定部１０４は、第１画像Ｉ_１Ｈにおける影Ｓ_３の形状と合うように、第２画像Ｉ_２Ｈを加工する場合を説明する。このように第２画像Ｉ_２Ｈを加工するのは、第１画像Ｉ_１Ｈにおいて影Ｓ_１が写った画素に対応する第２画像Ｉ_２Ｈの画素がどこであるかを特定するためである。なお、加工とは、拡大、縮小、変形、透視変換、投影変換、解像度変更、又は切り取りなどの種々の画像処理を含む意味である。

まず、撮影部分領域特定部１０４は、公知の影検出アルゴリズム又は輪郭抽出アルゴリズムに基づいて、第１画像Ｉ_１Ｈに写された影Ｓ_３と、第２画像Ｉ_２Ｈに写された影Ｓ_３と、を特定し、それぞれの特徴点を抽出する。特徴点は、影Ｓ_３の形状的な特徴を表す点であればよく、例えば、影Ｓ_３の輪郭上の任意の点が用いられるようにしてよい。ここでは、特徴点の一例として、影Ｓ_３の頂点を用いる。そして、撮影部分領域特定部１０４は、第１画像Ｉ_１Ｈの影Ｓ_３の特徴点の位置関係と、第２画像Ｉ_２Ｌの影Ｓ_３の特徴点の位置関係と、に基づいて、第２画像Ｉ_２Ｈを加工する。

図７は、加工された第２画像Ｉ_２Ｌの一例を示す図である。なお、ここでは、加工の一例として、透視変換及び投影変換を説明する。一般的に、透視変換及び投影変換が行われると画像の解像度は低下するので、図７では、第２画像Ｉ_２Ｌが低解像度化されている様子を、模式的に破線で描いている。即ち、本実施形態では、図面において、実線で描画している被写体は高解像度であることを意味し、破線で描画している被写体は低解像度であることを意味する。

図７に示すように、撮影部分領域特定部１０４は、第１画像Ｉ_１Ｈの影Ｓ_３の特徴点Ｑ_１〜Ｑ_５の２次元座標と、第２画像Ｉ_２Ｌの影Ｓ_３の特徴点Ｒ_１〜Ｒ_５の２次元座標と、のずれ具合が閾値未満となるように、第２画像Ｉ_２Ｌを加工する。例えば、撮影部分領域特定部１０４は、これらの２次元座標の差に基づいて、特徴点のずれ具合を示す評価値を算出してもよい。例えば、撮影部分領域特定部１０４は、第２画像Ｉ_２Ｈに対する透視変換及び投影変換を繰り返すことによって、評価値が示すずれ具合が閾値未満となる第２画像Ｉ_２Ｌを見つけ出す。即ち、撮影部分領域特定部１０４は、第２画像Ｉ_２Ｌにおける影Ｓ_３が第１画像Ｉ_１Ｈにおける影Ｓ_３と合うように、第２画像Ｉ_２Ｈを加工する。

上記のように、撮影部分領域特定部１０４は、第１画像Ｉ_１Ｈの影Ｓ_３と第２画像Ｉ_２Ｌの影Ｓ_３とのサイズ合わせ及び位置合わせをする。なお、サイズ合わせ及び位置合わせの精度を高めるために、撮影部分領域特定部１０４は、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈのうち、道路３２以外の部分に対してぼかし処理を施したうえで、上記のサイズ合わせ及び位置合わせをするようにしてもよい。この場合、道路３２以外の部分はぼかされているので、影Ｓ_３の特徴点だけを正確に検出することができるので、サイズ合わせ及び位置合わせの精度を高めることができる。なお、道路３２以外の部分は、ぼかすのではなく、マスクすることによって特徴点抽出の対象外としてもよい。

なお、ここでは、影Ｓ_３を基準にしたが、第１画像Ｉ_１Ｈと第２画像Ｉ_２Ｈの両方に写された被写体を基準にすればよい。このため、他の被写体（例えば、道路３２や塀３３など）を基準にしてサイズ合わせ及び位置合わせが行われるようにしてもよい。被写体の特定は、公知の物体検出アルゴリズムを利用すればよい。

本実施形態では、先述したように、加工対象領域（ここでは、影Ｓ_１）が複数の加工対象小領域（ここでは、影Ｓ_１を示す画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ））に分けられているので、撮影部分領域特定部１０４は、複数の加工対象小領域にそれぞれ対応する複数の撮影部分領域を特定する。即ち、１つの加工対象領域に対して、１つの撮影部分領域が特定される。

図８は、撮影部分領域を示す図である。図８に示すように、例えば、撮影部分領域特定部１０４は、低解像度化された第２画像Ｉ_２Ｌにおいて、加工対象小領域である画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）と同じ座標の画素を含むように、撮影部分領域Ｂ_ｎを特定する。なお、これらは全く同じ座標である必要はなく、多少のずれがあってもよい。また、撮影部分領域Ｂ_ｎは、周囲領域Ａ_ｎと同じ形状及びサイズであり、画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）を中心点とした所定サイズの正方形とする。なお、これらは、全く同じ形状及びサイズである必要はなく、形状及びサイズが多少はずれていてもよい。

上記のように、本実施形態では、第２位置Ｐ_２は、第１位置Ｐ_１よりも、空間３０の影部分３４から離れているので、撮影部分領域特定部１０４は、第１画像Ｉ_１Ｈにおける被写体と合うように第２画像Ｉ_２Ｈを低解像度化する。そして、撮影部分領域特定部１０４は、低解像度化された第２画像Ｉ_２Ｌにおいて影部分３４が写された領域を、撮影部分領域Ｂ_ｎとして取得する。例えば、撮影部分領域特定部１０４は、第１画像Ｉ_１Ｈにおける加工対象領域と同じ位置（２次元座標）にある第２画像Ｉ_２Ｌ内の領域を、撮影部分領域Ｂ_ｎとして特定する。このため、加工対象領域に含まれる２次元座標と、撮影部分領域Ｂ_ｎとに含まれる２次元座標と、は同じとなる。

また、ここでは、画像解析を利用して撮影部分領域Ｂ_ｎが特定される場合を説明したが、撮影部分領域特定部１０４は、ユーザの操作に基づいて撮影部分領域Ｂ_ｎを特定してもよい。この場合、撮影部分領域特定部１０４は、表示部１５に第２画像Ｉ_２Ｈ又は低解像度化された第２画像Ｉ_２Ｌを表示させ、ユーザの操作を受け付ける。撮影部分領域特定部１０４は、ユーザが選択した領域を、撮影部分領域Ｂ_ｎとして特定すればよい。また例えば、撮影部分領域特定部１０４は、ユーザの操作によってある程度は第２画像Ｉ_２Ｈを加工したうえで、低解像度化された第２画像Ｉ_２Ｌが第１画像Ｉ_１Ｈと合うように画像解析によって調整してもよい。

［３−６．類似領域特定部］
類似領域特定部１０５は、制御部１１を主として実現される。類似領域特定部１０５は、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈの少なくとも一方に基づいて、撮影部分領域Ｂ_ｎに類似する類似領域Ｃ_ｎを特定する。本実施形態では、類似領域特定部１０５は、第１画像Ｉ_１Ｈの中から類似領域Ｃ_ｎを特定する場合を説明するが、後述する変形例のように、第１画像Ｉ_１Ｈを加工した画像の中から類似領域Ｃ_ｎを特定してもよいし、第２画像Ｉ_２Ｈの中で類似領域Ｃ_ｎを特定してもよいし、これらの画像の中で類似領域Ｃ_ｎを特定してもよい。なお、類似領域Ｃ_ｎは、画像全体の中から探索されるのではなく、中央付近や端部付近などの一部分から探索されてもよい。

また、本実施形態では、加工対象小領域である画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）ごとに撮影部分領域Ｂ_ｎが特定されるので、類似領域特定部１０５は、複数の撮影部分領域Ｂ_ｎにそれぞれ類似する複数の類似領域Ｃ_ｎを特定する。即ち、ここでは、１つの撮影部分領域Ｂ_ｎに対して、１つの類似領域Ｃ_ｎが特定される。なお、特に加工対象小領域が設定されない場合には、類似領域Ｃ_ｎが１つだけ特定されるようにしてもよい。

図９は、類似領域の特定方法を示す図である。例えば、類似領域特定部１０５は、撮影部分領域Ｂ_ｎをテンプレート画像とし、テンプレートマッチングを実行することによって、類似領域Ｃ_ｎを特定する。図９に示すように、類似領域特定部１０５は、第１画像Ｉ_１Ｈを撮影部分領域Ｂ_ｎと同じ又は同程度のサイズの複数の小領域（図７では、破線で区切られた８×８の６４個）に分割する。なお、ここでは、説明の簡略化のために、比較的大きい小領域としているが、数百個又はそれ以上の小領域に分割してサイズを小さくしてもよい。同様に、撮影部分領域Ｂ_ｎも小さなサイズにして複数の領域に分割してもよい。

そして、類似領域特定部１０５は、各小領域内の画素値と、撮影部分領域Ｂ_ｎ内の画素値と、に基づいて、類似度を示す評価値を算出する。なお、画素値とは、画素の色を示す値であり、ＲＧＢカラー画像であれば、Ｒ値、Ｇ値、及びＢ値である。画素値は、明度とも呼ばれる。例えば、類似領域特定部１０５は、下記の数式１を用いて評価値を算出してもよい。なお、評価値の算出は、数式１に限られず、画素値のずれ具合を総合的に評価可能な数式を用いればよい。

上記数式１のＥ_Ｈ１Ｒは、評価値である。ｍは、小領域及び撮影部分領域Ｂ_ｎ内の画素の総数である。Ｘ_１Ｈｉは、小領域内の各画素の画素値である。Ｘ_Ｂｎｉは、撮影部分領域Ｂ_ｎ内の各画素の画素値である。ここでは、これらの差の二乗の総和を評価値Ｅ_Ｈ１Ｒとして用いているので、評価値Ｅ_Ｈ１Ｒが大きいほど色のずれ具合が大きいことを示し、評価値Ｅ_Ｈ１Ｒが小さいほど色のずれ具合が小さいことを示す。類似領域特定部１０５は、評価値Ｅ_Ｈ１Ｒが最も小さくなる小領域、又は、評価値Ｅ_Ｈ１Ｒが閾値未満となる小領域を、類似領域Ｃ_ｎとして特定する。なお、上記説明した類似領域Ｃ_ｎの特定方法は一例であり、画像の類否判断が可能な種々のマッチング手法を適用可能である。

［３−７．加工部］
加工部１０６は、制御部１１を主として実現される。加工部１０６は、類似領域Ｃ_ｎに基づいて、第１画像Ｉ_１Ｈにおける加工対象領域を加工する。ここでの加工とは、加工対象領域の画素値を変えることであり、即ち、加工対象領域の色を変えることである。

図１０は、加工部１０６による加工方法を示す図である。本実施形態では、加工対象領域（ここでは、影Ｓ_１）が加工対象小領域（ここでは、影Ｓ_１の画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ））に分けられているので、加工部１０６は、複数の加工対象小領域の各々を、対応する撮影部分領域Ｂ_ｎに類似する類似領域Ｃ_ｎに基づいて加工する。

例えば、加工部１０６は、周囲領域Ａ_ｎの中心にある加工対象小領域の画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）の画素値を、類似領域Ｃ_ｎ内の画素（例えば、中心の画素）の画素値とする。加工部１０６は、この処理を画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）の数だけ繰り返す。なお、加工部１０６は、類似領域Ｃ_ｎ内の画素値と全く同じになるように画素値を変更してもよいし、類似領域Ｃ_ｎ内の画素値と全く同じでなくても、当該画素値に近づくように画素値を変更してもよい。

図１１は、加工部１０６により加工された第１画像Ｉ_１Ｈを示す図である。図１１に示すように、加工部１０６の処理により、加工対象領域である影Ｓ_１が除去され、影部分３４にある模様と同じ又は似た模様が、加工対象領域内に描画される。なお、加工部１０６は、加工対象領域内の色を変更した後に、ポアソンブレンディングのように色の境界を滑らかにする処理を施してもよい。

［４．本実施形態において実行される処理］
図１２は、画像処理装置１０において実行される処理の一例を示すフロー図である。図１２に示す処理は、制御部１１が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図５に示す機能ブロックにより実行される処理の一例である。

図１２に示すように、まず、制御部１１は、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈを取得する（Ｓ１，Ｓ２）。第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈの各々は、記憶部１２に記憶されていてもよいし、カメラ２０内のメモリに記憶されていてもよい。あるいは、画像処理装置１０に接続された情報記憶媒体に記憶されていてもよいし、サーバコンピュータなどに記憶されていてもよい。

制御部１１は、第１画像Ｉ_１Ｈの中から、影Ｓ_１が写された領域である加工対象領域を特定する（Ｓ３）。先述したように、Ｓ３においては、制御部１１は、ユーザの選択に基づいて加工対象領域である影Ｓ_１を特定してもよいし、画像解析により加工対象領域である影Ｓ_１を特定してもよい。

制御部１１は、第１画像Ｉ_１Ｈと合うように、第２画像Ｉ_２Ｈを低解像度化する（Ｓ４）。先述したように、Ｓ４においては、制御部１１は、第１画像Ｉ_１Ｈに写された影Ｓ_３の特徴点と、第２画像Ｉ_２Ｌに写された影Ｓ_３の特徴点と、のずれ具合が閾値未満となるまで透視変換及び投影変換を繰り返す。

制御部１１は、低解像度化された第２画像Ｉ_２Ｌの中から、影Ｓ_１の画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）ごとに、撮影部分領域Ｂ_ｎを特定する（Ｓ５）。先述したように、Ｓ５においては、制御部１１は、第１画像Ｉ_１Ｈと、低解像度化された第２画像Ｉ_２Ｌと、を重ね合わせ、加工対象小領域である画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）と同じ座標を含む所定形状の領域を、当該画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）の撮影部分領域Ｂ_ｎとして特定することになる。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の撮影部分領域Ｂ_ｎを特定する。

制御部１１は、第１画像Ｉ_１Ｈの中から、Ｓ５で特定した撮影部分領域Ｂ_ｎごとに、類似領域Ｃ_ｎを特定する（Ｓ６）。先述したように、Ｓ６においては、制御部１１は、第１画像Ｉ_１Ｈを複数の小領域に分割し、撮影部分領域Ｂ_ｎ内の画素値との類似度を示す評価値Ｅ_Ｈ１Ｒに基づいて類似領域Ｃ_ｎを特定する。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の類似領域Ｃ_ｎを特定する。

制御部１１は、Ｓ６で特定した類似領域Ｃ_ｎに基づいて、第１画像Ｉ_１Ｈの加工対象領域（ここでは、影Ｓ_１）を加工し（Ｓ７）、本処理は終了する。Ｓ７においては、先述したように、制御部１１は、類似領域Ｃ_ｎ内の画素値を、加工対象領域内の画素の画素値とする。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の類似領域Ｃ_ｎに基づいて、対応する加工対象小領域の画素値を変更する。

以上説明した画像処理装置１０によれば、高解像度の第１画像Ｉ_１Ｈから類似領域Ｃ_ｎを検索し、加工対象領域である影Ｓ_１を加工するので、解像度の差に起因する不自然さを解消することができ、影部分３４の復元の精度を高めることができる。例えば、実施形態では、撮影部分領域Ｂ_ｎは低解像度化された第２画像Ｉ_２Ｌから特定されたものなので、撮影部分領域Ｂ_ｎに影部分３４が写っていたとしても、低解像度の画像をそのまま高解像度の第１画像Ｉ_１Ｈに貼り付けると、不自然な状態となってしまう。即ち、例えば、低解像度の画像は、高解像度の画像に比べて、被写体の色が詳細に表れていなかったり、色の変化が厳密に表れていなかったりする（例えば、低解像度の画像だと全体的にぼやけるため、色の変化が実際よりも小さくなるが、高解像度だと、はっきりと色が変化する様子を表現できる）ため、高解像度の第１画像Ｉ_１Ｈに低解像度の画像を貼り付けると、不自然となる。この点、実施形態のように、高解像度の第１画像Ｉ_１Ｈから類似領域Ｃ_ｎを検索して、加工対象領域である影Ｓ_１の色を変えることによって、加工した部分は、被写体の色を詳細に示したり、色の変化を厳密に表したりすることができるので、より自然な状態で影部分３４を復元することができる。また、第１画像Ｉ_１Ｈの全体から類似領域Ｃ_ｎを探索するので、第１画像Ｉ_１Ｈにおいて影Ｓ_１から離れた部分に、影部分３４と似たパターンが存在していたとしても、その部分を検出して復元することもできる。更に、第１画像Ｉ_１Ｈにおける被写体と合うように第２画像Ｉ_２Ｈを低解像度化することで、影部分３４が写された撮影部分領域Ｂ_ｎをより正確に特定することができる。

また、加工対象領域を複数の加工対象小領域に分け、加工対象小領域ごとに、対応する類似領域Ｃ_ｎに基づいて加工する場合には、より細かい単位で色の類否を判断し、影Ｓ_１の色を変えることができるので、影部分３４の復元の精度をより高めることができる。

また、加工対象小領域を、影Ｓ_１を構成する個々の画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）とし、より細かい単位に分けることで、より細かく色の類否を判断することができるので、影部分３４の復元の精度をより高めることができる。

［５．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

図１３は、変形例の機能ブロック図である。図１３に示すように、以降説明する変形例では、周囲類似領域特定部１０７、推定部１０８、及び周囲領域取得部１０９が実現される。これら各機能は、制御部１１を主として実現される。なお、画像処理装置１０は、これらを全て備える必要はない。

（１）例えば、実施形態で説明したように、低解像度化した第２画像Ｉ_２Ｌから撮影部分領域Ｂ_ｎが特定される場合、マッチングの精度をより高めるために、第１画像Ｉ_１Ｈの解像度を第２画像Ｉ_２Ｌと同程度まで低下させ、低解像度化された第１画像Ｉ_１Ｌの中から、類似領域Ｃ_ｎを探索してもよい。

変形例（１）の類似領域特定部１０５は、低解像度化された第２画像Ｉ_２Ｌの解像度と合うように第１画像Ｉ_１Ｈを低解像度化する。例えば、類似領域特定部１０５は、第２画像Ｉ_２Ｌと同じ解像度まで第１画像Ｉ_１Ｈの解像度を低下させてもよいし、全く同じ解像度でなくとも、第２画像Ｉ_２Ｌの解像度の差が閾値未満となる解像度まで第１画像Ｉ_１Ｈの解像度を低下させてもよい。なお、画像の解像度を低下させる方法自体は、公知の解像度変換方法を適用可能である。

図１４は、低解像度化された第１画像Ｉ_１Ｌを示す図である。なお、図１４では、図７と同様に、画像が低解像度化される様子を、模式的に破線で示している。図１４に示すように、低解像度化された第１画像Ｉ_１Ｌは、低解像度化された第２画像Ｉ_２Ｌと同程度のぼやけ具合となっている。類似領域特定部１０５は、第１画像Ｉ_１Ｈを低解像度化して、全体的に被写体をぼかした第１画像Ｉ_１Ｌを生成することになる。

本変形例の類似領域特定部１０５は、低解像度化された第１画像Ｉ_１Ｌにおいて、撮影部分領域Ｂ_ｎに類似する領域を、類似領域Ｃ_ｎとして特定する。即ち、低解像度化された第１画像Ｉ_１Ｌにおいて、撮影部分領域Ｂ_ｎに類似する領域と同じ第１画像Ｉ_１Ｌ内の領域が、類似領域Ｃ_ｎとして特定されてよい。類似する領域を特定する方法自体は、実施形態で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、撮影部分領域Ｂ_ｎをテンプレート画像とし、テンプレートマッチングを実行することによって、類似領域Ｃ_ｎを特定してもよい。この場合、例えば、類似領域特定部１０５は、第１画像Ｉ_１Ｌを撮影部分領域Ｂ_ｎと同じ又は同程度の大きさの複数の小領域に分割し、各小領域内の画素値と、撮影部分領域Ｂ_ｎ内の画素値と、に基づいて、類似度を示す評価値Ｅ_Ｌ１Ｒを算出する。評価値Ｅ_Ｌ１Ｒの算出は、実施形態で説明した数式１と同様であってよい。

なお、加工部１０６は、低解像度化された第１画像Ｉ_１Ｌにおける類似領域Ｃ_ｎの画素値を使ってもよいが、ここでは、低解像度化された第１画像Ｉ_１Ｌは類似領域Ｃ_ｎの特定にだけ利用し、加工対象領域に対する加工には、高解像度の第１画像Ｉ_１Ｈにおける類似領域Ｃ_ｎの画素値を使うものとする。加工部１０６は、低解像度化される前の第１画像Ｉ_１Ｈにおける類似領域Ｃ_ｎの画素値に基づいて加工することになる。即ち、加工部１０６は、低解像度化された第１画像Ｉ_１Ｌを使って特定された類似領域Ｃ_ｎと同じ座標の第１画像Ｉ_１Ｈの画素の画素値を使って加工する。加工部１０６が類似領域Ｃ_ｎの画素値に基づいて加工する方法自体は、実施形態で説明した方法と同様であってよい。

変形例（１）によれば、低解像度化された第２画像Ｉ_２Ｌと同程度まで解像度を下げた第１画像Ｉ_１Ｌの中から類似領域Ｃ_ｎを検索するので、影部分３４と類似する領域をより正確に特定することができる。その結果、影部分３４の復元の精度を高めることができる。

また、低解像度化された第１画像Ｉ_１Ｌの画素値を使っても、影部分３４の復元の精度をそれなりに高めることができるが、高解像度の第１画像Ｉ_１Ｈの画素値を使って加工すれば、解像度の差に起因する不自然さを解消することができ、影部分３４の復元の精度をより高めることができる。

（２）また例えば、第１画像Ｉ_１Ｈに写された影Ｓ_１の周囲には、影部分３４と同様のパターンが表れている可能性がある。このため、撮影部分領域Ｂ_ｎとの類似度と、影Ｓ_１の周囲のパターンとの類似度と、を総合的に考慮して、類似領域Ｃ_ｎを特定してもよい。

本変形例の類似領域特定部１０５は、撮影部分領域Ｂ_ｎと、第１画像Ｉ_１Ｈにおける影を含む周囲領域Ａ_ｎと、に類似する類似領域Ｃ_ｎを特定する。先述したように、周囲領域Ａ_ｎは、影Ｓ_１が写された画素から一定距離以内の画素を含む領域である。周囲領域Ａ_ｎは、任意の形状であってよく、ここでは正方形とするが、長方形又は円形などの他の形状であってよい。周囲領域Ａ_ｎのサイズも任意であってよいが、ここでは、第１画像Ｉ_１Ｈを分割した小領域と同じサイズとする。なお、影Ｓ_１は、道路３２上の一部である影部分３４にあるので、周囲領域Ａ_ｎは、その周囲の道路３２が撮影された部分となる。

図１５は、変形例（２）における類似領域Ｃ_ｎの特定方法を示す図である。まず、類似領域特定部１０５は、ユーザの操作又は画像解析により、第１画像Ｉ_１Ｈの中から周囲領域Ａ_ｎを特定する。例えば、ユーザの操作に基づいて周囲領域Ａ_ｎが特定される場合には、類似領域特定部１０５は、表示部１５に第１画像Ｉ_１Ｈを表示させ、ユーザの操作を受け付ける。例えば、ユーザは、操作部１４を操作して、影Ｓ_１の一部又は全部を含むように周囲領域Ａ_ｎを選択するようにしてよい。この場合、類似領域特定部１０５は、ユーザが選択した領域に基づいて、周囲領域Ａ_ｎを特定する。また例えば、画像解析に基づいて周囲領域Ａ_ｎが特定される場合には、類似領域特定部１０５は、加工対象領域を特定する場合と同様の方法で影Ｓ_１を特定し、当該影Ｓ_１の一部又は全部を含むように周囲領域Ａ_ｎを特定すればよい。なお、影Ｓ_１を含む小領域は、検索の対象外とするようにしてよい。

そして、類似領域特定部１０５は、第１画像Ｉ_１Ｈの各小領域内の画素値と、周囲領域Ａ_ｎ内の画素値と、に基づいて、類似度を示す評価値Ｅ_Ｈ１Ａを算出する。評価値Ｅ_Ｈ１Ａは、これらの画素値の差に基づいて算出されるようにすればよく、実施形態で説明した数式１と同様の数式を利用してよい。

類似領域特定部１０５は、撮影部分領域Ｂ_ｎとの類似度を示す評価値Ｅ_Ｈ１Ｒと、周囲領域Ａ_ｎとの類似度を示す評価値Ｅ_Ｈ１Ａと、に基づいて、類似領域Ｃ_ｎを特定する。例えば、類似領域特定部１０５は、評価値Ｅ_Ｈ１Ｒと評価値Ｅ_Ｈ１Ａとの和が最も低い小領域（即ち、Ｅ＝argmin(Ｅ_Ｈ１Ｒ＋Ｅ_Ｈ１Ａ)となる小領域。言い換えれば、類似度が総合的に高い小領域）を、類似領域Ｃ_ｎとして特定する。なお、これらの和ではなく、所定の係数で重み付けをして算出した値を用いて小領域が選択されてもよい。また、これらの平均値を用いて小領域が選択されてもよい。即ち、撮影部分領域Ｂ_ｎと周囲領域Ａ_ｎとの総合的な類似度をもとに類似領域Ｃ_ｎが特定されるようにすればよい。

変形例（２）によれば、周囲領域Ａ_ｎとの類似度も考慮したうえで類似領域Ｃ_ｎを特定することにより、影Ｓ_１の周囲の情報を利用して影部分３４と似た領域を探し出すことができる。その結果、影部分３４の復元の精度をより高めることができる。

（３）また例えば、変形例（２）では、撮影部分領域Ｂ_ｎと周囲領域Ａ_ｎとの総合的な類似度をもとに、１つの類似領域Ｃ_ｎを特定する場合を説明したが、撮影部分領域Ｂ_ｎに類似する領域と、周囲領域Ａ_ｎに類似する領域と、をそれぞれ別個に特定し、これら２つの領域内の画素値をもとに、加工対象領域である影Ｓ_１を加工してもよい。

本変形例の画像処理装置１０は、周囲類似領域特定部１０７を含む。周囲類似領域特定部１０７は、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈの少なくとも一方に基づいて、第１画像Ｉ_１Ｈにおける影Ｓ_１を含む周囲領域Ａ_ｎに類似する周囲類似領域Ｃ_ｎＡを特定する。なお、ここでは、周囲類似領域特定部１０７は、第１画像Ｉ_１Ｈの中から周囲類似領域Ｃ_ｎＡを特定する場合を説明するが、第１画像Ｉ_１Ｈを加工した画像（例えば、低解像度化された第１画像Ｉ_１Ｌ）の中から周囲類似領域Ｃ_ｎＡを特定してもよい。

類似する領域を特定する方法自体は、類似領域Ｃ_ｎと同様であってよい。即ち、周囲類似領域特定部１０７は、周囲領域Ａ_ｎをテンプレート画像とし、テンプレートマッチングを実行することによって、周囲類似領域Ｃ_ｎＡを特定すればよい。例えば、周囲類似領域特定部１０７は、周囲領域Ａ_ｎとの類似度を示す評価値Ｅ_Ｈ１Ａが最も高い小領域、又は、評価値Ｅ_Ｈ１Ａが閾値未満の小領域を、周囲類似領域Ｃ_ｎＡとして特定する。

加工部１０６は、更に周囲類似領域Ｃ_ｎＡに基づいて加工する。即ち、加工部１０６は、類似領域Ｃ_ｎと周囲類似領域Ｃ_ｎＡとに基づいて加工する。例えば、加工部１０６は、類似領域Ｃ_ｎの評価値Ｅ_Ｈ１Ｒと、周囲類似領域Ｃ_ｎＡの評価値Ｅ_Ｈ１Ａと、を比較し、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。類似領域Ｃ_ｎの方が周囲類似領域Ｃ_ｎＡよりも類似度が高い場合の加工方法は、実施形態で説明した方法と同じである。一方、周囲類似領域Ｃ_ｎＡの方が類似領域Ｃ_ｎよりも類似度が高い場合、加工部１０６は、周囲類似領域Ｃ_ｎＡ内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。

また例えば、加工部１０６は、類似領域Ｃ_ｎ内の画素値と、周囲類似領域Ｃ_ｎＡ内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域である影Ｓ_１内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ_１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。

変形例（３）によれば、類似領域Ｃ_ｎの画素値だけでなく、周囲類似領域Ｃｎ_Ａの画素値を考慮したうえで加工対象領域を加工することによって、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。

（４）また例えば、第１画像Ｉ_１Ｈに写された影Ｓ_１は、真っ黒とは限られず、ある程度は影部分３４の特徴が表れている可能性がある。このため、影Ｓ１の色に基づいて、影部分３４の色を推定し、類似領域Ｃ_ｎだけでなく、当該推定結果に基づいて加工対象領域の加工が行われてもよい。

変形例（４）の画像処理装置１０は、推定部１０８を含む。推定部１０８は、第１画像Ｉ_１Ｈにおける影Ｓ_１の周囲に基づいて、空間３０の影部分３４を推定する。例えば、推定部１０８は、第１画像Ｉ_１Ｈにおける影Ｓ_１の画素の画素値と、その周囲の画素の画素値と、に基づいて、影部分３４の色を推定する。

図１６は、影部分３４の推定方法を示す図である。図１６に示すように、推定部１０８は、加工対象領域特定部１０３と同様の方法で、第１画像Ｉ_１Ｈの中から影Ｓ_１を特定し、その周囲の画素の色を取得する。なお、推定部１０８は、変形例（２）と同様に周囲領域Ａ_ｎを特定してもよいが、ここでは、影Ｓ_１の隣の画素の色を取得するものとする。例えば、影部分３４の本来の色を示す画素値をＯとし、影Ｓ_１の基本色（例えば、黒）をＴとし、透明度をｒ（０≦ｒ≦１）とすると、影Ｓ_１内の画素の画素値Ｘを、下記の数式２により定義することができる。

ここでは、影Ｓ_１の端部の画素の本来の色（影Ｓ_１がなかったとした場合の色。即ち、影部分３４の本来の色。）が、当該画素と隣接する隣接領域Ｓ_ｎの画素の色と同じと仮定する。更に、影Ｓ_１を示す画素の透明度ｒが共通であると仮定する。これらの仮定のもと、推定部１０８は、隣接領域Ｓ_ｎの画素値に基づいて、透明度ｒを計算する。そして、推定部１０８は、当該透明度ｒに基づいて、各画素の画素値Ｘから画素値Ｏを逆算することによって、影部分３４の色を推定した結果を示す推定画像Ｇを生成する。なお、推定画像Ｇの生成方法は、上記の例に限られず、影Ｓ_１を示す画素の画素値と、その周囲の画素値と、に基づいて生成されるようにすればよい。

加工部１０６は、更に推定部１０８による推定結果に基づいて加工する。即ち、加工部１０６は、類似領域Ｃ_ｎと、推定部１０８が推定した影部分３４の色（推定画像Ｇの画素値）と、に基づいて加工する。例えば、加工部１０６は、類似領域Ｃ_ｎ内の画素値と、推定部１０８が推定した影部分３４の色と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、係数は予め決めておけばよい。

変形例（４）によれば、類似領域Ｃ_ｎ内の画素値だけでなく、影部分３４の推定結果も使って加工対象領域の加工をするので、影部分３４の復元の精度をより高めることができる。

（５）また例えば、変形例（２）及び（３）で利用される周囲領域Ａ_ｎを、変形例（４）における推定結果としてもよい。即ち、第１画像Ｉ_１Ｈに写された影Ｓ_１の周囲をそのまま周囲領域Ａ_ｎとして使用するのではなく、変形例（４）のように影部分３４を推定したうえで、周囲領域Ａ_ｎとして使用してもよい。

変形例（５）の画像処理装置１０は、周囲領域取得部１０９を含む。周囲領域取得部１０９は、推定部１０８による推定結果に基づいて、周囲領域Ａ_ｎを取得する。周囲領域取得部１０９は、推定部１０８が加工した画像の画素値に基づいて、周囲領域Ａ_ｎとして取得する。この場合、周囲領域取得部１０９は、推定画像Ｇの一部又は全部を周囲領域Ａ_ｎとして取得することになる。即ち、周囲領域Ａ_ｎは、推定画像Ｇのうち、画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）を中心とした所定形状の領域であってよい。周囲領域Ａ_ｎと類似する領域を特定する方法等は、各変形例で説明した方法と同様である。

変形例（５）によれば、影部分３４の推定結果を利用して周囲領域Ａ_ｎを取得するので、影部分３４の復元の精度をより高めることができる。

（６）また例えば、上記実施形態及び変形例では、類似領域特定部１０５が、第１画像Ｉ_１Ｈに基づいて類似領域Ｃ_ｎを特定する場合を説明したが、先述したように、類似領域特定部１０５は、第２画像Ｉ_２Ｈに基づいて、撮影部分領域Ｂ_ｎなどに類似する領域を検索してもよい。即ち、類似領域特定部１０５は、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈの少なくとも一方（例えば、高解像度の第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈの中からでもよいし、低解像度の第１画像Ｉ_１Ｌ及び第２画像Ｉ_２Ｌの中からでもよい）に基づいて、撮影部分領域Ｂ_ｎなどに類似する領域を検索すればよい。以降、第１画像Ｉ_１Ｈに基づいて特定されるものを第１類似領域Ｃ_ｎ１と記載し、第２画像Ｉ_２Ｈに基づいて特定されるものを第２類似領域Ｃ_ｎ２と記載し、これらを区別する。なお、第２類似領域Ｃ_ｎ２も、第１類似領域Ｃ_ｎ１と同様に、加工対象小領域である画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）ごとに探索されるようにしてよい。

例えば、類似領域特定部１０５は、第２画像Ｉ_２Ｈに基づいて、撮影部分領域Ｂ_ｎに類似する第２類似領域Ｃ_ｎ２を特定するようにしてよい。この特定方法自体は、第１類似領域Ｃ_ｎ１で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、撮影部分領域Ｂ_ｎをテンプレート画像とし、テンプレートマッチングを実行することによって、第２類似領域Ｃ_ｎ２を特定すればよい。例えば、類似領域特定部１０５は、第２画像Ｉ_２Ｈを撮影部分領域Ｂ_ｎと同じ大きさの複数の小領域に分割し、各小領域内の画素値と、撮影部分領域Ｂ_ｎ内の画素値と、に基づいて、類似度を示す評価値Ｅ_Ｈ２Ｒを算出する。評価値Ｅ_Ｈ２Ｒの算出は、実施形態で説明した数式１と同様であってよく、画素値の差に基づくものであればよい。

加工部１０６は、第２類似領域Ｃ_ｎ２に基づいて加工してもよい。例えば、加工部１０６は、第１類似領域Ｃ_ｎ１と第２類似領域Ｃ_ｎ２の両方に基づいて加工してもよい。例えば、加工部１０６は、第１類似領域Ｃ_ｎ１内の画素値と、第２類似領域Ｃ_ｎ２内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ_１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。

また例えば、加工部１０６は、第１類似領域Ｃ_ｎ１と第２類似領域Ｃ_ｎ２のうち、いずれか一方を選択して加工してもよい。例えば、加工部１０６は、第１類似領域Ｃ_ｎ１の評価値Ｅ_Ｈ１Ｒと、第２類似領域Ｃ_ｎ２の評価値Ｅ_Ｈ２Ｒと、を比較して、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。第１類似領域Ｃ_ｎ１の方が第２類似領域Ｃ_ｎ２よりも類似度が高い場合の加工方法は、実施形態で説明した方法と同じである。一方、第２類似領域Ｃ_ｎ２の方が第１類似領域Ｃ_ｎ１よりも類似度が高い場合、加工部１０６は、第２類似領域Ｃ_ｎ２内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。

また例えば、類似領域特定部１０５が第１類似領域Ｃ_ｎ１の特定を省略し、第２類似領域Ｃ_ｎ２のみを特定する場合には、加工部１０６は、第２類似領域Ｃ_ｎ２に基づいて加工してもよい。この場合、加工部１０６は、第２類似領域Ｃ_ｎ２に基づいて、加工対象領域である影Ｓ_１内の画素ｐ_ｎ（ｘ_ｎ，ｙ_ｎ）の画素値を変更する。

変形例（６）によれば、高解像度の第２画像Ｉ_２Ｈに基づく第２類似領域Ｃ_ｎ２の画素値を考慮して影部分３４の復元の精度を高めることができる。例えば、第１類似領域Ｃ_ｎ１と第２類似領域Ｃ_ｎ２の両方を利用する場合には、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。

（７）また例えば、変形例（２）と変形例（６）を組み合わせて、類似領域特定部１０５は、第２画像Ｉ_２Ｈに基づいて、撮影部分領域Ｂ_ｎと周囲領域Ａ_ｎとに類似する第２類似領域Ｃ_ｎ２を特定するようにしてよい。第２類似領域Ｃ_ｎ２の特定方法は、変形例（２）で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、第２画像Ｉ_２Ｈの各小領域内の画素値と、周囲領域Ａ_ｎ内の画素値と、に基づいて、類似度を示す評価値Ｅ_Ｈ２Ａを算出する。評価値Ｅ_Ｈ２Ａの算出は、画素値の差に基づいて行えばよく、実施形態で説明した数式１と同様の数式を利用してよい。

類似領域特定部１０５は、撮影部分領域Ｂ_ｎとの類似度を示す評価値Ｅ_Ｈ２Ｒと、周囲領域Ａ_ｎとの類似度を示す評価値Ｅ_Ｈ２Ａと、に基づいて、第２類似領域Ｃ_ｎ２を特定する。例えば、類似領域特定部１０５は、評価値Ｅ_Ｈ２Ｒと評価値Ｅ_Ｈ２Ａとの和が最も低い小領域（即ち、類似度が総合的に高い小領域）を、第２類似領域Ｃ_ｎ２として特定する。なお、これらの和ではなく、所定の係数で重み付けをして算出した値を用いて小領域が選択されてもよい。また、これらの平均値を用いて小領域が選択されてもよい。即ち、撮影部分領域Ｂ_ｎと周囲領域Ａ_ｎとの総合的な類似度をもとに第２類似領域Ｃ_ｎ２が特定されるようにすればよい。

また例えば、変形例（３）と変形例（６）を組み合わせて、類似領域特定部１０５は、第２画像Ｉ_２Ｈに基づいて、周囲領域Ａ_ｎに類似する第２周囲類似領域Ｃ_ｎ２Ａを特定するようにしてよい。類似する領域を特定する方法自体は、変形例（３）で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、周囲領域Ａ_ｎをテンプレート画像とし、テンプレートマッチングを実行することによって、第２周囲類似領域Ｃ_ｎ２Ａを特定すればよい。例えば、類似領域特定部１０５は、周囲領域Ａ_ｎとの類似度を示す評価値Ｅ_Ｈ２Ａが最も高い小領域、又は、評価値Ｅ_Ｈ２Ａが閾値未満の小領域を、第２周囲類似領域Ｃ_ｎ２Ａとして特定する。

加工部１０６は、更に第２周囲類似領域Ｃ_ｎ２Ａに基づいて加工するようにしてもよい。即ち、加工部１０６は、第２類似領域Ｃ_ｎ２と第２周囲類似領域Ｃ_ｎ２Ａとに基づいて加工するようにしてもよい。例えば、加工部１０６は、第２類似領域Ｃ_ｎ２の評価値Ｅ_Ｈ２Ｒと、第２周囲類似領域Ｃ_ｎ２Ａの評価値Ｅ_Ｈ２Ａと、を比較し、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。第２類似領域Ｃ_ｎ２の方が第２周囲類似領域Ｃ_ｎ２Ａよりも類似度が高い場合の加工方法は、変形例（３）で説明した方法と同じである。一方、第２周囲類似領域Ｃ_ｎ２Ａの方が第２類似領域Ｃ_ｎ２よりも類似度が高い場合、加工部１０６は、第２周囲類似領域Ｃ_ｎ２Ａ内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。

また例えば、加工部１０６は、第２類似領域Ｃ_ｎ２内の画素値と、第２周囲類似領域Ｃ_ｎ２Ａ内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ_１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。

また例えば、変形例（５）と（６）を組み合わせて、推定部１０８の推定結果を周囲領域Ａ_ｎとしてもよい。即ち、変形例（７）においても、推定画像Ｇに基づいて、周囲領域Ａ_ｎが取得されるようにしてもよい。

変形例（７）によれば、周囲領域Ａ_ｎとの類似度も考慮したうえで第２類似領域Ｃ_ｎ２を特定することにより、影Ｓ_１の周囲の情報を利用して影部分３４と似た領域を探し出すことができる。その結果、影部分３４の復元の精度をより高めることができる。また、第２類似領域Ｃ_ｎ２の画素値だけでなく、第２周囲類似領域Ｃ_ｎ２Ａの画素値を考慮したうえで加工対象領域を加工することによって、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。

（８）また例えば、上記実施形態及び変形例では、影部分３４の復元を例に挙げて説明したが、画像処理装置１０は、遮蔽物に遮られた遮蔽部分の復元をしてもよい。遮蔽物は、カメラ２０から空間３０内に配置された物体を見た場合に、当該物体を遮る物体である。別の言い方をすれば、遮蔽物は、当該物体とカメラ２０との間にある物体である。以降、遮蔽物により遮られる物体を被遮蔽物という。

被遮蔽物は、遮蔽物により見えなくなる物体又は見えにくくなる物体である。例えば、被遮蔽物が道路３２上の一部であれば、遮蔽物は、道路３２上にある荷物やビニール袋であってもよいし、道路３２を隠す看板などであってもよい。なお、遮蔽物は、透明度を有しない物体であってもよいし、半透明の物体であってもよい。実施形態及び変形例の説明において「影」と記載した箇所は、「遮蔽物」と読み替えることができ、「影部分」と記載した箇所は、「被遮蔽部分」と読み替えることが可能である。

例えば、第１画像Ｉ_１Ｈは、空間３０の一部に遮蔽物がある様子が写されていてよい。また例えば、第２画像Ｉ_２Ｈは、空間３０の被遮蔽部分が写されていればよい。また例えば、加工対象領域特定部１０３は、第１画像Ｉ_１Ｈにおいて、遮蔽物が写された加工対象領域を特定すればよい。また例えば、撮影部分領域特定部１０４は、空間３０の被遮蔽部分が写された撮影部分領域Ｂ_ｎを特定すればよい。他の処理についても同様に、画像処理装置１０は、影ではなく遮蔽物を除去し、影部分ではなく遮蔽部分を復元するようにしてよい。これにより、画像処理装置１０は、被遮蔽物を復元する精度を高めることが可能となる。

（９）また例えば、加工対象小領域が個々の画素である場合を説明したが、加工対象小領域は、複数の画素（例えば、３画素×３画素など）であってもよい。この場合、加工対象小領域ごとに画素の数が異なってもよい。また例えば、加工対象領域が加工対象小領域に分けられている場合を説明したが、加工対象領域は、特に複数の領域に分けられていなくてもよい。この場合、撮影部分領域特定部１０４は、加工対象領域全体に対応する１つの撮影部分領域を特定し、類似領域特定部１０５は、当該１つの撮影部分領域に類似する１つの類似領域（例えば、影Ｓ_１全体に類似する類似領域）を特定してもよい。そして、加工部１０６は、1つの類似領域に基づいて、加工対象領域全体の色を変えてもよい。この場合、加工部１０６は、類似領域をそのまま加工対象領域に貼り付けてもよいし（影Ｓ_１全体に類似する類似領域で一度に影Ｓ_１を塗りつぶしてもよい）、類似領域の画素値に近づくように、加工対象領域の画素値を変更するようにしてもよい。

また例えば、第２位置Ｐ_２は、第１位置Ｐ_１よりも影部分又は被遮蔽部分から離れていなくてもよい。第２位置Ｐ_２は、影部分又は被遮蔽部分を撮影可能な位置であればよく、第１位置Ｐ_１よりも影部分又は被遮蔽部分に近くてもよいし同じ距離であってもよい。この場合、第２位置Ｐ_２からの撮影方向Ｖ_２は、第１位置Ｐ_１からの撮影方向Ｖ_１と異なっていてよい。即ち、第２画像Ｉ_２Ｈは、第１画像Ｉ_１Ｈとは違う角度から撮影されたことにより、影部分や被遮蔽部分が写されているようにしてよい。この場合には、撮影部分領域Ｂ_ｎを特定する際に、角度の違いを考慮にいれたうえで、透視変換及び投影変換が行われるようにすればよい。

また例えば、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈは、全天球カメラで撮影した画像から生成可能なキューブマップであってもよい。また例えば、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈは、正方形でなくてもよく、長方形であってもよいし、他の形状の画像であってもよい。更に、第１画像Ｉ_１Ｈ及び第２画像Ｉ_２Ｈは、カラー画像でなくてもよく、グレースケール画像やモノクロ画像であってもよい。また、復元対象となる影部分又は被遮蔽部分は、１つではなく、複数であってもよい。更に、複数の影部分又は被遮蔽部分が含まれている場合に、復元対象となるのは、全部であってもよいし、一部のみであってもよい。

（１０）また例えば、上記実施形態及び変形例では、画像処理装置１０が、高解像度の第１画像又は第２画像の中から探し出した類似領域に基づいて、加工対象領域の画素値を変える場合を説明したが、低解像度の画像に起因する不自然さを程度は許容する場合には、画像処理装置１０が、低解像度の第１画像又は第２画像の中から類似領域を探し、低解像度の画像の画素値に基づいて、加工対象領域の画素値を変えてもよい。例えば、従来技術では、第１画像だけを使って被遮蔽部分を復元しているが、本変形例の画像処理装置１０では、第２画像又は低解像度化された第２画像を利用しているので、従来技術に比べて復元の精度を高められる可能性がある。このため、画像処理装置１０は、低解像度の第１画像及び低解像度の第２画像の少なくとも一方の中から類似領域を特定し、低解像度の画像の画素値に基づいて、加工対象領域の画素値を変えるようにしてもよい。

また例えば、画像処理装置１０は、特に類似領域を特定せず、高解像度又は低解像度の第２画像における撮影部分領域に基づいて、加工対象領域の画素値を変更してもよい。このようにすることでも、第１画像しか利用しない従来技術に比べて、復元の精度を高められる可能性がある。即ち、類似領域特定部１０５は省略してもよい。この場合、加工部１０６は、撮影部分領域に基づいて、加工対象領域を加工することになる。領域内の画素値に基づいて加工対象領域を加工する方法自体は、実施形態で説明した方法と同様であってよい。例えば、加工部１０６は、撮影部分領域の画素値と同じ画素値になるように加工対象領域の画素値を変更してもよいし、撮影部分領域の画素値と同じでなくても、当該画素値に近づくように加工対象領域の画素値を変更してもよい。

Claims (11)

1. 第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段と、
   前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段と、
   前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段と、
   前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段と、
   前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段と、
   前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段と、
   を含むことを特徴とする画像処理装置。
2. 前記類似領域特定手段は、前記低解像度化された第２画像の解像度と合うように前記第１画像を低解像度化し、当該低解像度化された第１画像において、前記撮影部分領域に類似する領域を、前記類似領域として特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記加工手段は、低解像度化される前の前記第１画像における前記類似領域の画素値に基づいて加工する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記類似領域特定手段は、前記撮影部分領域と、前記第１画像における前記影又は前記遮蔽物を含む周囲領域と、に類似する前記類似領域を特定する、
   ことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
5. 前記画像処理装置は、前記第１画像及び前記第２画像の少なくとも一方の中から、前記第１画像における前記影又は前記遮蔽物を含む周囲領域に類似する周囲類似領域を特定する周囲類似領域特定手段を更に含み、
   前記加工手段は、更に前記周囲類似領域に基づいて加工する、
   ことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
6. 前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段を更に含み、
   前記加工手段は、更に前記推定手段による推定結果に基づいて加工する、
   ことを特徴とする請求項１〜５の何れかに記載の画像処理装置。
7. 前記画像処理装置は、
   前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段と、
   前記推定手段による推定結果に基づいて、前記周囲領域を取得する周囲領域取得手段と、
   を含むことを特徴とする請求項４又は５に記載の画像処理装置。
8. 前記加工対象領域は、複数の加工対象小領域を含み、
   前記撮影部分領域特定手段は、前記複数の加工対象小領域にそれぞれ対応する複数の前記撮影部分領域を特定し、
   前記類似領域特定手段は、前記複数の撮影部分領域にそれぞれ類似する複数の前記類似領域を特定し、
   前記加工手段は、前記複数の加工対象小領域の各々を、対応する前記撮影部分領域に類似する前記類似領域に基づいて加工する、
   ことを特徴とする請求項１〜７の何れかに記載の画像処理装置。
9. 前記加工対象小領域は、前記第１画像において前記影又は前記遮蔽物が写された個々の画素又は複数の画素である、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得ステップと、
    前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得ステップと、
    前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定ステップと、
    前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定ステップと、
    前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定ステップと、
    前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工ステップと、
    を含むことを特徴とする画像処理方法。
11. 第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段、
    前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段、
    前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段、
    前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段、
    前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段、
    前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段、
    としてコンピュータを機能させるためのプログラム。

Images