JP5862370B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像を修正する画像処理装置、画像処理方法及びプログラムに関する。

従来、画像内の不要なオブジェクトを消去する画像処理の手法が知られている。この画像処理では、不要なオブジェクトが含まれる消去すべき領域の輪郭部分を構成する所定領域内の画像と類似する領域を画像内で探索して、特定された領域の複製画像を当該所定領域に貼り付ける。その後、貼り付けられた領域内の画像と類似する類似領域を画像内で探索して、特定された領域の複製画像を当該領域に貼り付けることを、消去すべき領域の中心に向かって順次繰り返すことで、画像内から不要なオブジェクトを消去した画像を生成する（例えば、特許文献１参照）。

特開２００５−２７５９０１号公報

しかしながら、被写界深度の浅い画像内でボケている領域とボケていない領域とに跨がるように不要なオブジェクトが存する場合には、当該不要なオブジェクトが消去された領域内に、ボケている複製画像とボケていない複製画像とが混在したボケ度合いが不自然な画像が生成されてしまうといった問題がある。

そこで、本発明の課題は、被写界深度を考慮して画像の修正を行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
元画像を取得する取得手段と、この取得手段により取得された前記元画像内で不要領域を指定する指定手段と、前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する第１判定手段と、この第１判定手段により判定された前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する探索手段と、この探索手段により探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する修正手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、元画像を取得する処理と、取得された前記元画像内で不要領域を指定する処理と、前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する処理と、前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する処理と、探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、元画像を取得する取得手段、この取得手段により取得された前記元画像内で不要領域を指定する指定手段、前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する第１判定手段、この第１判定手段により判定された前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する探索手段、この探索手段により探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する修正手段、として機能させることを特徴としている。

本発明によれば、被写界深度を考慮して画像の修正を行うことができる。

本発明を適用した一実施形態の画像処理装置の概略構成を示すブロック図である。 図１の画像処理装置による画像修正処理に係る動作の一例を示すフローチャートである。 図２の画像修正処理に係る画像の一例を模式的に示す図である。 図２の画像修正処理に係る画像の一例を模式的に示す図である。 図２の画像修正処理に係る画像の一例を模式的に示す図である。 図２の画像修正処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の画像処理装置１００の概略構成を示すブロック図である。
本実施形態の画像処理装置１００は、例えば、ワークステーションなどのコンピュータにより構成され、図１に示すように、中央制御部１と、操作入力部２と、表示部３と、記憶部４と、通信制御部５と、画像処理部６とを備え、通信制御部５が所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。

中央制御部１は、画像処理装置１００の各部を制御するものである。具体的には、中央制御部１は、例えば、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、ＲＯＭに記憶された画像処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３に表示させる。
ＲＡＭは、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、画像処理装置１００で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。

操作入力部２は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部１のＣＰＵに出力する。
なお、操作入力部２としてタッチパネル（図示略）を表示部３の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。

表示部３は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部１のＣＰＵの制御下にて各種情報を表示画面に表示する。

記憶部４は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、所定の画像形式（例えば、ＪＰＥＧ形式等）の画像に係る各種の画像データを記憶する。
具体的には、記憶部４は、画像修正処理（後述）の処理対象となる元画像Ｐ１（図３（ａ）参照）の画像データを所定数記憶する。元画像Ｐ１の画像データは、例えば、図示しない撮像装置により撮像された所定の画像サイズ（例えば、１千万画素程度）の画像データである。
また、記憶部４は、中央制御部１のＣＰＵにより元画像Ｐ１内で不要領域Ａが指定された場合には、当該元画像Ｐ１内の不要領域Ａの位置を示すマスク画像Ｍ（図３（ｂ）参照）の画像データを元画像Ｐ１の画像データと対応付けて記憶する。
また、記憶部４は、画像修正処理に用いられる、元画像Ｐ１から不要領域Ａが消去された修正用画像Ｐ２（図４（ａ）参照）の画像データを記憶する。修正用画像Ｐ２の画像データは、例えば、元画像Ｐ１及びマスク画像Ｍの画像データから生成され、当該元画像Ｐ１内でマスク画像Ｍにより規定される不要領域Ａが消去された画像データである。なお、マスク画像Ｍ及び修正用画像Ｐ２の画像データは、画像修正処理にて不要領域Ａの修正が行われる毎に更新されるようになっている。
また、記憶部４は、画像修正処理の実行によって元画像Ｐ１から不要領域Ａが消去された修正済画像Ｐ３（図６（ａ）参照）の画像データを記憶する。

なお、元画像Ｐ１の画像データは、図示しない記録媒体を介して記憶部４により取得された画像データであっても良い。

通信制御部５は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ等の外部機器との間で情報（例えば、素材画像Ｔの画像データ等）の通信制御を行うためのものである。

なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。

画像処理部６は、画像取得部６ａと、不要領域指定部６ｂと、画像生成部６ｃと、画像分割部６ｄと、第１判定部６ｅと、領域特定部６ｆと、第２判定部６ｇと、画像探索部６ｈと、画像修正部６ｉとを具備している。

画像取得部６ａは、元画像Ｐ１の画像データを取得する。
即ち、画像取得部（取得手段）６ａは、画像修正処理の処理対象となる元画像Ｐ１（図３（ａ）参照）の画像データを記憶部４から取得する。具体的には、画像取得部６ａは、例えば、記憶部４に記憶されている所定数の画像データの中で、ユーザによる操作入力部２の所定操作に基づいて指定されたユーザ所望の画像データを元画像Ｐ１の画像データとして取得する。
なお、画像取得部６ａは、記憶部４に記憶されている所定数の画像データの中で、例えば、デフォルトとして予め定められている一の画像の画像データを、画像修正処理の処理対象の画像データとして自動的に取得する構成としても良い。

不要領域指定部６ｂは、元画像Ｐ１内で不要領域Ａを指定する。
即ち、不要領域指定部（指定手段）６ｂは、画像取得部６ａにより取得された元画像Ｐ１内で修正すべき画像が含まれる不要領域Ａを指定する。具体的には、不要領域指定部６ｂは、ユーザによる操作入力部２の所定操作に基づいて、元画像Ｐ１内で不要領域Ａを指定する。例えば、表示部３の表示画面に元画像Ｐ１が表示された状態で、ユーザによる操作入力部２の所定操作に従って不要領域Ａが選択指示されると、中央制御部１のＣＰＵは、当該不要領域Ａの選択指示信号を画像処理部６の不要領域指定部６ｂに出力する。不要領域指定部６ｂは、不要領域Ａの選択指示信号が入力されると、当該選択指示信号に基づいて元画像Ｐ１内で不要領域Ａを指定する。

画像生成部６ｃは、マスク画像Ｍ及び修正用画像Ｐ２の画像データを生成する。
即ち、画像生成部６ｃは、元画像Ｐ１内で指定された不要領域Ａに対応する各画素を第１の画素値（例えば、「１」等）とし、元画像Ｐ１における不要領域Ａ以外の領域（図３（ｂ）中、「黒」で塗り潰した領域）の各画素を第１の画素値と異なる第２の画素値（例えば、「０」等）とする二値画像であるマスク画像Ｍ（図３（ｂ）参照）を生成する。つまり、不要領域指定部６ｂは、元画像Ｐ１内で不要領域Ａの位置を示す位置情報としてのマスク画像Ｍの画像データを生成する。
また、画像生成部６ｃは、元画像Ｐ１及びマスク画像Ｍの画像データを取得して、元画像Ｐ１内でマスク画像Ｍにより規定される不要領域Ａが消去された修正用画像Ｐ２の画像データを生成する。

画像分割部６ｄは、元画像Ｐ１を複数の小領域Ｂ、…に分割する。
即ち、画像分割部（分割手段）６ｄは、画像取得部６ａにより取得された元画像Ｐ１を複数の小領域Ｂ、…に分割する。具体的には、画像分割部６ｄは、例えば、元画像Ｐ１全体を所定方向（例えば、水平方向や垂直方向等）に沿って略等しい幅となるように短冊状の小領域Ｂ（図４（ａ）参照）に分割する。
なお、上記した小領域Ｂのサイズ及び形状は一例であってこれらに限られるものではなく、適宜任意に変更可能である。例えば、画像分割部６ｄは、元画像Ｐ１を水平方向及び垂直方向の両方向と交わる方向に沿うように、即ち、当該元画像Ｐ１を斜めに分割しても良い。

第１判定部６ｅは、元画像Ｐ１における不要領域Ａ以外の領域内で、所定領域Ｃ毎にボケの有無を判定する。
即ち、第１判定部（第１判定手段）６ｅは、画像生成部６ｃにより生成された修正用画像Ｐ２の画像データを取得して、当該修正用画像Ｐ２における不要領域Ａ以外の領域内で、所定位置（例えば、左上隅部等）から順次設定されていく略矩形状の所定領域Ｃ毎にボケの有無を判定する（図４（ａ）参照）。具体的には、第１判定部６ｅは、例えば、ハールウェーブレット変換（Haar Wavelet Transform）を用いて各所定領域Ｃを構成する各画素における所定方向（例えば、ｘ軸方向やｙ軸方向等）の輝度値の勾配を算出し、算出された勾配の値に応じた各所定領域Ｃ内のエッジの量や画素の周辺構造に基づいて、当該所定領域Ｃがボケを有するか否かを判定する。
なお、上記したボケの有無の判定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、第１判定部６ｅは、離散コサイン変換（Discrete Cosine Transform）を用いて各所定領域Ｃ毎に、或いは当該所定領域Ｃを構成する各画素毎に高周波成分の強弱を判定することで、当該所定領域Ｃがボケを有するか否かを判定しても良い。

領域特定部６ｆは、複数の小領域Ｂ、…の各々がボケ領域Ｄであるか合焦領域Ｅであるかを特定する。
即ち、領域特定部（特定手段）６ｆは、第１判定部６ｅにより判定された各所定領域Ｃのボケの有無を基準として、複数の小領域Ｂ、…毎に焦点が合っていないボケ領域Ｄ及び焦点が合っている合焦領域Ｅのうちの何れか一方の領域を特定する。具体的には、領域特定部６ｆは、画像分割部６ｄにより分割された複数の小領域Ｂ、…の各々における不要領域Ａ以外の領域内で、当該領域に含まれる全ての所定領域Ｃの数に対するボケを有する所定領域Ｃの数の比率を算出し、算出された比率を基準として各小領域Ｂがボケ領域Ｄであるか否かを判定する。例えば、領域特定部６ｆは、各小領域Ｂ毎に算出された比率が所定の閾値以上の場合に、当該小領域Ｂがボケ領域Ｄであると特定し、所定の閾値よりも低い場合に、当該小領域Ｂが合焦領域Ｅであると特定する。

第２判定部６ｇは、元画像Ｐ１が被写界深度の浅い画像であるか否かを判定する。
即ち、第２判定部（第２判定手段）６ｇは、領域特定部６ｆによるボケ領域Ｄ及び合焦領域Ｅの特定結果を基準として、元画像Ｐ１が被写界深度の浅い画像であるか否かを判定する。具体的には、第２判定部６ｇは、領域特定部６ｆにより特定されたボケ領域Ｄ及び合焦領域Ｅの配置を基準として、例えば、ボケ領域Ｄが所定方向に隣り合って配置されていたり（図４（ｂ）参照）、合焦領域Ｅが元画像Ｐ１の一側（例えば、上側や下側）寄りの位置に配置されていた場合には、元画像Ｐ１が被写界深度の浅い画像であると判定する。また、第２判定部６ｇは、例えば、ボケ領域Ｄと合焦領域Ｅが所定方向に沿って交互に配置されていたり、合焦領域Ｅのみしか配置されていない場合には、元画像Ｐ１が被写界深度の浅い画像でないと判定する。

なお、上記した被写界深度の浅い画像の判定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、一旦画像分割部６ｄにより所定の幅で分割された各小領域Ｂがボケ領域Ｄであるか合焦領域Ｅであるかの判定結果を基準にして、元画像Ｐ１が被写界深度の浅い画像であると判定された場合であっても、小領域Ｂを分割する幅を増減させて小領域Ｂの分割を再度行った後、各小領域Ｂ毎にボケ領域Ｄ及び合焦領域Ｅの判定を行い、第２判定部６ｇは、当該ボケ領域Ｄ及び合焦領域Ｅの配置を基準として元画像Ｐ１が被写界深度の浅い画像であるか否かの判定を再度行うようにしても良い。
また、例えば、画像分割部６ｄにより複数の小領域Ｂ、…が格子状となるように分割された後、各小領域Ｂ毎に判定されたボケ領域Ｄ及び合焦領域Ｅが点在するように配置されている場合には、第２判定部６ｇは、元画像Ｐ１が被写界深度の浅い画像でないと判定しても良い。

画像探索部６ｈは、画像修正処理にて、不要領域Ａを構成する特定領域Ｆと置き換えられる置換領域Ｇを探索する。
即ち、画像探索部（探索手段）６ｈは、第１判定部６ｅにより判定された不要領域Ａの周りの周辺領域のボケの有無を基準として、元画像Ｐ１における不要領域Ａ以外の領域内で、当該不要領域Ａを構成する特定領域Ｆと置き換えられる置換領域Ｇを探索する。具体的には、画像探索部６ｈは、画像生成部６ｃにより生成された修正用画像Ｐ２の画像データを取得して、当該修正用画像Ｐ２における不要領域Ａの輪郭部分を特定した後、当該輪郭分に跨がるように処理対象となる特定領域Ｆを設定する。例えば、画像探索部６ｈは、不要領域Ａの輪郭部分を構成する各画素を中心として略矩形状の特定領域Ｆをそれぞれ設定した後、各特定領域Ｆを構成する各画素における所定方向（例えば、ｘ軸方向やｙ軸方向等）の輝度値の勾配が最も大きい特定領域Ｆを処理対象として設定する。このようにして設定される特定領域Ｆには、不要領域Ａの周りの周辺領域が含まれる。
そして、画像探索部６ｈは、元画像Ｐ１における不要領域Ａ以外の領域内、即ち、元画像Ｐ１内でマスク画像Ｍにより規定される不要領域Ａが消去された修正用画像Ｐ２内で、処理対象の特定領域Ｆと類似する置換領域Ｇを各画素の色情報及び画素値の変化の度合い（例えば、輝度値の勾配）を基準として探索する。例えば、画像探索部６ｈは、処理対象の特定領域Ｆをテンプレートとし、当該特定領域Ｆが領域特定部６ｆによりボケ領域Ｄであると特定された小領域Ｂに含まれる領域を構成する特定領域Ｆの場合には、元画像Ｐ１における不要領域Ａ以外の領域のうちのボケ領域Ｄ全体で類似度が最も高くなる置換領域Ｇを探索する（図５（ａ）参照）。一方、画像探索部６ｈは、テンプレートとなる特定領域Ｆが合焦領域Ｅであると特定された小領域Ｂに含まれる領域を構成する特定領域Ｆの場合には、元画像Ｐ１における不要領域Ａ以外の領域のうちの合焦領域Ｅ全体で類似度が最も高くなる置換領域Ｇを探索する（図５（ａ）参照）。つまり、画像探索部６ｈは、特定領域Ｆのボケ度合いと略等しいボケ度合いの置換領域Ｇを探索する。
このとき、画像探索部６ｈは、画像分割部６ｄにより分割された複数の小領域Ｂ、…のうち、テンプレートとしての特定領域Ｆが含まれる小領域Ｂ内で、特定領域Ｆと置き換えられる置換領域Ｇを探索するのが好ましい。即ち、画像探索部６ｈは、不要領域Ａのうち、画像分割部６ｄにより分割された複数の小領域Ｂ、…の何れかの一の小領域Ｂ（例えば、上から５番目の小領域Ｂ等）に含まれる領域を構成する特定領域Ｆと置き換えられる置換領域Ｇを当該何れかの一の小領域Ｂ（例えば、上から５番目の小領域Ｂ等）内で探索しても良い。

ここで、特定領域Ｆと置き換えられる置換領域Ｇの探索の具体的な手法について説明する。
即ち、画像探索部６ｈは、下記式（１）に基づいて、処理対象の特定領域Ｆ及び何れか一の置換候補領域の全ての画素について、対応する画素どうしのＲＧＢ色空間の各成分の距離と、当該画素どうしの輝度値のｘ軸方向（水平方向）及びｙ軸方向（垂直方向）の勾配（変化の度合い）とを加算した値の総和が最小となる類似度判定値を算出し、当該類似度判定値を所定の演算式に従って換算して類似度を算出する。
そして、画像探索部６ｈは、一の特定領域Ｆについて算出された複数の置換候補領域の各々との類似度どうしを比較して、類似度が最も高い置換候補領域を当該特定領域Ｆと置き換えられる置換領域Ｇとして特定する。
ここで、上記式（１）において、「Ｒ」、「Ｇ」、「Ｂ」は、それぞれＲＧＢ色空間におけるＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各成分の色情報（画素値）、「Ｇｘ」、「Ｇｙ」は、それぞれ各画素におけるｘ軸方向の輝度値の勾配（変化の度合い）、ｙ軸方向の輝度値の勾配（変化の度合い）を表している。また、上記式（１）において、「ｐ」、「ｑ」は、それぞれ特定領域Ｆ及び置換候補領域の画像データを表し、「ｉ」、「ｊ」は、特定領域Ｆ及び置換候補領域の各画素のｘ軸方向及びｙ軸方向の座標を表している。また、「ａｒｇｍｉｎ」は、関数値を最小にする数値を導出する記号を表している。
なお、上記式（１）において、各画素の色情報として、ＲＧＢ色空間で規定される画素値を用いたが、一例であってこれに限られるものではなく、例えば、ＨＳＶ色空間、Ｌ＊ａ＊ｂ＊色空間等の他の色空間、即ち、類似度を算出可能な如何なる色空間で規定される画素値を適用しても良い。

また、画像探索部６ｈは、第２判定部６ｇにより元画像Ｐ１が被写界深度の浅い画像であると判定された場合に、上記のように、不要領域Ａの周りの周辺領域のボケの有無を基準とした置換領域Ｇの探索を行うようにしても良い。
一方、元画像Ｐ１が被写界深度の浅い画像でないと判定された場合には、画像探索部６ｈは、元画像Ｐ１における不要領域Ａ以外の領域内で置換領域Ｇの探索範囲を制限することなく置換領域Ｇの探索を行う。

また、画像探索部６ｈは、後述する画像修正部６ｉにより何れか一の特定領域Ｆが置換（修正）されると、特定領域Ｆの置換後の修正用画像Ｐ２の画像データを取得して、当該修正用画像Ｐ２における不要領域Ａの輪郭部分を再度特定した後、上記と同様に、不要領域Ａの輪郭部分を構成する各画素を中心として略矩形状の特定領域Ｆをそれぞれ設定し、各特定領域Ｆを構成する各画素における所定方向（例えば、ｘ軸方向やｙ軸方向等）の輝度値の勾配が最も大きい特定領域Ｆを新たな処理対象として設定する。
その後、画像探索部６ｈは、当該新たな処理対象の特定領域Ｆと置き換えられる置換領域Ｇの探索を、元画像Ｐ１における不要領域Ａ以外の領域内、即ち、特定領域Ｆが置換される前の修正用画像Ｐ２における不要領域Ａ以外の領域内で、上記した手法と略同様の手法で行う。

画像修正部６ｉは、元画像Ｐ１を修正する。
即ち、画像修正部（修正手段）６ｉは、修正用画像Ｐ２の画像データを取得して、画像探索部６ｈにより探索された置換領域Ｇで修正用画像Ｐ２の特定領域Ｆを置き換えることで、元画像Ｐ１を修正する。具体的には、画像修正部６ｉは、例えば、置換領域Ｇの複製画像を生成した後、当該複製画像の所定位置（例えば、中心や四隅等）を対応する修正用画像Ｐ２における特定領域Ｆの各位置の座標（例えば、中心座標や四隅の座標等）に一致させるように貼り付けることで、修正用画像Ｐ２の不要領域Ａが修正された画像データを生成する。また、画像修正部６ｉは、上記の処理を、画像探索部６ｈにより置換領域Ｇが探索される毎に逐次実行することで、元画像Ｐ１における不要領域Ａの全ての領域が修正された修正済画像Ｐ３の画像データを生成する。

次に、画像処理装置１００における画像修正処理について、図２〜図６を参照して説明する。
図２は、画像処理装置１００による画像修正処理に係る動作の一例を示すフローチャートである。図３（ａ）は、元画像Ｐ１を模式的に示す図であり、図３（ｂ）は、マスク画像Ｍを模式的に示す図である。図４（ａ）及び図４（ｂ）並びに図５は、修正用画像Ｐ２を模式的に示す図である。図６（ａ）は、修正済画像Ｐ３を模式的に示す図であり、図６（ｂ）は、図５（ａ）の修正済画像Ｐ３の一部分Ｈを拡大して示す図であり、図６（ｃ）は、従来の画像修正処理に係る画像の一部分を拡大して示す図である。なお、図６（ｂ）と図６（ｃ）は、互いの画像の略同じ位置の一部分を拡大して示したものである。

また、以下に説明する画像修正処理は、ユーザによる操作入力部２の所定操作に基づいて、画像修正処理が指示された場合に実行される。

図２に示すように、先ず、画像処理部６の画像取得部６ａは、処理対象の元画像Ｐ１（図３（ａ）参照）の画像データを取得する（ステップＳ１）。
具体的には、画像取得部６ａは、記憶部４に記憶されている所定数の画像の中から、ユーザによる操作入力部２の所定操作に基づいて選択された一の画像を元画像Ｐ１として読み出して取得する。

次に、不要領域指定部６ｂは、ユーザによる操作入力部２の所定操作に基づいて元画像Ｐ１内で不要領域Ａを指定する（ステップＳ２）。例えば、元画像Ｐ１内で象が存する部分が不要領域Ａとして指定される（図３（ｂ）参照）。
続けて、画像生成部６ｃは、マスク画像Ｍ及び修正用画像Ｐ２の画像データを生成する（ステップＳ３）。具体的には、画像生成部６ｃは、指定された不要領域Ａに対応する各画素を第１の画素値とし、元画像Ｐ１における不要領域Ａ以外の領域の各画素を第２の画素値とする二値画像であるマスク画像Ｍ（図３（ｂ）参照）を生成する。また、画像生成部６ｃは、元画像Ｐ１及びマスク画像Ｍの画像データに基づいて、元画像Ｐ１内でマスク画像Ｍにより規定される不要領域Ａが消去された修正用画像Ｐ２の画像データを生成する。
生成されたマスク画像Ｍ及び修正用画像Ｐ２の画像データは、記憶部４に一時的に記憶される。

画像分割部６ｄは、画像取得部６ａにより取得された元画像Ｐ１全体を所定方向（例えば、水平方向）に沿って略等しい幅となるように短冊状の小領域Ｂ（図４（ａ）参照）に分割する（ステップＳ４）。そして、第１判定部６ｅは、記憶部４から修正用画像Ｐ２の画像データを取得して、当該修正用画像Ｐ２における不要領域Ａ以外の領域内で、略矩形状の所定領域Ｃを順次設定していき、各所定領域Ｃ毎にボケの有無を判定する（ステップＳ５；図４（ａ）参照）。
次に、領域特定部６ｆは、複数の小領域Ｂ、…の各々について、第１判定部６ｅにより判定された各所定領域Ｃのボケの有無を基準として、焦点が合っていないボケ領域Ｄであるか焦点が合っている合焦領域Ｅであるかを特定する（ステップＳ６）。例えば、図４（ｂ）に示す修正用画像Ｐ２にあっては、最も下側の小領域Ｂがボケ領域Ｄと特定され、その上側の小領域Ｂが合焦領域Ｅと特定され、それよりも上側の残りの小領域Ｂがボケ領域Ｄであると特定されたものとする。

なお、上記のステップＳ４にて、元画像Ｐ１全体を分割する方向は、水平方向の一方向に限られるものではなく、水平方向に分割してステップＳ５及びＳ６の各処理を行った後、ステップＳ４に戻り、元画像Ｐ１全体を水平方向とは異なる方向（例えば、垂直方向等）に分割してステップＳ５及びＳ６の各処理を再度行うようにしても良い。
この場合には、分割された各々の方向毎に特定されたボケ領域Ｄ及び合焦領域Ｅの配置を基準として、最終的に元画像Ｐ１全体を分割する方向やボケ領域Ｄ及び合焦領域Ｅを決定する。

次に、画像探索部６ｈは、修正用画像Ｐ２における不要領域Ａの輪郭部分を特定した後（ステップＳ７）、不要領域Ａの輪郭部分を構成する各画素を中心として略矩形状の特定領域Ｆをそれぞれ設定し、各特定領域Ｆを構成する各画素における所定方向の輝度値の勾配が最も大きい特定領域Ｆを処理対象として設定する（ステップＳ８；図５参照）。

続けて、第２判定部６ｇは、領域特定部６ｆによるボケ領域Ｄ及び合焦領域Ｅの特定結果を基準として、元画像Ｐ１が被写界深度の浅い画像であるか否かを判定する（ステップＳ９）。
ここで、元画像Ｐ１が被写界深度の浅い画像であると判定されると（ステップＳ９；ＹＥＳ）、画像探索部６ｈは、処理対象の特定領域Ｆをテンプレートとして、修正用画像Ｐ２の当該特定領域Ｆが含まれる小領域Ｂ内で、特定領域Ｆと置き換えられる置換領域Ｇを探索する（ステップＳ１０；図５参照）。つまり、画像探索部６ｈは、特定領域Ｆのボケ度合いと略等しいボケ度合いの置換領域Ｇを探索する。
一方、ステップＳ９にて、元画像Ｐ１が被写界深度の浅い画像でないと判定されると（ステップＳ９；ＮＯ）、画像探索部６ｈは、修正用画像Ｐ２内、即ち、不要領域Ａ以外の領域内で、置換領域Ｇの探索範囲を制限することなく置換領域Ｇの探索を行う（ステップＳ１１）。
なお、上記ステップＳ１０及びＳ１１においては、各画素の色情報及び画素値の変化の度合い（例えば、輝度値の勾配）を基準として置換領域Ｇの探索が行われるが、その詳細な説明は省略する。

その後、画像修正部６ｉは、画像探索部６ｈにより探索された置換領域Ｇで修正用画像Ｐ２の特定領域Ｆを修正する（ステップＳ１２）。具体的には、画像修正部６ｉは、置換領域Ｇの複製画像を生成した後、当該複製画像を対応する修正用画像Ｐ２における特定領域Ｆに一致させるように貼り付けることで、修正用画像Ｐ２の不要領域Ａが修正された画像データを生成する。
続けて、画像修正部６ｉは、記憶部４からマスク画像Ｍの画像データを取得し、修正された修正用画像Ｐ２の不要領域Ａの形状に合わせてマスク画像Ｍの不要領域Ａを更新する（ステップＳ１３）。

次に、画像修正部６ｉは、更新されたマスク画像Ｍの画像データに基づいて、不要領域Ａが残っているか否かを判定する（ステップＳ１４）。
ここで、不要領域Ａが残っていると判定されると（ステップＳ１４；ＹＥＳ）、画像処理部６は、処理をステップＳ７に戻し、画像探索部６ｈは、修正用画像Ｐ２における修正された不要領域Ａの輪郭部分を特定した後（ステップＳ７）、それ以降の各処理（ステップＳ８〜Ｓ１３）を実行する。

上記の各処理が、ステップＳ１４にて不要領域Ａが残っていないと判定（ステップＳ１４；ＮＯ）されるまで繰り返し実行されることで、修正用画像Ｐ２における不要領域Ａが全て修正された状態となる。
ステップＳ１４にて、不要領域Ａが残っていないと判定されると（ステップＳ１４；ＮＯ）、画像修正部６ｉは、修正用画像Ｐ２の画像データを取得して、不要領域Ａが全て修正された修正済画像Ｐ３の画像データを生成する（ステップＳ１５）。生成された修正済画像Ｐ３の画像データは、画像処理部６から記憶部４に転送されて記憶される。
これにより、画像修正処理を終了する。

以上のように、本実施形態の画像処理装置１００によれば、元画像Ｐ１における修正すべき画像が含まれる不要領域Ａ以外の領域内で、所定領域Ｃ毎にボケの有無を判定し、不要領域Ａの周りの周辺領域のボケの有無を基準として、当該不要領域Ａを構成する特定領域Ｆと置き換えられる置換領域Ｇを探索して、探索された置換領域Ｇで特定領域Ｆを置き換えて元画像Ｐ１を修正するので、不要領域Ａの周りの周辺領域のボケの有無、即ち、被写界深度を考慮して特定領域Ｆと置き換えられる置換領域Ｇを探索することができ、当該置換領域Ｇを用いて元画像Ｐ１の修正を行うことができる。これにより、例えば、従来の手法を用いて、不要領域Ａの周りの周辺領域のボケの有無を考慮しないで元画像Ｐ１の修正を行った場合には、不要領域Ａの周りの周辺領域のボケ度合いと置換領域Ｇのボケ度合いとに差が生じてしまう（図６（ｃ）参照）。これに対して、本実施形態の画像処理装置１００では、不要領域Ａの周りの周辺領域のボケ度合いと置換領域Ｇのボケ度合いとが略等しくなって被写界深度を考慮した自然なボケ度合いの修正済画像Ｐ３を得ることができる（図６（ａ）及び図６（ｂ）参照）。
さらに、例えば、仮に特定領域Ｆと類似する置換領域Ｇを各画素の色情報及び画素値の変化の度合いを基準として探索した場合には、特定領域Ｆと色や画素値の変化の度合いが類似する置換領域Ｇを探索することができるが、互いのボケ度合いが同程度とならない場合にはボケ度合いが不自然な修正済画像となってしまう虞がある。これに対して、被写界深度を考慮して特定領域Ｆと置き換えられる置換領域Ｇを探索することで、特定領域Ｆと色及び画素値の変化の度合いだけでなく略等しいボケ度合いの置換領域Ｇを探索して元画像Ｐ１の修正を行うことができ、色及び画素値の変化の度合い並びにボケ度合いが自然な修正済画像Ｐ３を得ることができる。

また、元画像Ｐ１を分割した複数の小領域Ｂ、…毎に、焦点が合っていないボケ領域Ｄ及び焦点が合っている合焦領域Ｅのうちの何れか一方の領域を特定するので、各小領域Ｂ毎にボケ度合いを適正に特定することができる。
さらに、不要領域Ａのうち、ボケ領域Ｄであると特定された小領域Ｂに含まれる領域を構成する特定領域Ｆと置き換えられる置換領域Ｇをボケ領域Ｄ内で探索する一方で、合焦領域Ｅであると特定された小領域Ｂに含まれる領域を構成する特定領域Ｆと置き換えられる置換領域Ｇを合焦領域Ｅ内で探索することで、特定領域Ｆと略等しいボケ度合いの置換領域Ｇの探索をボケ領域Ｄや合焦領域Ｅ毎に適正に行うことができる。
また、不要領域Ａのうち、元画像Ｐ１から分割された複数の小領域Ｂ、…の何れかの一の小領域Ｂに含まれる領域を構成する特定領域Ｆと置き換えられる置換領域Ｇを、当該何れかの一の小領域Ｂ内で探索することで、特定領域Ｆと略等しいボケ度合いの置換領域Ｇの探索を小領域Ｂ毎に適正に行うことができる。

また、元画像Ｐ１が被写界深度の浅い画像であると判定された場合に、上記のようにして置換領域Ｇの探索を行うので、被写界深度を考慮して元画像Ｐ１の修正を行うべきか否かを適正に判定することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、複数の小領域Ｂ、…のうち、テンプレートとしての特定領域Ｆが含まれる小領域Ｂ内で、特定領域Ｆと置き換えられる置換領域Ｇを探索するようにしたが、置換領域Ｇの探索手法は一例であってこれに限られるものではなく、適宜任意に変更可能である。具体的には、例えば、特定領域Ｆが含まれる小領域Ｂとは異なる小領域Ｂ（例えば、隣接する小領域Ｂ等）内から置換領域Ｇの探索を行う場合には、特定領域Ｆが含まれる小領域Ｂからの距離に応じて類似度に重み付けを行って、算出された重み付け後の類似度を基準として特定領域Ｆと置き換えられる置換領域Ｇを特定するようにしても良い。
また、ボケ度合いが所定の一方向（例えば、縦方向等）に変化する場合には、特定領域Ｆの存する位置を基準として当該一方向への探索範囲を減少させたり、当該一方向に直交する他の方向への探索範囲を増大させることで、特定領域Ｆと略等しいボケ度合いの置換領域Ｇの探索を適正に行うことができる。

さらに、上記実施形態にあっては、画像分割部６ｄにより元画像Ｐ１を分割した小領域Ｂのボケ度合いを基準として、特定領域Ｆと置き換えられる置換領域Ｇを探索するようにしたが、必ずしも画像分割部６ｄを備える必要はなく、画像分割部６ｄを備えるか否かは適宜任意に変更可能である。即ち、不要領域Ａの周りの周辺領域のボケの有無を基準として、特定領域Ｆと置き換えられる置換領域Ｇを探索可能であれば如何なる構成であっても良い。

また、上記実施形態にあっては、元画像Ｐ１が被写界深度の浅い画像であると判定された場合に、探索範囲を制限して置換領域Ｇの探索を行うようにしたが、必ずしも第２判定部６ｇを備える必要はなく、第２判定部６ｇを備えるか否かは適宜任意に変更可能である。

また、画像処理装置１００の構成は、上記本実施形態に例示したものは一例であり、これらに限られるものではない。例えば、画像修正処理の後処理として、当該画像修正処理により生成された修正済画像Ｐ３を処理対象画像として、所定の境界条件（例えば、ノイマン条件やディリクレ条件等）でポアソン方程式を解くことで、不要領域Ａとそれ以外の領域との境界部分や置換領域Ｇどうしの境界部分の色や勾配をより自然に変化させた画像を生成しても良い。

加えて、上記本実施形態にあっては、取得手段、指定手段、第１判定手段、探索手段、修正手段としての機能を、中央制御部１の制御下にて、画像処理部６の画像取得部６ａ、不要領域指定部６ｂ、第１判定部６ｅ、画像探索部６ｈ、画像修正部６ｉが駆動することにより実現される構成としたが、これに限られることものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、指定処理ルーチン、第１判定処理ルーチン、探索処理ルーチン、修正処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、元画像Ｐ１を取得する手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部１のＣＰＵを、取得された元画像Ｐ１内で不要領域Ａを指定する手段として機能させるようにしても良い。また、第１判定処理ルーチンにより中央制御部１のＣＰＵを、元画像Ｐ１における不要領域Ａ以外の領域で、所定領域Ｃ毎にボケの有無を判定する手段として機能させるようにしても良い。また、探索処理ルーチンにより中央制御部１のＣＰＵを、判定された不要領域Ａの周りの周辺領域のボケの有無を基準として、元画像Ｐ１における不要領域Ａ以外の領域で当該不要領域Ａを構成する特定領域Ｆと置き換えられる置換領域Ｇを探索する手段として機能させるようにしても良い。また、修正処理ルーチンにより中央制御部１のＣＰＵを、探索された置換領域Ｇで特定領域Ｆを置き換えて元画像Ｐ１を修正する手段として機能させるようにしても良い。

同様に、分割手段、特定手段、第２判定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
元画像を取得する取得手段と、
この取得手段により取得された前記元画像内で不要領域を指定する指定手段と、
前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する第１判定手段と、
この第１判定手段により判定された前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する探索手段と、
この探索手段により探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する修正手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記取得手段により取得された前記元画像を複数の小領域に分割する分割手段と、
この分割手段により分割された複数の小領域毎に、前記第１判定手段により判定された各所定領域のボケの有無を基準として、焦点が合っていないボケ領域及び焦点が合っている合焦領域のうちの何れか一方の領域を特定する特定手段と、を更に備え、
前記探索手段は、前記不要領域のうち、前記特定手段により前記ボケ領域であると特定された小領域に含まれる領域を構成する特定領域と置き換えられる置換領域を前記ボケ領域内で探索することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記探索手段は、前記不要領域のうち、前記分割手段により分割された複数の小領域の何れかの一の小領域に含まれる領域を構成する特定領域と置き換えられる置換領域を、当該特定領域が含まれる小領域内で探索することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記特定手段による前記ボケ領域及び前記合焦領域の特定結果を基準として、前記元画像が被写界深度の浅い画像であるか否かを判定する第２判定手段を更に備え、
前記探索手段は、前記第２判定手段により前記元画像が被写界深度の浅い画像であると判定された場合に、前記特定領域が含まれる小領域内で置換領域の探索を行うことを特徴とする請求項３に記載の画像処理装置。
＜請求項５＞
前記探索手段は、前記特定領域と類似する前記置換領域を各画素の色情報及び画素値の変化の度合いを基準として探索することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
画像処理装置を用いた画像処理方法であって、
元画像を取得する処理と、
取得された前記元画像内で不要領域を指定する処理と、
前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する処理と、
前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する処理と、
探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する処理と、
を含むことを特徴とする画像処理方法。
＜請求項７＞
画像処理装置のコンピュータを、
元画像を取得する取得手段、
この取得手段により取得された前記元画像内で不要領域を指定する指定手段、
前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する第１判定手段、
この第１判定手段により判定された前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する探索手段、
この探索手段により探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する修正手段、
として機能させることを特徴とするプログラム。

１００ 画像処理装置
１ 中央制御部
６ 画像処理部
６ａ 画像取得部
６ｂ 不要領域指定部
６ｄ 画像分割部
６ｅ 第１判定部
６ｆ 領域特定部
６ｇ 第２判定部
６ｈ 画像探索部
６ｉ 画像修正部

Claims (7)

1. 元画像を取得する取得手段と、
   この取得手段により取得された前記元画像内で不要領域を指定する指定手段と、
   前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する第１判定手段と、
   この第１判定手段により判定された前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する探索手段と、
   この探索手段により探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する修正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記取得手段により取得された前記元画像を複数の小領域に分割する分割手段と、
   この分割手段により分割された複数の小領域毎に、前記第１判定手段により判定された各所定領域のボケの有無を基準として、焦点が合っていないボケ領域及び焦点が合っている合焦領域のうちの何れか一方の領域を特定する特定手段と、を更に備え、
   前記探索手段は、前記不要領域のうち、前記特定手段により前記ボケ領域であると特定された小領域に含まれる領域を構成する特定領域と置き換えられる置換領域を前記ボケ領域内で探索することを特徴とする請求項１に記載の画像処理装置。
3. 前記探索手段は、前記不要領域のうち、前記分割手段により分割された複数の小領域の何れかの一の小領域に含まれる領域を構成する特定領域と置き換えられる置換領域を、当該特定領域が含まれる小領域内で探索することを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段による前記ボケ領域及び前記合焦領域の特定結果を基準として、前記元画像が被写界深度の浅い画像であるか否かを判定する第２判定手段を更に備え、
   前記探索手段は、前記第２判定手段により前記元画像が被写界深度の浅い画像であると判定された場合に、前記特定領域が含まれる小領域内で置換領域の探索を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記探索手段は、前記特定領域と類似する前記置換領域を各画素の色情報及び画素値の変化の度合いを基準として探索することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   元画像を取得する処理と、
   取得された前記元画像内で不要領域を指定する処理と、
   前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する処理と、
   前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する処理と、
   探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する処理と、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   元画像を取得する取得手段、
   この取得手段により取得された前記元画像内で不要領域を指定する指定手段、
   前記元画像における前記不要領域以外の領域で、所定領域毎にボケの有無を判定する第１判定手段、
   この第１判定手段により判定された前記不要領域の周りの周辺領域のボケの有無を基準として、前記元画像における前記不要領域以外の領域で当該不要領域を構成する特定領域と置き換えられる置換領域を探索する探索手段、
   この探索手段により探索された前記置換領域で前記特定領域を置き換えて前記元画像を修正する修正手段、
   として機能させることを特徴とするプログラム。