JP5181913B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像情報にぼかし処理を行う画像処理装置、撮像装置、画像処理方法及びプログラムに関するものである。

デジタルカメラ等の撮影装置は、撮像素子が一般的に小さいため、画像を撮影するために必要な撮影光学系の焦点距離が短くなる。また、コンパクトカメラ等の撮像装置は、一眼レフのような撮像装置に比べて、レンズのサイズが小さい。

ここで、焦点距離が短く、レンズのサイズが小さい場合は、撮影光学系のＦ値を同じにしても、被写界深度が深くなってしまう。このため、デジタルカメラ等の撮像装置で撮影する場合には、一眼レフのような撮像装置に比べて、相対的に広い距離範囲に焦点が合うことになる。

その結果、デジタルカメラ等の撮像装置は、一眼レフのような撮像装置と同じ明るさの画像を撮影した場合に、ぼけの少ない画像を得ることが可能になる。しかし、ポートレートのように背景のぼけが必要な画像を撮影する場合には、背景までもが鮮明になってしまい、逆に、画像の表現力が一眼レフのような撮像装置に比べて落ちてしまうことになる。

ここで、被写界深度が深いカメラで撮影された画像データの背景をぼかすために、特許文献１には、撮影距離に応じてぼかし処理を行う発明が開示されている。具体的には、画像データを複数の小さいブロックに分割し、それぞれのブロックの撮影距離を測定する。そして、測定された撮影距離に応じて、ブロック毎にぼかし処理を施し、ぼかし処理を行った複数のブロックを合成することにしている。この特許文献１に開示された発明では、撮影距離に応じたぼかし処理をブロック毎に施すため、背景に適したぼかし処理を施すことが可能となる。
特開２０００−２５９８２３号公報

しかし、上記特許文献１で開示された発明は、主要被写体画像にぼかし処理を施さない一方、背景画像に撮影距離に応じたぼかし処理を施し、両画像を合成することで背景に適したぼかし処理を施した画像データを生成することにしている。

このため、上記特許文献１に開示された背景ぼかし処理方法では、ぼかし処理を施さないオブジェクトブロックと、ぼかし処理を施したオブジェクトブロックと、を合成する際に、図１に示すように、急激なコントラストの変化が発生してしまい、ひいては、不連続な境目が生じてしまうことになる。

また、背景と思われる部分についてぼかし処理を施す際に、ローパスフィルタをかけるため、エッジが広がることになる。背景は遠く、ローパスフィルタを強くかければかける程、エッジがより広がることになる。従って、図２に示すように、オブジェクトを切り出し、背景ブロックと貼り合わせる際に、オブジェクトの部分も広がるため、エッジの滲みが発生してしまうことになる。特に、オブジェクトの色と背景の色とが異なる場合に、色の滲みが目立つことになる。

本発明は、上記事情に鑑みてなされたものであり、不連続な境目と、エッジの滲みのないぼかし画像を生成することが可能な画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

かかる目的を達成するために、本発明は、以下の特徴を有することとする。

＜画像処理装置＞
本発明にかかる画像処理装置は、取得された画像情報からオブジェクト領域を抽出する抽出手段と、抽出された前記オブジェクト領域に基づいて、該オブジェクト領域を包含するサイズの異なる複数の処理領域を作成する領域作成手段と、前記オブジェクト領域の撮影距離に応じて、前記複数の処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成手段と、を備えることを特徴とする。

＜撮像装置＞
また、本発明にかかる撮像装置は、上記記載の画像処理装置を備えることを特徴とする。

＜画像処理方法＞
また、本発明にかかる画像処理方法は、取得された画像情報からオブジェクト領域を抽出する抽出ステップと、抽出された前記オブジェクト領域に基づいて、該オブジェクト領域を包含するサイズの異なる複数の処理領域を作成する領域作成ステップと、前記オブジェクト領域の撮影距離に応じて、前記複数の処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成ステップと、を備えることを特徴とする。

＜プログラム＞
また、本発明にかかるプログラムは、上記記載の画像処理方法をコンピュータに実行させることを特徴とする。

本発明によれば、不連続な境目と、エッジの滲みのないぼかし画像を生成することが可能となる。

まず、本実施形態の画像処理装置の概要について説明する。

本実施形態の画像処理装置は、オリジナル画像に対し、段階的にローパスフィルタ処理を行い、図３〜図５に示す複数の画像データを作成する。図５は、背景部分に最も強いローパスフィルタをかけて作成した画像データを示す。図４は、図５のローパスフィルタよりも弱いローパスフィルタをかけて作成した画像データを示す。図３は、図４のローパスフィルタよりも更に弱いローパスフィルタをかけて作成した画像データを示す。

本実施形態の画像処理装置は、図５の領域３を切り出し、図６に示す出力画像に貼り付ける。次に、図４の領域２を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。次に、図３の領域１を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。これにより、不連続な境目がなく、エッジの滲みのないぼかし画像を生成することが可能となる。

（第１の実施形態）
以下、添付図面を参照しながら、本実施形態の画像処理装置について詳細に説明する。なお、以下の説明では、撮像装置に搭載された画像処理装置を例に説明する。

＜画像処理装置の構成＞
まず、図７を参照しながら、本実施形態の画像処理装置の構成について説明する。図７は、撮像装置に搭載された画像処理装置の構成を示すブロック図である。

本実施形態における画像処理装置は、画像入力部101、画像領域分割部102、オブジェクト抽出部103、オブジェクトエッジ処理部111、画像ぼかし処理部104、画像合成部105、画像出力部106、カメラパラメータ入力部107、距離情報取得部108、ぼけ関数取得部109、ぼけ関数DB110を含んで構成している。

画像入力部101は、画像を画像領域分割部102に入力するものである。
画像領域分割部102は、画像を細かく分割するものである。

オブジェクト抽出部103は、画像領域分割部102が細かく分割した小領域を組み合わせ、意味のあるオブジェクトを抽出するものである。ここで、意味のあるオブジェクトとは、前景、背景を区別することを意味する。本実施形態では、前景、背景が区別でき、オブジェクト間の距離が分かれば、背景のぼかし処理を実現することが可能となる。オブジェクト間の距離は、距離情報取得部108から取得する。

オブジェクトエッジ処理部111は、オブジェクト抽出部103が抽出したオブジェクトを基に、図３〜図５に示すようなオブジェクト領域より一回り大きい領域を指定するマスク（処理領域）を作成するものである。

画像ぼかし処理部104は、ぼけ関数のフィルタを基に、オブジェクト抽出部103が抽出したオブジェクトのぼかし処理を行い、複数枚のぼかし画像（背景）を作成するものである。ぼけ関数のフィルタは、ぼけ関数取得部109から取得する。

画像合成部105は、オブジェクトエッジ処理部111で作成した複数の異なるサイズのマスク（処理領域）と、画像ぼかし処理部104で作成した複数枚のぼかし画像（背景）と、を基に、オブジェクトと、ぼかし画像（背景）と、を合成するものである。

画像出力部106は、画像合成部105で合成した画像を出力するものである。

カメラパラメータ入力部107は、カメラパラメータを入力するものである。

距離情報取得部108は、距離情報を取得するものである。距離情報取得部109の詳細内部構成を図８に示す。

距離情報取得部109は、縮小画像入力部201と、エッジ情報計算部202と、距離情報計算部203と、距離情報出力部204と、レンズ焦点調整部205と、を有して構成する。

レンズ焦点調整部205は、カメラレンズの焦点を調整するものである。
縮小画像入力部201は、複数の異なる焦点位置の画像をエッジ情報計算部202に入力するものである。

エッジ情報計算部202は、縮小画像入力部201から入力された複数の異なる焦点位置の画像を基に、複数の画像ブロックに分割し、同じ位置のブロック領域でのコントラスト値の合計値を求めるものである。
距離情報計算部203は、同じ位置のブロック領域でのコントラスト値を比較し、撮影距離を計算するものである。
距離情報出力部204は、距離情報計算部203が取得した距離情報をオブジェクト抽出部103とぼけ関数取得部109に出力するものである。

ぼけ関数DB110は、ぼけ関数のフィルタを記憶するものである。ぼけ関数DB110のデータ構造を図９に示す。

ぼけ関数DB110は、図９に示すように、距離の差と、焦点距離、Ｆ値、開口の形、ぼけ関数のフィルタ、を対応付けて記憶している。このため、距離の差、焦点距離、Ｆ値、開口の形に応じて、ぼけ関数のフィルタｆの内容が変わることになる。ぼけ関数のフィルタｆは、Ｎ×Ｎのフィルタである。各要素の値は、カメラパラメータ、撮影距離によって変化する。カメラレンズの設計値を基に、各要素の値を予め計算し、ぼけ関数DB110に記憶することになる。

ぼけ関数取得部109は、カメラパラメータ入力部107から入力されたカメラパラメータを基に、ぼけ関数DB110からぼけ関数のフィルタｆを取得するものである。

本実施形態の画像処理装置では、画像領域分割部102、オブジェクト抽出部103が画像情報からオブジェクト領域を抽出する抽出手段を実現する。

また、オブジェクトエッジ処理部111が、抽出手段により抽出されたオブジェクト領域のサイズに基づいて、そのオブジェクト領域を包含する複数の処理領域を取得する領域取得手段を実現する。

また、画像ぼかし処理部104、画像合成部105が、領域取得手段により取得された処理領域に異なるぼかし処理を施し、取得された画像情報のぼかし画像を生成する生成手段を実現する。

＜画像処理装置の処理動作＞
次に、図７、図８、図１０を参照しながら、本実施形態の画像処理装置の処理動作について説明する。図１０は、本実施形態の画像処理装置の処理動作を示す図である。

＜ステップA1〜A3の処理動作＞
まず、図７、図８、図１０を参照しながら、図７に示す距離情報取得部108の処理動作について説明する。

本実施形態の距離情報取得部108は、レンズ焦点調整部205が、カメラレンズの焦点を調整し、縮小画像入力部201が、複数の異なる焦点位置の画像をエッジ情報計算部202に入力する（ステップA1）。

エッジ情報計算部202は、縮小画像入力部201から入力された複数の異なる焦点位置の画像を基に、複数の画像ブロックに分割し、同じ位置のブロック領域でのコントラスト値の合計値を求める（ステップA2）。

距離情報計算部203は、同じ位置のブロック領域でのコントラスト値を比較し、撮影距離を計算する。例えば、最もコントラスト値の高い画像がそのブロックに焦点があっていると判断し、その画像フレームの焦点位置を基に、撮影距離を計算する。距離情報計算部203は、全てのブロックでの撮影距離情報を計算し、ブロック毎の距離情報を取得する（ステップA3）。なお、距離情報計算部203は、距離測定センサーを使用し、距離情報を取得することも可能である。距離情報出力部204は、距離情報計算部203が取得した距離情報を、オブジェクト抽出部103とぼけ関数取得部109に出力することになる。

＜ステップB1〜B2の処理動作＞
次に、図７、図１０を参照しながら、図７に示すカメラパラメータ入力部107と、ぼけ関数取得部109の処理動作について説明する。

まず、カメラパラメータ入力部107は、カメラパラメータをぼけ関数取得部109に入力する（ステップB1）。

ぼけ関数取得部109は、カメラパラメータ入力部107から入力されたカメラパラメータを基に、ぼけ関数DB110からぼけ関数のフィルタを取得する（ステップB2）。ぼけ関数取得部109は、ぼけ関数DB110から取得したぼけ関数のフィルタを画像ぼかし処理部104に出力することになる。

＜ステップS1〜S8の処理動作＞
次に、図７、図１０を参照しながら、図７に示す画像入力部101、画像領域分割部102、オブジェクト抽出部103、オブジェクトエッジ処理部111、画像ぼかし処理部104、画像合成部105、画像出力部106の処理動作について説明する。

まず、画像入力部101は、画像を画像領域分割部102に入力する（ステップS1）。

画像領域分割部102は、画像入力部101から入力された画像を細かく分割する（ステップS2）。画像領域分割部102は、画像のエッジ、色などの情報を利用し、画像を分割する。画像の領域分割は、図１１に示すようにほぼ同じ色の領域を１つの塊として抽出する。図１１では、同じ色の塊オブジェクトA、オブジェクトB、背景Cを抽出している。

画像領域分割部102は、画像の各画素の色を基に、隣画素の色との色差を計算し、色差が所定の閾値以下であれば、同じ塊と判断し、その同じ塊を１つの領域として抽出する。また、画像領域分割部102は、コントラストがほぼ同じ塊を１つの領域として抽出する。

ここで、図１２を参照しながら、ステップS2の領域分割の処理動作について詳細に説明する。

まず、画像を色空間変換し、RGB画像をYUVに変換し、YUV画像を生成する（ステップS21）。Yは画像の輝度であり、UとVとは画素の色特性を示す。Uは輝度信号とB信号の差分であり、Vは輝度信号とR信号との差分である。

次に、Y、U、Vそれぞれの成分に対し、フィルタリング処理を行う（ステップS22）。フィルタリング処理により、ノイズ成分や急激に変化する小さい領域を平均化し、同じ特性の塊を作り易くすることが可能となる。なお、フィルタリング処理に用いるフィルタは、ノイズ除去、平滑効果が得られるものであれば特に限定せず、あらゆるフィルタを適用することが可能である。例えば、平滑効果があるGaussianを適用することも可能である。

次に、フィルタリング処理を行ったY、U、V成分を基に、領域生成を行う（ステップS23）。フィルタリングしたY、U、V成分は、隣り合う画素の差分が所定の閾値より小さければ同じ塊と判断し、塊を作る。閾値は、Y、U、Vそれぞれについて設定する。閾値は、実験により予め調整して設定し、それぞれの閾値をメモリに保存しておく。これにより、特性差の少ない小領域を生成することが可能となる。なお、U、Vの閾値で領域分割を行っても良く、輝度値Yの閾値も含めて、それぞれの閾値で領域分割を行っても良い。このステップS22の処理により、図１１に示すように、同じ色の塊オブジェクトA、オブジェクトB、背景Cに分離することが可能になる。

次に、小領域を削除する（ステップS24）。ノイズや孤立点の影響により、小さい領域が生成される場合がある。このため、領域面積の閾値を設け、その閾値より小さい領域を隣の領域と融合する。但し、融合する場合には、隣領域との輝度、色差が最も少ない領域と合成する。最小面積の閾値は任意に調整でき、予め設定する。

次に、ステップS24で融合した領域を領域分割結果として出力する（ステップS25）。融合した領域は、色の近い融合領域、または、コントラスト変化の少ない融合領域となる。これにより、図１１に示すように、同じ色で且つコントラスト変化の少ない塊を１つの領域として抽出し、オブジェクトA、オブジェクトB、背景Cに分離することになる。これにより、画像領域分割部102は、画像入力部101から入力された画像を細かく分割し、画像を小領域に分割することが可能となる。

次に、オブジェクト抽出部103は、ステップS2で画像領域分割部102が分割した小領域を組み合わせ、意味のあるオブジェクトを抽出する（ステップS3）。

画像領域分割部102は、ステップS2でオブジェクトの塊A、B、Cを作成したので、オブジェクト抽出部103は、距離情報を基に、オブジェクトA、Bと背景Cとの距離差が分かれば、背景のぼかし処理を実現することが可能となる。このため、図１３に示すように、A、B、Cのそれぞれの領域に確信度の高いブロックがあれば、そのブロックを用いて、オブジェクト間の距離情報を取得することが可能となる。

但し、距離情報を取得できない部分があっても、背景のぼかし処理を行うことは可能である。例えば、各オブジェクトの中で、１つのブロックで距離情報が取得できた場合に、その距離情報をオブジェクトの距離情報として使用する。このため、他のブロックの距離情報が取得できなくても良いことになる。

本実施形態では、オブジェクト抽出部103は、人物の頭、体をそれぞれ小領域とし、２つの領域として分割する。そして、頭領域内のブロックと体領域内のブロックとの距離がほぼ同じであるため、頭と体とを組み合わせて、１つのオブジェクトとして抽出する。また、頭領域内のブロックと体領域内のブロックは、隣の木領域のブロックと距離が異なるため、別のオブジェクトとして抽出する。これにより、図１３に示すように、オブジェクトA、オブジェクトBと、背景Cと、をそれぞれ分離することが可能となる。

次に、オブジェクトエッジ処理部111は、ステップS3でオブジェクト抽出部103が抽出したオブジェクトを基に、図３〜図５に示すようなオブジェクト領域より一回り大きい領域を指定するマスク（処理領域）を作成する（ステップS4）。これにより、オブジェクトエッジ処理部111は、エッジ部分を連続させるための複数の異なるサイズのマスク（処理領域）を作成することになる。

一回り大きい領域は、ステップS3でオブジェクト抽出部103が抽出したオブジェクトの外周からN画素数だけ離れた領域とする（図３〜６参照）。ここで、Nは可変である。但し、オブジェクトの抽出精度が高ければ、オブジェクトに近いマスクのステップを小さくし、オブジェクトから背景まで、画素Nの大きさを段階的に増やしていく。また、オブジェクトの抽出精度が低ければ、オブジェクトから背景までのマスクのステップを均等にするか、もしくは、オブジェクトに近いほうが、N画素のマスクのステップ間隔を大きくする。その結果、オブジェクト抽出の誤差を目立たなくすることが可能となる。

なお、複数の異なるサイズのマスク（処理領域）を作成する際には、オブジェクト間の距離や、オブジェクト間のぼかし具合の差に応じて、作成するマスクの枚数を変化することが好ましい。例えば、オブジェクト間の距離の差が大きければ、マスクの枚数を段階的に増やし、連続的にぼかしていく。このため、オブジェクト間の距離とマスクの枚数とを対応付けてメモリに予め記録し、測定したオブジェクト間の距離に応じたマスクの枚数をメモリから呼び出すようにすることが好ましい。

次に、画像ぼかし処理部104は、ぼけ関数取得部109からぼけ関数のフィルタを取得し、その取得したぼけ関数のフィルタを基に、オブジェクトにぼかし処理を行う（ステップS5）。ぼかし処理を行う際は、複数のボケ関数のフィルタを基に、オブジェクトにぼかし処理を行い、図３〜図５に示すように複数枚のぼかし画像を生成する（ステップS6）。これにより、画像ぼかし処理部104は、複数枚のぼかし画像を生成することになる。

ここで、オブジェクト周囲領域におけるぼかし具合の決定方法について説明する。
画像ぼかし処理部104は、ぼけ関数のフィルタの強さで、ぼかし具合を調整する。オブジェクトに近いほど、ぼけ関数のフィルタを弱くする。そして、距離の離れたオブジェクトに近づいていくほど、ぼけ関数のフィルタを強くしていく。本実施形態では、ぼけ関数取得部109がぼけ関数DB110から取得したぼけ関数のフィルタを基に、ぼかし具合を調整する。なお、オブジェクト間の距離により、マスクの強さを変化するようにすることも可能である。この場合、オブジェクト間の距離が遠くなればなるほど、マスクのぼかしを強くするようにする。

次に、画像合成部105は、ステップS4で生成した複数の異なるサイズのマスク（処理領域）と、ステップS6で生成した複数枚のぼかし画像（背景）と、を基に、オブジェクトと、複数枚のぼかし画像（背景）と、を合成する（ステップS7）。オブジェクトと、複数枚のぼかし画像（背景）と、を合成する際には、複数の異なるサイズのマスク（処理領域）を用いて、複数枚のぼかし画像（背景）から画像を切り出し、画像を合成し、図６に示す画像を生成する。具体的には、図５の領域３を切り出し、図６に示す出力画像に貼り付ける。次に、図４の領域２を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。次に、図３の領域１を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。これにより、不連続な境目がなく、エッジの滲みのないぼかし画像を生成することが可能となる。

次に、画像出力部106は、ステップS7で合成した画像を出力する（ステップS8）。

＜本実施形態の画像処理装置の作用・効果＞
このように、本実施形態の画像処理装置は、オリジナル画像に対し、段階的にローパスフィルタ処理を行い、図３〜図５に示す複数の画像データを作成する。そして、図５の領域３を切り出し、図６に示す出力画像に貼り付ける。次に、図４の領域２を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。次に、図３の領域１を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。これにより、本実施形態の画像処理装置は、不連続な境目がなく、エッジの滲みのないぼかし画像を生成することが可能となる。

＜本実施形態の画像処理装置を搭載した撮像装置＞
次に、図１４を参照しながら、上述した図７に示す画像処理装置を搭載した撮像装置のハードウェア構成について説明する。図１４は、本実施形態の撮像装置のハードウェア構成を示すブロック図である。

本実施形態の撮像装置は、撮影光学系1、メカシャッタ2、CCD（Charge Coupled Device）3、CDS（Correlated Double Sampling）回路4、A/D変換器5、モータドライバ6、タイミング信号発生器7、画像処理回路8、CPU9、RAM（Random Access Memory）10、ROM（Read Only Memory）11、SDRAM（Synchronous DRAM）12、圧縮伸張回路13、メモリカード14、操作部15、LCD16を含んで構成している。

被写体光は、撮影光学系1を通してCCD3に入射される。また、撮影光学系1とCCD3との間には、メカシャッタ2が配置されており、このメカシャッタ2によりCCD3への入射光を遮断することが出来る。撮影光学系1及びメカシャッタ2は、モータドライバ6で駆動する。

CCD3は、撮像面に結像された光学像を電気信号に変換し、アナログの画像データとしてCDS回路4に出力する。CDS回路4は、CCD3から出力された画像情報のノイズ成分を除去し、A/D変換器5に出力する。A/D変換器5は、デジタル値に変換し、画像処理回路8に出力する。

画像処理回路8は、SDRAM12を用いて、YCrCb変換処理、ホワイトバランス処理、コントラスト補正処理、エッジ強調処理、色変換処理等の各種画像処理を行う。

ホワイトバランス処理は、画像情報の色濃さを調整する処理である。コントラスト補正処理は、画像情報のコントラストを調整する処理である。エッジ強調処理は、画像情報のシャープネスを調整する処理である。色変換処理は、画像情報の色合いを調整する処理である。

また、画像処理回路8は、信号処理や画像処理が施された画像情報をLCD16に表示する。また、画像処理回路8は、信号処理、画像処理が施された画像情報を、圧縮伸張回路13を介して、メモリカード14に記録する。

圧縮伸張回路13は、操作部15からの指示により、画像処理回路8から出力される画像情報を圧縮し、メモリカード14に出力すると共に、メモリカード14から読み出した画像情報を伸張し、画像処理回路8に出力する。

CPU9は、タイミング信号を発生するタイミング信号発生器7を介してCCD3、CDS回路4、A/D変換器5のタイミングを制御する。更に、CPU9は、画像処理回路8、圧縮伸張回路13、メモリカード14を制御する。

＜本実施形態の撮像装置の処理動作＞
次に、図１０、図１４を参照しながら、本実施形態の撮像装置の処理動作について説明する。
本実施形態の撮像装置は、被写体の距離情報を測定する。次に、モータドライバ6を動かしながら、撮影光学系1及びメカシャッタ2を制御し、焦点位置を変え、複数枚の縮小画像をSDRAM12に入力する。これにより、異なる撮影距離の複数枚の縮小画像がSDRAM12に入力される（ステップS1）。

次に、本撮影を行い、背景ぼけ処理用の大きいサイズの画像をSDRAM12に入力する（ステップA1）。次に、距離測定プログラムをROM11から呼び出し、図１０に示すステップA2〜A3の処理を行う。具体的には、各画像をブロックに分割し、同じ位置ブロック内のコントラスト値の合計を計算する。最もコントラスト値の高いブロックは、この位置にフォーカスがあっていると判断し、それをフレームの結像位置とする。そして、結像位置を基に被写体距離を計算する。これにより、距離情報を抽出することが可能となる。

次に、領域分割、オブジェクト抽出プログラムをROM11から呼び出し、図１０に示すステップS2〜S3の処理を行う。具体的には、画像のエッジ情報、色情報を使用し、画像を小さい領域に分割する。次に、小領域をまとめ、図１１に示すように、オブジェクトを抽出する。オブジェクトを抽出する場合には、色の特性、エッジの特性を基に、共通の属性がある小領域をまとめる。また、測定した距離情報も領域をまとめる際に利用する。距離の近い小領域は、同じグループにし、オブジェクト候補とする。オブジェクトは、人物、前景、背景など意味のある領域である。それぞれの領域での撮影距離は異なる。これにより、図１３に示すように、画像をブロックに分割することが可能となる。各ブロック内では、距離測定ソフトウェアによりそれぞれの距離が測定されている。また、図１３に示すA,B,Cの距離は、ブロックから取得することになる。

次に、図１０に示すステップB2の処理を行い、オブジェクトA,B,Cのぼけ関数のフィルタを取得する。オブジェクトAが主要被写体と判断された場合は、Aに対してぼかし処理を施さない。オブジェクトB、背景Cの撮影距離、カメラパラメータを基に、ぼけ関数DB110からぼけ関数のフィルタを取得する。ぼけ関数のフィルタは、図９に示すｆであり、カメラパラメータと撮影距離に応じたぼけ関数のフィルタをぼけ関数DB110から取得する。

次に、図１０に示すステップS5〜S6の処理を行い、撮影した元画像Aに対してフィルタｆ#Bでフィルタリング処理を行い、フィルタリング処理を行った画像BをSDRAM12に格納する。次に、元画像Aに対してフィルタｆ_Cでフィルタリング処理を行い、フィルタリング処理を行った画像CもSDRAM12に格納する。

オブジェクトBとオブジェクトCとの距離は異なるため、遠いものに対して強いローパスフィルタをかけ、強くぼかす。これにより、入力したカメラパラメータと同じカメラのぼけを実現することができる。例えば、一眼レフのパラメータを入力すると、その一眼レフカメラと同じ背景ぼけのある画像を作成することが可能となる。

また、図１０に示すステップS4の処理を行い、エッジ処理用のマスクを生成する。

次に、図１０に示すステップS7の処理を行い、元画像AからオブジェクトAの部分を切り出し、画像BからオブジェクトBを切り出し、画像Cから背景部分Cを切り出し、画像を合成する。この場合、オブジェクトと一回り異なるサイズのマスクに合わせ、複数のフィルタリング処理を行い、複数枚のぼかした画像をSDRAM12に格納する。フィルタの強度は、オブジェクトから背景間の距離を段階的に分割し、その距離により、ぼけ関数DB110からぼけ関数のフィルタを取得する。複数のマスクと複数枚ぼかした画像から画像を切り出し、背景ぼかし画像を生成する。

本実施形態の撮像装置は、上述した背景ぼかし機能を含むモジュール構成となっており、CPU（プロセッサ）9がROM11からプログラムを読み出して実行することになる。

（第２の実施形態）
次に、第２の実施形態について説明する。

第１の実施形態の画像処理装置は、オブジェクト間の距離に応じて、ぼけ関数のフィルタを変更し、オブジェクト周囲領域におけるぼかし具合を調整することにした。

第２の実施形態の画像処理装置は、オブジェクト間に複数の領域を設定し、オブジェクト間の距離及び撮像距離の差を基に、ぼけ関数のフィルタを変更し、上記設定した各領域におけるぼかし具合を調整することを特徴とする。これにより、オブジェクト間に複数の領域を設定し、その設定した各領域のぼかし画像を作成することが可能となる。

オブジェクトAとオブジェクトBとの距離が分かれば、ぼけ関数のフィルタ調整を行うことが可能である。また、オブジェクトの撮影距離、オブジェクト間の距離が分かる場合には、オブジェクト間に複数の領域を設定し、オブジェクト間の距離及び撮影距離の差を基に、ぼけ関数のフィルタを変更し、上記設定した各領域におけるぼかし具合を調整することが可能である。この場合、撮影距離及び撮影距離の差を基に、ぼけ関数のフィルタを計算し、その計算したぼけ関数のフィルタを、その撮影距離及び撮影距離の差に対応付けてぼけ関数DB110に保存する。そして、実際に得られた撮影距離及び撮影距離の差を基に、その撮影距離及び撮影距離の差に対応するぼけ関数のフィルタをぼけ関数DB110から取得し、その取得したぼけ関数のフィルタを用いて、各領域におけるぼかし具合を調整し、ぼかし画像を作成する。これにより、オブジェクト間に複数の領域を設定し、その設定した各領域のぼかし画像を作成することが可能となる。

（第３の実施形態）
次に、第３の実施形態について説明する。

第１、第２の実施形態は、図１４に示す撮像装置に搭載された画像処理装置を例として説明した。このため、図１０に示すように、ステップS1の画像入力と、ステップA1の異なるフォーカス画像入力と、を各々別々に行うようにした。

第３の実施形態は、画像ファイルを入力し、図１０に示すステップS1の画像入力と、ステップA1の異なるフォーカス画像入力と、を一緒に行い、画像ファイルから距離情報を抽出することを特徴とする。これにより、上述した撮像装置に搭載された画像処理装置と同様な処理を一般的な画像処理装置でも行うことが可能となる。以下、添付図面を参照しながら、本実施形態の画像処理装置について説明する。

＜本実施形態の画像処理装置のハード構成＞
まず、図１５を参照しながら、本実施形態の画像処理装置のハード構成について説明する。図１５は、本実施形態における画像処理装置のハードウェア構成例を示すブロック図である。

本実施形態の画像処理装置は、CPU24、RAM21、ROM22、I/F23、HDD25、CD-ROMドライバ20、メモリカードドライバ27、を有して構成している。

CPU24は、各部を集中的に制御するものである。ROM22は、BIOSなどを記憶した読出し専用メモリである。RAM21は、各種データを書換え可能に記憶してCPU24の作業エリアとして機能するものである。HDD25は、制御プログラム等を記憶するものである。CD-ROMドライバ20は、CD（Compact Disc）−ROM28を読み取るものである。メモリカードドライバ27は、メモリカード29を読み取るものである。I/F23は、プリンタ部等との通信を司るインタフェースである。

CD-ROM28は、所定の制御プログラムが記憶されている。CPU24は、CD-ROM28に記憶されている制御プログラムをCD-ROMドライブ26で読み取り、HDD25にインストールする。これにより、上述した実施形態と同様な各種の処理を行うことが可能になる。また、メモリカード29には、画像情報などが格納され、メモリカードドライバ27で読み取られる。

記憶媒体としては、CD-ROM28やメモリカード29のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フロッピー（登録商標）ディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることも可能である。

また、インターネットなどのネットワークからプログラムをダウンロードし、HDD25にインストールすることも可能である。この場合は、送信側のサーバでプログラムを記憶している記憶装置も、本実施形態の記憶媒体に相当する。なお、プログラムは、所定のOS（Operating System）上で動作するものも可能である。その場合は、後述の各種処理の一部の実行をOSに肩代わりさせることも可能である。また、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含むことも可能である。

また、本実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせるようにすることも可能である。また、本実施の形態の画像処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布することも可能である。また、本実施形態のプログラムを、ROM等に予め組み込んで提供することも可能である。

＜本実施形態の画像処理装置の処理動作＞
次に、図１６を参照しながら、本実施形態の画像処理装置で行う処理動作について説明する。

本実施形態の画像処理装置で行う処理動作は、図１６に示すように、画像ファイルを入力し（ステップS'1）、その画像ファイルから距離情報を抽出し、その抽出した距離情報をオブジェクト抽出部103、ぼけ関数取得部109に出力する（ステップA'3）。なお、他の処理動作は、図１０とほぼ同様な処理を行うことになる。

このように、本実施形態の画像処理装置は、画像ファイルを入力し、図１０に示すステップS1の画像入力と、ステップA1の異なるフォーカス画像入力と、を一緒に行い（ステップS'1）、画像ファイルから距離情報を抽出する（ステップA'3）。これにより、上述した撮像装置に搭載された画像処理装置と同様な処理を一般的な画像処理装置でも行うことが可能となる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

急激なコントラストの変化が発生した状態を示す図である。 エッジの滲みが発生した状態を示す図である。 ローパスフィルタ処理を行い作成した画像データを示す図であり、図４のローパスフィルタよりも弱いローパスフィルタをかけて作成した画像データを示す図である。 ローパスフィルタ処理を行い作成した画像データを示す図であり、図５のローパスフィルタよりも弱いローパスフィルタをかけて作成した画像データを示す図である。 ローパスフィルタ処理を行い作成した画像データを示す図であり、背景部分に最も強いローパスフィルタをかけて作成した画像データを示す図である。 図３〜図５に示す画像データを基に作成した出力画像データを示す図である。 本実施形態の画像処理装置の構成を示す図である。 図７に示す距離情報取得部109の詳細内部構成例を示す図である。 ぼけ関数DB110のデータ構造例を示す図である。 本実施形態の画像処理装置の処理動作を示す図である。 画像の領域分割を行った状態を示す図である。 図１０に示すステップS2の領域分割の詳細処理動作例を示す図である。 画像をブロックに分割した状態を示す図である。 撮像装置のハードウェア構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 本実施形態の画像処理装置の処理動作を示す図である。

符号の説明

１ 撮影光学系
２ メカシャッタ
３ CCD
４ CDS回路
５ A/D変換器
６ モータドライバ
７ タイミング信号発生器
８ 画像処理回路
９ CPU
１０ RAM
１１ ROM
１２ SDRAM
１３ 圧縮伸張回路
１４ メモリカード
１５ 操作部
１６ LCD
２１ RAM
２２ ROM
２３ I/F
２４ CPU
２５ HDD
２６ CD-ROMドライバ
２７ メモリカードドライバ
２８ CD-ROM
２９ メモリカード
１０１ 画像入力部
１０２ 画像領域分割部
１０３ オブジェクト抽出部
１０４ 画像ぼかし処理部
１０５ 画像合成部
１０６ 画像出力部
１０７ カメラパラメータ入力部
１０８ 距離情報取得部
１０９ ぼけ関数取得部
１１０ ぼけ関数ＤＢ
１１１ オブジェクトエッジ処理部
２０１ 縮小画像入力部
２０２ エッジ情報計算部
２０３ 距離情報計算部
２０４ 距離情報出力部
２０５ レンズ焦点調整部

Claims (8)

1. 取得された画像情報からオブジェクト領域を抽出する抽出手段と、
   抽出された前記オブジェクト領域に基づいて、該オブジェクト領域を包含するサイズの異なる複数の処理領域を作成する領域作成手段と、
   前記オブジェクト領域の撮影距離に応じて、前記複数の処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記領域作成手段は、前記オブジェクト領域の撮影距離に応じた数の前記処理領域を作成する、ことを特徴とする請求項１記載の画像処理装置。
3. 前記オブジェクト領域の抽出精度に応じて前記処理領域を異ならせて前記複数の処理領域を作成する、ことを特徴とする請求項１または請求項２記載の画像処理装置。
4. 前記生成手段は、
   前記オブジェクト領域の撮影距離に応じて、前記複数の処理領域に異なるぼかし処理を施した複数のぼかし画像を生成する画像ぼかし処理手段と、
   前記複数のぼかし画像から前記処理領域の画像を切り出し、該切り出した複数の処理領域の画像と、前記オブジェクト領域の画像と、を合成し、取得された前記画像情報のぼかし画像を生成する画像合成手段と、を有する、ことを特徴とする請求項１から請求項３の何れか１項に記載の画像処理装置。
5. 被写体との撮影距離を測定し、前記オブジェクト領域の撮影距離を取得する距離情報取得手段を有する、ことを特徴とする請求項１から請求項４の何れか１項に記載の画像処理装置。
6. 請求項１から請求項５の何れか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
7. 取得された画像情報からオブジェクト領域を抽出する抽出ステップと、
   抽出された前記オブジェクト領域に基づいて、該オブジェクト領域を包含するサイズの異なる複数の処理領域を作成する領域作成ステップと、
   前記オブジェクト領域の撮影距離に応じて、前記複数の処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成ステップと、
   を備えることを特徴とする画像処理方法。
8. 請求項７記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images