JP5871590B2 - 撮像装置、及びその制御方法 - Google Patents

Description

本発明は、撮像された画像データの被写体を含む領域と背景を含む領域とを判別する技術に関するものである。

近年、数多くのデジタルカメラやデジタルビデオカメラ等の撮像装置には、被写体以外の領域に対して画像処理を行う機能が搭載されている。例えば、その機能の一つとして、撮影された画像データの背景領域に対して、疑似的にぼかし効果を与える機能等がある。一般に、一眼レフカメラのように撮像素子が大きい撮像装置であれば、絞りを開いて焦点距離を長くすることで被写界深度が浅くなり、上記のような合焦している被写体以外の背景をぼかした画像データを撮影することが比較的容易である。一方、コンパクトデジタルカメラ等の撮像素子が小さい撮像装置では、上記の方法を用いたとしても、被写界深度が深くなる傾向にあるため、背景をぼかした画像データを撮影することが困難である。

これに鑑みて、撮影された画像データの被写体領域と背景領域とを判別し、背景領域に対してフィルタリング処理を施すことにより、コンパクトデジタルカメラ等の撮像素子の小さい撮像装置でも、背景がぼけた画像データを取得できることが知られている。特許文献１には、被写体領域と背景領域との領域を判別するため、撮影された画像データから空間周波数成分を取得することが開示されている。即ち、特許文献１に開示される技術では、被写体が被写界深度の後端に位置するようにフォーカスレンズの位置を調整し、撮影された画像データにおける背景側のぼけ量を大きくする。そして、複数に分割されたブロック毎の空間周波数成分量を算出し、この値が閾値以上のブロックを被写体領域として判別している。

特開２００７−１２４３９８号公報

しかしながら、特許文献１に開示された技術では、１枚の画像データの空間周波数成分量から領域の判別を行うため、背景領域側のぼけ量が乏しい場合に十分な精度が得られない問題がある。特に、近年普及しているコンパクトデジタルカメラのような撮像素子が小さい撮像装置では、上記処理を行っても十分なぼけ量が得られない傾向があるため、１枚の画像データの空間周波数成分量から領域の判別を行うことは困難である。

そこで、本発明の目的は、被写体と背景との深度差が不十分な画像データであっても、被写体を含む領域と背景を含む領域とを正確に判別することにある。

本発明の撮像装置は、撮像手段と、被写体が被写界深度内に収まる範囲で前記被写体に合焦する焦点位置より近距離側の焦点位置で前記撮像手段により撮影された第１の画像データと、背景が被写界深度内に収まる範囲で前記背景に合焦する焦点位置より遠距離側の焦点位置で前記撮像手段により撮影された第２の画像データとに基づいて、前記被写体を含む第１の領域と背景を含む第２の領域とを判別する判別手段とを有することを特徴とする。

本発明によれば、被写体と背景との深度差が不十分な画像データであっても、被写体を含む領域と背景を含む領域とを正確に判別することが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 本発明の実施形態に係る撮像装置の撮影処理を示すフローチャートである。 領域判別回路の構成を示す図である。 領域判別回路による画像データの被写体領域と背景領域との判別処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る撮像装置１００の構成を示す図である。図１において、撮像素子１０２はＣＣＤやＣＭＯＳ等から構成され、その表面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能である。撮像レンズ（フォーカスレンズ）１０１を介して入射した被写体像が撮像素子１０２上で結像されると、画像データ（画像信号）が生成され、メモリ１０３に記憶される。

制御部１１７は、画像データ全体が適正露出になるようなシャッタ速度及び絞り値を計算するとともに、合焦領域内にある被写体に合焦するように撮像レンズ１０１の駆動量を計算する。そして、制御部１１７により計算された露出値（シャッタ速度、絞り値）及び撮像レンズ１０１の駆動量を示す情報が撮像制御回路１１６に出力され、各値に基づいて露出が制御される。

色変換マトリックス回路１０４は、撮影された画像データが最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するための回路である。ＣＳＵＰ（Chroma Supress）回路１０６は、ＬＰＦ回路１０５で帯域制限された画像データのうち、飽和部分の偽色信号を抑圧するための回路である。一方、撮影された画像データは、輝度信号生成回路１０７にも出力される。輝度信号生成回路１０７は、入力された画像データから輝度信号Ｙを生成する。エッジ強調回路１０８は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換回路１０９は、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１０８から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ補正回路１１０は、変換されたＲＧＢ信号に対して階調補正を施す。その後、色輝度変換回路１１１は、階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。

領域判別回路１１２は、ＹＵＶ信号に変換された画像データに対して被写体領域と背景領域との判別を行う。領域判別回路１１２の詳細な構成については後述する。画像処理部１１３は、背景領域に対してぼかし処理等の画像処理を施す。ＪＰＥＧ圧縮回路１１４は、画像処理部１１３によって画像処理が施された画像データに対してＪＰＥＧ方式等により圧縮して、圧縮後の画像データを外部又は内部の記録媒体１１５に記憶させる。

図２は、本実施形態に係る撮像装置１００の撮影処理を示すフローチャートである。以下、図２を参照しながら、本実施形態に係る撮像装置１００の撮影処理について説明する。

撮影者が被写体に合焦させてシャッタスイッチが押下されると、ステップＳ２０１において、制御部１１７は、現在の被写体までの距離を取得する。ステップＳ２０２において、制御部１１７は背景に合焦するように撮像レンズ１０１を駆動させる。このとき、撮影者が撮像装置１００を操作することによって任意に背景の合焦点を決定してもよいし、撮像装置１００が自動的に画角内の複数箇所に合焦し、背景の合焦点を決定してもよい。

ステップＳ２０３において、制御部１１７は、現在の背景までの距離を取得する。ステップＳ２０４において、制御部１１７は、背景が被写界深度の前端に位置するように撮像レンズ１０１を駆動させる。即ち、撮像レンズ１０１は、背景が被写界深度内に収まる範囲で、背景の合焦位置よりも遠距離側の位置（第３の焦点位置）に移動される。ステップＳ２０５において、制御部１１７は撮影動作を行う。この撮影動作により生成された画像データはメモリ１０３に保存される。また、この撮影動作により得られる画像データは、被写界深度の範囲内である背景にはピントが合っているが、手前に位置している被写体は背景よりもぼけており、そのぼけ量も背景に合焦したときよりも大きいものとなっている。

ステップＳ２０６において、制御部１１７は、先に取得された背景までの距離と被写体までの距離とに基づいて（撮影条件に基づいて）、被写体に合焦した場合、同一被写界深度内に背景が存在するか否かを判定する。同一被写界深度内に背景が存在しない場合、処理はステップＳ２０７に移行する。一方、同一被写界深度内に背景が存在する場合、処理はステップＳ２０９に移行する。

先ず、ステップＳ２０７に移行した場合の処理について説明する。ステップＳ２０７において、制御部１１７は、撮像レンズ１０１を駆動させて被写体に合焦させる。ステップＳ２０８において、撮像装置１００は撮影動作を行い、撮影動作により生成された画像データをメモリ１０３に保存する。

次に、ステップＳ２０９に移行した場合の処理について説明する。ステップＳ２０９において、制御部１１７は、被写界深度の後端に被写体が位置するように撮像レンズ１０１を駆動させる。即ち、撮像レンズ１０１は、被写体が被写界深度内に収まる範囲で、被写体の合焦位置（第１の焦点位置）よりも近距離側の位置（第２の焦点位置）に移動される。ステップＳ２１０において、撮像装置１００は撮影動作を行い、撮影動作により生成された画像データをメモリ１０３に保存する。

ここで、領域判別回路１１２の具体的な構成について説明する。図３は、領域判別回路１１２の構成を示す図である。図３に示すように、領域判別回路１１２は、エッジ検出部３０１、エッジ減算部３０２、エッジ積分値算出部３０３、エッジ積分値評価部３０４及び領域マップ生成部３０５を備える。

図４は、領域判別回路１１２による画像データの被写体領域と背景領域との判別処理を示すフローチャートである。以下、図４を参照しながら、領域判別回路１１２の処理について説明する。

ステップＳ４０１において、エッジ検出部３０１は、図２に示す処理により取得された、被写体側に合焦した画像データと背景側に合焦した画像データとに対してバンドパスフィルタリング処理を施して絶対値をとり、それぞれの画像データのエッジを取得する。なお、ここでいう被写体側に合焦した画像データとは、ステップ２０８又はＳ２１０において取得された画像データである。また、背景側に合焦した画像データとは、ステップＳ２０５において取得された画像データである。なお、被写体側に合焦した画像データは第１の画像データの例であり、背景側に合焦した画像データは第２の画像データの例である。

ステップＳ４０２において、エッジ減算部３０２は、被写体側に合焦した画像データのエッジから背景側に合焦した画像データのエッジを画素毎に減算し、エッジの差分をとった画像データ（以下、エッジ差分画像データと称す）を生成する。ステップＳ４０３において、エッジ積分値算出部３０３は、ステップＳ４０２で生成されたエッジ差分画像データを複数の領域に分割し、各領域のエッジ量を積分する。

ステップＳ４０４において、エッジ積分値評価部３０４は、ステップＳ４０３で算出された各領域のエッジ量の積分値と所定の閾値とを比較する。エッジ量の積分値が所定の閾値以上である場合、エッジ積分値評価部３０４は、当該領域を被写体領域と判定する。一方、エッジ積分値評価部３０４は、エッジ量の積分値が所定の閾値未満である場合、当該領域を背景領域と判定する。なお、上記所定の閾値は予め決められた固定値でもよいし、画像データのエッジのヒストグラム分布から適応的に求めてもよい。

ステップＳ４０５において、領域マップ生成部３０５は、ステップＳ４０４における判定結果に基づいて、被写体領域と背景領域とを判別することができる領域マップを生成する。上記領域マップにおいては、例えば合成比率が画像データ自体の画素値で表されている。なお、領域マップに対して、境界の段差を目立たなくさせるために被写体領域と背景領域との境界にローパスフィルタをかけてもよい。なお、上記被写体領域は第１の領域の例であり、上記背景領域は第２の領域の例である。

次に、本実施形態における背景領域のぼかし処理について説明する。画像処理部１１３は、撮影された画像データに特殊フィルタ処理を施してぼけ画像データＩＭＧ２を生成する。ここで特殊フィルタ処理を施す対象となる画像データは、ステップＳ２０５、Ｓ２０８及びＳ２１０の何れかで撮影された画像データである。上記特殊フィルタ処理では、指定されたフィルタ形状に基づき、撮影された画像データに対してフィルタリング処理が行われる。このフィルタリング処理では、所定の輝度値を持った画素に任意で設定したゲイン値Ｋを乗算し、飽和画素の輝度値の補間が行われる。

次に画像処理部１１３は、上記領域マップに基づいて、ステップＳ２０８又はＳ２１０で取得された被写体側に合焦した画像データＩＭＧ１とぼけ画像データＩＭＧ２とを合成する。ここで、画像データの合成処理の一例について説明する。画像処理部１１３は、上記領域マップの画素値から求められるα（０≦α≦１）に基づいて、被写体側に合焦した画像データＩＭＧ１とぼけ画像データＩＭＧ２とを合成し、合成画像データＢを生成する。即ち、画像処理部１１３は、合成画像データＢの各画素Ｂ［ｉ，ｊ］を次の式を用いて算出する。

上記の処理によって得られた合成画像データＢは、背景ぼかし画像データとして取得される。また、本実施形態における背景ぼかし画像データの生成処理は、上記実施形態に限定されるものではない。例えば、領域マップに基づき、被写体側に合焦した画像データの背景領域にのみ特殊フィルタ処理を施して、背景ぼかし画像データを取得するようにしてもよい。なお、撮影された画像データを縮小し、縮小した画像データを拡大して元の大きさに戻すことでぼけ画像データＩＭＧ２を生成にしてもよい。また、撮影された画像データに対してローパスフィルタをかけることでぼけ画像データＩＭＧ２を生成してもよい。ここでいう「撮影された画像データ」も、ステップＳ２０５、Ｓ２０８及びＳ２１０の何れかで撮影された画像データである。

以上の処理により、切り分けられた背景領域に特殊な画像処理を施すことが可能となる。また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本実施形態における領域判別処理は、被写体側に合焦している画像データと背景側に合焦している画像データとを用いて行っているが、これに限定されるものではない。例えば、主要被写体よりも近距離側に存在する被写体に対して更に別の処理を施す場合、被写体よりも近距離側に合焦位置を移動して撮影された画像データを含む、３枚以上の画像データを用いるようにしてもよい。この場合、主要被写体を背景とみなした本実施形態における領域判別処理を行うことにより、画像データを深度に応じて複数の領域に分割することが可能となる。

本実施形態によれば、被写体の合焦位置又は被写体の合焦位置より近距離側の位置にずらして撮影された画像データと、背景の合焦位置より遠距離側の位置にずらして撮影された画像データとのそれぞれのエッジを取得し、その差分値に基づいて領域判別を行う。これにより、被写体と背景との深度差が不十分な画像データにおいても、精度が高い被写体と背景との領域判別を行うことが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置、１０１：撮像レンズ、１０２：撮像素子、１０３：メモリ、１０４：色変換マトリックス回路、１０５：ローパスフィルタ回路、１０６：ＣＳＵＰ回路、１０７：輝度信号生成回路、１０８：エッジ強調回路、１０９：ＲＧＢ変換回路、１１０：γ補正回路、１１１：色輝度変換回路、１１２：領域判別回路、１１３：画像処理部、１１４：ＪＰＥＧ圧縮回路、１１５：記録媒体、１１６：撮像制御回路、１１７：制御部、３０１：エッジ検出部、３０２：エッジ減算部、３０３：エッジ積分値算出部、３０４：エッジ積分値評価部、３０５：領域マップ生成部

Claims (8)

1. 撮像手段と、
   被写体が被写界深度内に収まる範囲で前記被写体に合焦する焦点位置より近距離側の焦点位置で前記撮像手段により撮影された第１の画像データと、背景が被写界深度内に収まる範囲で前記背景に合焦する焦点位置より遠距離側の焦点位置で前記撮像手段により撮影された第２の画像データとに基づいて、前記被写体を含む第１の領域と背景を含む第２の領域とを判別する判別手段とを有することを特徴とする撮像装置。
2. 前記判別手段は、前記第１の画像データと第２の画像データの領域毎のエッジ量の差分に基づいて、前記第１の領域と第２の領域とを判別することを特徴とする請求項１に記載の撮像装置。
3. 前記判別手段は、前記エッジ量の差分が所定閾値未満である場合は第２の領域と判別することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の画像データ又は前記第２の画像データに対して所定のフィルタ処理を施す処理手段と、
   前記判別手段の判別結果に基づいて、前記処理手段により前記所定のフィルタ処理が施された前記第１の画像データ又は前記第２の画像データと、前記撮像手段により撮像された前記第１の画像データとを合成する合成手段とを更に有することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記判別手段の判別結果に基づいて、前記第１の画像データに対して所定のフィルタ処理を施す処理手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
6. 前記第１の画像データ又は前記第２の画像データを縮小し、縮小した画像データを拡大して元の大きさに戻す処理手段と、
   前記判別手段の判別結果に基づいて、前記処理手段によって処理された前記第１の画像データ又は前記第２の画像データと、前記撮像手段により撮像された前記第１の画像データとを合成する合成手段とを更に有することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
7. 前記第１の画像データ又は前記第２の画像データに対してローパスフィルタをかける処理手段と、
   前記判別手段の判別結果に基づいて、前記処理手段によって処理された前記第１の画像データ又は前記第２の画像データと、前記撮像手段により撮像された前記第１の画像データとを合成する合成手段とを更に有することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
8. 被写体が被写界深度内に収まる範囲で前記被写体に合焦する焦点位置より近距離側の焦点位置で第１の画像データを取得する第１の撮像ステップと、
   背景が被写界深度内に収まる範囲で前記背景に合焦する焦点位置より遠距離側の焦点位置で第２の画像データを取得する第２の撮像ステップと、
   前記第１の画像データと前記第２の画像データとに基づいて、前記被写体を含む第１の領域と背景を含む第２の領域とを判別する判別ステップとを含むことを特徴とする撮像装置の制御方法。

Images