JP6029464B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、複数枚の画像から背景がぼかされたぼかし画像を生成する撮像装置、その制御方法、および制御プログラムに関する。

一般に、デジタルカメラなどの撮像装置において、背景にぼかし効果を与える背景ぼかし処理機能を備えるものがある。そして、背景ぼかし処理を行う際には、主被写体の領域を検出する必要がある。

例えば、被写界距離分布測定によって求められた領域毎に、ピント位置毎のＡＦ評価値に基づいて、主被写体に属する領域と背景被写体に属する領域とに分離して背景ぼかしを行うようにしたものがある（特許文献１参照）。

さらに、撮像素子から出力される画像から主被写体の領域を判別する際、撮影モードに応じて主被写体領域の判別手法を変更するようにしたものがある（特許文献２参照）。

特開２００８−２４５０５４号公報 特開第２００１−２６４６２４号公報

ところが、特許文献１に記載の手法では、被写界距離分布に応じて主被写体領域を分離している関係上、つまり、直接的に主被写体領域を検出していないので、精度よく主被写体領域を検出することができず、この結果、ユーザーが期待する背景ぼけ効果が得られないことがある。

また、特許文献２に記載の手法では、撮影モードに応じて主被写体領域の判別手法を変更しており、例えば、合焦時間を短縮するモードでは主被写体の判別が禁止される結果、当該モードでは主被写体の検出を行うことができない。

従って、本発明の目的は、常に良好に背景ぼかし効果を得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、合焦位置を変化させて複数の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼけ処理済み画像を生成する撮像装置であって、前記撮像手段を制御して少なくとも背景に合焦した背景画像と被写体に合焦した被写体画像とを撮影する制御手段と、前記背景画像および前記被写体画像を比較して前記被写体画像において被写体領域と背景領域とを判別して被写体領域判別結果を得る被写体領域判別手段と、前記背景画像において前記被写体を示す特徴点を検出して特徴点検出結果を得る特徴点検出手段と、前記被写体領域判別結果および前記特徴点検出結果に応じて前記被写体を判別して被写体判別結果を得る被写体検出手段と、前記被写体判別結果に応じて前記背景画像又は前記被写体画像についてその背景に所定のぼかし処理を施して背景ぼかし画像を生成するぼかし画像生成手段と、前記背景ぼかし画像と前記被写体画像とを合成処理して背景ぼけ処理済み画像を生成する画像合成手段と、を有することを特徴とする。

本発明による制御方法は、合焦位置を変化させて複数の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼけ処理済み画像を生成する撮像装置の制御方法であって、前記撮像手段を制御して少なくとも背景に合焦した背景画像と被写体に合焦した被写体画像とを撮影する制御ステップと、前記背景画像および前記被写体画像を比較して前記被写体画像において被写体領域と背景領域とを判別して被写体領域判別結果を得る被写体領域判別ステップと、前記背景画像において前記被写体を示す特徴点を検出して特徴点検出結果を得る特徴点検出ステップと、前記被写体領域判別結果および前記特徴点検出結果に応じて前記被写体を判別して被写体判別結果を得る被写体検出ステップと、前記被写体判別結果に応じて前記背景画像又は前記被写体画像についてその背景に所定のぼかし処理を施して背景ぼかし画像を生成するぼかし画像生成ステップと、前記背景ぼかし画像と前記被写体画像とを合成処理して背景ぼけ処理済み画像を生成する画像合成ステップと、を有することを特徴とする。

本発明による制御プログラムは、合焦位置を変化させて複数の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼけ処理済み画像を生成する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮像手段を制御して少なくとも背景に合焦した背景画像と被写体に合焦した被写体画像とを撮影する制御ステップと、前記背景画像および前記被写体画像を比較して前記被写体画像において被写体領域と背景領域とを判別して被写体領域判別結果を得る被写体領域判別ステップと、前記背景画像において前記被写体を示す特徴点を検出して特徴点検出結果を得る特徴点検出ステップと、前記被写体領域判別結果および前記特徴点検出結果に応じて前記被写体を判別して被写体判別結果を得る被写体検出ステップと、前記被写体判別結果に応じて前記背景画像又は前記被写体画像についてその背景に所定のぼかし処理を施して背景ぼかし画像を生成するぼかし画像生成ステップと、前記背景ぼかし画像と前記被写体画像とを合成処理して背景ぼけ処理済み画像を生成する画像合成ステップと、を実行させることを特徴とする。

本発明によれば、被写体を精度よく検出して常に良好な背景ぼかし効果を得ることができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラで行われる背景ぼかし処理を説明するためのフローチャートである。 図１に示す背景ぼかし画像生成部の構成の一例を示すブロック図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示す出ロック図である。

図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、このカメラ１００は撮像部１０１を有している。図示はしないが、撮像部１０１は、撮像レンズ、フォーカスレンズ、絞り、シャッター、および撮像素子などを有しており、撮像素子として、例えば、ＣＣＤ又はＣＭＯＳイメージセンサが用いられる。

撮像素子の表面はＲＧＢカラーフィルタにより覆われ、これによって、カラー撮影が可能となる。撮像素子に光学像が結像すると、撮像素子は光学像に応じた電気信号（アナログ信号）を生成して、このアナログ信号をＡ／Ｄ変換によってデジタル信号（画像データ）とする。そして、この画像データは一旦メモリ１０２に書き込まれる。

制御部１１５は撮像装置１００全体の制御を司る。例えば、制御部１１５は画像データに応じて露出が適正となるシャッター速度および絞り値を計算する。さらに、制御部１１５は画像データに応じてフォーカス評価値を求める。そして、制御部１１５は当該フォーカス評価値に基づいて画像上のフォーカス領域（合焦領域）に位置する被写体に合焦するようにフォーカスレンズの駆動量を計算する。撮像制御部１１４は制御部１１５の制御下で、シャッター速度、絞り値、およびフォーカスレンズの駆動量に応じてそれぞれシャッター、絞り、およびフォーカスレンズを制御する。

メモリ１０２に記録された画像データは色変換マトリックス（ＭＴＸ）回路１０３および輝度信号生成回路１０６に与えられる。色変換ＭＴＸ回路１０３は画像データを最適な色で再現するため、画像データに色ゲインを乗算して色差信号Ｒ−ＹおよびＢ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０４は、色差信号Ｒ−ＹおよびＢ−Ｙを受けて、その帯域を制限する（つまり、高周波成分をカットする）。

ＬＰＦ回路１０４の出力（以下帯域制限画像信号と呼ぶ）はＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路１０５に与えられる。ＣＳＵＰ回路１０５は帯域制限画像信号のうち飽和部分の偽色信号を抑圧して、抑圧画像信号をＲＧＢ変換回路１０８に与える。

一方、輝度信号生成回路１０６は画像データに応じてその輝度を示す輝度信号Ｙを生成して、当該輝度信号Ｙをエッジ強調回路１０７に与える。エッジ強調回路１０７は輝度信号Ｙに対してエッジ強調処理を施して、エッジ強調輝度信号とする。そして、このエッジ強調輝度信号はＲＧＢ変換回路１０８に与えられる。

ＲＧＢ変換回路１０８は、抑圧画像信号（つまり、偽色信号が抑圧された色差信号Ｒ−Ｙ、Ｂ−Ｙ）とエッジ強調信号とをＲＧＢ信号に変換する。ガンマ（γ）補正回路１０９は、ＲＧＢ変換回路から出力されるＲＧＢ信号に対して階調補正を施して、階調補正ＲＧＢ信号を出力する。そして、色輝度変換回路１１０は、階調補正ＲＧＢ信号をＹＵＶ信号に変換する。

背景ぼかし画像生成部１１１は、ＹＵＶ信号を受けて、後述する背景ぼけ効果を与える背景ぼけ処理を施し、背景ぼけ処理済みＹＵＶ信号を出力する。画像圧縮回路１１２は、背景ぼけ処理済みＹＵＶ信号をＪＰＥＧ方式などによって圧縮処理して処理済み画像データとする。そして、この圧縮処理済み画像データは画像記録部１１３に記録される。

なお、画像記録部１１３はカメラ１００の外部に備えるようにしてもよい。また、制御部１１５は、撮像装置１００の各構成ブロックのいずれかの出力を受けて、他の構成ブロックに出力することができる。

図２は、図１に示すカメラ１００で行われる背景ぼかし処理を説明するためのフローチャートである。

背景ぼかし処理が開始されると、制御部１１５は撮影制御部１１４を制御して、合焦位置を変化させて複数の画像を撮影する。例えば、制御部１１５はフォーカスレンズを光軸に沿って駆動し被写体に焦点を合わせて撮影を行い、第１の画像データ（以下被写体合焦画像と呼ぶ）を得る（ステップＳ２０１）。続いて、制御部１１５は撮影制御部１１４を制御してフォーカスレンズを駆動して（ここでは、フォーカスレンズを光軸に沿って所定量ずらす）、背景に焦点を合わせて撮影を行って、第２の画像データ（以下背景合焦画像と呼ぶ）を得る（ステップＳ２０２）。そして、これら被写体合焦画像および背景合焦画像はメモリ１０２に記録される。

前述のようにして、メモリ１０２に記録された被写体合焦画像および背景合焦画像は、色変換ＭＴＸ回路１０３、ＬＰＦ回路１０４、およびＣＳＵＰ回路１０５で処理されて、それぞれ被写体抑圧画像信号および背景抑圧画像信号とされる。

一方、輝度信号生成回路１０６は、制御部１１５の制御下でメモリ１０２から被写体合焦画像および背景合焦画像を読み込んでそれぞれその輝度を示す被写体輝度信号および背景輝度信号を生成する。そして、輝度信号生成回路１０６は被写体輝度信号および背景輝度信号をエッジ強調回路１０７に与える。エッジ強調回路１０７は被写体輝度信号および背景輝度信号の各々に対してエッジ強調処理を施して、それぞれ被写体エッジ強調輝度信号および背景エッジ強調輝度信号とする。

上記の被写体抑圧画像信号、背景抑圧画像信号、被写体エッジ強調輝度信号、および背景エッジ強調輝度信号はＲＧＢ変換回路１０８に与えられる。そして、ＲＧＢ変換回路１０８、γ補正回路１０９、および色輝度変換回路１１０による処理によって被写体ＹＵＶ信号および背景ＹＵＶ信号が背景ぼかし画像生成部１１１に与えられる。以下の説明では、被写体ＹＵＶ信号および背景ＹＵＶ信号をそれぞれ被写体画像および背景画像と呼ぶ。

図３は、図１に示す背景ぼかし画像生成部１１１の構成の一例を示すブロック図である。

背景ぼかし画像生成部１１１は、エッジ検出部３０１、エッジ減算部３０２、エッジ積分値算出部３０３、エッジ積分値評価部３０４、特徴点検出部３０５、主被写体検出部３０６、領域マップ生成部３０７、ぼかし処理部３０８、および画像合成部３０９を備えている。

ここで、図１〜図３を参照して、被写体画像および背景画像を受けると、まずエッジ検出部３０１は被写体画像および背景画像の各々についてそのエッジを検出して抽出する（ステップＳ２０３）。エッジ検出処理の際には、例えば、被写体画像および背景画像の各々についてバンドパスフィルタ処理を行ってそのエッジを抽出し、それぞれ被写体エッジ画像および背景エッジ画像とする。

続いて、エッジ減算部３０２は被写体エッジ画像から背景エッジ画像を画素毎に減算して、その差分を示すエッジ差分画像を生成する（ステップＳ２０４）。そして、エッジ積分値算出部３０３はエッジ差分画像を、予め定められた複数の領域に分割して、領域毎にエッジ量を積分してエッジ積分値を求める（ステップＳ２０５）。

次に、エッジ積分値評価部３０４は領域毎のエッジ積分値と所定の閾値とを比較して、領域毎に当該領域が被写体領域であるか又は背景領域であるかを判定して被写体領域判別結果を得る（ステップＳ２０６）。ここでは、エッジ積分値＞閾値であると、エッジ積分値評価部３０４は当該エッジ積分値に対応する領域を被写体領域であるとする。一方、エッジ積分値≦閾値であると、エッジ積分値評価部３０４は当該エッジ積分値に対応する領域を背景領域であるとする。

なお、上記の閾値として、固定値を用いてもよいし、又はエッジのヒストグラム分布から適応的に閾値を求めるようにしてもよい。また、被写体エッジ画像と背景エッジ画像を比較して画素毎又は領域毎に、背景と主被写体との位置関係を示す距離マップを生成するようにしてもよい。

一方、制御部１１５は、輝度信号生成回路１０６で生成された背景輝度信号（背景輝度画像（つまり、背景画像））を背景ぼかし画像生成部１１１に与える（ステップＳ２０７）。背景輝度画像を受けると、エッジ検出部３０１は背景輝度画像のエッジを検出して背景輝度エッジ画像（つまり、背景エッジ画像）を生成する（ステップＳ２０８）。

さらに、制御部１１５はＣＳＵＰ回路１０５で生成された背景抑圧画像信号（背景抑圧画像）を背景ぼかし画像生成部１１１に与える（ステップＳ２０９）。背景抑圧画像を受けると、特徴点検出部３０５は背景輝度画像、背景輝度エッジ画像、および背景抑圧画像に応じて主被写体の特徴点の検出を行って特徴点検出結果を得る。そして、特徴点検出部３０５はその特徴点検出結果に応じて被写体領域の判定を行う（ステップＳ２１０）。

例えば、特徴点検出部３０５はまず背景輝度エッジ画像をエッジ量に応じて領域の分割を行って領域分割結果を得る。そして、特徴点検出部３０５は輝度画像および背景抑圧画像に応じて得られたヒストグラム（つまり、輝度分布および色分布）を参照して、輝度および色毎にそれぞれ輝度画像および背景抑圧画像を複数の輝度ブロックおよび色ブロックに分割する。色ブロックについては、特徴点検出部３０５はさらにラベリング処理を行って色ブロックを統合する。そして、領域分割結果および、輝度ブロック、および統合後の色ブロックを評価して、特徴点検出部は特徴点領域である被写体領域を検出する。

続いて、主被写体検出部３０６はステップ２０６で得られた被写体領域および背景領域とステップＳ２１０で得られた特徴点領域とに応じて主被写体を検出して被写体判別結果を得る（ステップＳ２１１）。ここでは、被写体領域において最も評価値の高い領域を主被写体とする（つまり、被写体領域と特徴点領域とが重なり合う部分を主被写体とする）。

なお、ステップ２０６で被写体領域又は背景領域のいずれの領域であるか判別できない領域については、ステップ２１０で抽出した特徴点領域を用いて判定が行われる。

次に、領域マップ生成部３０７は、主被写体検出部３０６で検出された主被写体を示す被写体判別結果に基づいて、主被写体領域と背景領域とが判別可能な切り出しマップを生成する。ここでは、切り出しマップはその合成比率が画像の画素値で示される。なお、主被写体領域と背景領域との境界における段差を目立たなくするため、当該境界に対してローパスフィルタ処理を行うようにしてもよい。

続いて、ぼかし処理部３０８は、被写体画像又は背景画像に対して切り出しマップに基づいて背景のぼかし処理を行って、背景ぼかし画像を生成する（ステップＳ２１２）。なお、ぼかし処理の際には、予め指定されたフィルタ形状に基づいて、被写体画像に対してフィルタリング処理が行われる。そして、画像処理部３０９は切り出しマップに基づいて背景ぼかし画像と被写体画像における被写体領域とを画像合成して、背景ぼけ処理済みＹＵＶ信号（背景ぼけ処理済み画像）を出力して（ステップＳ２１３）、背景ぼかし処理を終了する。

画像合成処理の際には、例えば、画像合成部３０９は切り出しマップの画素値から求まる数値α（０≦α≦１）に基づいて、被写体画像（ＩＭＧ１とする）と背景ぼかし画像（ＩＭＧ２とする）との画像合成処理を行って、背景ぼけ処理済み画像（Ｂとする）を生成する。

この際、画像合成部３０９は、背景ぼけ処理済み画像（合成後画像）の各画素を次の式（１）を用いて算出する。

Ｂ［ｘ，ｙ］＝ＩＭＧ１［ｘ，ｙ］×α＋ＩＭＧ２［ｘ，ｙ］×（１−α） （１）
なお、フォーカスレンズの移動によって焦点距離が変動するので、画像の合成を行う際には焦点距離の変動分に応じて像倍率の補正を行うようにしてもよい。いま、被写体に合焦した時の焦点距離ｆ、背景に合焦した時の焦点距離ｆ´とすると、像倍率変動率Ｍは、次の式（２）で与えられる。

Ｍ＝ｆ´／ｆ （２）
上述の実施の形態では、主被写体を判別する際、被写体画像および背景画像の２枚から主被写体を判別するようにしたが、被写体よりも前側に焦点をずらした画像を含めて３枚の撮影から主被写体を判別してぼけ処理済み画像を生成するようにしてもよい。

上述のように、本発明の実施の形態では、主被写体領域を精度よく検出して、常に良好に背景ぼかし効果を得ることができる。

上述の説明から明らかなように、図１に示す例においては、撮像制御部１１４および制御部１１５が制御手段として機能し、メモリ１０２、色変換ＭＴＸ回路１０３、ＬＰＦ回路１０４、ＣＳＵＰ回路１０５、輝度信号生成回路１０６、エッジ強調回路１０７、ＲＧＢ変換回路１０８、γ補正回路１０９、色輝度変換回路１１０、背景ぼかし画像生成部１１１、および制御部１１５が集合的に被写体領域判別手段、特徴点検出手段、被写体検出手段、ぼかし画像生成手段、および画像合成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも制御ステップ、被写体領域判別ステップ、特徴点検出ステップ、被写体検出ステップ、ぼかし画像生成ステップ、および画像合成ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 撮像部
１０３ 色変換マトリックス回路
１０６ 輝度信号生成回路
１０７ エッジ強調回路
１０８ ＲＧＢ変換回路
１０９ γ補正回路
１１０ 色輝度変換回路
１１１ 背景ぼかし画像生成部
１１４ 撮像制御部
１１５ 制御部

Claims (6)

1. 合焦位置を変化させて複数の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼけ処理済み画像を生成する撮像装置であって、
   前記撮像手段を制御して少なくとも背景に合焦した背景画像と被写体に合焦した被写体画像とを撮影する制御手段と、
   前記背景画像および前記被写体画像を比較して前記被写体画像において被写体領域と背景領域とを判別して被写体領域判別結果を得る被写体領域判別手段と、
   前記背景画像において前記被写体を示す特徴点を検出して特徴点検出結果を得る特徴点検出手段と、
   前記被写体領域判別結果および前記特徴点検出結果に応じて前記被写体を判別して被写体判別結果を得る被写体検出手段と、
   前記被写体判別結果に応じて前記背景画像又は前記被写体画像についてその背景に所定のぼかし処理を施して背景ぼかし画像を生成するぼかし画像生成手段と、
   前記背景ぼかし画像と前記被写体画像とを合成処理して背景ぼけ処理済み画像を生成する画像合成手段と、
   を有することを特徴とする撮像装置。
2. 前記被写体領域判別手段は、前記被写体画像および前記背景画像のエッジを検出した結果として得られた被写体エッジ画像および背景エッジ画像を比較して前記被写体領域判別結果を得ることを特徴とする請求項１に記載の撮像装置。
3. 前記被写体領域判別手段は、前記被写体エッジ画像および前記背景エッジ画像に応じて前記被写体と前記背景との位置関係を示す距離マップを生成することを特徴とする請求項２に記載の撮像装置。
4. 前記被写体検出手段は、前記被写体領域判別結果において前記被写体領域および前記背景領域のいずれとも判別されない領域について前記特徴点検出結果に応じて前記被写体領域であるか否かを判別することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 合焦位置を変化させて複数の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼけ処理済み画像を生成する撮像装置の制御方法であって、
   前記撮像手段を制御して少なくとも背景に合焦した背景画像と被写体に合焦した被写体画像とを撮影する制御ステップと、
   前記背景画像および前記被写体画像を比較して前記被写体画像において被写体領域と背景領域とを判別して被写体領域判別結果を得る被写体領域判別ステップと、
   前記背景画像において前記被写体を示す特徴点を検出して特徴点検出結果を得る特徴点検出ステップと、
   前記被写体領域判別結果および前記特徴点検出結果に応じて前記被写体を判別して被写体判別結果を得る被写体検出ステップと、
   前記被写体判別結果に応じて前記背景画像又は前記被写体画像についてその背景に所定のぼかし処理を施して背景ぼかし画像を生成するぼかし画像生成ステップと、
   前記背景ぼかし画像と前記被写体画像とを合成処理して背景ぼけ処理済み画像を生成する画像合成ステップと、
   を有することを特徴とする制御方法。
6. 合焦位置を変化させて複数の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼけ処理済み画像を生成する撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   前記撮像手段を制御して少なくとも背景に合焦した背景画像と被写体に合焦した被写体画像とを撮影する制御ステップと、
   前記背景画像および前記被写体画像を比較して前記被写体画像において被写体領域と背景領域とを判別して被写体領域判別結果を得る被写体領域判別ステップと、
   前記背景画像において前記被写体を示す特徴点を検出して特徴点検出結果を得る特徴点検出ステップと、
   前記被写体領域判別結果および前記特徴点検出結果に応じて前記被写体を判別して被写体判別結果を得る被写体検出ステップと、
   前記被写体判別結果に応じて前記背景画像又は前記被写体画像についてその背景に所定のぼかし処理を施して背景ぼかし画像を生成するぼかし画像生成ステップと、
   前記背景ぼかし画像と前記被写体画像とを合成処理して背景ぼけ処理済み画像を生成する画像合成ステップと、
   を実行させることを特徴とする制御プログラム。

Images