JP6223059B2

JP6223059B2 - 撮像装置、その制御方法およびプログラム

Info

Publication number: JP6223059B2
Application number: JP2013171255A
Authority: JP
Inventors: 玄志郎芝上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-08-21
Filing date: 2013-08-21
Publication date: 2017-11-01
Anticipated expiration: 2033-08-21
Also published as: US9300867B2; JP2015040941A; US20150054978A1

Description

本発明は、静止画像や動画像を撮像、記録、表示する撮像装置及びその制御方法に関する。

近年、数多くのデジタルカメラやデジタルビデオカメラ等の撮像装置には、被写体以外の領域に対して画像処理を行う機能が搭載されている。例えば、その機能の一つとして、撮影された画像データの背景領域に対して、疑似的にぼかし効果を与える機能等がある。一般に、一眼レフカメラのように撮像素子が大きい撮像装置であれば、絞りを開いて焦点距離を長くすることで被写界深度が浅くなり、上記のような合焦している被写体以外の背景をぼかした画像データを撮影することが比較的容易である。一方、コンパクトデジタルカメラ等の撮像素子が小さい撮像装置では、上記の方法を用いたとしても、被写界深度が深くなる傾向にあるため、背景をぼかした画像データを撮影することが困難である。

これに鑑みて、撮影された画像データの被写体領域と背景領域とを判別し、背景領域に対してフィルタリング処理を施すことにより、コンパクトデジタルカメラ等の撮像素子の小さい撮像装置でも、背景がぼけた画像データを取得できることが知られている。特許文献１には、被写体領域と背景領域との領域を判別するため、撮影された画像データから空間周波数成分を取得することが開示されている。即ち、特許文献１に開示される技術では、被写体が被写界深度の後端に位置するようにフォーカスレンズの位置を調整し、撮影された画像データにおける背景側のぼけ量を大きくする。そして、複数に分割されたブロック毎の空間周波数成分量を算出し、この値が閾値以上かどうかでブロックを被写体領域として判別している。

特開２００７−１２４３９８号公報

しかしながら、特許文献１に開示された技術では、１画像の画像データの空間周波数成分量から領域の判別を行うため、背景領域側のぼけ量が乏しい場合に十分な精度が得られない問題がある。特に、近年普及しているコンパクトデジタルカメラのような撮像素子が小さい撮像装置では、上記処理を行っても十分なぼけ量が得られない傾向があるため、１枚の画像データの空間周波数成分量から領域の判別を行うことは困難である。

本発明は上述した課題に鑑みてなされたものであり、画像内にて背景とする領域を正しく判定し、被写体を含む領域と背景領域とを正確に判別することが可能な機能を有する撮像装置を提供することを目的とする。

実施形態の一観点によれば、撮像画面内に複数の焦点検出領域を設定し、各々の前記焦点検出領域の焦点検出を行う焦点検出手段と、前記焦点検出の結果に基づいて、前記複数の焦点検出領域のうちから、主被写体領域の候補となる領域である第１の領域と、処理すべき領域である背景領域の候補となる領域である第２の領域とを選択する選択手段と、前記第１の領域に合焦する第１の焦点位置において撮像光学系で形成される第１の光学像を撮像して第１の画像データを生成し、前記第２の領域に合焦する第２の焦点位置において前記撮像光学系で形成される第２の光学像を撮像して第２の画像データを生成する撮像手段と、前記第１の画像データと前記第２の画像データとに基づいて、前記処理すべき領域を判別する判別手段と、前記判別手段による前記処理すべき領域の判別の結果に基づいて、少なくとも前記第１の画像データに所定の処理を行う処理手段とを備え、前記選択手段は、前記第１の領域に対して所定の深度差の範囲内の前記焦点検出領域のうち、前記焦点検出の結果が所定の条件を満たす前記焦点検出領域の数に基づいて前記第２の領域を選択し、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記所定の深度差の範囲内の無限遠側にピントの合う前記焦点検出領域に対して第１の所定深度の範囲内にある前記焦点検出領域の数が第１の所定数より大きくかつ最大である場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第１の候補として選択し、前記第１の候補が選択されない場合は、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記無限遠側にピントの合う前記焦点検出領域に対して、前記焦点検出の結果が第２の所定深度の範囲内にあり、かつ隣接する領域が第２の所定数以上ある場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第２の候補として選択することを特徴とする撮像装置が提供される。

本発明によれば、画面内にて背景とする領域を正しく判定することが出来るため、背景領域を適切にぼかした画像を得ることが可能こととなる。

本発明の実施例に係わる撮像装置の構成図本発明の実施例に係る撮像装置の画像処理部のブロック図本発明の実施例に係る撮像装置の領域判別部の部ブロック図本発明の実施例に係る撮像装置の背景ぼかしモードでの撮像動作のフローチャートを示す図本発明の実施例に係る撮像装置の背景選択処理動作のフローチャートを示す図本発明の実施例に係る撮像装置の背景候補選択動作のフローチャートを示す図本発明の実施例に係る撮像装置の領域判別処理動作のフローチャートを示す図本発明の実施例に係る撮像装置の背景ぼかしモードで設定される焦点検出領域を示す図

以下、図面を参照しながら本発明の実施例を詳細に説明する。
実施例

（撮像装置）
図１から図３を用いて、本実施例に係る撮像装置の説明を行う。
図１は、本発明の実施例を適用した、デジタルカメラ、携帯電話などの撮像装置の構成を示すブロック図である。図において、１０１はズーム機構を含む撮影レンズ、１０２は光量を制御する絞り及びシャッター、１０３はＡＥ処理部、１０４は後述の撮像素子上に焦点をあわせるためのフォーカスレンズ、１０５はフォーカスレンズを駆動するモータ、１０６はＡＦ処理部である。１０１、１０２および１０４は被写体の光学像を形成する撮影光学系を構成する。１０７は撮影光学系で形成された被写体の光学像を電気信号に変換する受光手段又は光電変換手段としての撮像素子、１０８は撮像素子１０７の出力ノイズを除去するＣＤＳ部やＡ／Ｄ変換前に行う非線形増幅部を含むＡ／Ｄ変換部である。１０９はＡ／Ｄ変換部１０８から出力された画像データを処理する画像処理部、１１０はフォーマット変換部、１１１は高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下ＤＲＡＭと記す）である。１１２はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部、１１３は撮影シーケンスなどシステムを制御するシステム制御部（以下、ＣＰＵと記す）である。ＣＰＵ１１３は不図示のメモリに記憶されたプログラムをロードして実行することで，撮像装置の各部を制御する。

さらに、１１４は画像表示用メモリ(以下ＶＲＡＭと記す)、１１５は画像表示の他、操作補助のための表示、カメラ状態の表示、撮影時における撮影画面と焦点検出領域の表示を行う画像表示部、１１６はカメラを外部から操作するための操作部である。１１７は、マクロモード、遠景モード、スポーツモードなどの撮影モードを選択するための撮影モードスイッチ、１１８はシステムに電源を投入するためのメインスイッチである。また、１１９はＡＦやＡＥ等の撮影スタンバイ動作を行うための第１の指示を出すスイッチ（以下ＳＷ１と記す）である。さらに、１２０はＳＷ１の操作後、撮影を行うための第２の指示を出す撮影スイッチ（以下ＳＷ２と記す）である。

前記１１１のＤＲＡＭは、一時的な画像記憶手段としての高速バッファ、あるいは画像の圧縮伸張における作業用メモリなどに使用される。前記１１６の操作部は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチなどである。前記１１７の撮影モードスイッチは、ユーザーが選択した撮影モードに応じて焦点検出距離範囲やＡＦ動作などを変更するようになっている。

画像処理部１０９では、画像データを用いて、エッジ成分を用いた領域判別や、ピントを合わせるべき被写体領域（例えば人物の顔など）の検出などを行うためのデータ処理機能を有すること。なお、領域判別を行う領域判別部については、図２、図３を用いて後述する。

ＡＦ処理部１０６では、画像のコントラストから、ＡＦ評価値を算出することが可能である。コントラストが強いときは、ＡＦ評価値が高くなり、コントラストが弱いときは、ＡＦ評価値が低くなる。

ここで、図２を用いて、本実施例に係る領域判別部を有する画像処理部１０９の構成について説明する。

図２は、本実施例に係る領域判別部を有する画像処理部１０９の構成を示す図である。本構成は、ＣＰＵ１１３が実行するプログラムとして構成してもよいし、一部をハードウエアで構成してもよい。

図２において、色変換マトリックス部２０１は、撮影された画像データが最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）部２０２は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するためのフィルター処理を行う。ＣＳＵＰ（ＣｈｒｏｍａＳｕｐｒｅｓｓ）部２０３は、ＬＰＦ部２０２で帯域制限された画像データのうち、飽和部分の偽色信号を抑圧するためのデータ処理を行う。一方、撮影された画像データは、輝度信号生成部２０４にも出力される。輝度信号生成部２０４は、入力された画像データから輝度信号Ｙを生成する。エッジ強調部２０５は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換部２０６は、ＣＳＵＰ部２０３から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調部２０５から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ補正部２０７は、変換されたＲＧＢ信号に対して階調補正を施す。その後、色輝度変換部２０８は、階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。

領域判別部２０９は、ＹＵＶ信号に変換された画像データに対して被写体領域と背景領域との判別を行う。領域判別部２０９の詳細な構成については図３を用いて後述する。

図３は、領域判別部２０９の構成の一例を示す。同図に示すように、領域判別部２０９は、エッジ検出部３０１、エッジ減算部３０２、エッジ積分値算出部３０３、エッジ積分値評価部３０４、及び領域マップ生成部３０５を備える。

（背景ぼかしモード処理）
図４を用いて、本実施例に係る撮像装置における背景ぼかし撮影動作について説明する。本動作は、撮像装置に、例えばメニュースイッチなどにより背景ぼかしモードが設定されている場合に、スイッチＳＷ１、ＳＷ２がオンされたときに実行される処理動作である。なお、撮像装置の動作は、ＣＰＵ１１３が、プログラムを実行することによって画像処理部１０９およびその他の関連する部分を必要に応じて制御することで達成する。まず、Ｓ４０１にてＣＰＵ１１３は、スイッチＳＷ１が押されたかどうかの判定を行う。Ｓ４０１にてスイッチＳＷ１が押されていると判定された場合は、ＣＰＵ１１３はＡＦ処理部１０６を制御して、Ｓ４０２にて焦点検出処理を行う。この焦点検出処理では、ＣＰＵ１１３は画面内に予め設定されている焦点検出領域を配置し、各焦点検出領域について焦点検出動作を行う。本実施例では、画面内に配置する焦点検出領域を図８に示す５行６列の格子状に配列された３０の領域とする。

焦点検出処理が完了したら、Ｓ４０３にてＣＰＵ１１３は画像処理部を１０９を制御して、Ｓ４０２での焦点検出動作の結果に基づいて、背景となる焦点検出領域の選択処理を行う。背景となる焦点検出領域の選択処理については、図５を用いて後述する。

次に、Ｓ４０４にて、ＣＰＵ１１３はスイッチＳＷ２が押されたかどうかの判定を行う。スイッチＳＷ２が押されていると判定された場合は、撮影を行なう。撮影の具体的な動作（Ｓ４０５以降の動作）は後述する。スイッチＳＷ２が押されていないと判定された場合は、Ｓ４０４に戻り、スイッチＳＷ２が押されたかどうかの判定を繰り返す。

スイッチＳＷ２が押されたと判定された場合は、Ｓ４０５にて、ぼかし処理（所定の処理）可能な背景領域が有るかどうかの判定を行う。この判定は、後述する背景選択フラグの設定内容に従って行う。ぼかし処理可能な背景領域が有ると判定された場合は、Ｓ４０６にて背景ぼかし撮影処理を行い、背景ぼかし処理を完了する。背景ぼかし撮影処理に関しては、図７を用いて後述する。ぼかし処理可能な背景領域が無いと判定された場合は、１画像撮影処理、つまり通常撮影処理（Ｓ４０７）を行い、背景ぼかし処理を完了する。

（背景選択処理）
次に、図５を用いて本実施例に係る背景選択処理動作について説明する。
まず、Ｓ５０１にて画面内に設定した５行６列の３０の焦点検出領域から被写体領域とする焦点検出領域を選択する。本実施例では、図８(ａ)の斜線の領域８０１が、被写体領域として選択された焦点検出領域とする。なお、被写体領域とする焦点検出領域の選択方法例を下記に示すが、これに限るものではない。

画像処理部１０９により人の顔などの被写体が検出されていない場合は、画面中央付近に配置されている焦点検出領域から被写体領域とする焦点検出領域を選択する。例えば、画面に５行６列で３０の焦点検出領域を設定している場合は、その５行６列のうち画面中央付近に配置した３行４列の焦点検出領域の焦点検出結果に基づいて次のように選択する。

最初に、合焦していて一番距離が近い至近にピントが合う焦点検出結果を持つ焦点検出領域、その次に合焦していて近側にピントが合う焦点検出結果を持つ焦点検出領域へと順に、焦点検出結果が所定深度（第５の所定深度）の範囲内でかつ隣接した焦点検出領域があるかを判定していく。これにより、所定深度の範囲内でかつ隣接した焦点検出領域がある場合は、その焦点検出領域の焦点検出結果と第５の所定深度の範囲内にある焦点検出領域とを、被写体領域とその焦点検出結果として選択する。なお、第５の所定深度は、本実施例では１深度とする。

他方、被写体が画像処理部１０９により検出されている場合は、検出した被写体領域と重なる焦点検出領域において、合焦していてかつ焦点検出結果が第４の所定深度の範囲内である隣接する焦点検出領域を被写体領域として選択する。その被写体領域の焦点検出結果としては、選択された焦点検出領域の焦点検出結果の中で一番近側にピントが合う焦点検出結果を採用することとする。この場合も、本実施例においては、第４の所定深度を１深度とする。
本実施例では、第４の所定深度、第５の所定深度、共に１深度としているが、もちろん異なる深度でも良い。

被写体が検出されている場合の他の選択方法としては、検出された被写体領域に焦点検出領域を配置し、焦点検出を行って第３の所定深度の範囲内の焦点検出結果となる焦点検出領域を選択しても良い。この場合の被写体領域の焦点検出結果も、選択された焦点検出領域の中で一番近側にピントが合う焦点検出結果を採用することとしても良い。

次に、Ｓ５０２にてＣＰＵ１１３は、Ｓ５０１で被写体とする焦点検出領域が選択出来たかどうかの判定を行う。被写体領域が無いと判定された場合は、Ｓ５１６にて背景選択フラグをクリアして処理を完了する。背景選択フラグとは、背景領域の候補が選択出来たことを示すフラグである。被写体領域が選択されない場合は、被写体から所定範囲の深度差がある背景領域を選択することが出来ないので、Ｓ５１６において背景選択フラグをクリアする。

次に、Ｓ５０３にて、背景候補領域となる焦点検出領域を選択する。本実施例では、「背景候補領域となる焦点検出領域」とは、信頼できる焦点検出結果を有する焦点検出領域であり、かつ被写体領域の焦点検出結果と比較して所定の深度差の範囲内である焦点検出結果を持つ焦点検出領域のことである。また、「所定深度差の範囲内である」とは、被写体領域の焦点検出結果より遠側にピークが合い、かつ深度差が第１の深度差よりも大きく、第２の深度差よりも小さい範囲であるということである。

背景候補領域とする焦点検出領域と被写体領域の焦点検出領域との深度差が第１の深度差よりも少ない場合、被写体にピントが合うフォーカスレンズ位置で撮影しても、背景とする領域にもピントが合ってしまう。その為、画像のエッジ成分の差を見て被写体と背景の領域分割が出来ない。また、背景候補領域とする焦点検出領域と被写体領域の焦点検出領域との深度差が第２の深度差よりも大きい場合、被写体にピントが合うフォーカスレンズ位置で撮影した時に、すでに光学的に充分にボケている領域となる。これらの理由により、所定深度差の範囲内の焦点検出領域を背景領域として選択している。なお、本実施例では、所定の深度差の範囲の下限の深度差である第１の深度差を５深度、上限の深度差である第２の深度差を２０深度とする。

次に、Ｓ５０４にて、ＣＰＵ１１３は、Ｓ５０３で背景候補領域が選択出来たかどうかの判定を行う。背景候補領域となる焦点検出領域が無いと判定された場合は、Ｓ５１６にて背景選択フラグをクリアして処理を完了する。背景候補領域となる焦点検出領域が有ると判定された場合は、Ｓ５０５にて背景候補領域の焦点検出領域の焦点検出結果の中で、最も遠い距離（遠側）にピントが合う焦点検出結果を、最初の比較基データと設定する。

次にＳ５０６にて、設定された比較基データの次に遠い距離にピントが合う焦点検出結果を比較対象データとして設定する。次にＳ５０７にて、比較基データと比較対象データが第１の所定深度の範囲内であるかの判定を行う。本実施例では、この第１の所定深度を１深度とする。

この比較を背景候補領域全ての合焦している焦点検出結果に対して行う。比較は遠側にピントが合うデータから近側にピントが合うデータに向けて順番に行っていく。遠側から近側に向けて比較を行っていくので、最終比較の比較対象データは、背景候補領域の中で最も近側にピントが合う焦点検出結果となる。

比較基データと比較対象データが１深度の範囲の範囲内であれば、Ｓ５０８で深度内カウンタをカウントアップする。「深度内カウンタ」は、比較基データに対して付与するものとする。深度内カウンタとは、比較基データと同一深度の範囲内の焦点検出結果を持つ焦点検出範囲がいくつあるかを数える為のカウンタである。この数が大きいほど、比較基データと同一深度の範囲内の焦点検出結果を持つ焦点検出範囲が多い、つまり、その比較基データの焦点検出結果でピントを合わせると、画面内の広い範囲においてピントが合うことになる。

次に、Ｓ５０９にて比較対象データが背景候補領域の最終データかを確認する。比較対象データが最終データであると判定された場合は、Ｓ５１０において、Ｓ５０８でカウントアップされた深度内カウンタの数に基づいて、所定の条件を満たす焦点検出領域から背景領域の候補を選択する背景候補選択処理を行う。背景候補選択処理に関しては、図６を用いて後述する。比較対象データが最終データで無いと判定された場合は、Ｓ５０６に戻り、Ｓ５０７にて使用した比較対象データの次に撮像装置から見て近い距離にピントが合う焦点検出結果を比較対象データとして設定する。

Ｓ５０７にて比較基データと比較対象データが１深度の範囲内でない場合は、Ｓ５１１にて背景候補選択処理を行う。背景候補選択処理に関しては、図６を用いて後述する。

次にＳ５１２にて比較対象データが最終データかの判定を行う。比較対象データが最終データでは無いと判定された場合は、次にＳ５１３にて比較対象データを比較基データとして設定した後に、Ｓ５０６に戻る。次いで、Ｓ５０７にて使用した比較対象データの次に撮像装置から見て近い距離にピントが合う焦点検出結果を比較対象データとして設定する。

比較対象が最終データと判定された場合は、Ｓ５１４にて背景候補が設定されているかどうかの判定を行う。「背景候補」とは、背景候補選択処理にて設定される背景とする焦点検出領域である。背景候補が設定されていると判定された場合は、Ｓ５１５にて背景選択フラグを設定する。背景候補が設定されていないと判定された場合は、Ｓ５１６にて背景選択フラグをクリアする。

この背景選択フラグが設定されている場合は、ぼかし処理可能な背景領域が有ると判定され、背景ぼかし撮影処理が行われる。背景選択フラグがクリアされている場合は、ぼかし可能な背景領域が無いと判定され１画像撮影が行われる。

本実施例においては、背景画像を１画像しか撮影しないので、背景候補１として深度内カウンタが最大である領域を選択している。しかし、背景画像を複数枚撮影する場合は、背景候補を複数設定する必要があるので、深度内カウンタの上位から複数選択し背景候補１とすれば良い。

（背景候補選択処理）
次に、図６及び図８を用いて、背景候補選択処理の説明を行う。
まず、Ｓ６０１にて前述した深度内カウンタが第１の所定数以上であるかどうかの判定を行う。深度内カウンタが第１の所定数以上であると判定された場合は、Ｓ６０２にて深度内カウンタが第２の所定数以上であるかどうかの判定を行う。深度内カウンタが第２の所定数以上であると判定された場合は、Ｓ６０３にて第１の背景候補がすでに設定されているかの判定を行う。なお、本実施例においては、第１の所定数を第２の所定数より小さい数値とし、第１の所定数は３、第２の所定数は６とする。

第１の背景候補がすでに設定されていると判定された場合は、Ｓ６０４にて深度内カウンタが、比較した今までの深度内カウンタ中で最大であるかどうかの判定を行う。これは深度内カウンタと最大カウンタ値を比較することにより判定する。

深度内カウンタが最大であると判定された場合は、Ｓ６０５にて前述した比較基データである焦点検出結果の焦点検出領域を第１の背景候補とし、その深度内カウンタを最大カウンタ値として設定する。

第１の背景候補が設定されていないと判定された場合は、Ｓ６０５にて前述した比較基データである焦点検出結果の焦点検出領域を背景候補の第１の候補とし、その深度内カウンタを最大カウンタ値として設定する。

第１の背景候補の焦点検出結果でピントを合わせられる領域とは、本実施例では図８（ａ）の８０３で示す領域とする。このように、画面内で一番広い領域にピントを合わせられる背景領域を選択することが可能となる。画面内で一番広い領域にピントが合うように背景候補を選択するので、画像内で一番遠い距離にピントが合う焦点検出結果を持つ焦点検出領域（８０２）であっても、画面内に占める範囲が狭いので、選択されないようにしている。

Ｓ６０１にて深度内カウンタが第１の所定数以上でないと判定された場合は、背景候補選択処理を終了する。Ｓ６０２にて深度内カウンタが第２の所定数以上でないと判定された場合は、Ｓ６０７にて第２の所定深度内データで所定数以上の塊りデータが有るかどうかの判定を行う。本実施例では第２の所定深度を１とし、第３の所定数を２とする。

ここで、「所定深度内データ」とは、図5を用いて説明した背景選択処理での、遠側にピントが合う焦点検出結果から近側にピントが合う焦点検出結果まで所定深度内であるかどうかの判定にて、所定深度の範囲内であると判定された焦点検出結果を持つ焦点検出領域であるとする。また、「塊りデータ」とは、この所定深度の範囲内データの焦点検出領域の中で、互いに隣接していると判定された焦点検出領域ことを示す。この塊りデータであるかどうかを判定することにより、誤焦点検出の結果、一つだけ遠側にピントが合うような焦点検出結果になっている焦点検出領域が背景として選択されることを防ぐことが可能である。

第２の所定深度の範囲内のデータで所定数以上の塊りデータがあると判定された場合は、Ｓ６０８にて背景領域の第２の候補がすでに設定されているかどうかの判定を行う。すでに設定されていると判定された場合は、背景候補選択処理を完了する。設定されていないと判定された場合は、Ｓ６０９にて比較基データである焦点検出結果の焦点検出領域を背景領域の第２の候補として設定する。

このようにして、遠側にピントが合うデータから判定を行っていき、かつ第２の背景候補が設定されている場合は、この第２の背景候補の再設定(更新)を行わない。これにより、第１の背景候補が再設定されたことで被写体領域との距離が近くなった場合でも、より遠い距離にピントが合う所定深度の範囲内の焦点検出領域を選択することが可能となる。

図８（ｂ）に示す領域設定例では、第２の背景候補としてピントが合わせられる領域とは、８０６で示す領域である。８０５で示す画面内で一番広い領域にピントを合わせられる領域（第１の背景候補）と８０４で示す被写体領域との距離が近い場合、画像データのエッジ成分により領域マップを正しく作成することが出来ない。そのような場合は、第２の背景候補として画面内の遠い距離にピントが合い、かつ、その焦点検出結果は信頼出来るという背景候補として、第２の背景候補を選択しておく。この選択の情報は、例えばＳ５１５で設定される背景選択フラグ(複数ビット)に持たせることが可能である。これにより、Ｓ４０５でのぼかし処理可能な背景領域の有無の判定において、第１または第２の背景候補を選択することができる。

Ｓ６０７にて所定深度の範囲内データで所定数以上の塊りデータが無いと判定された場合は、背景候補選択処理を完了する。

（背景ぼかし撮影処理）
次に、撮像装置１００の領域判別処理の動作について、図４及び図７を用いて説明する。

図７は、背景ぼかし撮影処理における領域判別処理動作のフローチャートを示す図である。

まずＳ７０１にて、ＣＰＵ１１３は、撮像装置１００の各部を制御して被写体領域とする焦点検出領域の焦点検出結果に基づくフォーカスレンズ位置および背景とする焦点検出領域の焦点検出結果に基づくフォーカスレンズ位置に従ってそれぞれ撮影を行う。

Ｓ７０２において、エッジ検出部３０１は、Ｓ７０１にて取得された、被写体側に合焦した画像データ(第１の画像データ)と背景側に合焦した画像データ（第２の画像データ）とに対してバンドパスフィルタリング処理を施す。次いで、バンドパスフィルタリング処理の結果の絶対値をとり、それぞれの画像データのエッジを取得する。

Ｓ７０３において、エッジ減算部３０２は、被写体側に合焦した画像データのエッジ情報から背景側に合焦した画像データのエッジを画素毎に減算し、エッジの差分をとった画像データ（以下、エッジ差分画像データと称す）を生成する。Ｓ７０４において、エッジ積分値算出部３０３は、Ｓ７０３で生成されたエッジ差分画像データを複数の領域に分割し、各領域のエッジ量を積分する。

Ｓ７０５において、エッジ積分値評価部３０４は、Ｓ７０４で算出された各領域のエッジ量の積分値と所定の閾値とを比較する。エッジ量の積分値が所定の閾値以上である場合、エッジ積分値評価部３０４は、当該領域を被写体領域と判定する。一方、エッジ積分値評価部３０４は、エッジ量の積分値が所定の閾値未満である場合、当該領域を背景領域と判定する。なお、上記所定の閾値は予め決められた固定値でもよいし、画像データのエッジのヒストグラム分布から適応的に求めてもよい。

Ｓ７０６において、領域マップ生成部３０５は、Ｓ７０５における判定結果に基づいて、被写体領域と背景領域とを判別することができる領域マップを生成する。上記領域マップにおいては、例えば合成比率が画像データ自体の画素値で表されている。なお、領域マップに対して、境界の段差を目立たなくさせるために被写体領域と背景領域との境界にローパスフィルタをかけてもよい。

次に、本実施例における背景領域のぼかし処理について説明する。画像処理部１０９は、撮影された画像データに特殊フィルタ処理を施してぼけ画像データＩＭＧ２を生成する。ここで特殊フィルタ処理を施す対象となる画像データは、Ｓ７０１で撮影された画像データである。上記特殊フィルタ処理では、指定されたフィルタ形状に基づき、撮影された画像データに対してフィルタリング処理が行われる。このフィルタリング処理では、所定の輝度値を持った画素に任意で設定したゲイン値Ｋを乗算し、飽和画素の輝度値の補間が行われる。

次に画像処理部１０９は、上記領域マップに基づいて、Ｓ７０１で取得された被写体側に合焦した画像データＩＭＧ１とぼけ画像データＩＭＧ２とを合成する。ここで、画像データの合成処理の一例について説明する。画像処理部１０９は、上記領域マップの画素値から求められるα（０≦α≦１）に基づいて、被写体側に合焦した画像データＩＭＧ１とぼけ画像データＩＭＧ２とを合成し、合成画像データＢを生成する。即ち、画像処理部１０９は、合成画像データＢの各画素Ｂ［ｉ，ｊ］を次の式を用いて算出する。

上記の処理によって得られた合成画像データＢは、背景ぼかし画像データとして取得される。また、本実施例における背景ぼかし画像データの生成処理は、上記実施例に限定されるものではない。

例えば、領域マップに基づき、被写体側に合焦した画像データの背景領域にのみ特殊フィルタ処理を施して、背景ぼかし画像データを取得するようにしてもよい。また、撮影された画像データを縮小し、縮小した画像データを拡大して元の大きさに戻すことでぼけ画像データＩＭＧ２を生成にしてもよい。また、撮影された画像データに対してローパスフィルタをかけることでぼけ画像データＩＭＧ２を生成してもよい。ここでいう「撮影された画像データ」も、Ｓ７０１で撮影された画像データである。

以上の処理により、切り分けられた背景領域に特殊な画像処理を施すことが可能となる。

また、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、背景側に合焦した画像データ、被写体に合焦した画像データ又は被写体側に合焦した画像データの撮影の順序は入れ替わってもよい。

このように、本発明では、背景領域とする焦点検出領域の選択において、まず画面内の広い領域にピントが合う焦点検出結果を背景として採用する。これにより、被写体とする領域以外の焦点検出領域にて背景となりうる領域が複数あるような場合でも、画面内の広い領域を背景として選択出来、その領域にぼかし処理を行うことが出来るので、人の感覚に近い感覚での背景領域をぼかすことが出来る。

また、被写体とする領域と画面の広い領域の背景との距離差が少ない場合は、遠い距離にピントが合う焦点検出結果が塊りで存在しているかを判定し、それらを背景として選択している。これにより、誤焦点検出した結果を背景として選択することを防ぎ、画像にぼかし処理を行うことが可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータ読み取り可能なプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims

撮像画面内に複数の焦点検出領域を設定し、各々の前記焦点検出領域の焦点検出を行う焦点検出手段と、
前記焦点検出の結果に基づいて、前記複数の焦点検出領域のうちから、主被写体領域の候補となる領域である第１の領域と、処理すべき領域である背景領域の候補となる領域である第２の領域とを選択する選択手段と、
前記第１の領域に合焦する第１の焦点位置において撮像光学系で形成される第１の光学像を撮像して第１の画像データを生成し、前記第２の領域に合焦する第２の焦点位置において前記撮像光学系で形成される第２の光学像を撮像して第２の画像データを生成する撮像手段と、
前記第１の画像データと前記第２の画像データとに基づいて、前記処理すべき領域を判別する判別手段と、
前記判別手段による前記処理すべき領域の判別の結果に基づいて、少なくとも前記第１の画像データに所定の処理を行う処理手段とを備え、
前記選択手段は、前記第１の領域に対して所定の深度差の範囲内の前記焦点検出領域のうち、前記焦点検出の結果が所定の条件を満たす前記焦点検出領域の数に基づいて前記第２の領域を選択し、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記所定の深度差の範囲内の無限遠側にピントの合う前記焦点検出領域に対して第１の所定深度の範囲内にある前記焦点検出領域の数が第１の所定数より大きくかつ最大である場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第１の候補として選択し、前記第１の候補が選択されない場合は、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記無限遠側にピントの合う前記焦点検出領域に対して、前記焦点検出の結果が第２の所定深度の範囲内にあり、かつ隣接する領域が第２の所定数以上ある場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第２の候補として選択することを特徴とする撮像装置。
前記撮像手段による被写体の撮像を行うための第１の指示及び第２の指示を受ける指示手段を更に有し、
前記焦点検出手段は、前記第１の指示に応じて、前記焦点検出を行い、
前記撮像手段は、前記第２の指示に応じて、前記第１の画像データと前記第２の画像データとを生成することを特徴とする請求項１に記載の撮像装置。
前記第１の所定数は、前記第２の所定数よりも大きいことを特徴とする請求項１に記載の撮像装置。
被写体を検出する被写体検出手段を更に有し、
前記選択手段は、前記検出された被写体に対応する前記焦点検出領域の前記焦点検出の結果との深度差が、第３の所定深度の範囲内にある前記焦点検出領域を前記第１の領域として設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
被写体を検出する被写体検出手段を更に有し、
前記選択手段は、前記複数の焦点検出領域のうち、前記検出された被写体と重なり、第４の所定深度の範囲内で隣接する前記焦点検出領域を前記第１の領域として設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記選択手段は、前記複数の焦点検出領域のうち、撮像画面の中央付近に位置する至近側の前記焦点検出領域に対して、第５の所定深度の範囲内で、隣接する前記焦点検出領域を、前記第１の領域として設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記判別手段は、前記第１の画像データ及び前記第２の画像データにおけるエッジ情報に基づいて前記処理すべき領域を判別し、
前記処理手段は、前記判別手段によって判別された前記処理すべき領域に対し、前記所定の処理としてぼかし処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記複数の焦点検出領域において、前記第１の領域として設定された前記焦点検出領域に対して前記所定の深度差の範囲内の前記焦点検出領域がない場合は、前記処理手段は、前記所定の処理を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
撮像画面内に複数の焦点検出領域を設定し、各々の前記焦点検出領域の焦点検出を行うステップと、
前記焦点検出の結果に基づいて、前記複数の焦点検出領域のうちから、主被写体領域の候補となる領域である第１の領域と、処理すべき領域である背景領域の候補となる領域である第２の領域とを選択するステップと、
前記第１の領域に合焦する第１の焦点位置において撮像光学系で形成される第１の光学像を撮像して第１の画像データを生成し、前記第２の領域に合焦する第２の焦点位置において前記撮像光学系で形成される第２の光学像を撮像して第２の画像データを生成するステップと、
前記第１の画像データと前記第２の画像データとに基づいて、前記処理すべき領域を判別するステップと、
前記処理すべき領域の判別の結果に基づいて、少なくとも前記第１の画像データに所定の処理を行うステップとを備え、
前記第１の領域と前記第２の領域とを選択するステップでは、前記第１の領域に対して所定の深度差の範囲内の前記焦点検出領域のうち、焦点検出結果が所定の条件を満たす前記焦点検出領域の数に基づいて前記第２の領域を選択し、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記所定の深度差の範囲内の無限遠側にピントの合う前記焦点検出領域に対して第１の所定深度の範囲内にある前記焦点検出領域の数が第１の所定数より大きくかつ最大である場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第１の候補として選択し、前記第１の候補が選択されない場合は、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記無限遠側にピントの合う前記焦点検出領域に対して、前記焦点検出の結果が第２の所定深度の範囲内にあり、かつ隣接する領域が第２の所定数以上ある場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第２の候補として選択する
ことを特徴とする撮像装置の制御方法。
コンピュータに、
撮像画面内に複数の焦点検出領域を設定し、各々の前記焦点検出領域の焦点検出を行うステップと、
前記焦点検出の結果に基づいて、前記複数の焦点検出領域のうちから、主被写体領域の候補となる領域である第１の領域と、処理すべき領域である背景領域の候補となる領域である第２の領域とを選択するステップと、
前記第１の領域に合焦する第１の焦点位置において撮像光学系で形成される第１の光学像を撮像して第１の画像データを生成し、前記第２の領域に合焦する第２の焦点位置において前記撮像光学系で形成される第２の光学像を撮像して第２の画像データを生成するステップと、
前記第１の画像データと前記第２の画像データとに基づいて、前記処理すべき領域を判別するステップと、
前記処理すべき領域の判別の結果に基づいて、少なくとも前記第１の画像データに所定の処理を行うステップとを実行させるためのプログラムであって、
前記第１の領域と前記第２の領域とを選択するステップでは、前記第１の領域に対して所定の深度差の範囲内の前記焦点検出領域のうち、焦点検出結果が所定の条件を満たす前記焦点検出領域の数に基づいて前記第２の領域を選択し、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記所定の深度差の範囲内の無限遠側にピントの合う前記焦点検出領域に対して第１の所定深度の範囲内にある前記焦点検出領域の数が第１の所定数より大きくかつ最大である場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第１の候補として選択し、前記第１の候補が選択されない場合は、前記所定の深度差の範囲内の前記焦点検出領域のうち、前記無限遠側にピントの合う前記焦点検出領域に対して、前記焦点検出の結果が第２の所定深度の範囲内にあり、かつ隣接する領域が第２の所定数以上ある場合、前記無限遠側にピントの合う前記焦点検出領域を前記第２の領域の第２の候補として選択する
ことを特徴とするプログラム。