JP6226536B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に主被写体を強調した画像の撮影を可能にする技術に関する。

従来からカメラ撮影の分野では、主被写体を強調するために、被写界深度を浅くすることで意図的に主被写体以外の被写体（例えば、背景）をぼかした撮影手法が広く用いられている。このように被写界深度を浅くして撮影するための要件としては、大きな撮像素子を用いることや、明るい開放値（Ｆ値）のレンズを用いること等がある。

しかしながら、近年のコンパクトタイプのデジタルカメラでは、筺体に対する小型化要求に伴い、大口径のレンズや大きな撮像素子の搭載が困難となっている。そのため、コンパクトタイプのデジタルカメラでは、一眼レフデジタルカメラで撮影可能な背景ぼかし画像等の被写界深度の浅い画像の撮影が必然的に困難となってきている。

そこで、焦点距離をずらした複数の画像から被写体領域に応じていずれかの画像を選択し、選択した画像を被写体領域毎に合成することにより背景ぼかし画像を生成する技術が提案されている（特許文献１参照）。

とこで、近年のデジタルカメラをはじめとする撮像装置では、静止画の連続撮影と動画撮影の境界がなくなりつつあり、背景ぼかし画像のような特殊効果を付加する撮影技術を動画像に適用することが活発に行われている。例えば、動画像として一定の出力レートを保ちながら、焦点距離の異なる複数の画像を撮影、合成することにより、背景ぼかし動画像を生成する技術が提案されている（特許文献２参照）。

特開２００３−２０９７２７号公報 特開２０１２−４６５３号公報

しかしながら、上述の特許文献１に記載された技術では、焦点距離（ぼかし量）を異ならせたい領域の数だけ画像を撮影する必要があるため、撮影に時間がかかってしまう。画像を１枚に合成することを考えた場合、撮影に時間がかかってしまうと、撮影中に被写体が動いたときに、撮影した複数の画像では被写体と背景の各領域が変わってしまうため、意図するぼかし画像を取得することは難しくなる。

また、特許文献２に開示された技術では、動画像の一定のフレームレートの中で複数枚の撮影を行うため、２枚合成なら２倍、３枚合成なら３倍という具合に、高速での読み出しが必要となる。よって、高速読み出しのために高性能な撮像素子駆動回路（ドライバ）や画像処理装置（ＣＰＵ）或いは新たな処理回路が必要になり、その結果、撮像装置の構造が複雑になり、また、コストアップが生じてしまう。

本発明は、複数枚の画像を合成して背景ぼかし画像を生成する際の撮影時間を簡単な構成で短縮することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、合成画像を生成するための複数の画像フレームを撮像素子により取得する撮像装置であって、前記撮像素子から出力される画像フレームに画像処理を施す画像処理手段と、前記複数の画像フレームのうち少なくとも１つの画像フレームとして他の画像フレームよりも少ない画素数の縮小読み出しフレームを前記撮像素子において生成し、前記画像処理手段に出力させる制御手段を備え、前記複数の画像フレームは、主被写体に合焦した合焦画像フレームである全画素読み出しフレームを含み、前記制御手段は、前記全画素読み出しフレームにおける非主被写体撮影領域の空間周波数が所定の閾値以上の場合に、前記縮小読み出しフレームで読み出す画素数を前記空間周波数が前記所定の閾値よりも小さい場合よりも少なくすることを特徴とする。

本発明によれば、撮像素子により複数の画像フレームを撮影し、撮影した複数の画像フレームを合成して合成画像を生成する際に、複数の画像フレームのうち少なくとも１つの画像フレームを他の画像フレームよりも少ない画素数で撮影する。このような縮小読み出しに要する時間は、撮像素子の全画素の読み出しに要する時間よりも短いため、簡単な構成で複数の画像フレームの撮影に要する時間を短縮することができ、よって、合成画像の出力フレームレートを向上させることができる。

例えば、複数枚の画像を合成して背景ぼかし画像を生成する場合、主被写体については全画素読み出しを行い、背景については縮小読み出しを行うことで、撮影時間を短縮することができると共に、良好な画質の背景ぼかし画像を生成することが可能となる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。 図１の撮像装置が備える撮像素子の駆動方法を模式的に示す第１の図である。 図１の撮像装置が備える撮像素子の駆動方法を模式的に示す第２の図である。 図１の撮像装置を用いて１フレームの画像を撮影する撮影シーケンスのフローチャートである。 図１の撮像装置で複数枚の画像を撮影するための撮像素子の駆動タイミングチャートである。 図１の撮像装置により背景ぼかし画像の生成に用いる画像フレームの例を示す図である。 第２実施形態において２ｎｄフレームで取得するぼかし画像フレームの駆動モードの判断処理（ステップＳ４０６の変形例）のフローチャートである。 第３実施形態において合焦画像フレームの撮影手段を判断し、駆動モード条件を指示する処理（ステップＳ４０３の変形例）のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
図１は、本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。この撮像装置は、撮像レンズ１１０、レンズ制御部１１１、撮像素子１２０、撮像素子駆動回路１２１、画像処理回路１３０、メモリ１４０、ＬＣＤ１５０、画像変換回路１６０、メモリカード１７０、システム制御回路１８０及び操作部１９０を備える。

撮像レンズ１１０は、フォーカスレンズやズームレンズ等の複数のレンズから構成されており、また、絞り機構を含み、被写体からの反射光を所定の光量の光学像として撮像素子１２０に結像させる。レンズ制御部１１１は、システム制御回路１８０による制御に基づいて、撮像レンズ１１０のフォーカスやズーム、絞りを制御する。

撮像素子１２０は、例えば、ＣＭＯＳセンサであり、光電変換により入射光量に応じた電荷を生成して出力し、その際に全画素の信号を読み出すこと以外に、特定の画素の加算及び特定の行又は列おきに間引いて電荷を読み出すこともできる。撮像素子駆動回路１２１は、システム制御回路１８０による制御に基づいて、撮像素子１２０を駆動する。撮像素子駆動回路１２１の制御に基づいて、撮像素子１２０の駆動方法や撮影時露光時間等を変更することができる。

ここで、撮像素子１２０の駆動方法について、図２を参照して説明する。図２は、撮像素子１２０の駆動方法を模式的に示す第１の図である。図２（ａ）は、全画素を１画素ずつ読み出す全画素読み出し駆動モードにより取得される画像例である。図２（ｂ）は、同色の水平・垂直の各２画素ずつを加算して読み出す２×２読み出し駆動モードにより取得される画像例である。図２（ｃ）は、同色の水平・垂直の各３画素ずつを加算して読み出す３×３読み出し駆動モードにより取得される画像例である。なお、図２では、図２（ａ）に示すように、全画素の画素数を４８０×３６０としているが、これに限定されるものではなく、他の画素数でも同様の読み出しが可能であることは言うまでもない。

図２からわかるように、２×２，３×３読み出し駆動モードではそれぞれ、全画素読み出し駆動モードと比較して、読み出す画素数が１／４，１／９となっている。そのため、解像度は低下するが、その代わりに、読み出しに要する時間もそれぞれ１／４，１／９となり、読み出し速度を高速化させることができる利点がある。

以下の説明では、図２（ｂ），（ｃ）に示した２×２読み出し駆動モードや３×３読み出し駆動モードのように全画素読み出し駆動モードと比較して少ない画素数で読み出し行う駆動モードを、「縮小読み出し駆動モード」と称呼することとする。

図３は、撮像素子１２０の駆動方法を模式的に示す第２の図である。図３（ａ）は、図２（ａ）と同様に、全画素を１画素ずつ読み出す全画素読み出し駆動モードにより取得される画像例である。ここでは、図示のように全画角をブロックに分割し、そのうちの任意の領域のみを読み出す駆動モードの実現が可能である。図３（ｂ）は、全画素（全画角）のうちの任意の一部（ここでは、全画角の１／３の面積の領域）のみを読み出す１／３領域読み出し駆動モードにより取得される画像例である。同様に、図３（ｃ）は、全画素（全画角）の一部（ここでは、全画角の２／３の面積の領域）のみを読み出す２／３領域読み出し駆動モードにより取得される画像例である。

図３（ｂ）の１／３領域読み出し駆動モードでは、主被写体の存在する領域（以下「主被写体撮影領域」という）３０１を読み出している。逆に、図３（ｃ）の２／３領域読み出し駆動モードでは、主被写体の存在しない領域（以下「非主被写体領域」という）３０２を読み出している。全画角の一部を読み出すこのような駆動モードでは、全画角を読み出す駆動モードと比較すると、読み出す領域を限定しているために読み出す画素数が少なくなるため、読み出しに要する時間が短縮される。即ち、１／３領域読み出し駆動モードと２／３領域読み出し駆動モードでの読み出し時間はそれぞれ、全画素読み出し駆動モードでの読み出し時間の１／３，２／３となり、高速に読み出すことができる。

そこで、１／３領域読み出し駆動モードと２／３領域読み出し駆動モードも、全画素読み出し駆動モードよりも少ない画素数の読み出しを行うため、以下の説明では、縮小読み出し駆動モードに含まれるものとする。

第１実施形態では、撮像素子１２０からの画素情報を読み出す方法を、全画素読み出し駆動モードにするか或いは縮小読み出し駆動モードに含まれるいずれかの駆動モードとするかを、撮像素子駆動回路１２１により切り替えることができるようになっている。

撮像素子１２０から出力された画像信号は、画像処理回路１３０に取り込まれる。画像処理回路１３０は、画像合成処理回路２００、フォーカス条件算出回路２１０、主被写体判別回路２２０、空間周波数算出回路２３０、ぼかし処理回路２４０及び画像伸長回路２５０を含む。

画像合成処理回路２００は、メモリ１４０に予め保存された合焦画像や非合焦画像等の複数の画像に対して、定められた合成係数に応じて各画像を重みづけしながら加算する処理を行い、合成画像を生成する。フォーカス条件算出回路２１０は、入力された画像の特定被写体が合焦するような適切なフォーカスレンズの位置条件を算出し、その結果をシステム制御回路１８０に伝達する。また、フォーカス条件算出回路２１０は、特定被写体が合焦せずにぼけるようなフォーカス位置条件を算出し、その結果をシステム制御回路１８０に伝達する。なお、フォーカス位置の算出には、合焦するフォーカス位置に対して一律で特定の距離分だけ至近側に動かす方法や、至近端と無限遠のうち合焦位置から遠い方を選択する方法、絞り値を動かす方法等を用いることができる。

主被写体判別回路２２０は、撮影した画像から主被写体となる部分（領域）を判別し、その領域情報を出力する。なお、主被写体の判別方法には、ユーザが指定した被写体に固定する方法や画像から検出された顔を分析して主被写体にする方法をはじめとして種々の方法があるが、以下の説明では、便宜上、ユーザより明確に指定された画像上の人物が主被写体とするものとする。

空間周波数算出回路２３０は、画像の空間周波数を算出する。なお、画像の空間周波数は、主被写体判別回路２２０から出力される領域情報を得ることによって、主被写体とそれ以外の領域でそれぞれ算出することが可能である。ぼかし処理回路２４０は、入力画像に対してローパスフィルタ処理を施して画像の高周波成分を除去し、ぼかし画像を生成する。画像伸長回路２５０は、入力画像に対して拡大処理を行い、予め定められた画素数の画像に変換する処理を行い、拡大画像を生成する。

画像処理回路１３０は、画像信号をデジタル変換し、更に、ガンマ処理やホワイトバランス処理等の各種の信号処理を行い、その際に、画像信号をメモリ１４０との間で書き込み／読み出しする。画像処理回路１３０からの出力は、画像表示を行うＬＣＤ１５０において表示される。画像処理回路１３０で画像処理が施された画像データは、画像変換回路１６０を介して圧縮され、メモリカード１７０に書き込まれ、記憶される。

画像変換回路１６０は、画像処理回路１３０から取得した画像データを圧縮してメモリカード１７０へ出力する機能と、メモリカード１７０より読み出した画像データを伸長して画像処理回路１３０へ出力する機能を有する。なお、システム制御回路１８０は、画像処理回路１３０において処理された信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。ここで、画像撮影時のＡＦ処理条件については、フォーカス条件算出回路２１０の算出結果等から抽出した任意の条件をレンズ制御部１１１に制御指示する構成とすることもできる。

撮影者が撮像装置に指示を入力するための操作部１９０は、例えば、レリーズボタンやモード切り換えダイヤル、ＬＣＤ１５０に設けられたタッチパネルにより構成されており、入力内容はシステム制御回路１８０に通知される。システム制御回路１８０は、ＣＰＵとプログラムが記憶されたメモリ等を備え、メモリに記憶されたプログラムを実行することにより、前述した各種処理や後述する図４のフローチャートに示す各種の処理をはじめとして、撮像装置の全体的制御を行う。

図４は、撮像装置を用いて１フレームの画像を撮影する撮影シーケンスのフローチャートである。図５は、複数枚の画像を撮影するための撮像素子１２０の駆動タイミングチャートである。

図５に示す出力同期信号は、複数画像合成後の画像を出力するタイミングを表す同期信号であり、この周期が画像出力のフレームレートに対応している。また、撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号であり、この周期が画像撮影のフレームレートに対応している。図５では、撮影画像フレーム、合成用画像及び合成後出力画像は、撮影及び生成タイミングを示す概念図として表されている。「合焦画像」（図５では「合焦」と表示）は、被写体に合焦している画像を示している。「ぼかし画像」（図５では「ぼかし」と表示）は、合焦せずにぼけている画像（非合焦画像）を示しており、「背景ぼかし画像」（図５では「合成画像（背景ぼかし）」と表示）は、合成後出力画像を示している。なお、背景ぼかし画像は、第１実施形態では、主被写体以外の被写体（背景等）を意図的にぼかした画像である。

以下の説明では、１フレームの画像を生成するために撮影する２枚の画像のうち１枚目を「１ｓｔフレーム」と称呼し、２枚目を「２ｎｄフレーム」と称呼することとする。また、各撮影画像は撮影開始からのフレームの数ｎを引数とした「Ｆｒ（ｎ）」で表すこととする。

ステップＳ４０１は、図５の時刻Ｔ１において実行される。ステップＳ４０１において、システム制御回路１８０は、主被写体判別回路２２０を通じて、画面内の主被写体領域を判別する。続くステップＳ４０２において、システム制御回路１８０は、ステップＳ４０１で取得した主被写体に対して合焦するフォーカスレンズの適正位置条件をフォーカス条件算出回路２１０から取得し、取得したフォーカスレンズ位置条件をレンズ制御部１１１に指示する。

次いで、ステップＳ４０３において、システム制御回路１８０は、１ｓｔフレームで取得する合焦画像フレームの撮影手段を判断し、駆動モード条件を指示する。第１実施形態では、合焦画像フレームは、通常の全画素読み出し駆動モードで取得することとする。よって、システム制御回路１８０は、全画素読み出し駆動モードで撮像素子１２０を駆動するよう撮像素子駆動回路１２１に指示する。

ステップＳ４０４において、システム制御回路１８０は、ステップＳ４０３で指示したフォーカス条件と駆動モード条件で１ｓｔフレームＦｒ（ｎ）の撮影を行い、撮影画像をメモリ１４０に保存する。図６（ａ）は、ステップＳ４０４で取得する合焦画像フレームである１ｓｔフレームＦｒ（ｎ）の例を示す図である。

次に、図５の時刻Ｔ２において、ステップＳ４０５の処理が実行される。ステップＳ４０５において、システム制御回路１８０は、主被写体を含む画面全体が合焦しない（つまり、ぼやける）フォーカスレンズの位置条件をフォーカス条件算出回路２１０から取得し、取得したフォーカスレンズ位置条件をレンズ制御部１１１に指示する。続くステップＳ４０６において、システム制御回路１８０は、２ｎｄフレームで取得するぼかし画像フレームの縮小読み出し駆動モードを判断し、駆動モード条件を指示する。ここでは、ぼかし画像フレームとして図２（ｂ）に示した２×２読み出し駆動モードを用いることとし、２×２読み出し駆動モードで撮像素子１２０を駆動するように撮像素子駆動回路１２１に指示が出されるものとする。

なお、２×２読み出し駆動モードでは、読み出す画素数を１／４とするため、解像度は低下するが、読み出し速度は４倍になる。ぼかし画像フレームを通常の全画素読み出し駆動モードで取得する従来技術では、１ｓｔフレームと同等の画像読み出し時間を要する。これに対して第１実施形態では、画素数を削減することで高速で読み出しを行うため、従来技術と比較して、出力フレームレートを高速化することができる。

ステップＳ４０７において、システム制御回路１８０は、ステップＳ４０６で指示したフォーカス条件と駆動モード条件で、２ｎｄフレームＦｒ（ｎ＋１）の撮影を行い、撮影画像をメモリ１４０に保存する。図６（ｂ）は、ステップＳ４０７で取得するぼかし画像フレームである２ｎｄフレームＦｒ（ｎ＋１）の例を示す図である。

ステップＳ４０８は、図５の時刻Ｔ３において実行される。ステップＳ４０８において、システム制御回路１８０は、ステップＳ４０７にて撮影されてメモリ１４０に保存されたぼかし画像フレームである２ｎｄフレームＦｒ（ｎ＋１）をぼかし処理回路２４０に入力し、高周波成分を削減する処理を付加した画像を生成する。更に、システム制御回路１８０は、こうして生成した画像（ぼかし処理回路２４０からの出力画像）を画像伸長回路２５０に入力し、１ｓｔフレームＦｒ（ｎ）と同じサイズの画像に伸長する。これにより、合成用ぼかし画像フレームＦｒ´（ｎ＋１）が生成され、画像伸長回路２５０から出力される合成用ぼかし画像フレームＦｒ´（ｎ＋１）は、全画素読み出し駆動モードで得られる画像と同サイズとなる。図８（ｃ）は、ステップＳ４０８で取得される合成用ぼかし画像フレームＦｒ´（ｎ＋１）の例を示す図である。

ステップＳ４０９において、システム制御回路１８０は、ステップＳ４０４にて撮影されてメモリ１４０に保存された合焦画像フレームである１ｓｔフレームＦｒ（ｎ）とステップＳ４０８にて生成された合成用ぼかし画像フレームＦｒ´（ｎ＋１）とを画像合成処理回路２００に入力する。画像合成処理回路２００にて、入力されたこれら２枚の画像の合成処理を行い、１フレームの背景ぼかし画像を生成する。図８（ｄ）は、ステップＳ４０９で得られる背景ぼかし画像の例を示す図である。なお、合焦画像フレームと合成用ぼかし画像フレームとを利用して背景ぼかし画像を合成する方法は、周知技術（例えば、特開２００３−２０９７２７号公報等）を用いることができ、第１実施形態において特に限定されるものではない。そのため、その詳細についての説明を省略する。

次に、ステップＳ４１０において、システム制御回路１８０は、ステップＳ４０９にて生成された１フレームの背景ぼかし画像に対して、画像処理回路１３０にて各画像処理を施す。そして、システム制御回路１８０は、画像処理回路１３０から出力される画像処理後の画像を、出力画像としてメモリカード１７０に保存すると共に、ＬＣＤ１５０に表示する。

ステップＳ４１１も、図５の時刻Ｔ３で実行される。ステップＳ４１１において、システム制御回路１８０は、撮影終了の指示があるか否かを判定する。システム制御回路１８０は、撮影終了の指示があった場合（Ｓ４１１でＹＥＳ）、処理をステップＳ４０１へ戻し、撮影終了の指示がない場合（Ｓ４１１でＮＯ）、処理を終了させる。

以上の説明の通り、第１実施形態では、合成する複数の画像フレームのうち少なくとも１つのフレームを縮小して読み出すため、読み出しに要する時間を短縮することができる。これにより、背景ぼかし画像を生成しながら、合成画像の出力フレームレートを向上させることができる。

なお、第１実施形態では、主被写体の合焦画像／画面全体非合焦の２種類の画像の合成としたが、これに限定されるものではない。例えば主被写体１合焦／主被写体２合焦／前景非合焦／背景非合焦の４枚合成というように、合焦個所や撮影枚数、合成枚数を適宜変更することができる。この場合でも、主被写体の撮影を全画素読み出し駆動モードで、前景及び背景の撮影を縮小読み出し駆動モードで行うことで、同様の効果を得ることができる。

また、第１実施形態では、ぼかし画像フレームを撮影するために、ステップＳ４０５でフォーカスレンズの位置を非合焦となるように設定した。但し、これに限られず、絞り値を小さくして被写界深度を浅くし、主被写体に対して前景／背景をぼかすようにしてもよい。

＜第２実施形態＞
第２実施形態に係る撮像装置の概略構成は、図１の撮像装置と同じであるので、ここでの説明を省略する。第２実施形態では、撮影する被写体の空間周波数に応じて、その背景を更にぼかす必要がある場合には更に縮小して読み出すように、撮像素子１２０の駆動方法を切り替える。第２実施形態は、第１実施形態において説明した撮影シーケンス（図４の処理フロー）のうち、ステップＳ４０６における２ｎｄフレームで取得するぼかし画像フレームの駆動モードの判断のみが異なるため、以下、この点について詳細に説明することとする。

図７は、第２実施形態において、２ｎｄフレームで取得するぼかし画像フレームの駆動モードの判断処理（ステップＳ４０６の変形例）のフローチャートである。ステップＳ７０１において、システム制御回路１８０は、ステップＳ４０４において撮影されてメモリ１４０に保存された合焦画像である１ｓｔフレームＦｒ（ｎ）を空間周波数算出回路２３０に入力し、画像の各領域における空間周波数成分を算出する。

続くステップＳ７０２において、システム制御回路１８０は、ステップＳ７０１で算出した空間周波数のうち、ステップＳ４０１で取得した主被写体領域を除いた領域について平均値を取り、この平均値を背景の空間周波数値ｆｒｑ（ｎ）として保存する。そして、ステップＳ７０３において、システム制御回路１８０は、ステップＳ７０２で算出した空間周波数値ｆｒｑ（ｎ）を予め定められた所定の閾値Ｔｈと比較する。システム制御回路１８０は、空間周波数値ｆｒｑ（ｎ）が閾値Ｔｈより小さい場合（Ｓ７０３でＹＥＳ）、処理をステップＳ７０４へ進め、空間周波数値ｆｒｑ（ｎ）が閾値Ｔｈ以上の場合（Ｓ７０３でＮＯ）、処理をステップＳ７０５へ進める。

ステップＳ７０４において、システム制御回路１８０は、２ｎｄフレームで取得するぼかし画像フレームの縮小読み出し駆動モードを基本の縮小駆動モードとする。第２実施形態では、基本の縮小駆動モードとして、図２（ｂ）に示す２×２読み出し駆動モードを用いることとし、２×２読み出し駆動モードで撮像素子１２０を駆動するように撮像素子駆動回路１２１に指示がなされる。

一方、ステップＳ７０５では、２ｎｄフレームで取得するぼかし画像フレームの縮小読み出し駆動モードを、より縮小して撮影される駆動モードとするよう判断する。第２実施形態では、より縮小して読み出すモードとして、図２（ｃ）に示す３×３読み出し駆動モードを用いることとし、３×３読み出し駆動モードで撮像素子１２０を駆動するように撮像素子駆動回路１２１に指示がなされる。ステップＳ７０４，Ｓ７０５の後、本処理は終了となる。

以上の説明の通り、第２実施形態では、撮像素子１２０の駆動を、背景の空間周波数がある閾値よりも高い場合にはより空間周波数を下げる駆動とし、これにより、背景の空間周波数が低い場合と同等の背景ぼかし効果を導出する。このように、第２実施形態でも、複数の合成する画像フレームのうち少なくとも１つのフレームを画像の空間周波数レベルに応じて縮小して読み出すことで読み出し時間を短縮する。これにより、合成画像の出力フレームレートを向上させることができると同時に、被写体に依らずに良好な背景ぼかし画像を生成することができる。

＜第３実施形態＞
第３実施形態では、画像合成に使用する合焦画像と非合焦画像のそれぞれについて、必要な領域のみを撮影するように駆動方法を切り替えることにより、撮影に要する時間を短縮させる。第３実施形態は、第１実施形態において説明した撮影シーケンス（図４の処理フロー）のうち、ステップＳ４０３，Ｓ４０６，Ｓ４０８，Ｓ４０９の部分のみが異なるため、これらの部分のみについて、以下に説明することとする。

図８は、第３実施形態において、合焦画像フレームの撮影手段を判断し、駆動モード条件を指示する処理（ステップＳ４０３の変形例）のフローチャートである。ステップＳ８０１において、システム制御回路１８０は、ステップＳ４０１で判別した画面内の主被写体領域に基づき、主被写体撮影領域を定める。第３実施形態では、図３（ｂ）の主被写体撮影領域３０１を、ステップＳ８０１において、主被写体撮影領域と定めることとする。

続くステップＳ８０２において、システム制御回路１８０は、ステップＳ８０１で定めた主被写体撮影領域３０１を除いた領域を非主被写体撮影領域として定める。本実施形態では、図３（ｃ）の非主被写体撮影領域３０２を非主被写体撮影領域と定めることとする。ステップＳ８０３において、システム制御回路１８０は、合焦画像フレームである１ｓｔフレームとして主被写体撮影領域３０１（図３（ｂ））を撮影するように、撮像素子１２０を駆動する指示を撮像素子駆動回路１２１に対して行う。

ステップＳ４０３をステップＳ８０１〜Ｓ８０３の通りに変形した場合の後のステップＳ４０６，Ｓ４０８，Ｓ４０９（以下、「ステップＳ４０６´」，「ステップＳ４０８´」，「ステップＳ４０９´」とする）について、次に説明する。

ステップＳ４０６´において、システム制御回路１８０は、ステップＳ８０１〜Ｓ８０３で定めた１ｓｔフレームの撮影範囲を除く撮影領域を設定する。従って、システム制御回路１８０は、２ｎｄフレームとして取得するぼかし画像フレームとして、ステップＳ８０２で定めた図３（ｃ）の非主被写体撮影領域３０２を撮影領域として指定し、撮像素子１２０を駆動するよう撮像素子駆動回路１２１に指示する。

ステップＳ４０８´において、システム制御回路１８０は、ステップＳ４０７にて撮影されてメモリ１４０に保存されたぼかし画像フレームである２ｎｄフレームＦｒ（ｎ＋１）をぼかし処理回路２４０に入力する。ぼかし処理回路２４０は、２ｎｄフレームＦｒ（ｎ＋１）に対して高周波成分を削減する処理を付加し、これにより、合成用ぼかし画像フレームＦｒ´（ｎ＋１）が生成される。なお、第１実施形態では、画像サイズを伸長する処理を行っていたが、第３実施形態では、非主被写体領域のみの画像であるため、伸長処理は行わない。

続くステップＳ４０９´において、システム制御回路１８０は、ステップＳ４０４にて撮影されてメモリ１４０に保存された合焦画像フレームＦｒ（ｎ）とステップＳ４０８´で生成した合成用ぼかし画像フレームＦｒ´（ｎ＋１）の２枚を、画像合成処理回路２００に入力する。画像合成処理回路２００は、入力された２枚の画像の合成処理を行い、１フレームの背景ぼかし画像を生成する。ここで、第３実施形態での処理は、第１実施形態とは異なり、主被写体撮影領域と非主被写体撮影領域とが同じ画角ではないため、各領域をつなぎ合わせて１枚の画像を生成することとなる。

以上の説明の通り、第３実施形態では、複数の画像フレームのうち合焦画像と非合焦画像のそれぞれについて必要な領域のみを撮影する。つまり、縮小読み出しにより読み出した画像を合成する。ここで、縮小読み出しでは、全画素読み出しよりも読み出し時間を短縮することができるため、合成画像の出力フレームレートを向上させることができ、同時に、被写体によらず安定した背景ぼかし画像を生成することができる。なお、第３実施形態では、主被写体撮影領域と非主被写体撮影領域は重なりを持たないように設定しているが、両者の領域に重なる部分があってもよく、同様の効果が得られる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１１０ 撮像レンズ
１２０ 撮像素子
１２１ 撮像素子駆動回路
１３０ 画像処理回路
１４０ メモリ
１６０ 画像変換回路
１８０ システム制御回路
２００ 画像合成処理回路
２１０ フォーカス条件算出回路
２２０ 主被写体判別回路
２３０ 空間周波数算出回路
２４０ ぼかし処理回路
２５０ 画像伸長回路

Claims (8)

1. 合成画像を生成するための複数の画像フレームを撮像素子により取得する撮像装置であって、
   前記撮像素子から出力される画像フレームに画像処理を施す画像処理手段と、
   前記複数の画像フレームのうち少なくとも１つの画像フレームとして他の画像フレームよりも少ない画素数の縮小読み出しフレームを前記撮像素子において生成し、前記画像処理手段に出力させる制御手段を備え、
   前記複数の画像フレームは、主被写体に合焦した合焦画像フレームである全画素読み出しフレームを含み、
   前記制御手段は、前記全画素読み出しフレームにおける非主被写体撮影領域の空間周波数が所定の閾値以上の場合に、前記縮小読み出しフレームで読み出す画素数を前記空間周波数が前記所定の閾値よりも小さい場合よりも少なくすることを特徴とする撮像装置。
2. 前記制御手段の指示に基づいて前記撮像素子の駆動を制御する駆動制御手段を有し、
   前記撮像素子が光電変換により入射光量に応じた信号を生成して出力する際に前記撮像素子の複数の画素からの信号を加算して出力するように前記駆動制御手段が前記撮像素子を制御することで、前記縮小読み出しフレームの信号が前記画像処理手段に出力されることを特徴とする請求項１に記載の撮像装置。
3. 前記縮小読み出しフレームと前記他の画像フレームとでは、撮影の際のフォーカスレンズの位置または絞り値が異なることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記縮小読み出しフレームは、前記撮像素子の全画素のうちの任意の一部の領域から読み出される画像フレームであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像処理手段は、前記撮像素子により撮影される複数の画像フレームを合成して１つの合成画像を生成する合成手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画像処理手段は、前記縮小読み出しフレームに対して高周波成分を削減する処理を行う削除手段を備え、
   前記合成手段は、前記削除手段により処理された画像フレームと前記他の画像フレームとを合成することにより前記合成画像に背景ぼかし効果を導出することを特徴とする請求項５に記載の撮像装置。
7. 前記画像処理手段は、前記縮小読み出しフレームに対してぼかし処理を行うぼかし処理手段を備え、
   前記合成手段は、前記ぼかし処理手段により処理された画像フレームと前記他の画像フレームとを合成することにより前記合成画像に背景ぼかし効果を導出することを特徴とする請求項５に記載の撮像装置。
8. 撮像装置の制御方法であって、
   合成画像を生成するための複数の画像フレームを撮像素子において生成する生成ステップと、
   前記生成ステップで生成された複数の画像フレームを画像処理手段に出力する出力ステップと、
   前記画像処理手段へ出力された前記複数の画像フレームに画像処理を施す画像処理ステップと、を有し、
   前記生成ステップにおいて生成される複数の画像フレームは、他の画像フレームよりも少ない画素数の縮小読み出しフレームと、主被写体に合焦した合焦画像フレームである全画素読み出しフレームと、を含み、
   前記生成ステップでは、前記全画素読み出しフレームにおける非主被写体撮影領域の空間周波数が所定の閾値以上の場合に前記縮小読み出しフレームで読み出す画素数が、前記空間周波数が前記所定の閾値よりも小さい場合よりも少ないことを特徴とする撮像装置の制御方法。