JP4806470B2 - 撮像装置 - Google Patents

Description

本発明は画角の調整が可能な撮像装置及びその撮影方法に関するもので、特に対象とする被写体に対して自動的な画角の調整を行う撮影方法に関する。

各種デジタル技術の発展に伴い、デジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置が現在広く普及しており、ＣＣＤ（Charge Coupled Device）
やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子の
画素数の向上により高精細な画像が撮影できるようになっている。さらに、光学ズームレンズを備え、オートフォーカス機能を有するものも一般的となっており、カメラに慣れていない人でも広角や望遠に自由にズーム倍率を設定して画角を変更しつつ、しかもピントの合った画像を容易に撮影できるようになっている。

しかし、撮影の際の構図の設定は、特に撮影の初心者にとって難しく、対象とした被写体が大きすぎたり小さすぎたり、関係のない後景がその被写体よりも広く写っていたりと、撮影後に画像を観察すると撮影者の意図したような構図で撮影できていないことがある。

そこで、例えば特許文献１ではズームレンズを備えたカメラで、撮影時に設定されているズーム倍率の他に複数のズーム倍率でも自動的に撮影して、広角、望遠及びその中間の画角の画像を一度に得られるようにし、撮影者が撮影後に適切な画角の画像を選択できるようにする撮影方法が提案されている。

特許文献２では、ズームレンズを備えたデジタルカメラで、撮影時に設定されているズーム倍率よりも広角側にズーム倍率を変更して撮影し、その広い画角の画像から、撮影者の意図した撮影範囲の画像と、撮影者の設定したズーム倍率であって撮影者の意図した撮影範囲からずらした撮影範囲の画像を自動的に切り出して生成し、撮影者が適当な撮影範囲の画像を選択できるようにする方法が提案されている。

又、特許文献３では、特に人物を被写体とし、目、耳、鼻等の顔の特徴部分を検出する手段を用いて検出した顔の特徴部分がフレーム内の基準領域内に位置するように、移動機構によってカメラの位置、姿勢を制御して、撮影される顔の位置及び大きさを制御する方法が提案されている。
特開平６−２２２６３号公報 特開２００４−１０９２４７号公報 特開２００５−１１７３１６号公報

しかし、特許文献１で提案された方法では、対象とする被写体の画像内での位置を考慮せず、ズーム倍率を変えて撮影するだけであるため、自動的に撮影された画像が対象となる被写体が下の方に偏っていたり、画像の縁で切れてしまったりしたものとなる可能性がある。

又、特許文献２で提案された方法では、画像を切り出すため、従来の固体撮像素子をそのまま使ったのでは、得られる画像は従来よりも精細さの劣るものとなる。一方、従来の画像の精細さを維持するためには固体撮像素子を従来よりも大きなものとしなければならず、撮像装置の大型化が避けられない。

特許文献３で提案された方法では、１箇所に固定されたカメラを用いるものであり、カメラの位置、姿勢の制御するための移動移動機構が回転モータやチルトモータなどの多くのモータ等を備えた大掛かりなものであるため、持ち運びには適さない。

そこで、本発明は、対象とする被写体が適切な大きさに配置され、かつ変化に富んだ複数の画角の画像を容易に得られ、又、容易に持ち運びできる撮像装置及びこのような撮影方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像信号を出力する撮像部と、該撮像信号による画像から対象となる複数の被写体の特定部分を検出する画像処理部と、前記複数の特定部分が前記画像内で所定の大きさになるようにズーム倍率を制御するズーム制御部と、前記複数の特定部分が前記画像内で所定の位置になるように前記複数の特定部分の位置をシフトするシフト制御部と、前記画像内の前記複数の特定部分が所定の大きさ及び位置となる複数の基準構図が予め設定された構図設定部と、前記画像の撮影を行う際、前記画像内における前記複数の特定部分の大きさと位置を検出し、前記画像内の前記複数の特定部分の大きさと位置が前記複数の基準構図の夫々に沿うか否かを判断する判断部と、を備え、前記判断部により基準構図に沿うと判断された構図を有効構図とし、該有効構図が複数ある場合に、複数の有効構図の夫々に適するように前記ズーム制御部及び前記シフト制御部を制御することにより撮影することを特徴とする。

本発明によると、持ち運び容易な撮像装置で、対象とする被写体を適切な大きさ、位置に配置した画像を、複数の画角に対して自動的に得ることができる。そのため、撮影者が設定した画角で撮影した画像では人物の位置、大きさが偏っていたり、中途半端であったりする構図であっても、複数の理想的な画角、構図の画像が自動的に撮影されているため、撮影の失敗を少なくすることができる。

本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータを有するレンズ部１８と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して顔検出処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、静止画を撮影する場合は画像処理部４からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２０に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。レンズ部１８は、画像処理部４で検出した画像信号に応じてＣＰＵ１３が、モータを駆動してフォーカス、絞り、光学ズーム倍率、光軸シフトの制御を行うものである。レンズ部１８は、図２に示すように、結像用のレンズ１８ａとイメージセンサ１との間に設けられた、イメージセンサ１の受光面に対して平行に移動可能なシフトレンズ１８ｂを備えている。シフトレンズ１８ｂはＣＰＵ１３によって位置を制御可能であり、結像用のレンズ１８ａから入射した光の光軸をイメージセンサ１の所定の位置となるようにシフトすることができる。

（撮像装置の基本動作 静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図３のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ１０１）、撮像装置の撮影モードつまりイメージセンサ１の駆動モードを自動的にプレビューモードに設定する（ＳＴＥＰ１０２）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２においてデジタル信号に変換されて、画像処理部４で画像処理が施され、圧縮処理部６で圧縮された現時点の画像に対する画像信号が外部メモリ２０に一時的に記録される。この圧縮信号は、ドライバ部７を経て、伸長処理部８で伸長され、現時点で設定されているレンズ部１８のズーム倍率での画角の画像がディスプレイ部９に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ１０３）。その際、画像処理部４に入力された画像信号を基にＣＰＵ１３によってレンズ部１８を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・フォーカス制御（Auto Focus；ＡＦ）が行われる（ＳＴＥＰ１０４）。ユーザが撮影画角、構図を決定し、操作部１５のシャッタボタンを半押しすると（ＳＴＥＰ１０５）、ＡＥ及びＡＦの最適化処理を行う（ＳＴＥＰ１０６）。

撮影用のＡＥ・ＡＦが設定された後、シャッタボタンが全押しされたら（ＳＴＥＰ１０７）、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、画像処理部４及び圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、画像処理部４において入力された画像信号に所定以上の大きさの顔があるかどうかを検出する（ＳＴＥＰ１０８）。この顔検出処理については後述する。所定大きさ以上の顔が検出されなければ通常撮影を行い、所定大きさ以上の顔が検出されれば後述する画角ブラケット撮影を行う。

画像信号中に所定以上の大きさの顔が検出されなかった場合、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ１２５）、イメージセンサ１から出力されるアナログ信号である画像信号のＲａｗＤＡＴＡをＡＦＥ２でデジタル信号に変換して一旦メモリ１４に書き込む（ＳＴＥＰ１２６）。このデジタル信号がメモリ１４から読み込まれ、画像処理部４において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号を圧縮処理部６においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮（ＳＴＥＰ１２７）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ１２４）、撮影を完了する。その後、撮影待機状態とするためプレービューモードに戻る（ＳＴＥＰ１０２）。

（顔検出処理）
次に、この撮像装置の顔検出処理について説明する。画像処理部４は顔検出装置４０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置４０の構成及び動作について以下に説明する。

図４は、顔検出装置４０の構成を示している。顔検出装置４０は、ＡＦＥ２によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段４２、入力画像および縮小画像から構成される各階層画像とメモリ１４に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段４５、および顔判定手段４５の検出結果を出力する検出結果出力手段４６を備えている。検出結果出力手段４６は、顔が検出された場合には、入力画像を基準とする検出された顔の大きさと位置とを出力する。

又、メモリ１４に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。

尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによ
って、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図５は、縮小画像生成手段４２によって得られる階層画像の一例を示している。この例では、縮小率Ｒを０．８に設定した場合に、生成される複数の階層画像を示している。図５において、５０は入力画像を、５１〜５５は縮小画像を示している。６１は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像５０の他に、複数の縮小画像５１〜５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。

図６は顔検出処理を説明するための図である。顔判定手段４５による顔検出処理は、各階層画像毎に行なわれるが、処理方法は同様なので、ここでは入力画像５０に対して行なわれる顔検出処理についてのみ説明する。図６において、５０は入力画像を示し、６１は入力画像内に設定された判定領域を示している。

各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。このようにして、検出された顔の位置及び大きさは検出結果出力手段４６によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。

（撮像装置の基本動作 動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、ＴＧ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号のＲａｗＤＡＴＡがデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。

そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。

このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、画像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。

又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。

（画角ブラケット撮影）
次に画角ブラケット撮影について説明する。本発明の撮像装置では、光学ズームと顔検出機能と光軸シフト機能とを組み合わせることにより、画像内の人物が所定の位置で所定の大きさとなる構図の単数又は複数の画角の画像を自動的に一度に撮影できる。以下、この撮影方法を画角ブラケット撮影と呼ぶ。

図３のＳＴＥＰ１０８において画像信号中に所定大きさ以上の顔が検出された場合、シャッターボタンが押された時点での焦点距離と画像の高さに対する顔の比率を算出する（ＳＴＥＰ１０９）。

次に、ルーズショット（ＬＳ）、ミドルショット（ＭＳ）、タイトショット（ＴＳ）の撮影に必要な焦点距離（ズーム倍率、画角）及び光軸のシフト量を算出する（ＳＴＥＰ１１０）。ここで、ＬＳとは人物の全身、ＭＳとは人物の上半身、ＴＳとは顔のアップを対象とした画角及び構図のことを言う。レンズ部１８のレンズの焦点距離の可変範囲内に必要な焦点距離が入ってないショットを抽出し、撮影対象から外す（ＳＴＥＰ１１１）。

図７にレンズ部１８のレンズの焦点距離の可変範囲と、算出されたＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離の関係図を示す。図７において焦点距離は、左側ほど短く、右側ほど長い。いずれの場合もユーザの設定した現時点での焦点距離は、レンズの焦点距離の可変範囲であれば任意である。（１）の場合は、ＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離が全てレンズの焦点距離の可変範囲に収まっており、撮影対象から外すショットはない。（２）は人物が遠い場合の例であり、ＴＳの撮影に必要な焦点距離がレンズの焦点距離の可変範囲よりも長く、ＴＳが撮影対象から外すショットとなる。さらに人物が遠い場合にはＭＳも撮影対象から外すこととなる。（３）は人物が近い場合の例であり、ＬＳの撮影に必要な焦点距離がレンズの焦点距離の可変範囲よりも短く、ＬＳが撮影対象から外すショットとなる。さらに人物が近い場合にはＭＳも撮影対象から外すこととなる。

イメージセンサ１の駆動モードを静止画撮影モードに設定（ＳＴＥＰ１１２）し、画像処理部４に保持されている、ユーザが設定した画角の画像のＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１３）。

ＬＳ撮影が可能であれば（ＳＴＥＰ１１４）、ＳＴＥＰ１１０で算出したＬＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１１５）。ステップ１１５で撮影して得たＬＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１６）。ＬＳ撮影が可能でなければＭＳ撮影に移行する。

ＭＳ撮影が可能であれば（ＳＴＥＰ１１７）、ＳＴＥＰ１１０で算出したＭＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１１８）。ステップ１１８で撮影して得たＭＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１９）。ＭＳ撮影が可能でなければＴＳ撮影に移行する。

ＴＳ撮影が可能であれば（ＳＴＥＰ１２０）、ＳＴＥＰ１１０で算出したＴＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１２１）。ステップ１２１で撮影して得たＴＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１２２）。ＴＳ撮影が可能でなければ圧縮画像の生成に移行する。

ユーザが設定した画角の画像と自動的に撮影された最大で３つの画角の画像、すなわち最大で合計４枚の画像のデジタル信号に画像処理部４において各種画像処理を施し、各々ＪＰＥＧ形式に圧縮（ＳＴＥＰ１２３）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ１２４）、撮影を完了する。その後、撮影待機状態とするためプレービューモードに戻る（ＳＴＥＰ１０２）。

尚、ＳＴＥＰ１１３のユーザが設定した画角の画像のＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込むステップを省略してもよい。ＳＴＥＰ１１３を省略した場合、１回のシャッタ動作で撮影される画像は最大で３枚となる。又、同時に撮影した一連の画像ファイルを、撮像装置において１個のファイル群として管理してもよいし、別個の独立したファイルとして管理してもよく、操作部１５の操作によりユーザがいずれかを選択できるようにしてもよい。１個のファイル群とした場合は、その撮影自体が不要である場合などに、このグループの画像を全て一括して消去でき、別個の独立したファイルとした場合は、不要なショットだけを消去する場合など、それぞれを選択して消去できる。又、顔を画像の所定の位置とする方法として、光軸をシフトする方法ではなく、撮影した画像のトリミング（切り出し）による方法を用いてもよい。

次に、ＬＳ、ＭＳ、ＴＳでの画像の高さに対する顔の比率、顔の画像における位置について説明する。以下に説明する比率、位置は一例であり、適宜変更して構わない。

図８は顔エリアとＬＳ、ＭＳ、ＴＳの画角の関係を示す図であり、ユーザの設定する画角はこの範囲内であっても、この範囲から外れていても構わない。又、上述のようにＬＳとは人物の全身、ＭＳとは人物の上半身、ＴＳとは顔のアップを対象とした画角及び構図であり、それぞれ図９、図１０及び図１１に示すような画像である。ここで、画像の縦方向の長さすなわち高さをＨ、顔エリアの高さをＦＨ、画像の中心を通る画像の水平方向に平行な線から顔エリアの中心までの距離をＳＨとする。

ＬＳでは、人物のほぼ全身が画像に収まる構図とするため、例えばＨ／９≦ＦＨ≦Ｈ／７の範囲で顔エリアの高さＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、体がなるべく広い範囲で画像に収まるよう、例えば顔エリアの中心が画像の上三分の一より上とし、ＳＨ＞Ｈ／６とする。さらに、頭の先が画像から外れないように、Ｈ／２≧ＦＨ／２＋ＳＨ、すなわちＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、Ｈ／６＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して顔エリアの位置すなわち光軸のシフト量を決定する。

ＭＳでは、人物の上半身が画像に収まる構図とするため、例えばＨ／５≦ＦＨ≦Ｈ／３の範囲でＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、体がなるべく広い範囲で画像に収まるよう、例えば顔エリアの中心が画像の上半分となるように、ＳＨ＞０とする。さらに、頭の先が画像から外れないように、ＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、０＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して光軸のシフト量を決定する。

ＴＳでは、人物の顔全体が大きめに画像に収まる構図とするため、例えばＨ／３≦ＦＨ≦２Ｈ／３の範囲でＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、例えば顔エリアの中心が画像の上半分となるように、ＳＨ＞０とする。さらに、頭の先が画像から外れないように、ＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、０＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して顔エリアの位置すなわち光軸のシフト量を決定する。

尚、ＳＨは、広角側のショットほど大きく、望遠側のショットほど小さいことが好ましい。これは、広角側の画角のショットでは顔が画像の上の方となり、望遠側のショットでは顔が画像の中心から上となりすぎないようにするためである。よって、例えばＬＳではＳＨ＞Ｈ／５が好ましく、ＴＳではＳＨ＜Ｈ／８が好ましい。表１にＨ、ＦＨ、ＳＨを基準としたＬＳ、ＭＳ、ＴＳの設定例を示す。

このように、画角ブラケット撮影することにより、撮影者が設定した画角で撮影した画像では人物の位置、大きさが偏っていたり、中途半端であったりする構図であっても、複数の理想的な画角、構図の画像が自動的に撮影されているため、撮影の失敗を少なくすることができる。

以上では、対象とする被写体が人物であり、一人だけである場合について説明したが、対象とする被写体が複数人の人物であってもよい。この場合、図１２に示すように、ＳＴＥＰ１０８において複数人の顔を検出したのち、最も大きいＦＨをＦＨｍａｘとし、さらに全員の顔エリアを含む領域の高さであるＦＨａｌｌを算出する。そして、画角の算出は、ＦＨが最大の顔領域を基準としつつ、全員の顔エリアを含む領域とＦＨが最大の顔領域との高さの差（ＦＨａｌｌ−ＦＨｍａｘ）を加味するため、ＦＨｍａｘと、Ｈ−（ＦＨａｌｌ−ＦＨｍａｘ）との比を基準とする。尚、ＳＨは、全員の顔エリアを含む領域の中心を基準とする。

対象とする被写体が複数人の人物である場合、ＬＳ、ＭＳ、ＴＳに対するＦＨｍａｘの設定範囲は、上述した、対象とする被写体が一人の人物である場合におけるＨをＨ−（ＦＨａｌｌ−ＦＨｍａｘ）に置き換えればよい。ＳＨについては、対象とする被写体が一人の人物である場合と同様である。表２にＨ、ＦＨｍａｘ、ＦＨａｌｌ、ＳＨを基準としたＬＳ、ＭＳ、ＴＳの設定例を示す。

以上では、対象とする被写体が画像の水平方向の中心となるような画角ブラケット撮影について説明した。しかし、本発明の画角ブラケット撮影は、このようなものに限られず、シフトレンズ１８ｂによる光軸のシフトによって、対象となる被写体が画像の水平方向に左右にずれた構図となるものとしてもよい。対象とする画像の水平方向の中心となる構図と、水平方向に左右にずれたものとなる構図のうち少なくとも１つで複数の画角で撮影するものとしてもよく、これらの構図全てで複数の画角で撮影するものとしてもよい。図１３には、ＬＳ、ＭＳ、ＴＳのそれぞれの画角について対象となる被写体が画像の水平方向に対して左、中心、右となる構図の（ａ）〜（ｉ）の９枚の画像の例を示す。この場合、ＳＴＥＰ１１０で各構図についての光軸のシフト量を算出し、ＳＴＥＰ１１５、ＳＴＥＰ１１８、ＳＴＥＰ１２１で光軸を左右及び中心に移動させ、撮影することとなる。

尚、ユーザが設定した画角及び構図において対象となる被写体が水平方向に左右のいずれかにずれたものである場合、シフトレンズ１８ｂによる光軸のシフト範囲の限界により、そのずれた方向と反対側に対象となる被写体をずらした構図では撮影できない場合がある。例えば、ユーザが設定した画角及び構図が図１３の画像（ａ）に近い場合、画像（ｃ） や画像（ｆ）の構図とするための光軸のシフト量がシフト範囲から外れることがある
。その場合には、ＳＴＥＰ１１１でその構図を撮影対象から外せばよい。

尚、本実施形態では、画角ブラケット撮影で自動的に設定される既定の画角はＬＳ、ＭＳ、ＴＳの３種類としたが、４種類以上であってもよく、ユーザがこれらの既定の画角のうちいずれの画角を画角ブラケット撮影で用いるかを設定できるものとしてもよい。又、光軸のシフトはシフトレンズ１８ｂを用いて行うものに限られず、イメージセンサ１をその受光面に対して平行に移動させて行うものであってもよい。

本発明は、光学ズーム機能、顔検出機能及び光軸シフト機能を有する撮像装置に適用することができる。

は、本発明の撮像装置の内部構成を示すブロック図である。 は、結像用のレンズとシフトレンズとイメージセンサの関係を示す概略図である。 は、本発明の撮像装置の基本動作及び画角ブラケット撮影を説明するためのフローチャートである。 は、顔検出装置の構成を示すブロック図である。 は、縮小画像生成手段によって得られる階層画像の一例である。 は、顔検出処理を説明するための図である。 は、レンズの焦点距離の可変範囲と、算出されたＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離の関係図である。 は、顔エリアとＬＳ、ＭＳ、ＴＳの画角の関係を示す図である。 は、ＬＳの画像の一例である。 は、ＭＳの画像の一例である。 は、ＴＳの画像の一例である。 は、複数人の顔を検出した場合の顔エリアを説明するための図である。 は、ＬＳ、ＭＳ、ＴＳのそれぞれの画角について対象となる被写体が画像の水平方向に対して右、中心、左となる構図の画像の一例である。

１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６ バス回線
１７ バス回線
１８ レンズ部
１８ａ 結像用レンズ
１８ｂ シフトレンズ
２０ 外部メモリ
４０ 顔検出装置
４２ 縮小画像生成手段
４５ 顔判定手段
４６ 検出結果出力手段
５０ 入力画像
５１ 縮小画像
５２ 縮小画像
５３ 縮小画像
５４ 縮小画像
５５ 縮小画像
６１ 判定領域

Claims (1)

1. 撮像信号を出力する撮像部と、
   該撮像信号による画像から対象となる複数の被写体の特定部分を検出する画像処理部と、
   前記複数の特定部分が前記画像内で所定の大きさになるようにズーム倍率を制御するズーム制御部と、
   前記複数の特定部分が前記画像内で所定の位置になるように前記複数の特定部分の位置をシフトするシフト制御部と、
   前記画像内の前記複数の特定部分が所定の大きさ及び位置となる複数の基準構図が予め設定された構図設定部と、
   前記画像の撮影を行う際、前記画像内における前記複数の特定部分の大きさと位置を検出し、前記画像内の前記複数の特定部分の大きさと位置が前記複数の基準構図の夫々に沿うか否かを判断する判断部と、を備え、
   前記判断部により基準構図に沿うと判断された構図を有効構図とし、該有効構図が複数ある場合に、複数の有効構図の夫々に適するように前記ズーム制御部及び前記シフト制御部を制御することにより撮影することを特徴とする撮像装置。