JP6711599B2 - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、画像をリアルタイムで表示する撮像装置に関する。

従来のオートフォーカス（ＡＦ）制御においては、ユーザがライブビュー表示された画像においてＡＦ可能な範囲を容易に把握できるように、ＡＦ可能領域を画像に重複して表示することが行われている。特許文献１には、位相差ＡＦ方式を用いる場合は測距領域全てを含んだ大枠を、コントラストＡＦ方式を用いる場合は測距領域をそれぞれ画像に重畳して表示する撮像装置が記載されている。また、特許文献２には、顔やモノなどの特定の被写体を追尾しながらＡＦを行う撮像装置が記載されている。

特開２００９−３３６１２号公報 特開２０１３−２００５３０号公報

上記特許文献２において、ライブビュー表示中の画像について特定の被写体を追尾しながらＡＦを行う場合、ユーザは特定の被写体がＡＦ可能領域内に収まるようにフレーミングを行う必要がある。ところが、ＡＦ可能領域が、ライブビュー表示された撮影画面全体ではなく、例えば画面の周辺を除く一部の領域に制限されている場合、ユーザは画面内のＡＦ可能領域を把握していないと、どの範囲に被写体が収まるようにフレーミングを行えばよいのかわからなくなる。また、ＡＦ可能領域が常に画像に重畳表示されていると画像が見えづらくなることもある。

本発明は、上記課題に鑑みてなされ、画像の見えづらさを最小限に抑えながら、被写体に対して所定の撮影設定に応じた処理を実行可能な領域を正確に把握することができる技術を実現することを目的としている。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮像された画像から特定の被写体を検出する検出手段と、前記特定の被写体に対して追尾を行う追尾処理手段と、前記撮像された画像とともに前記追尾処理手段による追尾の対象の指定が可能な、前記検出手段での前記特定の被写体の検出状況にかかわらない予め定められた領域を表示する表示手段と、前記撮像された画像から前記特定の被写体が検出されている場合は前記領域を表示し、前記特定の被写体が検出されていない場合は前記領域を非表示とするように制御する表示制御手段と、を有する。

本発明によれば、画像の見えづらさを最小限に抑えながら、被写体に対して所定の撮影設定に応じた処理を実行可能な領域を正確に把握することができるようになる。

本発明に係る実施形態のデジタルカメラの外観図。 本実施形態のデジタルカメラの内部構成を示すブロック図。 本実施形態によるライブビュー表示中の撮影処理の動作手順を示すフローチャート。 顔・モノ＋追尾優先ＡＦ処理の動作手順を示すフローチャート。 ライブ１点ＡＦ処理の動作手順を示すフローチャート。 本実施形態の撮影処理時のライブビュー表示画面を例示する図。

以下に、本発明の撮像装置を、静止画や動画を撮影可能なデジタル一眼レフカメラに適用した実施の形態について、添付図面を参照して詳細に説明する。

＜装置構成＞図１及び図２を参照して、本実施形態のデジタルカメラの構成及び機能について説明する。

まず、図１を参照して、本実施形態のデジタルカメラ（以下、カメラ）１００の外観構成について説明する。

図１（ａ）はカメラ１００の前面斜視図であり、図１（ｂ）はカメラ１００の背面斜視図である。

図１において、表示部１０１は、画像や各種情報を表示する、カメラ本体の背面に設けられたＬＣＤなどの表示デバイスである。また、表示部１０１は、静止画撮影後の静止画再生や記録中の動画表示、及びライブビュー表示機能を併せ持っている。ファインダー外表示部２４３は、カメラ本体の上面に設けられたＬＣＤなどの表示デバイスであり、シャッター速度や絞りなどのカメラの様々な設定値を表示する。

シャッターボタン１０２は撮影指示を行うための操作部である。モード切替スイッチ１０３は各種モードを切り替えるためのダイヤル式の操作部である。端子カバー１０４は外部機器とカメラ１００をＵＳＢなどのケーブルを介して接続するためのコネクタ（不図示）を保護するカバー部材である。メイン電子ダイヤル１０５は図２で後述する操作部２７０に含まれる回転操作部材であり、このメイン電子ダイヤル１０５を回すことで、シャッター速度や絞りなどの設定値が変更できる。

電源スイッチ１０６はカメラ１００の電源のオン／オフを切り替える操作部材である。サブ電子ダイヤル１０７も図２で後述する操作部２７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー１０８も図２で後述する操作部２７０に含まれる移動指示部材であり、上、下、左、右のいずれかを押し込むことで、十字キー１０８の押した部分に応じた操作が可能である。

ＳＥＴボタン１０９も図２で後述する操作部２７０に含まれる押しボタンであり、主に選択項目の決定などに用いられる。ライブビューボタン１１０も図２で述する操作部２７０に含まれる押しボタンであり、静止画撮影モードではライブビュー表示のオン／オフを切り替え、動画記録モードでは動画撮影（記録）の開始や停止の指示に使用される。拡大ボタン１１１も図２で後述する操作部２７０に含まれる押しボタンであり、ライブビュー中における拡大表示のオン／オフ、及び拡大表示中の拡大率の変更を行うための操作部材である。また、拡大ボタン１１１は、再生モードでは再生画像を拡大し、拡大率を増加させるための操作部材である。縮小ボタン１１４も後述する操作部２７０に含まれる押しボタンであり、拡大された再生画像の拡大率を減少させ、画面を縮小表示するための操作部材である。

再生ボタン１１２も図２で後述する操作部２７０に含まれる押しボタンであり、撮影モードと再生モードとを切り替える操作部材である。撮影モード中に再生ボタン１１２を押下することで再生モードに移行し、図２で後述する記録媒体２５０に記録された画像のうち最新の画像を表示部１０１に表示することができる。

クイックリターンミラー２１２は、図２で後述するシステム制御部２０１の指示に応じて、不図示のアクチュエータによってアップ位置（露光位置）又はダウン位置（ライブビュー位置）に駆動される。通信端子２１０はカメラ１００がレンズユニット２００（図２）と通信を行うための電気的接点である。覗き込み型の接眼ファインダー２１６はフォーカシングスクリーン２１３（図２）を観察することで、レンズユニット２００を通じて取り込んだ被写体の光学像の焦点や構図の確認を行うための光学部材である。蓋１１３はカメラ１００に対して記録媒体２５０を着脱するためにスロットを開閉する部材である。グリップ部１１５は、ユーザがカメラ１００を構えた際に右手で握りやすい形状を有する。

次に、図２を参照して、本実施形態のカメラ１００及びレンズユニット２００の内部構成について説明する。

図２において、レンズユニット２００は撮影レンズ２０７を搭載し、カメラ１００に対して着脱可能である。撮影レンズ２０７は通常、複数枚のレンズから構成されるが、ここでは簡略して１枚のレンズのみで示している。通信端子２０６はレンズユニット２００がカメラ１００と通信を行うための電気的接点である。通信端子２１０はカメラ１００がレンズユニット２００と通信を行うための電気的接点である。レンズユニット２００は、通信端子２０６を介してシステム制御部２０１と通信し、内蔵されたレンズ制御部２０４が絞り駆動回路２０２を制御して絞り２０５を駆動し、ＡＦ駆動回路２０３を制御して撮影レンズ２０７の位置を変位させることで焦点を合わせる。

ＡＥセンサ２１７は、レンズユニット２００を通じて取り込んだ被写体の輝度を測光する。焦点検出部２１１は、システム制御部２０１にデフォーカス量を出力し、システム制御部２０１はデフォーカス量に応じてレンズユニット２００と通信し、位相差検出方式でのオートフォーカス処理に関する制御を行う。

クイックリターンミラー（以下、ミラー）２１２は、露光、ライブビュー表示、動画撮影の際にシステム制御部２０１から指示を受けて、不図示のアクチュエータによってアップ位置又はダウン位置に駆動される。クイックリターンミラー２１２は、撮影レンズ２０７から入射した光束を接眼ファインダー２１６又は撮像部２２２へ切り替える。クイックリターンミラー２１２は通常、光束を反射して接眼ファインダー２１６へ光束を導くようダウン位置に付勢されているが、露光やライブビュー表示には、撮像部２２２へ光束を導くように上方に跳ね上がり光束中から待避する（アップ位置）。また、クイックリターンミラー２１２は、光束の一部が透過して焦点検出部２１１に入射するように、中央部がハーフミラーとなっている。撮影者は、ペンタプリズム２１４と接眼ファインダー２１６を介して、フォーカシングスクリーン２１３を観察することで、レンズユニット２００を通じて取り込んだ被写体の光学像の焦点や構図の確認が可能となる。

フォーカルプレーンシャッター２２１は、システム制御部２０１の指示に応じて撮像部２２２での露光時間を自由に制御できる。撮像部２２２は被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子で構成されたイメージセンサである。Ａ／Ｄ変換器２２３は、撮像部２２２から出力されるアナログ信号をデジタル信号に変換して画像データを生成する。

画像処理部２２４は、Ａ／Ｄ変換器２２３からのデータ、又は、メモリ制御部２１５からのデータに対して所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２２４では、撮像した画像データを用いて所定の演算処理が行われ、システム制御部２０１は演算結果に基づいて露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２２４では更に、撮像した画像データを用いて所定の演算処理を行い、演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２２３から出力されるデジタルデータは、画像処理部２２４及びメモリ制御部２１５を介して、あるいは、メモリ制御部２１５を介してメモリ２３２に直接書き込まれる。メモリ２３２は、撮像部２２２及びＡ／Ｄ変換器２２３から得られる画像データや、表示部１０１に表示するための画像表示用のデータを格納する。メモリ２３２は、所定枚数の静止画や所定時間の動画及び音声を格納するのに十分な記憶容量を備えている。また、メモリ２３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１９は、メモリ２３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。メモリ２３２に書き込まれた表示用の画像データはＤ／Ａ変換器２１９を介して表示部１０１により表示される。表示部１０１は、Ｄ／Ａ変換器２１９からのアナログ信号に応じた表示を行う。このように、メモリ２３２に格納されたデジタル信号をアナログ信号に変換し、表示部１０１に逐次転送して表示することで、電子ビューファインダー（ＥＶＦ）機能を実現し、ライブビュー表示（スルー画像表示）を行える。

ファインダー内表示部２４１には、ファインダー内表示部駆動回路２４２を介して、現在ＡＦ処理が行われている測距点を示すＡＦ枠（追尾枠）や後述する追尾可能領域枠、カメラの設定状態を表すアイコンなどが表示される。

ファインダー外表示部２４３には、ファインダー外表示部駆動回路２４４を介して、シャッター速度や絞りなどのカメラの様々な設定値が表示される。

不揮発性メモリ２５６は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ２５６には、システム制御部２０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部２０１は、カメラ１００全体を統括して制御するＣＰＵやＭＰＵを備え、不揮発性メモリ２５６に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ２５２はＲＡＭなどであり、システム制御部２０１の動作用の定数、変数、不揮発性メモリ２５６から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部２０１は、メモリ２３２、Ｄ／Ａ変換器２１９、表示部１０１などを制御することにより表示制御も行う。システムタイマー２５３は各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。

モード切替スイッチ１０３、第１シャッタースイッチ２６１、第２シャッタースイッチ２６２、操作部２７０はシステム制御部２０１に各種の指示を入力するための操作手段である。モード切替スイッチ１０３は、システム制御部２０１の動作モードを、静止画撮影モード、動画記録モード、再生モードのいずれかに切り替える。静止画撮影モードに含まれるモードとしては、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモードなどがある。

モード切替スイッチ１０３で、静止画撮影モードに含まれる複数のモードのいずれかに直接切り替える。あるいは、モード切替スイッチ１０３で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれる複数のモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードや再生モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ２６１は、カメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１を受けて画像処理部２２４によって、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などを開始する。

第２シャッタースイッチ２６２は、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２２からの信号読み出しから記録媒体２５０に画像データを書き込むまでの一連の撮影処理を開始する。

操作部２７０は、表示部１０１に表示される種々の機能アイコンを選択操作することにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えばメニューボタン、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、十字キー１０８やＳＥＴボタン１０９を用いて直感的に各種設定を行うことができる。

操作部２７０は、ユーザからの操作を受け付けて、システム制御部２０１へ通知する入力部であり、少なくとも以下の操作部材が含まれる。シャッターボタン１０２、メイン電子ダイヤル１０５、電源スイッチ１０６、サブ電子ダイヤル１０７、十字キー１０８、ＳＥＴボタン１０９、ライブビューボタン１１０、拡大ボタン１１１、再生ボタン１１２、縮小ボタン１１４。

電源制御部２８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２８０は、その検出結果及びシステム制御部２０１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２５０を含む各部へ供給する。

電源部２３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる。記録媒体Ｉ／Ｆ２１８は、メモリカードやハードディスク等の記録媒体２５０とのインターフェースである。記録媒体２５０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部２５４は、無線又は有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部２５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部２５４は撮像部２２２で撮像した画像（スルー画像を含む）や、記録媒体２５０に記録された画像ファイルを送信可能であり、また、外部機器から画像ファイルやその他の各種情報を受信することができる。

姿勢検知部２５５は重力方向に対するカメラ１００の姿勢を検知する。姿勢検知部２５５で検知された姿勢に基づいて、撮像部２２２で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部２０１は、姿勢検知部２５５で検知された姿勢に応じた向き情報を撮像部２２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部２５５としては、加速度センサやジャイロセンサなどを用いることができる。

なお、操作部２７０の１つとして、表示部１０１に対する接触を検知可能なタッチパネル１０１ｂを有する。タッチパネル１０１ｂと表示部１０１とは一体的に構成することができる。例えば、タッチパネル１０１ｂを光の透過率が表示部１０１の表示を妨げないように構成し、表示部１０１の表示面の上層に取り付ける。そして、タッチパネル１０１ｂにおける入力座標と、表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。システム制御部２０１はタッチパネル１０１ｂへの以下の操作、あるいは状態を検出できる。

・タッチパネル１０１ｂにタッチしていなかった指やペンが新たにタッチパネル１０１ｂにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）。

・タッチパネル１０１ｂを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）。

・タッチパネル１０１ｂを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）。

・タッチパネル１０１ｂへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）。

・タッチパネル１０１ｂに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部２０１に通知され、システム制御部２０１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。タッチムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行われたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。

本実施形態のカメラ１００は、ＡＦ方式としてコントラスト方式や位相差方式などを用いたファインダー表示モードと、像面位相差方式を用いてライブビュー表示中にＡＦを実行できるライブビュー表示モードによる撮影が可能である。さらに、本実施形態のカメラ１００は、ライブビュー表示モードにおいて、ライブ１点ＡＦや顔・モノ＋追尾優先ＡＦを用いた撮影が可能である。ライブ１点ＡＦとは撮影画面内のＡＦ枠が表示されている任意の１点（画面中央など任意に指定された位置）に対してＡＦ処理を行うことである。顔・モノ＋追尾優先ＡＦとは顔・モノ（人物の顔以外の被写体）検出機能によって検出された撮影画面内の顔やモノを追尾対象としてＡＦ処理を行うことである。

ここで、本実施形態の顔・モノ検出機能について説明する。システム制御部２０１は顔・モノ検出対象の画像データを画像処理部２２４に送る。画像処理部２２４は、システム制御部２０１の指示に応じて、画像データに水平方向バンドパスフィルタを作用させる。また、画像処理部２２４は、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。その後、システム制御部２０１は、検出されたエッジ成分に関してパターンマッチングを行い、顔検出の場合は目及び鼻、口、耳の候補群を抽出し、モノ検出の場合は指定したモノの候補群を抽出する。そして、システム制御部２０１は、抽出された候補群の中から、予め設定された条件（例えば２つの目の距離や傾き、モノの色等）を満たすものを、有力候補として絞り込む。そして、システム制御部２０１は、絞り込まれた候補群とそれに対応する他の情報（例えば目が候補の場合は、目以外の顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した条件フィルタを通すことで、顔やモノを抽出する。システム制御部２０１は、顔やモノの検出結果に応じて顔情報やモノ情報を出力し、処理を終了する。このとき、顔の数などの特徴情報をシステムメモリ２５２に記憶する。また、ユーザは操作部２７０を操作することで任意の顔やモノにＡＦ枠（追尾枠）を指定することができる。また、ユーザはライブビュー表示されている表示部１０１をタッチすることでも任意の顔やモノにＡＦ枠（追尾枠）を指定することができる。

以上のように、ライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して顔やモノの特徴情報を抽出することが可能である。本実施形態では被写体情報として顔やモノの情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、顔＋追尾優先ＡＦと同時に顔・モノＡＥ、顔・モノＦＥ、顔・モノＷＢを行うことができる。顔・モノＡＥとは検出された顔やモノの明るさに合わせて、画面全体の露出を最適化することである。顔・モノＦＥとは検出された顔やモノを中心にフラッシュの調光をすることである。顔・モノＷＢとは、検出された顔やモノの色に合わせて画面全体のＷＢを最適化することである。

本実施形態では、ライブビュー表示モードにおけるライブ１点ＡＦや顔＋追尾優先ＡＦについて説明したが、これらのＡＦ制御は、コントラスト方式と像面位相差方式のいずれにおいても実現可能である。

なお、顔・モノ＋追尾優先ＡＦにおいて追尾枠を指定可能な領域（追尾可能領域）は、ライブビュー表示された撮影画面全体ではなく、画面の周辺を除く一部の領域に制限される場合がある。この場合、画面の端部に追尾枠を指定したい顔やモノが位置する場合には、ユーザは指定したい顔やモノに追尾枠を合わせるために、顔やモノが追尾可能領域に収まるような構図にカメラをフレーミングする必要がある。

このように追尾可能領域が画面全体よりも小さい範囲に制限されている場合、ユーザは画面内の追尾可能領域を把握していないと、どの範囲に被写体が収まるようにフレーミングを行えばよいのかわからない。また、ＡＦ可能領域が常に画像に重畳表示されていると画像が見えづらくなることもある（例えば、カメラをフレーミングする必要がない場面や、被写体が画面端部に移動しまうことがない状況）。

そこで、本実施形態では、後述する顔・モノ＋追尾優先ＡＦにおいてライブビュー表示中の画像から顔・モノが検出されている場合には追尾可能領域枠を表示し、検出されていない場合は非表示とする。さらに、顔・モノ＋追尾優先ＡＦにおいてライブビュー表示中の画像に重畳表示される追尾可能領域枠の表示形態を追尾対象である顔やモノの検出状況に応じて変更する。このように制御することで、画像の見えづらさを最小限に抑えながら、被写体の追尾可能領域を容易に把握できるようにしている。

＜撮影処理＞次に、図３を参照して、本実施形態によるライブビュー表示中の撮影処理について説明する。

図３は、ライブビュー表示中に顔・モノ＋追尾優先ＡＦまたはライブ１点ＡＦが選択されて撮影処理を行うまでの動作手順を示している。

なお、図３のフローチャートの処理は、ユーザによりライブビューボタン１１０がオンされてライブビュー表示モードが起動されると開始される。また、本フローチャートの処理は、不揮発性メモリ２５６に記録されたプログラムをシステムメモリ２５２に展開してシステム制御部２０１が実行することにより実現される。後述する図４および図５でも同様である。

Ｓ３０１では、システム制御部２０１は、表示部１０１に図６（ａ）に示すようなライブビュー表示画面６００Ａを表示する。

Ｓ３０２では、システム制御部２０１は、ユーザが操作部２７０を介してＡＦ方式を変更するための画面を表示する操作を行ったか否かを判定し、操作が行われた場合はＳ３０３に進み、行われない場合はＳ３０７に進む。

Ｓ３０３では、システム制御部２０１は、表示部１０１に図６（ｂ）に示すようなＡＦ方式変更画面６００Ｂを表示する。図６（ｂ）のＡＦ方式変更画面６００Ｂには、図６（ａ）のライブビュー表示画面６００ＡにＡＦ方式に関する複数の設定項目６０１ｂや、設定項目６０１ｂのいずれかに対応する変更項目６０２ｂが表示される。

Ｓ３０４では、システム制御部２０１は、ユーザが操作部２７０を介して現在のＡＦ方式を変更する操作を行ったか否かを判定し、操作が行われた場合はＳ３０５に進み、行われない場合はＳ３０６に進む。なお、現在のＡＦ方式は、直前の設定がシステムメモリ２５２に保持され、電源オフ時に不揮発性メモリ２５６に記憶される。

Ｓ３０５では、システム制御部２０１は、Ｓ３０４で変更されたＡＦ方式をシステムメモリ２５２に記憶する。

Ｓ３０６では、システム制御部２０１は、ユーザが操作部２７０を介してＡＦ方式変更画面を閉じる操作を行ったか否かを判定し、操作が行われた場合はＳ３０７に進んで表示部１０１の表示が図６（ａ）のライブビュー表示画面６００Ａに戻り、操作が行われない場合はＳ３０４に進む。

Ｓ３０７では、システム制御部２０１は、システムメモリ２５２に保持されているＡＦ方式が顔・モノ＋追尾優先ＡＦか否かを判定し、顔・モノ＋追尾優先ＡＦ方式の場合はＳ３０８に進み、顔・モノ＋追尾優先ＡＦ方式でない場合はＳ３０９に進む。

Ｓ３０８では、システム制御部２０１は、図６（ａ）のライブビュー表示画面６００Ａに被写体を追尾する追尾枠を識別可能に表示し、フォーカスを合わせて撮影処理が完了するまで顔・モノ＋追尾優先ＡＦ処理を実施する。顔・モノ＋追尾優先ＡＦ処理の詳細については図４で後述する。

Ｓ３０９では、システム制御部２０１は、図６（ａ）のライブビュー表示画面６００Ａにおいて任意に指定された１点にＡＦ枠を識別可能に表示し、ＡＦ枠が表示された被写体に対するＡＦ処理および撮影処理が完了するまでライブ１点ＡＦ処理を実施する。ライブ１点ＡＦ処理の詳細については図５で後述する。

Ｓ３１０では、システム制御部２０１は、ユーザが操作部２７０を介してライブビュー表示モードを終了する操作を行ったか否かを判定し、操作が行われた場合は撮影処理を終了し、操作が行われない場合はＳ３０１に戻る。

＜顔・モノ＋追尾優先ＡＦ処理による撮影動作＞次に、図４を参照して、図３のＳ３０８における顔・モノ＋追尾優先ＡＦ処理の動作手順について説明する。

図４において、Ｓ４０１〜Ｓ４１５は顔・モノ検出機能による顔検出結果に基づくＡＦ処理を示しており、Ｓ４３１〜Ｓ４４４は顔・モノ検出機能によるモノ検出結果に基づくＡＦ処理を示している。また、Ｓ４６１〜Ｓ４６８は追尾対象にフォーカスを合わせて撮影動作を行う処理を示している。

まず、顔検出結果に基づくＡＦ処理を説明する。

Ｓ４０１では、システム制御部２０１は、画像データの特徴量を抽出して顔検出処理を行い、顔が検出されたか否かを判定し、顔が検出された場合はＳ４０２に進み、検出されなかった場合はＳ４３１に進む。

Ｓ４０２では、システム制御部２０１は、顔を検出した位置が追尾可能な領域内か否かを判定し、追尾可能な領域内の場合はＳ４０３に進み、追尾可能な領域外の場合はＳ４０１に戻る。なお、追尾可能な領域内であるか否かの判定は、顔が所定の領域内に完全に入っていることを条件としてもよいし、一部だけ顔が入っていることを条件としてもよい。また、本実施形態では、顔を検出した位置が追尾可能領域内かを判定しているが、Ｓ４０１の顔検出結果の有無に基づいてＳ４０３に進むようにしてもよい。

Ｓ４０３では、システム制御部２０１は、Ｓ４０１で検出した顔の中から追尾する主顔を決定する。図６（ｃ）は、ライブビュー表示画面６００Ｃに表示される追尾可能な領域を示す追尾可能領域枠６０１ｃと、追尾している顔を囲む追尾枠６０２ｃを示している。

Ｓ４０４、Ｓ４０５では、システム制御部２０１は、図６（ｃ）のようにライブビュー表示画面６００Ｃに追尾可能領域枠６０１ｃと追尾枠６０２ｃを表示する。

Ｓ４０６では、システム制御部２０１は、顔を検出した位置が追尾可能領域の境界近傍か否かを判定し、境界近傍である場合はＳ４０７に進み、境界よりも中央側の場合はＳ４０９に進む。

Ｓ４０７、Ｓ４０８では、システム制御部２０１は、図６（ｃ）のライブビュー表示画面６００Ｃに表示された追尾可能領域枠６０１ｃおよび追尾枠６０２ｃの表示形態を図６（ｄ）のように変更する。図６（ｄ）では、ライブビュー表示画面６００Ｄにおいて追尾可能領域枠６０１ｄと追尾枠６０２ｄの表示形態が変更された状態を示している。

図６（ｃ）のように、追尾枠６０２ｃが追尾可能領域枠６０１ｄ内の中央側に位置する場合には追尾可能領域枠６０１ｄの矩形の四隅だけを部分的に表示する表示形態とすることで自然画の見えづらさを最小限に抑えている。一方、図６（ｄ）のように、追尾枠６０２ｄが追尾可能領域内の境界近傍に位置する場合には追尾可能領域枠６０１ｄの矩形全体を表示する表示形態とすることで、ユーザは追尾可能領域の境界を正確に知ることができるようになる。

なお、図６（ｄ）のライブビュー表示画面６００Ｄにおける追尾可能領域枠６０１ｄと追尾枠６０２ｄは、顔とモノのいずれの被写体であっても同様の形態変化を示す。また、表示形態は、色の変化であってもよいし、形状の変化であっても良いし、色や形状両方の変化であってもよい。このように追尾可能領域枠６０１ｃ、６０１ｄおよび追尾枠６０２ｃ、６０２ｄのように表示形態を変更するのは、追尾可能領域近傍であることをユーザに明示するためである。また、Ｓ４０７とＳ４０８では追尾可能領域枠６０１ｃと追尾枠６０２ｄの両方の形状を変化させているが、いずれか一方の形状を変化させてもよい。

Ｓ４０９では、システム制御部２０１は、追尾対象が所定時間移動していないか、つまり追尾対象の位置が所定時間変化していないか否かを判定し、変化していない場合はＳ４１５に進み、変化した場合はＳ４１０に進む。

Ｓ４１０では、システム制御部２０１は、追尾対象が追尾可能領域内で検出不能となったか否かを判定し、検出不能となった場合はＳ４１１に進み、検出可能な場合はＳ４１３に進む。なお、本処理では追尾対象が追尾可能領域内で検出可能であるか否かの判定を行っているが、追尾対象が検出できたか否かを判定してもよい。

Ｓ４１１では、システム制御部２０１は、追尾可能領域内に追尾対象とは異なる顔を検出したか否かを判定し、検出した場合はＳ４１４に進み、検出しない場合はＳ４１２に進む。なお、本処理では追尾可能領域内において追尾対象とは異なる顔を検出したか否かを判定しているが、単に追尾対象とは異なる顔を検出したか否かを判定してもよい。

Ｓ４１２では、システム制御部２０１は、ライブビュー表示画面に所定時間、図６（ｃ）または図６（ｄ）のように追尾可能領域枠６０１ｃ、６０１ｄを表示する。

Ｓ４１３では、システム制御部２０１は、ユーザが操作部２７０を介して別の顔を追尾対象に変更する操作をしたか否かを判定し、操作が行われた場合はＳ４１１に進み、操作が行われない場合はＳ４３１に進む。

Ｓ４１４では、システム制御部２０１は、追尾する主顔をＳ４１３で指定された別の顔に変更する。

Ｓ４１５では、システム制御部２０１は、ライブビュー表示画面に表示している追尾可能領域枠６０１ｃ、６０１ｄを非表示とする。これは、例えば三脚にカメラを固定し、被写体が動かない状況で撮影を行う場合には、追尾可能領域枠を表示する必要性がないからである。

次に、モノ検出結果に基づくＡＦ処理を説明する。

Ｓ４３１〜Ｓ４４４では、上記Ｓ４０１〜Ｓ４１０およびＳ４１２〜Ｓ４１５と同様の処理をモノに対して行う。

次に、追尾対象にフォーカスを合わせて撮影動作を行う処理を説明する。

Ｓ４６１では、システム制御部２０１は、ユーザによりシャッターボタン１０２が操作されて第１シャッタースイッチ２６１がオンであるか否かを判定し、オンの場合はＳ４６２に進み、オフの場合は本フローチャートを終了する。

Ｓ４６２では、システム制御部２０１は、システムメモリ２５２に保持されているＡＦ動作の設定がサーボＡＦか否かを判定し、サーボＡＦの場合はＳ４６３に進み、サーボＡＦではない場合はＳ４６５に進む。

Ｓ４６３では、システム制御部２０１は、ライブビュー表示画面に表示している追尾枠を追尾対象に合わせて移動させる。

Ｓ４６４では、システム制御部２０１は、追尾枠の表示位置でＡＦ動作を開始する。

Ｓ４６５では、システム制御部２０１は、第１シャッタースイッチ２６１がオンになった時点における追尾枠の表示位置で追尾枠を固定する。

Ｓ４６６では、システム制御部２０１は、第１シャッタースイッチ２６１がオンになった時点における追尾枠の表示位置でフォーカスを固定する。

Ｓ４６７では、システム制御部２０１は、第２シャッタースイッチ２６２がオンになったか否かを判定し、オンの場合はＳ４６８に進み、オフの場合はＳ４６２に戻る。

Ｓ４６８では、システム制御部２０１は、画像の撮影処理を実行し、撮影した画像を記録媒体２５０に記録し、本フローチャートの処理を終了する。

なお、本実施形態では、Ｓ４０４とＳ４３４で追尾可能領域内において顔・モノを検出した場合にライブビュー表示画面に追尾可能領域枠６０１ｃを表示し、Ｓ４１５とＳ４４４では追尾可能領域内において顔・モノが検出できなくなった場合に追尾可能領域枠６０１ｄを非表示にしている。これらの表示と非表示の条件を反対にし、追尾可能領域内において顔・モノが検出できなくなった場合に追尾可能領域枠６０１ｄを表示し、追尾可能領域内において顔・モノを検出した場合に追尾可能領域枠６０１ｃを表示するようにしてもよい。この場合、追尾可能領域内のように条件を制限しているが、単に顔・モノの検出の有無を条件にしてもよい。

＜ライブ１点ＡＦ処理による撮影動作＞次に、図５を参照して、図３のＳ３０９におけるライブ１点ＡＦ処理の動作手順について説明する。

Ｓ５０１では、システム制御部２０１は、図６（ｅ）のようにライブビュー表示画面６００ＥにＡＦ枠６０１ｅを表示する。

Ｓ５０２では、システム制御部２０１は、ユーザが操作部２７０を介してライブビュー表示画面６００ＥにおいてＡＦ枠６０１ｅの移動操作を行ったか否かを判定し、操作が行われた場合はＳ５０３に進み、操作が行われない場合はＳ５０４に進む。

Ｓ５０３では、システム制御部２０１は、ユーザ操作により指定された位置にＡＦ枠６０１ｅを移動する。

Ｓ５０４では、システム制御部２０１は、ユーザによりシャッターボタン１０２が操作されて第１シャッタースイッチ２６１がオンになったか否かを判定し、オンになった場合はＳ５０５に進み、オフの場合は本フローチャートの処理を終了する。

Ｓ５０５では、システム制御部２０１は、システムメモリ２５２に保持されているＡＦ動作の設定がサーボＡＦか否かを判定し、サーボＡＦの場合はＳ５０６に進み、サーボＡＦではない場合はＳ５０７に進む。

Ｓ５０６では、システム制御部２０１は、ＡＦ枠６０１ｅの表示位置でＡＦ動作を開始する。

Ｓ５０７では、システム制御部２０１は、第１シャッタースイッチ２６１がオンになった時点におけるＡＦ枠の表示位置でフォーカスを固定する。

Ｓ５０８では、システム制御部２０１は、第２シャッタースイッチ２６２がオンになったか否かを判定し、オンの場合はＳ５０９に進み、オフの場合はＳ５０５に戻る。

Ｓ５０９では、システム制御部２０１は、画像の撮影処理を実行し、撮影した画像を記録媒体２５０に記録し、本フローチャートの処理を終了する。

本実施形態によれば、ライブ１点ＡＦではＡＦ枠が指定された位置に固定され、顔・モノを追尾できないので追尾可能領域枠を非表示とする。また、顔・モノ＋追尾優先ＡＦではライブビュー表示中の画像から顔・モノが検出されている場合には追尾可能領域枠を表示し、検出されていない場合は非表示とする。さらに、顔・モノ＋追尾優先ＡＦではライブビュー表示中の画像に重畳表示される追尾可能領域枠の表示形態を追尾対象としての顔やモノの検出状況に応じて変更する。このように制御することにより、画像の見えづらさを最小限に抑えながら、被写体の追尾可能領域を容易に把握することができる。

なお、上記実施形態では、特定の被写体に対して顔・モノ＋追尾優先ＡＦを行う場合について説明したが、本発明の撮影設定に応じた処理はＡＦに限定されない。ＡＦ以外の撮影設定に応じた処理として、例えば、ライブビュー表示中の画像から検出された被写体に対する自動露出処理（ＡＥ）やオートホワイトバランス処理（ＡＷＢ）などの撮影制御であってもよい。

なお、システム制御部２０１の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行っても良い。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した実施形態は本発明の一実施形態を示すものにすぎない。

また、上述した実施形態においては、本発明を一眼レフデジタルカメラなどの撮像装置に適用した場合を例に説明したが、本発明はこの例に限定されず、ライブビュー表示中にＡＦを実行し撮影が可能な装置であれば適用可能である。すなわち、本発明は、カメラ付きのパーソナルコンピュータやその一種であるタブレット、携帯電話やその一種であるスマートフォン（眼鏡型端末や腕時計型端末を含む）、ＰＤＡ（携帯情報端末）、携帯型の画像ビューワ、音楽プレーヤ、ゲーム機、電子ブックリーダ、内視鏡などの医療機器などに適用可能である。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…表示部、１１０…ライブビューボタン、２００…レンズユニット、２０１…システム制御部、２２４…画像処理部

Claims (18)

1. 撮像された画像から特定の被写体を検出する検出手段と、
   前記特定の被写体に対して追尾を行う追尾処理手段と、
   前記撮像された画像とともに前記追尾処理手段による追尾の対象の指定が可能な、前記検出手段での前記特定の被写体の検出状況にかかわらない予め定められた領域を表示する表示手段と、
   前記撮像された画像から前記特定の被写体が検出されている場合は前記領域を表示し、
   前記特定の被写体が検出されていない場合は前記領域を非表示とするように制御する表示制御手段と、を有することを特徴とする撮像装置。
2. 前記表示制御手段は、前記特定の被写体が前記領域内で検出されていない場合には前記領域を非表示とし、前記特定の被写体が前記領域内で検出されている場合には前記領域を表示するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記表示制御手段は、前記特定の被写体が前記領域内で検出されている状態から検出されていない状態になった場合、所定時間、前記領域を表示するように制御することを特徴とする請求項２に記載の撮像装置。
4. 前記表示制御手段は、前記特定の被写体が前記領域内の中央側に位置する場合と当該領域内でかつ境界近傍に位置する場合とで前記領域の表示形態を変更することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記表示制御手段は、前記特定の被写体が前記領域内の中央側に位置する場合には前記領域を部分的に表示する表示形態に変更し、
   前記特定の被写体が前記領域内でかつ境界近傍に位置する場合には前記領域の全体を表示する表示形態に変更することを特徴とする請求項４に記載の撮像装置。
6. 前記表示制御手段は、前記特定の被写体に識別可能な枠を表示することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記表示制御手段は、前記特定の被写体が前記領域内でかつ境界近傍に位置する場合には前記枠の表示形態を変更することを特徴とする請求項６に記載の撮像装置。
8. 前記検出手段が前記特定の被写体を含む複数の被写体を検出した場合、前記追尾処理手段による追尾の対象の被写体を選択する選択手段をさらに有することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 前記表示制御手段は、前記特定の被写体が検出されていない場合に、前記検出手段により検出された複数の被写体から前記特定の被写体とは異なる被写体が選択された場合には前記領域を表示し、
   前記選択された被写体が検出されなくなった場合には前記領域を非表示とするように制御することを特徴とする請求項８に記載の撮像装置。
10. 前記表示制御手段は、前記特定の被写体が検出されていない場合に、前記検出手段により複数の被写体が検出されている場合には前記特定の被写体とは異なる被写体を選択して前記領域を表示し、
    前記選択された被写体が検出されなくなった場合には前記領域を非表示とするように制御することを特徴とする請求項８に記載の撮像装置。
11. 前記表示制御手段は、前記表示手段に表示されている画像に固定の枠が表示されている場合は前記領域を非表示とするように制御することを特徴とする請求項６に記載の撮像装置。
12. 前記表示制御手段は、前記特定の被写体の位置が所定の時間変化していない場合には前記領域を非表示とするように制御することを特徴とする請求項１ないし１１のいずれか１項に記載の撮像装置。
13. 前記表示制御手段は、前記特定の被写体に対して前記追尾を実行しているときは前記領域を非表示とするように制御することを特徴とする請求項１ないし１２のいずれか１項に記載の撮像装置。
14. 前記検出手段は、前記特定の被写体として顔もしくは顔以外のモノを検出可能であり、
    前記追尾処理手段は、前記撮像された画像における前記領域内で検出された特定の顔またはモノに対して前記追尾を実行することを特徴とする請求項１ないし１３のいずれか１項に記載の撮像装置。
15. 前記追尾処理手段での追尾対象に対し、オートフォーカス処理、自動露出処理、オートホワイトバランス処理の少なくともいずれかを行うことを特徴とする請求項１ないし１４のいずれか１項に記載の撮像装置。
16. 撮像された画像から特定の被写体を検出するステップと、
    前記特定の被写体に対して追尾を行うステップと、
    前記撮像された画像とともに前記追尾の対象の指定が可能な、前記検出するステップにおける前記特定の被写体の検出状況にかかわらない予め定められた領域を表示するステップと、
    前記表示された画像から前記特定の被写体が検出されている場合には前記領域を表示し、
    前記特定の被写体が検出されていない場合には前記領域を非表示とするように制御するステップと、を有することを特徴とする撮像装置の制御方法。
17. コンピュータを、請求項１ないし１５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
18. コンピュータを、請求項１ないし１５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images