JPWO2017135276A1 - 制御装置、制御方法および制御プログラム - Google Patents

Abstract

指定された一部領域における焦点検出点の密度を、一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える制御装置である。
【選択図】図５

Description

本技術は、制御装置、制御方法および制御プログラムに関する。

撮像素子を構成する画素の一部を焦点検出用画素とする撮像素子が従来から知られている（特許文献１）。そのような撮像素子により実現されるオートフォーカスはいわゆる像面位相差ＡＦ（Auto Focus）などと称される。

そのような像面位相差ＡＦ用の撮像素子の特徴の１つとして、撮像素子の全面または所定の範囲に均一にＡＦ検波用の画素が埋められているという特徴がある。

特開２０１５−１４４１９４号公報

ところが、従来は撮像装置の表示部に表示される、オートフォーカスでピントを合わせる対象範囲の位置を固定して一部の焦点検出用画素しか使用していなかった。また、従来のピントを合わせる対象範囲の配置の問題点としては、合焦させたい被写体が小さい場合、合焦させたい被写体が動いている場合など、被写体へのピントを合わせる対象範囲のかかり方が悪いとオートフォーカスの精度が低下してしまうという点がある。

本技術はこのような問題点に鑑みなされたものであり、オートフォーカスの精度を向上させることができる制御装置、制御方法および制御プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、指定された一部領域における焦点検出点の密度を、一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える制御装置である。

また、第２の技術は、指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する制御方法である。

さらに、第３の技術は、指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する制御方法をコンピュータに実行させる制御プログラムである。

本技術によれば、オートフォーカスの精度を高めることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る撮像制御装置を備える撮像装置の構成を示すブロック図である。 撮像素子の構成を示す図である。 図３Ａは、第１位相差検出画素の構成を示す図であり、図３Ｂは、第２位相差検出画素の構成を示す図である。 図４Ａ乃至図４Ｃは、位相差検出画素と焦点検出点の説明図である。 図５Ａ乃至図５Ｃは、第１の実施の形態における第１の態様を説明する図である。 第１の実施の形態における第１の態様の処理を示すフローチャートである。 図７Ａ乃至図７Ｃは、第１の実施の形態における第１の態様のその他の例を説明する図である。 図８Ａおよび図８Ｂは、第１の実施の形態における第２の態様を説明する図である。 第１の実施の形態における第２の態様の処理を示すフローチャートである。 図１０Ａ乃至図１０Ｃは、第１の実施の形態における第３の態様を説明する図である。 第１の実施の形態における第３の態様の処理を示すフローチャートである。 図１２Ａ乃至図１２Ｄは、第１の実施の形態における第３の態様のその他の例を説明する図である。 本技術の第２の実施形態に係る撮像制御装置を備える撮像装置の構成を示すブロック図である。 図１４Ａ乃至図１４Ｄは、第２の実施の形態を説明する図である。 第２の実施の形態における処理を示すフローチャートである。 図１６Ａ乃至図１６Ｄは、第３の実施の形態における第１の態様を説明する図である。 第３の実施の形態における第１の態様の処理を示すフローチャートである。 図１８Ａおよび図１８Ｂは、第３の実施の形態における第２の態様を説明する図である。 第３の実施の形態における第２の態様の処理を示すフローチャートである。 図２０Ａおよび図２０Ｂは、第３の実施の形態における第３の態様を説明する図である。 第３の実施の形態における第３の態様の処理を示すフローチャートである。 図２２Ａ乃至図２２Ｄは、被写体がフレームアウトした場合の変形例を説明するための図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．撮像装置の構成］
［１−２．焦点検出点配置の第１の態様］
［１−３．焦点検出点配置の第２の態様］
［１−４．焦点検出点配置の第３の態様］
＜２．第２の実施の形態＞
［２−１．撮像装置の構成］
［２−２．焦点検出点配置の態様］
＜３．第３の実施の形態＞
［３−１．撮像装置の構成］
［３−２．焦点検出点配置の第１の態様］
［３−３．焦点検出点配置の第２の態様］
［３−４．焦点検出点配置の第３の態様］
＜４．変形例＞

＜１．第１の実施の形態＞
［１−１．撮像装置の構成］
まず、第１の実施の形態に係る撮像制御装置１２０の機能を備える撮像装置１００の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。

撮像装置１００は、制御部１０１、光学撮像系１０２、レンズ駆動ドライバ１０３、撮像素子１０４、信号処理ＬＳＩ（Large-Scale Integration）１０５、前処理部１０６、画像信号処理部１０７、検波部１０８、コーデック部１０９、表示制御部１１０、記憶部１１１、表示部１１２、入力部１１３、ＡＦ制御部１１４、被写体特定部１１５、撮像制御装置１２０を構成する焦点検出制御部１２１を備えて構成されている。

制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００全体の制御を行う。

また制御部１０１は、所定のプログラムを実行することにより、ＡＦ制御部１１４、被写体特定部１１５および撮像制御装置１２０を構成する焦点検出制御部１２１として機能する。そのプログラムは、予め撮像装置１００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、それらの構成は、プログラムによって実現されるのみでなく、それぞれの機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

被写体特定部１１５は、撮影範囲内における焦点検出点の配置の対象となる被写体を特定するものである。焦点検出制御部１２１は、被写体特定部１１５により特定された被写体の位置に基づいて、撮影範囲内においてその被写体に対応する領域である一部領域内に、一部領域以外の外の領域よりも密に焦点検出点を局所的に配置する処理を行なうものである。言い換えれば、指定された一部領域における焦点検出点の密度を、その一部領域を除いた領域（外の領域）における焦点検出点の密度よりも高く配置されるように設定するものであるともいえる。ここで「密度を高く配置」とは、一部領域を除いた領域（外の領域）に配置された複数の焦点検出点の中心間の距離よりも一部領域内に配置された複数の焦点検出点の中心間の距離が短いことをいう。また、焦点検出制御部１２１は外の領域に一部領域よりも疎に焦点検出点を配置する処理を行なうものである。さらに、焦点検出制御部１２１は外の領域に焦点検出点を配置させないようにする処理も行なってもよい。被写体特定部１１５および焦点検出制御部１２１の詳細については後述する。

撮影範囲とは、撮像装置１００の撮影画角内に収まる範囲であり、画像データとして取得される被写体の範囲である。

一部領域とは、特定された被写体の位置に対応する領域、またはユーザにより指定された領域であり、撮影範囲内において焦点検出点の局所配置の対象となる被写体、位置などを内部に含んでいる、撮影範囲よりも小さい範囲である。外の領域とは、撮影範囲内における一部領域以外の全ての領域である。焦点検出点とは、位相差検出画素の出力を用いてオートフォーカスのために撮影範囲においてデフォーカス量を算出する領域のことである。「密に焦点検出点を配置」とは、一部領域内の複数の焦点検出点間の間隔を外の領域における複数の焦点検出点間の間隔よりも狭くして密集させるように配置すること、または、外の領域に焦点検出点を配置せず、一部領域内にのみ焦点検出点を配置することである。「疎に焦点検出点を配置」とは、外の領域内における複数の焦点検出点間の間隔を一部領域における複数の焦点検出点間の間隔よりも広くして配置することである。

光学撮像系１０２は、被写体からの光を撮像素子１０４に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部１０１からの制御信号に基づいて駆動される。光学撮像系１０２を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子１０４上に結像される。

レンズ駆動ドライバ１０３は、例えばマイコンなどにより構成され、ＡＦ制御部１１４の制御に従いレンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行なう。また、制御部１０１からの制御に従い、光学撮像系１０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。

撮像素子１０４は、図２に示すように、通常画素であるＲ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素と、位相差検出を行う位相差検出画素である第１位相差検出画素Ｐ１、第２位相差検出画素Ｐ２を有している。位相差検出画素は、Ｐ１とＰ２とで一対となる構成となっている。位相差検出画素Ｐ１およびＰ２は通常の撮像画素とは光学特性が異なるものである。撮像素子１０４を構成する各画素は被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子１０４は、最終的に画素信号からなる撮像信号を信号処理ＬＳＩ１０５に出力する。撮像素子１０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。なお、撮像素子１０４は特許請求の範囲における撮像部に相当するものである。

図３は位相差検出画素の構成を示す図である。図３Ａは第１位相差検出画素Ｐ１を示し、図３Ｂは第２位相差検出画素Ｐ２を示す。

第１位相差検出画素Ｐ１は受光素子１１を有する。また。光の入射側には、マイクロレンズ１２が設けられている。さらに、受光素子１１とマイクロレンズ１２の間には、瞳分割を行うため、入射する光を遮る遮光層１３が設けられている。遮光層１３は、受光素子１１の中心に対して片側方向に偏心した開口部１４を有するように構成されている。

第１位相差検出画素Ｐ１はこのように構成されているため、図３Ａに示されるように入射光は一部のみが受光素子１１に入射することとなる。

第２位相差検出画素は受光素子２１を有する。また。光の入射側には、マイクロレンズ２２が設けられている。さらに、受光素子２１とマイクロレンズ２２の間には、瞳分割を行うため、入射する光を遮る遮光層２３が設けられている。遮光層２３は、受光素子の中心に対して片側方向に偏心した開口部２４を有するように構成されている。

遮光層２３は、第１位相差検出画素Ｐ１において遮光層１３が遮った方向とは逆側を遮るように構成されている。よって、第１位相差検出画素Ｐ１と第２位相差検出画素Ｐ２とは測距方向に対してそれぞれ逆側を遮光する構成となっている。

第２位相差検出画素Ｐ２はこのように構成されているため、図３Ｂに示されるように入射光は一部のみが受光素子２１に入射することとなる。

位相差検出画素はこのように構成されており、この位相差検出画素からの出力を用いて、いわゆる像面位相差ＡＦ（Auto Focus）を行うことができるものである。なお、位相差検出画素は、位相差検出画素としてのみ機能し、通常画素としては機能しないものでもよいし、１つの画素が独立した２つのフォトダイオードで構成されていることにより、撮像用および位相差検出用として機能するものでもよい。このような画素は、２つのフォトダイオードがそれぞれ独立して光を取り込むことが可能であり、オートフォーカス時にはそれぞれのフォトダイオードから位相差信号を検出して位相差検出画素として機能し、撮影時には１つの通常画素として機能して画像信号を出力する。また、撮像用センサと像面位相差ＡＦ用センサを積層した構造を有する撮像素子１０４など、通常の撮影機能に加え、位相差検出を行なうことができる撮像素子１０４であればどのようなものでもよい。

前処理部１０６は、撮像素子１０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。

画像信号処理部１０７は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施す。

検波部１０８は、撮像素子１０４の位相差検出画素からの信号を用いてフォーカス位置を判定するＡＦ検波を実行し、デフォーカス量を算出する。検波部１０８により検波情報は制御部１０１またはＡＦ制御部１１４に供給される。

なお、撮像素子１０４からは通常画素からの信号と位相差検出画素からの信号が共に信号処理ＬＳＩ１０５に供給され、信号処理ＬＳＩ１０５内において通常画素からの信号と位相差検出画素からの信号とに分けられる。通常画素からの信号には上述した対象被写体、画像信号処理部１０７により所定の画像処理が施され、位相差検出画素からの信号は検波部１０８によりオートフォーカスのための検波処理が施される。また、撮像素子には、位相差検出画素からの信号のみを選択し、独立して信号処理ＬＳＩ１０５に供給することが可能なものもあり、そのような撮像素子を用いてもよい。

なお、撮像素子１０４内で位相差検出画素からの信号に対して検波処理を行い、通常画素からの信号と検波情報とを撮像素子１０４から信号処理ＬＳＩ１０５に出力するようにしてもよい。この場合、信号処理ＬＳＩ１０５内部で撮像素子１０４からの信号を通常画素からの信号と位相差検出画素からの信号とに分ける必要が無い。携帯電話機が備えるカメラなどはこのように構成されている場合がある。

コーデック部１０９は、所定の処理が施された画像データについて、例えば記録用や通信用の符号化処理を行う。

表示制御部１１０は、撮影中における被写体を動画として表示するモニタリング画像、撮影を行なうための各種ユーザインターフェース、撮影済み画像や動画などを表示部１１２に表示する制御を行うものである。また、表示制御部１１０は、焦点検出制御部１２１から焦点検出点情報を取得し、表示部１１２におけるモニタリング画像上に焦点検出点を示す枠状のアイコンを重畳表示する。これにより、ユーザは焦点検出点がどの被写体に対してどのように配置されているかを目視により確認することができる。なお、焦点検出点はモニタリング画像上に必ずしも表示させなくてもよく、ユーザが表示のオンオフを選択できるようにしてもよい。

ここで、デフォーカス量算出の対象となる領域である焦点検出点と、撮像素子１０４に設けられた位相差検出画素の関係について図４を参照して説明する。図４Ａは、撮影範囲における１つの焦点検出点３１と、それに対応する位相差検出画素による検出に用いる領域（以下、位相差画素領域３２と称する。）を抜き出して示したものである。位相差画素領域３２には、図２を参照して説明した複数の一対の位相差検出画素が含まれている。位相差画素領域に対応する焦点検出点ごとにデフォーカス量が算出される。図４Ａに示すように、太線で示す焦点検出点３１と、その焦点検出点３１に対応する細線で示す位相差画素領域３２の形状および大きさは同一ではなく、通常、位相差画素領域３２は焦点検出点３１よりも広いものとなっている。

したがって図４Ｂに示すように、複数の焦点検出点３１、３３が間隔を開けて疎に配置されている場合でも、それら複数の焦点検出点３１、３３それぞれの位相差画素領域３２、３４が重なっていることがある（図４Ｂの斜線部分）。よって、複数の焦点検出点が間隔を開けて疎に配置されている場合でも、全ての位相差検出画素を使用している場合がある。なお、図４Ｃに示すように複数の焦点検出点３１、３３が大きな間隔を開けて疎に配置されており、それぞれの焦点検出点３１、３３に対応する位相差画素領域３２、３４が重なっていない場合には、検出に用いられない位相差画素領域３５（図４Ｃの破線部分）に対応する位相差検出画素の動作を停止させる。

また、焦点検出点とその焦点検出点に対応する位相差画素領域を変化させることにより、焦点検出点を撮影範囲内における任意の位置に配置することが可能となっている。焦点検出点は概念的なものであり、焦点検出領域に含まれる複数の一対の位相差検出画素からの信号に基づいて焦点検出点におけるデフォーカス量が算出される。焦点検出領域のラインに左右対称で複数の一対の位相差検出画素が含まれているので、実質的には焦点検出領域の中心におけるデフォーカス量が算出されることになる。

図１のブロック図の説明に戻る。表示部１１２は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１１２には、撮像装置１００のユーザインターフェース、メニュー画面、撮像中のモニタリング画像、記憶部１１１に記録された撮影済み画像、撮影済み動画などが表示される。

記憶部１１１は、例えば、ハードディスク、メモリスティック（ソニー株式会社の登録商標）、ＳＤメモリカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。

入力部１１３は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１１２と一体に構成されたタッチスクリーンなどからなる。入力部１１３に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１０１に出力される。そして、制御部１０１はその制御信号に対応した演算処理や制御を行う。

ＡＦ制御部１１４は、焦点検出制御部１２１からの焦点検出点情報に基づいて、焦点検出点に対応する焦点検出用画素の出力を用いてレンズ駆動ドライバ１０３を制御する。レンズ駆動ドライバ１０３を制御することにより、レンズを光軸方向に沿って所定量移動させて、被写体に合焦するようにオートフォーカス制御を行なう。具体的には、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差ＡＦを行う。よって、ＡＦ制御部１１４には、焦点検出制御部１２１から焦点検出点情報が供給される。

被写体特定部１１５は、焦点検出点配置の対象となる被写体、位置などを特定する処理を行なうものである。被写体特定部１１５には処理を施す画像として、モニタリング画像を構成するフレーム画像（以下、処理画像と称する。）が入力される。被写体特定部１１５は、公知の被写体検出技術により処理画像中における人物、物体などの被写体を検出する。そして、検出した被写体を焦点検出点配置の対象となる被写体（以下、対象被写体と称する。）とする。対象被写体情報は焦点検出制御部１２１に供給される。

なお、被写体検出方法としては、テンプレートマッチングによる顔／物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて検出精度を高めるようにしてもよい。

また、被写体特定部１１５は、入力部１１３に対するユーザからの入力に応じて焦点検出点配置の対象とする被写体（対象被写体）を特定してもよい。例えば、撮像装置１００の表示部１１２が入力部１１３としてのタッチパネルとして機能する場合、表示部１１２に表示されるモニタリング画像中においてユーザが指、スタイラスペンなどを接触させた位置にある被写体を対象被写体とする。また、ユーザが撮像装置１００の入力部１１３の十字キーやダイヤルなどを操作してモニタリング画像上に重畳表示されているカーソルを移動させる事ができる場合には、そのカーソルの位置にある被写体を対象被写体とする。

焦点検出制御部１２１は、供給された対象被写体情報に基づき、表示部１１２に表示される撮影画面上における焦点検出点の配置を決定するものである。像面位相差ＡＦ用の撮像素子１０４においては、通常、撮像素子１０４の全面に位相差検出画素が配置されており、撮影範囲の任意の位置に焦点検出点を配置することが可能となっている。本技術はその像面位相差ＡＦ用の撮像素子１０４の特徴を活かしたものであり、焦点検出点を対象被写体に合わせて配置することにより、その対象被写体に対するオートフォーカスの精度を向上させるものである。設定された焦点検出点の配置を示す情報（以下、焦点検出点情報と称する。）は表示制御部１１０とＡＦ制御部１１４に供給される。具体的な焦点検出点の配置については後述する。

撮像制御装置１２０の機能を備える撮像装置１００は以上のようにして構成されている。

［１−２．焦点検出点配置の第１の態様］
次に図５乃至図７を参照して第１の実施の形態における焦点検出点配置の第１の態様について説明する。図５は撮影範囲における焦点検出点の設定状態を説明する図であり、図６は焦点検出点配置の流れを示すフローチャートである。

焦点検出点配置の第１の態様は、撮影範囲５１内において特定された対象被写体５２を含む一部領域５３に、その一部領域５３以外の外の領域５５よりも焦点検出点５４を密に配置するものである。

まずステップＳ１１１で、処理画像が被写体特定部１１５に入力される。次にステップＳ１１２で、被写体特定部１１５が撮影範囲５１中から焦点検出点配置の対象となる被写体を特定する。被写体の特定は、上述したように被写体検出技術、ユーザからの入力などに基づいて行われる。対象被写体情報は焦点検出制御部１２１に供給される。図５Ａの例では、撮影範囲５１内における鳥が対象被写体５２として特定される。なお、撮影範囲５１には、図５Ａに示すように初期状態として全面に均等に複数の焦点検出点５４が配置されている。初期状態とは、撮像装置１００の起動後、焦点検出制御部１２１による焦点検出点配置がなんら行われておらず、撮影範囲５１の全面または所定の範囲にわたって焦点検出点５４が配置されている状態をいう。初期状態における焦点検出点５４の配置は、撮影範囲５１の全面にわたる他、例えば、撮影範囲５１の略中央において略十字型を構成するような配置や、略中央の矩形領域を構成するような配置でもよい。撮像装置１００は、本技術に係る焦点検出点配置を行わない状態においては、その初期状態で配置されている焦点検出点に対応する位相差検出画素からの信号を用いてオートフォーカス制御を行う。

次にステップＳ１１３で、図５Ｂに示すように焦点検出制御部１２１は対象被写体５２全体が含まれるように、焦点検出点５４を局所的に配置する領域である一部領域５３を決定する。

次にステップＳ１１４で、図５Ｃに示すように焦点検出制御部１２１は一部領域５３内における焦点検出点５４の配置を決定する。

例えば、一部領域５３が四角形状である場合には、縦×横の焦点検出点５４の全個数が一部領域５３の大きさに応じた所定の個数であり、かつ、それら焦点検出点５４が一部領域５３の大きさに応じた間隔で一部領域５３内に均等に配置されるように焦点検出点５４の配置を決定する。

一部領域５３の大きさに応じた焦点検出点５４の数、焦点検出点５４の間隔は例えば、一部領域５３の大きさと焦点検出点５４の数および焦点検出点５４の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域５３の大きさと焦点検出点５４の数および焦点検出点５４の対応関係を示す演算式から求めるようにしてもよい。

焦点検出制御部１２１は、撮影範囲５１内における一部領域５３以外の外の領域５５よりも一部領域５３内の焦点検出点５４間の間隔が狭くなるように焦点検出点５４の配置を決定する。このように一部領域５３内に焦点検出点５４を集中させて密に配置することにより、対象被写体５２に対するオートフォーカスの精度を向上させることができる。

フローチャートの説明に戻る。ステップＳ１１５で、焦点検出制御部１２１は焦点検出点情報を表示制御部１１０およびＡＦ制御部１１４に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点５４の表示を行い、ＡＦ制御部１１４が焦点検出点５４におけるデフォーカス量に基づくオートフォーカス制御を行なう。

なお、この第１の態様の場合、図５Ｃに示すように一部領域５３以外の外の領域５５にも焦点検出点５４を配置してもよい。この場合、外の領域５５においては、一部領域５３内よりも焦点検出点５４間の間隔を広くし、一部領域５３内よりも疎になるように焦点検出点５４を配置する。これにより、一部領域５３においては密に配置された焦点検出点５４によって確実に対象被写体５２を捕捉しつつ、対象被写体５２が一部領域５３から外れても、一部領域５３以外の外の領域５５にある焦点検出点５４でその対象被写体５２を捕捉することができる。よって、一部領域５３、外の領域５５どちらにおいても対象被写体５２に対してオートフォーカスによりピントを合わせることができる。

なお、外の領域５５における焦点検出点５４の配置は、初期状態のままにすることにより一部領域５３よりも疎に配置するようにしてもよい。または、図７Ａに示すように焦点検出点５４の数を初期状態よりも少なくすることにより、疎に配置するようにしてもよい。これにより、オートフォーカス用の演算リソースを一部領域５３に優先的に使用することができる。

なお、上述したように、撮像素子には位相差検出画素からの信号のみを選択し、独立して読み出して信号処理ＬＳＩ１０５に供給することができるものがある。そのような撮像素子を用いる場合で、被写体検出技術やユーザからの入力などに基づいて一部領域５３を設定した場合、その一部領域５３内に含まれる位相差検出画素のみから信号を読み出して、オートフォーカス制御を行なうようにしてもよい。この場合、一部領域５３内に含まれない位相差検出画素からの読み出しは行わないため、図７Ｂに示すように、一部領域５３以外には焦点検出点５４を配置しないということになる。これにより、オートフォーカス用の演算リソースを一部領域５３のみに集中させることができ、処理の負荷を軽減、検波処理の高速化、データレートの削減、消費電力の削減などを図ることができる。なお、この際、通常画素については全ての通常画素から読み出しを行なう。このように、位相差検出画素からの信号のみを選択して読み出すことができる撮像素子を用いる場合に一部領域以外には焦点検出点を配置しないようにできることは、下記の第２および第３の態様、第２の実施の形態、第３の実施の形態および変形例においても同様である。

なお、通常の撮像素子の場合には、全ての通常画素および全ての位相差検出画素が読み出しを行い、その後に焦点検出点の配置が行われる。

焦点検出点は、初期状態と本技術を用いて配置を変更した後とにおいてその数は一定であってもよいし、一定でなくてもよい。また、演算リソースに制約がある場合にはその演算リソースの範囲内で焦点検出点の配置を変更する。

なお、一部領域５３は、図５Ｃに示すように対象被写体５２の上下左右の端部から所定距離離れた位置に四角形状の一部領域５３の辺を位置させるようにして設定してもよい。または、図７Ｃに示すように対象被写体５２の上下左右における端部に一部領域５３の各辺を一致させるようにして設定してもよい。

この第１の態様によれば、対象被写体５２を含む一部領域５３に、その一部領域５３以外の外の領域５５よりも焦点検出点５４を密に配置することにより、対象被写体５２に対するオートフォーカスの精度を向上させることができる。

［１−３．焦点検出点配置の第２の態様］
次に図８および図９を参照して第１の実施の形態おける焦点検出点配置の第２の態様について説明する。図８は撮影範囲における焦点検出点の設定状態を説明する図である。図８Ａは対象被写体が小さい場合の例を示す図であり、図８Ｂは対象被写体が大きい場合の例を示す図である。図９は焦点検出点配置の流れを示すフローチャートである。

焦点検出点配置の第２の態様は、撮影範囲５１内において特定された対象被写体５２を含む一部領域５３に対象被写体５２の大きさ（面積）に応じて焦点検出点５４を配置するものである。

まずステップＳ１２１で、処理画像が被写体特定部１１５に入力される。次にステップＳ１２２で、被写体特定部１１５が撮影範囲５１中から焦点検出点配置の対象となる被写体を特定する。対象被写体５２の特定は、上述したように被写体検出技術、ユーザからの入力などにより行われる。図８Ａの例では、撮影範囲５１内における鳥が対象被写体５２として特定されている。

次にステップＳ１２３で、被写体特定部１１５は対象被写体５２の大きさを検出する。対象被写体５２の大きさは上述した被写体認識技術により得ることができる。また、ユーザによる入力に基づいて被写体の大きさを検出するようにしてもよい。例えば、表示部１１２に表示されているモニタリング画像上に被写体の大きさを示す枠を重畳表示させ、その枠の大きさをユーザが入力により調整し、決定された枠の大きさを対象被写体５２の大きさとしてするなどである。そして、対象被写体５２の位置および大きさを示す対象被写体情報は焦点検出制御部１２１に供給される。

次にステップＳ１２４で、焦点検出制御部１２１は対象被写体５２全体が含まれるように一部領域５３を決定する。そしてステップＳ１２５で、焦点検出制御部１２１は対象被写体５２の大きさに応じて一部領域５３内における焦点検出点５４間の間隔を決定し、その間隔で一部領域５３内に均等に配置されるように焦点検出点５４の配置を決定する。対象被写体５２の大きさに応じた焦点検出点５４の間隔は例えば、対象被写体５２の大きさと焦点検出点５４の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより決定することができる。また、対象被写体５２の大きさと焦点検出点５４の対応関係を示す演算式から求めるようにしてもよい。

また、一部領域５３の面積と所定の閾値とを比較して、一部領域５３の面積が閾値以上の場合と閾値以下の場合のそれぞれに焦点検出点５４の間隔を対応させおくことにより、一部領域５３の面積に応じた焦点検出点５４の間隔を得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに焦点検出点５４間の間隔を対応させるようにしてもよい。

そしてステップＳ１２６で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点５４の表示を行い、ＡＦ制御部１１４が焦点検出点５４におけるデフォーカス量に基づくオートフォーカス制御を行なう。

本実施の形態においては、図８Ａに示すように一部領域５３の面積が小さい、すなわち対象被写体５２が小さくなるに従い、焦点検出点５４間の隙間を小さくして一部領域５３内において焦点検出点５４が密に配置されるようにする。一方、図８Ｂに示すように一部領域５３の面積が大きい、すなわち対象被写体５２が大きくなるに従い、対象被写体５２が小さい場合に比べて焦点検出点５４間の間隔を大きくして一部領域５３内に焦点検出点５４を配置する。

なお、この第２の態様においても第１の態様と同様に図７Ａに示すように外の領域５５の焦点検出点５４を初期状態よりも疎に配置してもよいし、図７Ｂに示すように、外の領域５５には焦点検出点５４を配置しないようにしてもよい。

この第２の態様によれば、対象被写体５２が小さい場合には焦点検出点５４を密に配置することによりオートフォーカスの精度を高めて、対象被写体５２を逃さずに撮影することを可能にする。一方、対象被写体５２が大きい場合には、焦点検出点５４間の隙間を大きくして対象被写体５２の全体を焦点検出点５４でカバーし、対象被写体５２を逃さずに撮影することを可能にする。

［１−４．焦点検出点配置の第３の態様］
次に図１０乃至図１２を参照して第１の実施の形態における焦点検出点配置の第３の態様について説明する。図１０は撮影範囲における焦点検出点の設定状態を説明する図である。図１１は焦点検出点配置の流れを示すフローチャートである。図１２は、撮影範囲における焦点検出点の設定状態の他の例を説明する図である。

焦点検出点配置の第３の態様は、撮影範囲５１内において特定された対象被写体５２の移動速度に応じて一部領域５３を決定し、焦点検出点５４を配置するものである。

まず、ステップＳ１３１で、処理画像が被写体特定部１１５に入力される。次にステップＳ１３２で、被写体特定部１１５が撮影範囲５１中から焦点検出点配置の対象となる対象被写体５２を特定する。対象被写体５２の特定は、上述したように被写体検出技術、ユーザからの入力などにより行われる。図１０Ａの例では、撮影範囲５１内における犬が対象被写体５２として特定されている。

次にステップＳ１３３で、被写体特定部１１５は対象被写体５２の速度を検出する。速度は、例えば、処理画像の現フレームと前フレームとにおける対象被写体５２の位置の移動量および現フレームと前フレーム間の経過時間とから算出することが可能である。このようにして、取得された対象被写体５２の速度情報は焦点検出制御部１２１に供給される。

次にステップＳ１３４で焦点検出制御部１２１は、対象被写体５２の速度に応じて一部領域５３を決定する。一部領域５３は、対象被写体５２の速度と所定の閾値とを比較して、速度が閾値以上の場合と閾値以下の場合のそれぞれに一部領域５３の大きさを対応させておき、対象被写体５２の速度に応じて一部領域５３の大きさを得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに一部領域５３の大きさを対応させるようにしてもよい。または、対象被写体５２の速度と一部領域５３の大きさとを対応させたテーブルを保持しておき、そのテーブルを参照することにより対象被写体５２の速度に対応した一部領域５３の大きさを得るようにしてもよい。さらに、対象被写体５２の速度と一部領域５３の大きさとの対応関係を示す演算式から求めるようにしてもよい。

次にステップＳ１３５で焦点検出制御部１２１は、対象被写体５２の速度に応じて一部領域５３内における焦点検出点５４間の間隔を決定し、その間隔で一部領域５３内に均等に配置されるように焦点検出点５４の配置を決定する。

例えば、対象被写体５２の速度と所定の閾値とを比較して、閾値以上の場合と閾値以下の場合のそれぞれに焦点検出点５４の間隔を対応させておき、対象被写体５２の速度に応じた焦点検出点５４の間隔を得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに焦点検出点５４間の間隔を対応させるようにしてもよい。または、対象被写体５２の速度と焦点検出点５４間の間隔とを対応させたテーブルを保持しておき、そのテーブルを参照することにより対象被写体５２の速度に対応した焦点検出点５４間の間隔を得るようにしてもよい。さらに、対象被写体５２の速度と焦点検出点５４の間隔との対応関係を示す演算式から求めるようにしてもよい。

図１０Ｂに示すように対象被写体５２が位置Ｆから位置Ｇに速度Ｖ１で移動した場合と、図１０Ｃに示すように対象被写体５２が位置Ｆから位置Ｈに速度Ｖ２（速度Ｖ１より遅い）で移動した場合を例にして説明する。

速度Ｖ１は速度Ｖ２よりも速いため、図１０Ｂにおける一部領域５３は図１０Ｃにおける一部領域５３よりも大きくする。一方、速度Ｖ２は速度Ｖ１よりも遅いため、図１０Ｃにおける焦点検出点５４は図１０Ｂにおける焦点検出点５４よりも密に配置される。

そしてステップＳ１３６で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点５４の表示を行い、ＡＦ制御部１１４が焦点検出点５４におけるデフォーカス量に基づくオートフォーカス制御を行なう。

このように速度が速い被写体に対しては広く焦点検出点５４を配置し、速度が遅い対象被写体５２に対しては焦点検出点５４を集中させて密に配置する。これにより、速度が速い被写体であっても逃すことなく補足して撮影を行なうことができる。

なお、被写体特定部１１５は対象被写体５２の速度に加えて移動方向を検出し、焦点検出制御部１２１は対象被写体５２の移動方向に対応させて焦点検出点５４を配置してもよい。対象被写体５２の移動方向は、例えば、処理画像の前フレームと現フレームとにおける対象被写体５２の位置の変化から取得することが可能である。移動方向情報は対象被写体５２の速度情報と共に焦点検出制御部１２１に供給される。

ここで、図１２Ａに示すように、対象被写体５２がＰ地点から現在位置であるＱ地点に速度Ｖ３で移動した場合と、図１２Ｂに示すように、対象被写体５２がＰ地点から現在位置であるＳ地点に速度Ｖ４（速度Ｖ３よりも遅い）で移動した場合を例にして説明する。

図１２Ａにおいて対象被写体５２がＰ地点からＱ地点へ移動した場合、その速度Ｖ３と経過時間ｔとから対象被写体５２はさらにｔ秒後には現在位置であるＱ地点からＲ地点に移動すると予測することができる。一方、図１２Ｂにおいて対象被写体５２がＰ地点からＳ地点へ移動した場合、その速度Ｖ４と経過時間ｔとから対象被写体５２はさらにｔ秒後には現在位置であるＳ地点からＴ地点に移動すると予測することができる。

この場合、図１２Ｃに示すように焦点検出制御部１２１は、現在位置であるＱ地点とＲ地点とが含まれるように一部領域５３を決定して焦点検出点５４を配置するとよい。また、図１２Ｄに示すように焦点検出制御部１２１は、現在位置であるＳ地点とＴ地点とが含まれるように一部領域５３を決定して焦点検出点５４を配置するとよい。

さらに、速度Ｖ３は速度Ｖ４よりも速いため、図１２Ｃに示すように焦点検出制御部１２１は速度Ｖ３で移動する場合には速度Ｖ４で移動する場合より一部領域５３を広くして焦点検出点５４を配置する。また、速度Ｖ４は速度Ｖ３よりも遅いため、図１２Ｄに示すように焦点検出制御部１２１は速度Ｖ４で移動する場合には速度Ｖ３で移動する場合より一部領域５３を狭くして焦点検出点５４をより密に配置する。

このように焦点検出点５４を配置することにより、現在位置、予測到達地点および現在位置から予測到達地点までの移動経路全体を焦点検出点５４でカバーし、対象被写体５２を捕捉して逃さずに撮影することができる。

この移動方向に基づいて焦点検出点５４の配置を決定する手法は、例えば、一定時間以上被写体が一定方向に動く場合に有効である。例えば、徒競走やカーレースの撮影などである。一方、移動方向に基づかない手法は、被写体の移動方向が安定しない場合に有効である。例えば、サッカーなどの撮影の場合、選手は常に一定方向に動くわけではなく、様々な方向に動くことが予想される。このような場合に移動方向を特定して一部領域５３を決定すると被写体が一部領域５３から外れてしまう可能性があるため移動方向に基づかない方がよいと考えられる。

この第３の態様によれば、対象被写体５２の移動速度に応じて焦点検出点５４の密度を調整して配置することにより対象被写体５２に対するオートフォーカスの精度を向上させ、移動速度が速い被写体であって確実に捕捉して撮影を行なうことができる。

＜２．第２の実施の形態＞
［２−１．撮像装置の構成］
まず、第２の実施の形態に係る撮像制御装置１２０の機能を備える撮像装置２００の構成について説明する。図１３は撮像装置２００の構成を示すブロック図である。

撮像装置２００は、制御部１０１、光学撮像系１０２、レンズ駆動ドライバ１０３、撮像素子１０４、信号処理ＬＳＩ（Large-Scale Integration）１０５、前処理部１０６、画像信号処理部１０７、コーデック部１０９、表示制御部１１０、記憶部１１１、表示部１１２、入力部１１３、ＡＦ制御部１１４、被写体特定部１１５、撮像制御装置１２０を構成する焦点検出制御部１２１を備えて構成されている。この点は第１の実施の形態と同様であるため、各部の説明は第１の実施の形態を援用し省略する。

第２の実施の形態において、撮像装置２００はさらに被写体種類特定部２０１を備えている。被写体種類特定部２０１は、被写体特定部１１５が特定した対象被写体に対して被写体種類特定処理を行い、被写体の種類を特定する。特定した被写体の種類、位置、大きさなどを示す情報（以下、被写体種類情報と称する。）は焦点検出制御部１２１に供給される。

例えば、被写体の種類の検出は公知の被写体認識処理、マッチング処理などを用いて行うことができる。認識方法としては、テンプレートマッチングによる物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。

ここで、特定される被写体としては例えば人物の瞳などがある。本実施の形態においては、人物の瞳を例にして説明を行なう。瞳の検出は、まず、被写体特定部１１５により人物の顔を検出し、次に、被写体種類特定部２０１が、瞳の特徴である白眼の中に黒眼がある（黒眼の周辺に白眼がある）こと、および人物の両眼の間隔は個体差を除けばほぼ一定であることなどに基づいて行なうことができる。なお、人物の顔の検出を行わずに直接瞳の検出が可能な場合にはそのように瞳の検出を行なうようにしてもよい。

第２の実施の形態に係る撮像装置２００は以上のようにして構成されている。第２の実施の形態においては、焦点検出制御部１２１は被写体の種類に応じて焦点検出点の配置領域である一部領域および焦点検出点の配置を決定する。

なお、被写体種類特定部２０１は、所定のプログラムを実行することにより制御部１０１が被写体種類特定部２０１として機能するようにしてもよい。そのプログラムは、予め撮像装置２００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、被写体種類特定部２０１は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

［２−２．焦点検出点配置の態様］
次に図１４および図１５を参照して第２の実施の形態における焦点検出点配置の態様について説明する。図１４は撮影範囲６１における焦点検出点６４の設定状態を説明する図であり、図１５は焦点検出点配置の流れを示すフローチャートである。

第２の実施の形態は、撮影範囲６１内において特定された対象被写体６２の種類に応じて一部領域６３および焦点検出点６４の配置を決定するものである。

まずステップＳ２１１で、処理画像が被写体特定部１１５に入力される。次にステップＳ２１２で、図１４Ａに示すように被写体特定部１１５が撮影範囲６１の中から人物の顔を検出する。検出した人物の顔の情報である対象被写体情報は被写体特定部１１５から被写体種類特定部２０１に供給される。

次にステップＳ２１３で、被写体種類特定部２０１が対象被写体６２である人物の瞳６５の特定を行う。次にステップＳ２１４で、瞳６５が特定できたか否かが判定され、瞳６５が特定できた場合にはステップＳ２１５に進む（ステップＳ２１４のＹｅｓ）。なお、瞳６５が特定されない場合には、ステップＳ２１３およびステップＳ２１４を繰り返し、瞳６５の検出が繰り返される（ステップＳ２１４のＮｏ）。所定時間、瞳６５の特定がされない場合には、被写体特定処理を停止し、人物の顔が検出された場合と同様の処理を行なうようにしてもよい。特定された瞳６５を示す被写体種類情報が被写体種類特定部２０１から焦点検出制御部１２１に供給される

次にステップＳ２１５で、焦点検出制御部１２１は種類が特定された対象被写体６２である瞳６５全体が含まれるように一部領域６３を決定する。なお、人物には通常瞳が２つあるため、瞳が人物の手や物体などによって隠されていないかぎり、被写体の種類が瞳である場合には一部領域６３はその２つの瞳のそれぞれに対して設定される。よって、撮影範囲６１内において一部領域６３が２つとなる。

次にステップＳ２１６で焦点検出制御部１２１は、一部領域６３の大きさに応じて一部領域６３内における焦点検出点６４間の間隔を決定し、その間隔で一部領域６３内に均等に配置されるように焦点検出点６４の配置を決定する。そしてステップＳ２１７で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。そして、表示制御部１１０が表示部１１２における焦点検出点６４の表示を行い、ＡＦ制御部１１４が焦点検出点６４におけるデフォーカス量に基づくオートフォーカス制御を行なう。

この第２の実施の形態によれば、被写体の種類に応じて焦点検出点６４を配置するため、種類を特定した被写体に対するオートフォーカスの精度を向上させることができる。

なお、人物の顔を検出せずに直接瞳６５を検出することができる場合には、フローチャートのステップＳ２１２の顔検出の処理は不要である。

なお、上述の実施の形態では、被写体の種類の例として瞳を挙げて説明を行ったが、被写体の種類は瞳に限られるものではなく、人物、人物の顔、動物の顔、動物の瞳、自動車のナンバープレート、標識、看板、建築物など被写体であればどのようなものでもよい。

＜３．第３の実施の形態＞
［３−１．撮像装置の構成］
第３の実施の形態に係る撮像制御装置１２０の機能を備える撮像装置１００の構成は第１の実施の形態と同様であるため、その説明を省略する。第３の実施の形態においては、被写体以外の情報に基づいて焦点検出点の配置が行われる。

［３−２．焦点検出点配置の第１の態様］
次に図１６および図１７を参照して第３の実施の形態における焦点検出点配置の第１の態様について説明する。図１６は撮影範囲７１における焦点検出点７３の設定状態を説明する図であり、図１７は焦点検出点配置の流れを示すフローチャートである。

焦点検出点配置の第１の態様は、撮影時において、ユーザが自ら撮像装置１００を操作して被写体にピントを合わせるいわゆるマニュアルフォーカスモードの際に行なうものである。撮影範囲７１中における任意の一部分を表示部１１２に拡大表示してマニュアルフォーカスを補助する機能を使用してユーザが自らの操作でピントを合わせた場合、そのマニュアルフォーカスによる合焦位置７５を含むように一部領域７２を設定して焦点検出点７３を配置する。これにより、ユーザがピントを合わせようとする位置に対するオートフォーカスの精度を向上させることができる。よって、この第１の態様は被写体ではなく、合焦位置７５の位置に基づいて焦点検出点７３を配置する。

まず、ステップＳ３１１で、処理画像が被写体特定部１１５に入力される。次にステップＳ３１２で、撮像装置１００から焦点検出制御部１２１にマニュアルフォーカスを補助する機能が動作していることを示す通知がなされる。この通知は例えば、ユーザによりマニュアルフォーカスを補助する機能が選択された時点で自動的になされるようにしてもよい。例えば、図１６Ａ中の一点鎖線で示すようにユーザにより撮影範囲７１中の任意の範囲がマニュアルフォーカスアシストにより拡大する範囲として設定される。

そして、ユーザがマニュアルフォーカスを補助する機能を利用して撮像装置１００を操作して被写体にピントを合わせると、図１６Ｂに示すような、その合焦位置７５を示す情報（以下、合焦位置情報と称する。）がステップＳ３１３で被写体特定部１１５に供給される。そしてステップＳ３１４で、被写体特定部１１５は合焦位置情報が示す合焦位置７５を焦点検出点配置の対象として特定する。対象情報は焦点検出制御部１２１に供給される。

次にステップＳ３１５で、図１６Ｃに示すように、焦点検出制御部１２１は対象である合焦位置７５を中心にとした所定の領域を一部領域７２として決定する。

次にステップＳ３１６で、図１６Ｄに示すように、焦点検出制御部１２１は一部領域７２内における焦点検出点７３の配置を決定する。そしてステップＳ３１７で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。

この第１の態様においては、マニュアルフォーカスモードにおいてユーザがピントを合わせた合焦位置７５周辺に焦点検出点７３を密に配置する。これにより、ユーザがピント合わせたい被写体により高い精度でピント合わせることができる。

［３−３．焦点検出点配置の第２の態様］
次に図１８および図１９を参照して第３の実施の形態における焦点検出点配置の第２の態様について説明する。図１８は撮影範囲７１における焦点検出点７３の設定状態を説明する図であり、図１９は焦点検出点配置の流れを示すフローチャートである。

焦点検出点配置の第２の態様は、マニュアルフォーカスによる撮影時において、表示部１１２における表示画面の中央など撮影範囲７１の一部を拡大して表示する場合（以下、拡大フォーカスモードと称する。）に、その拡大領域７６のみに焦点検出点７３を配置するものである。拡大領域７６は撮影範囲７１を表示する表示画面の中央に限られず、撮影範囲７１を表示する表示画面中のいずれの領域でもよい。なお、この第２の態様は拡大フォーカスがデジタルズームによって実現される場合にのみ適用されるものである。よって、この第２の態様は被写体ではなく、拡大領域７６に基づいて焦点検出点７３を配置する。

まずステップＳ３２１で、処理画像が被写体特定部１１５に入力される。次にステップＳ３２２で、撮像制御装置１２０に対して撮像装置が拡大フォーカスモードで動作していることを示す通知がなされる。この通知は例えば、ユーザにより拡大フォーカスモードが選択された時点で自動的になされるようにしてもよい。次にステップＳ３２３で、図１８Ａに示すような拡大表示されている領域を示す情報（拡大領域情報と称する。）が被写体特定部１１５に供給される。そしてステップＳ３２４で、被写体特定部１１５は拡大領域情報が示す拡大領域７６を焦点検出点配置の対象として特定する。対象を示す情報は焦点検出制御部１２１に供給される。

次にステップＳ３２５で、焦点検出制御部１２１は拡大領域７６を一部領域７２として決定する。そしてステップＳ３２６で、図１８Ｂに示すように、焦点検出制御部１２１は一部領域７２である拡大領域７６に所定数の焦点検出点７３を均等に配置する。なお、焦点検出点７３の数および焦点検出点７３間の間隔は、一部領域７２である拡大領域７６の大きさに応じて決定するとよい。例えば、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の対応関係を示す演算式から求めるようにしてもよい。

そしてステップＳ３２７で、焦点検出制御部１２１は焦点検出点情報をＡＦ制御部１１４および表示制御部１１０に出力する。

なお、拡大領域７６の表示部１１２における表示方法としては、拡大領域７６を表示部１１２の全体に表示してもよいし、拡大領域７６を表示部１１２の右上などにおいてモニタリング画像上に重畳表示するようにしてもよい。

この第２の態様によれば、通常、ユーザがピントを合わせようとする被写体を含んでいる拡大領域７６に焦点検出点７３を密に配置することにより、被写体に対するオートフォーカスの精度を向上させることができる。

［３−４．焦点検出点配置の第３の態様］
次に図２０および図２１を参照して第３の実施の形態における焦点検出点配置の第３の態様について説明する。図２０は撮影範囲７１における焦点検出点７３の設定状態を説明する図であり、図２１は焦点検出点配置の流れを示すフローチャートである。

焦点検出点配置の第３の態様は、撮影時においてモニタリング画像上に構図の基準となる縦方向、横方向、斜め方向などに延びるグリッドライン７７を表示させる機能を用いる場合に、そのグリッドライン７７の交点を含んだ一部領域７２に焦点検出点７３を密に配置するものである。

構図とは、写真における被写体の配置など全体の構成を示すものであり、代表的な構図としては、例えば、対角構図、３分割構図、黄金比構図などがある。この第３の態様においては、ユーザは焦点検出点７３を密に配置する基準となるグリッドライン７７の交点を選択（選択された交点を選択交点７８と称する。）できるものとする。グリッドライン７７の交点の選択は例えば、表示部１１２と一体に構成された入力部１１３としてのタッチパネルへの入力、または十字キー、ダイヤルなどの操作片を操作することによって行えるようにするとよい。よって、この第３の態様は被写体ではなく、グリッドライン７７の選択交点７８の位置に基づいて焦点検出点７３を配置する。

まずステップＳ３３１で、処理画像が被写体特定部１１５に入力される。次にステップＳ３３２で、撮像制御装置１２０に撮像装置１００がグリッドライン７７の表示を行なうモードであることを示す通知がなされる。次にユーザによりグリッドライン７７の交点のいずれかが選択交点７８として選択されると、ステップＳ３３３でユーザにより選択された選択交点７８を示す情報（交点情報と称する。）が被写体特定部１１５に供給される。

次にステップＳ３３４で、被写体特定部１１５は、選択交点７８を焦点検出点７３を配置する対象として特定する。対象を示す情報は焦点検出制御部１２１に供給される。そしてステップＳ３３５で焦点検出制御部１２１は、選択交点７８を内部に含む所定の大きさの領域を一部領域７２として決定する。一部領域７２の大きさは例えば、構図の種類に応じて設定するようにしてもよい。例えば、交点の数が多い構図と交点の数が少ない構図とでは前者における一部領域７２は後者における一部領域７２よりも小さいものとする、などである。また、一部領域７２は選択交点７８に重なっている被写体を含むように設定してよい。なお、一部領域７２は、必ずしも選択交点７８を中心としている必要はなく、選択交点７８を内部に含んでいればどのように設定してもよい。

次にステップＳ３３６で、焦点検出制御部１２１は一部領域７２内に焦点検出点７３を均等に配置する。なお、焦点検出点７３の数および焦点検出点７３間の間隔は、一部領域７２の大きさに応じて決定するとよい。例えば、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の間隔を対応させておいたテーブルを焦点検出制御部１２１が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域７２の大きさと焦点検出点７３の数および焦点検出点７３の対応関係を示す演算式から求めるようにしてもよい。

なお、構図の基準となるグリッドライン７７の交点を優先して被写体検出を行なう技術も提案されているため、その技術と組み合わせることによりさらにオートフォーカスの精度を高めることができる。

グリッドライン７７の選択交点７８は通常、ユーザがピントを合わせたい被写体を位置させる点である。よって、この第３の態様によれば、その選択交点７８を含むように一部領域７２を決定してその中に焦点検出点７３を密に配置することにより、ユーザがピントを合わせたい被写体に対するオートフォーカスの精度を向上させることができる。

＜４．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

上述した第１乃至第３の実施の形態においては、一部領域を決定した後、その一部領域内に焦点検出点を配置する順序で説明を行ったが、一部領域の決定と焦点検出点の配置の決定は同時に行なうようにしてもよい。

また、第１乃至第３の実施の形態において、撮影範囲内における一部領域以外の外の領域には焦点検出点を配置してもよいし、配置しなくてもよい。また、外の領域には一部領域よりも疎に焦点検出点を配置するようにしてもよい。

次に、オートフォーカスの設定において、ユーザがオートフォーカスによる被写体への追従の感度を調整できる場合の変形例について説明する。オートフォーカスの被写体への追従感度の調整とは、撮像装置が有する機能の１つであり、オートフォーカスで捕捉した被写体への追従の度合いを調整できるものである。追従感度が低い場合には、障害物が焦点検出点を横切ったときや、焦点検出点が被写体から外れたときでも、できるだけ捕捉している被写体にピントを合わせ続けようとする。一方、追従感度が高い場合には、焦点検出点で捉えている現在ピントが合っている被写体とは別の被写体が焦点検出点を横切ったりした場合にその他の被写体にピントを合わせることになる。このような被写体への追従感度は通常、撮像装置の設定モードなどにおいて値や複数の段階として選択が可能である。

そして、この被写体への追従感度が高く設定されている場合、すなわち、現在ピントが合っている被写体から別の被写体にピントが移りやすい場合には、焦点検出点の一部領域内への局所配置を解除し、撮影範囲の全体に均等に焦点検出点を配置するとよい。これにより、撮影範囲全体において、均等にオートフォーカスによる被写体の捕捉を行なうことができるので、撮影範囲内に突然新たな被写体が入ってきた場合であってもその新たな被写体をオートフォーカスで捕捉することができる。

次に、図２２を参照して被写体が撮影範囲から外れた場合（フレームアウト）の変形例について説明する。上述した実施の形態における手法で、図２２Ａに示すように、撮影範囲８１内の対象被写体８２を含むように一部領域８３を決定し、その中に焦点検出点８４を配置して撮影している場合を想定する。

その撮影の最中に対象被写体８２が右方向に移動し、図２２Ｂに示すようにフレームアウトしたとする。この場合、図２２Ｂに示すようにフレームアウトした位置に局所配置した焦点検出点８４を所定時間残しておく。これにより、図２２Ｃに示すように、そのフレームアウトした対象被写体８２がフレームアウトした位置から再度撮影範囲８１内に入ってきた場合（フレームイン）に、即座にその対象被写体８２に再度ピントを合わせることができる。なお、局所配置した焦点検出点８４は所定時間、例えば、数秒程度残しておくとよい。長時間残していると、フレームアウトした対象被写体８２とは異なる被写体にピントに合わせてしまうおそれがあるからである。

または、焦点検出点８４を重ねていた対象被写体８２がフレームアウトした場合、局所的に配置していた焦点検出点８４を解除し、図２２Ｄに示すように撮影範囲８１全体に焦点検出点８４を配置するようにしてもよい。この場合、対象被写体８２がフレームアウトした方向以外の方向からその対象被写体８２や他の被写体８５が入ってきた場合にそれらに即座にピントを合わせることができる。

次にクロップして撮影する場合の変形例について説明する。クロップとは、撮影範囲において画像の一部分を切り出して撮影、または画像の再生画面において画像の一部分を切り出して再生することをいう。フルサイズ（３５ｍｍ）の撮像素子１０４で撮影する場合、撮像素子１０４の中央部分だけを切り出して小さな画像サイズで撮影すると、ＡＰＳ−Ｃ（Advanced Photo System−Ｃ）サイズの画像を得ることができる。ＡＰＳ−Ｃとは、デジタルカメラの固体撮像素子のサイズ規格のひとつである。

フルサイズの撮像素子１０４を用いて、上述した第１乃至第３の実施の形態における手法で被写体にピントを合わせた状態でクロップして撮影している場合、クロップにより見えなくなっている領域にも焦点検出点を疎に配置しておく。これにより、被写体が撮影範囲外からフレームインしてきた場合に即座にその被写体にピントを合わせることができる。

次に第１の実施の形態の第３の態様の変形例について説明する。第１の実施の形態の第３の態様において撮像装置１００は動きセンサを備えていてもよい。動きセンサは、例えば２軸または３軸方向に対する加速度センサあるいは角度速度センサなどにより撮像装置１００の動きを検出して、撮像装置１００自体の移動速度、移動方向などの情報を制御部１０１に供給する。また、動きセンサはジャイロセンサにより、撮像装置１００が旋回しているときの回転角の変化する速度（角速度）やＹ軸方向周りの角速度を検出し、制御部１０１に出力する。

ユーザが撮像装置１００を手に持って撮像装置１００を動かす場合にも第１の実施の形態の第３の態様と同様に撮影範囲内において被写体が移動することになる。このような場合に、撮像装置１００の移動速度、移動方向に基づいて第１の実施の形態の第３の態様と同様の処理を行なうようにしてもよい。

なお、撮像装置１００が動く場合とは、ユーザが手で持って動かす場合の他、ドローンと称される飛行体に撮像装置１００が搭載されている場合、ユーザが頭部など体の一部に撮像装置１００を装着している場合、車載カメラなど移動体に撮像装置１００を搭載している場合などがある。

次に第３の実施形態の変形例について説明する。第３の実施の形態で説明した撮像装置１００からの情報に基づいて焦点検出点を配置する実施形態において、撮像装置１００からの情報は第３の実施の形態で述べたものに限定されない。撮像装置１００が有する撮影補助機能から供給される情報または外部装置が有する撮影補助機能から供給される情報に基づいて焦点検出点を配置するようにしてもよい。

撮像装置１００が有する撮影を補助する機能としては、像面位相差ＡＦ用の焦点検出点がある。この場合、表示部１１２に表示されている複数の焦点検出点からユーザが選択した任意の１または複数の焦点検出点が焦点検出点を密に配置する対象となる。

また、外部装置の撮影補助機能から供給される情報としては、別体位相差ＡＦモジュールの合焦点情報、コントラストＡＦの合焦点情報、外部ストロボのＡＦ補助光が被写体に当たっている位置の情報、ドットサイトと称される光学照準器の照準用光点の情報、視線入力装置における視線の位置を示す情報などである。

次に撮像装置の構成の変形例について説明する。図２に示す撮像制御装置１２０を備える撮像装置１００の構成では、撮像制御装置１２０による処理を撮像装置１００の制御側で行っているが、撮像素子１０４が制御回路を備え、撮像素子１０４内で本技術に係る焦点検出点の設定処理を行なうようにしてもよい。

被写体の種類に応じた焦点検出点の設定については、被写体が瞳であり、撮影範囲内に一部領域が２つ存在する場合を例にして説明を行ったが、その他の実施の形態においても一部領域は一つに限られず、撮影範囲内に複数の一部領域が設定されてもよい。

上述の実施の形態では、焦点検出点を配置する一部領域は四角形として説明を行ったが、一部領域は四角形に限られず、三角形、円形、被写体の輪郭と略同等の形状などでもよい。

表示部１１２における焦点検出点を示すユーザインターフェースの表示は実施の形態に示したもの以外の方法で行ってもよい。例えば、一部領域内の焦点検出点を濃い線で表示し、外の領域内の焦点検出点を薄い線で表示または表示しないようにしてもよい。また、一部領域内の焦点検出点を赤色など目立つ色の線で表示し、外の領域内の焦点検出点を黒、白など一部領域内の焦点検出点の色よりも目立たない色で表示してもよい。また、一部領域内の焦点検出点を太い線で表示し、外の領域内の焦点検出点を細い線で表示してもよい。または、一部領域内の焦点検出点のみを点滅させるようにしてもよい。なお、一部領域内および外の領域内の全ての焦点検出点を同じ線の種類、線の色で表示してもよい。また、一部領域内全体に色や網目を表示したりしてもよい。

なお、上述した第１乃至第３の実施の形態の各態様および変形例は組み合わせて使用してもよい。例えば、第１の実施の形態の第２の態様である対象被写体の大きさに応じて一部領域内に焦点検出点を配置する場合、第１の実施の形態の第１の態様の図７で説明したように、焦点検出点を外の領域に一部領域よりも疎に配置してもよいし、配置しなくてもよい。また、第３の実施の形態の第３の態様であるグリッドラインの交点を対象として焦点検出点を配置する場合にも、第１の実施の形態の第１の態様の図７で説明したように、焦点検出点を外の領域に一部領域よりも疎に配置してもよいし、配置しなくてもよい。また、第２の実施の形態である被写体の種類に応じて焦点検出点を配置する場合に、さらに第１の実施の形態の第２の態様を利用して被写体の大きさに応じて配置してもよいし、第１の実施の形態の第３の態様を利用して被写体の速度に応じて配置してもよい。

本技術は、一眼レフカメラ、デジタルカメラ、デジタルビデオカメラなどの他にも、アウトドアスポーツの愛好者等が自身の活動を記録するために用いる小型のデジタルビデオカメラや、ネットワークカメラ、車載カメラ、監視カメラ、ドローンなどの飛行体搭載用カメラ、ノートパソコン、スマートフォン、タブレット端末、携帯ゲーム機、腕時計型のウェアラブル端末、眼鏡型のウェアラブル端末、カーナビゲーションシステム、インターホンシステムなどカメラ機能を備えるものであればどのようなものにも適用可能である。

また、複数のデジタルカメラ、デジタルビデオカメラ、スマートフォンなどをＷｉＦｉネットワークなどで接続して、それらの複数の機器で同時に撮影を行なうことができるいわゆるマルチカメラシステムにも本技術を適用することが可能である。例えば、ユーザがシャッタ操作などを行なうメインカメラにおいて本技術を利用し焦点検出点を設定した場合、その設定がＷｉＦｉネットワークなどを通じてその他のサブカメラに送信され、サブカメラにおいてもその焦点検出点の設定が適用される、などである。

また、被写体は、人物、人物の顔、瞳などに限られず、自動車、飛行機、列車、自転車、自動車のナンバープレート、標識、看板、動物、植物、建築物などどのようなものであってもよい。

本技術は以下のような構成も取ることができる。
（１）
指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える
制御装置。
（２）
前記焦点検出制御部は、前記一部領域における前記複数の焦点検出点間の間隔を前記外の領域における前記複数の焦点検出点間の間隔より狭くする（１）に記載の撮像制御装置。
（３）
複数の前記焦点検出点ごとのデフォーカス量を算出する検波部からデフォーカス量を取得する（１）または（２）に記載の撮像制御装置。
（４）
前記焦点検出制御部は、前記焦点検出点を示す情報を表示制御部に供給し、複数の前記焦点検出点の各々に対応した該焦点検出点を示す枠を表示部に表示させる（１）から（３）のいずれかに記載の制御装置。
（５）
前記被写体は、被写体検出処理またはユーザの指定により特定される（１）から（３）のいずれかに記載の制御装置。
（６）
前記焦点検出制御部は、前記被写体の大きさに基づいて前記複数の焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
（４）または（５）に記載の制御装置。
（７）
前記焦点検出制御部は、前記被写体が大きくなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体が小さくなるに従い前記複数の焦点検出点間の間隔を狭くして、前記焦点検出点を前記一部領域に配置させる
（６）に記載の制御装置。
（８）
前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる（１）から（７）のいずれかに記載の制御装置。
（９）
前記焦点検出制御部は、前記被写体の速度が速くなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体の速度が遅くなるに従い前記複数の焦点検出点間の間隔を狭くして前記焦点検出点を前記一部領域に配置させる（８）に記載の制御装置。
（１０）
前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記一部領域の大きさを調整する（８）または（９）に記載の制御装置。
（１１）
さらに前記被写体の移動方向に基づいて、前記一部領域の大きさを調整する（８）から（１０）のいずれかに記載の制御装置。
（１２）
前記撮影範囲内において種類が特定された前記被写体が含まれる前記一部領域に前記種類に応じて前記焦点検出点を配置させる（１）から（１１）のいずれかに記載の制御装置。
（１３）
前記焦点検出制御部は、前記複数の焦点検出点を、前記撮影範囲内における合焦位置が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる（１）から（３）のいずれかに記載の制御装置。
（１４）
前記焦点検出制御部は、前記撮影範囲の一部であって、表示部に拡大して表示する領域を前記一部領域とし、前記複数の焦点検出点を前記一部領域に配置させる（１）から（３）のいずれかに記載の制御装置。
（１５）
前記焦点検出制御部は、前記複数の焦点検出点を、表示部に表示された前記撮影範囲上に重畳表示された複数の線の交点が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる（１）から（３）のいずれかに記載の制御装置。
（１６）
前記焦点検出は像面位相差方式により行われる（１）から（１５）のいずれかに記載の制御装置。
（１７）
撮像部の焦点検出画素に対応して設定される複数の焦点検出点を、特定された被写体の位置に基づいて、前記撮像部の撮影範囲における前記被写体に対応する一部領域よりも外の領域から、前記一部領域に配置させる制御方法。
（１８）
撮像部の焦点検出画素に対応して設定される複数の焦点検出点を、特定された被写体の位置に基づいて、前記撮像部の撮影範囲における前記被写体に対応する一部領域よりも外の領域から、前記一部領域に配置させる制御方法をコンピュータに実行させる制御プログラム。

５１、６１、７１、８１・・・撮影範囲
５２、６２、８２・・・・・・対象被写体
５３、６３、７２・・・・・・一部領域
５４、６４、７３、８４・・・焦点検出点
５５・・・・・・・・・・・・外の領域
７５・・・・・・・・・・・・合焦位置
７６・・・・・・・・・・・・拡大領域
１２０・・・・・・・・・・・撮像制御装置
１２１・・・・・・・・・・・焦点検出制御部

Claims (18)

1. 指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える
   制御装置。
2. 前記一部領域は、特定された被写体の位置に対応する領域、またはユーザにより指定された領域である
   請求項１に記載の制御装置。
3. 複数の前記焦点検出点ごとのデフォーカス量を算出する検波部からデフォーカス量を取得する
   請求項１に記載の制御装置。
4. 前記焦点検出制御部は、前記焦点検出点を示す情報を表示制御部に供給し、複数の前記焦点検出点の各々に対応した該焦点検出点を示す枠を表示部に表示させる
   請求項１に記載の制御装置。
5. 前記被写体は、被写体検出処理またはユーザの指定により特定される
   請求項１に記載の制御装置。
6. 前記焦点検出制御部は、前記被写体の大きさに基づいて前記複数の焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
   請求項１に記載の制御装置。
7. 前記焦点検出制御部は、前記被写体が大きくなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体が小さくなるに従い前記複数の焦点検出点間の間隔を狭くして、前記焦点検出点を前記一部領域に配置させる
   請求項６に記載の制御装置。
8. 前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
   請求項１に記載の制御装置。
9. 前記焦点検出制御部は、前記被写体の速度が速くなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体の速度が遅くなるに従い前記複数の焦点検出点間の間隔を狭くして前記焦点検出点を前記一部領域に配置させる
   請求項８に記載の制御装置。
10. 前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記一部領域の大きさを調整する
    請求項８に記載の制御装置。
11. さらに前記被写体の移動方向に基づいて、前記一部領域の大きさを調整する
    請求項８に記載の制御装置。
12. 前記撮影範囲内において種類が特定された前記被写体が含まれる前記一部領域に前記種類に応じて前記焦点検出点を配置させる
    請求項１に記載の制御装置。
13. 前記焦点検出制御部は、前記複数の焦点検出点を、前記撮影範囲内における合焦位置が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる
    請求項１に記載の制御装置。
14. 前記焦点検出制御部は、前記撮影範囲の一部であって、表示部に拡大して表示する領域を前記一部領域とし、前記複数の焦点検出点を前記一部領域に配置させる
    請求項１に記載の制御装置。
15. 前記焦点検出制御部は、前記複数の焦点検出点を、表示部に表示された前記撮影範囲上に重畳表示された複数の線の交点が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる
    請求項１に記載の制御装置。
16. 前記焦点検出は像面位相差方式により行われる
    請求項１に記載の制御装置。
17. 指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する
    制御方法。
18. 指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する
    制御方法をコンピュータに実行させる制御プログラム。

Images