JP6834988B2 - 制御装置 - Google Patents

Description

本開示は、制御装置、制御方法、及びプログラムに関する。

近年では、デジタルスチルカメラやデジタルビデオカメラ（以降では、これらを総じて「デジタルカメラ」とも称する）等のように静止画像や動画像等の画像を撮像可能な撮像装置の機能として、ユーザによる画像の撮影を補助するための機能が各種提案されている。このような機能の中には、オートフォーカス（ＡＦ：Auto Focus）、オートホワイトバランス（ＡＷＢ：Auto White Balance）、及び自動露出（ＡＥ：Auto Exposure）等のように、フォーカス、ホワイトバランス、露出の調整等のような画像の撮像に関する動作を自動で制御する機能も提案されている。例えば、特許文献１には、適正露出画像を取得するために、露出やストロボの発光等を自動で制御するための技術の一例が開示されている。

特許第４４０８７７９号公報

このように、撮像装置が、フォーカス、ホワイトバランス、露出の調整等のような画像の撮像に関する動作を自動で制御すること（以降では、単に「自動制御」とも称する）で、ユーザは、煩雑な操作を行わなくとも、より好適な態様で画像を撮影することが可能となる。

一方で、撮像装置が自動制御を行うために特定した被写体（即ち、より好ましいと認識した被写体）と、ユーザが撮影しようとしている被写体とが一致しない場合がある。このような状況下においては、例えば、ユーザが撮影しようとしている被写体とは異なる被写体がより好適な態様で撮像されるように、撮像装置による自動制御が働き、当該自動制御の内容が、ユーザの意図した制御とはならない場合がある。このような場合には、ユーザが、自身の意図する画像を撮影するために、例えば、フォーカス、ホワイトバランス、露出等を手動で調整する（変更する）といった煩雑な操作を行った上で、所望の被写体の画像を撮影するといった状況も想定され得る。

そこで、本開示では、ユーザの意図により近い態様での画像の撮像をより簡便な操作により実現することが可能な、制御装置、制御方法、及びプログラムを提案する。

本開示によれば、撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、を備える、制御装置が提供される。

また、本開示によれば、プロセッサが、撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、を含む、制御方法が提供される。

また、本開示によれば、コンピュータに、撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、を実行させる、プログラムが提供される。

以上説明したように本開示によれば、ユーザの意図により近い態様での画像の撮像をより簡便な操作により実現することが可能な、制御装置、制御方法、及びプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るカメラモジュールの構成の一例を示したブロック図である。 同実施形態に係る制御装置の技術的特徴について説明するための説明図である。 同実施形態に係る制御装置の一連の処理の流れの一例について示したフローチャートである。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例２に係る制御装置の概要について説明するための説明図である。 変形例３に係る制御装置の概要について説明するための説明図である。 変形例３に係る制御装置の概要について説明するための説明図である。 変形例４に係る制御装置の概要について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの一例について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。 実施例１に係る自動制御機能の実装方法の一例について説明するための説明図である。 実施例１に係る自動制御機能の実装方法の他の一例について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．カメラモジュールの構成例
１．２．技術的特徴
１．３．処理
１．４．作用効果
２．変形例
２．１．変形例１：表示情報に応じた対象領域の設定例
２．２．変形例２：ブラケット撮影への適用例
２．３．変形例３：制御に利用する領域を時系列に沿って変化させる場合の一例
２．４．変形例４：対象領域の設定結果を利用した制御の一例
２．５．変形例５：ＵＩの提示例
３．実施例
３．１．実施例１：対象領域の設定に基づく自動制御機能の実装例
３．２．実施例２：適用例
４．むすび

＜＜１．実施形態＞＞
＜１．１．カメラモジュールの構成例＞
まず、図１を参照して、本開示の一実施形態に係るカメラモジュールの構成の一例について説明する。図１は、本実施形態に係るカメラモジュールの構成の一例を示したブロック図である。なお、以降の説明では、特に説明が無い限りは、「撮像」と記載した場合には、カメラモジュール等の撮像部（または、撮像装置）が、画像を撮像する動作を示すものとする。またに、「撮影」と記載した場合においては、ユーザがカメラモジュール等の撮像装置を使用することで、画像を撮影する行為を示すものとする。

図１に示すように、本実施形態に係るカメラモジュールは、レンズ鏡筒１１と、光学フィルタ１２と、イメージセンサ１３と、メイン処理部１４と、照明制御部１５と、センサ駆動部１６と、位相差ＡＦ処理部１７と、画像処理部１８と、フォーカス駆動部１９と、表示部２０と、操作部２１と、フラッシュメモリ２２と、フォーカスアクチュエータ２３と、照明部２４とを含む。

なお、図１において、カメラモジュールは、レンズ鏡筒１１と一体的に構成されている。但し、カメラモジュールは、レンズ鏡筒１１を取り外し可能なように構成されていてもよい。

レンズ鏡筒１１は、レンズ群や絞り等の撮像光学系１１Ａを有し、そこに入射する光を、光学フィルタ１２を介して、イメージセンサ１３上に集光する。

なお、撮像光学系１１Ａのレンズ群のレンズ位置（ひいては焦点位置）は、光軸Ｌ方向に移動可能になっており、これにより、フォーカスの調整を行うことができるようになっている。

光学フィルタ１２は、イメージセンサ１３により撮像される撮像画像に生じる偽色やモアレを軽減するための光学素子である。すなわち、光学フィルタ１２は、光学的なローパスフィルタであり、撮像光学系１１Ａからの光の一部の成分を減衰して、イメージセンサ１３に出射する。

イメージセンサ１３は、撮像光学系１１Ａから、光学フィルタ１２を介して入射する光（被写体光）を受光することにより、撮像画像を撮像する撮像素子である。イメージセンサ１３としては、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等を採用することができる。

なお、イメージセンサ１３の受光面には、例えば、位相差ＡＦに用いる位相差を検出するための検出画素と、当該検出画素以外の、位相差の検出には用いられない通常画素（撮像画像となる画像を得る目的の画素）とが含まれていてもよい。また、位相差ＡＦに用いる位相差を検出するための構成として、当該検出画素とは異なる他のセンサが、イメージセンサ１３の受光面の外部に別途設けられていてもよい。

イメージセンサ１３は、撮像により得られる撮像画像（の画像信号）を、センサ駆動部１６に供給する。

表示部２０は、例えば、ＬＣＤ(Liquid Crystal Display)パネル等で構成され、カメラモジュールの撮像モードに関する情報や、撮像前のプレビュー画像、撮像後の確認用画像、ＡＦ時の合焦状態の画像等を表示する。

操作部２１は、ユーザによって操作されるスイッチ群であり、電源スイッチや、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。

フラッシュメモリ２２は、カメラモジュールに着脱可能になっている。フラッシュメモリ２２には、メイン処理部１４から供給される撮像画像が記録（記憶）される。

フォーカスアクチュエータ２３は、フォーカス駆動部１９により駆動され、撮像光学系１１Ａのレンズ位置を、光軸Ｌ方向に移動させる。

照明部２４は、照明制御部１５の制御に従って、被写体を照明する光や、ＡＦ用のトーチ補助光となる光を発光する。

照明部２４としては、例えば、キセノン管を用いた閃光照明装置や、連続発光が可能なＬＥＤ(Light Emitting Diode)を有するＬＥＤ照明装置等を採用することができる。カメラモジュールが、スマートフォン等の携帯機器に搭載される場合には、照明部２４としては、比較的小型のＬＥＤ照明装置を採用することができる。

照明部２４は、所定のパターンの溝が形成された投光レンズ（図示せず）を介して、光を、被写界に投光し、暗い被写体や、低コントラストの被写体に対するＡＦの精度を向上させる。

メイン処理部１４は、カメラモジュールを構成する各ブロックを制御する。

メイン処理部１４は、例えば、ＣＰＵ(Central Processing Unit)３１と、メモリ３２と、ＡＤＣ(Analog to Digital Converter)３３と、ＤＡＣ(Digital to Analog Converter)３４と、通信Ｉ／Ｆ(Interface)３５とを含む。

ＣＰＵ３１は、メモリ３２に記憶されたプログラムを実行することにより、カメラモジュールの各種機能を実現する。具体的な一例として、ＣＰＵ３１は、照明制御部１５ないしフラッシュメモリ２２等を制御し、ＡＦ、ＡＷＢ、及びＡＥ等や、撮像画像の撮像、各種の画像処理、撮像画像の記録等の各種の処理を実行させる。

また、ＣＰＵ３１は、ユーザによる画像の撮影を補助するための情報を、表示部２０等のような出力Ｉ／Ｆを介して当該ユーザに提示してもよい。具体的な一例として、ＣＰＵ３１は、所謂グリッドライン等のように、ユーザが撮影する画像の構図を決定するための指標として利用可能な情報を、プレビュー画像等の撮像画像上に重畳表示させてもよい。また、他の一例として、ＣＰＵ３１は、所謂ヒストグラムや各種アイコン等のように、カメラモジュールによる画像の撮像に関する状態や設定等を識別可能に提示するための表示情報を、撮像画像上に重畳表示させてもよい。

また、ＣＰＵ３１は、撮像画像（例えば、プレビュー画像）と共に表示される表示情報（例えば、グリッドライン、ヒストグラム、アイコン等）に応じて、ＡＦ、ＡＷＢ、ＡＥ等のような画像の撮像に関する動作を制御する。具体的には、ＣＰＵ３１は、撮像画像と共に表示される表示情報の表示位置や表示範囲（大きさ）等に応じて、当該撮像画像中において、ユーザが撮影しようとしている被写体が存在すると推定される領域（以降では、「対象領域」とも称する）を少なくとも１つ設定する。そして、ＣＰＵ３１は、設定した少なくとも１つの対象領域のうち、少なくとも一部の対象領域を利用して、画像の撮像に関する動作を制御する。なお、本動作の詳細については、別途後述する。また、ＣＰＵ３１のうち、対象領域を設定する部分が「設定部」の一例に相当し、設定した対象領域を利用して画像の撮像に関する動作を制御する部分が「制御部」の一例に相当する。

メモリ３２は、ＲＡＭ(Random Access Memory)等の揮発性メモリや、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等の不揮発性メモリ等で構成され、ＣＰＵ３１が実行するプログラムや、ＣＰＵ３１の動作上必要なデータを記憶する。

ＡＤＣ３３は、アナログ信号をディジタル信号にＡＤ変換する。ＤＡＣ３４は、ディジタル信号をアナログ信号にＤＡ変換する。通信Ｉ／Ｆ３５は、インターネット等との間の通信を制御する。

照明制御部１５は、照明部２４を制御し、被写体を照明する光や、ＡＦ用のトーチ補助光となる光を発光させる。

すなわち、照明制御部１５は、イメージセンサ１３の撮像動作に同期して、照明部２４に、被写体を照明する光となる電子フラッシュを発光（点灯）させる。また、照明制御部１５は、ＡＦの動作に同期して、照明部２４に、トーチ補助光を発光させる。

センサ駆動部１６は、イメージセンサ１３を制御することにより、撮像画像を撮像させる。また、センサ駆動部１６は、イメージセンサ１３で撮像された撮像画像の画像信号を、必要に応じて、AD変換して、メイン処理部１４や位相差ＡＦ処理部１７に供給する。

位相差ＡＦ処理部１７は、センサ駆動部１６からの撮像画像の画像信号のうちの、検出画素の画素値を用いて、位相差ＡＦにより、撮像光学系１１Ａ（のレンズ群）のレンズ位置を移動させるレンズ移動量を算出して、メイン処理部１４に供給する。

画像処理部１８は、イメージセンサ１３で撮像され、センサ駆動部１６、及び、メイン処理部１４を介して供給される撮像画像について、γ変換や、カラー補間、ＪＰＥＧ(Joint Photographic Experts Group)等の所定の圧縮伸張方式による圧縮伸張等の画像処理を行う。また、画像処理部１８は、撮像画像のコントラストを表すコントラスト評価値を算出し、メイン処理部１４に供給する。メイン処理部１４では、画像処理部１８からのコントラスト評価値を用いて、コントラストＡＦ（の制御）が行われる。

フォーカス駆動部１９は、メイン処理部１４の制御に従って、フォーカスアクチュエータ２３を駆動し、撮像光学系１１Ａのレンズ位置を、光軸Ｌ方向に移動させることで、フォーカス調節を行う。

なお、位相差ＡＦ処理部１７は、イメージセンサ１３に含める（内蔵させる）ことができる。

また、位相差ＡＦ処理部１７は、ハードウェアにより実現することもできるし、ソフトウェアにより実現することもできる。位相差ＡＦ処理部１７を、ソフトウェアによって実現する場合には、そのソフトウェアを構成するプログラムが、例えば、メイン処理部１４等のコンピュータにインストールされ、メイン処理部１４のＣＰＵ３１によって実行される。

この場合、ＣＰＵ３１がプログラムに従って行う処理は、必ずしも、一連の動作としてシーケンシャルに行われる必要はない。すなわち、ＣＰＵ３１がプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

ここで、プログラムは、コンピュータとしてのメイン処理部１４に内蔵されている記録媒体としてのメモリ３２にあらかじめ記録しておくことができる。

あるいはまた、プログラムは、リムーバブルな記録媒体である、例えば、フラッシュメモリ２２に格納（記録）し、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、フラッシュメモリ２２からメイン処理部１４にインストールする他、インターネット等の通信網や、地上波等の放送網を介して、メイン処理部１４にダウンロードし、内蔵するメモリ３２にインストールすることができる。

また、図１を参照して説明した構成はあくまで一例であり、必ずしも図１に示す例には限定されない。具体的な一例として、カメラモジュールの各構成のうち、少なくとも一部の構成がカメラモジュールの外部に設けられていてもよい。具体的な一例として、メイン処理部１４等のような制御の主体となる構成が、所謂スマートフォン等のような外部装置に設けられており、通信を介してカメラモジュール内の各構成の動作を制御してもよい。また、カメラモジュールの各構成により実行されている機能のうち、少なくとも一部の機能が、カメラモジュールの外部に設けられた構成により実行されてもよい。

以上、図１を参照して、本開示の一実施形態に係るカメラモジュールの構成の一例について説明した。なお、図１に示したカメラモジュールのうち、メイン処理部１４のように、カメラモジュールを構成する各ブロックを制御する構成が、本実施形態に係る「制御装置」の一例に相当する。そこで、以降の説明では、本実施形態の特徴をよりわかりやすくするために、図１に示すカメラモジュールのうち、撮像光学系１１Ａ、光学フィルタ１２、及びイメージセンサ１３のように、画像を撮像するための構成を「撮像部」と称し、メイン処理部１４のように、撮像部の動作を制御する構成を「制御装置」と称するものとする。

＜１．２．技術的特徴＞
次いで、図２を参照して、本実施形態に係る制御装置の技術的特徴について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明する。図２は、本実施形態に係る制御装置の技術的特徴について説明するための説明図であり、ユーザが画像を撮影するための操作画面の一例を示している。なお、本説明では、制御装置が、ＡＦに係る動作（即ち、被写体に焦点を合わせる動作）を制御する場合を例に説明する。

図２に示す例では、参照符号１００は、本実施形態に係る制御装置により、ＵＩ（ＵＩ：User Interface）が提示される表示領域の一例を示している。表示領域１００には、例えば、撮像部により撮像された撮像画像がプレビュー画像として表示される。

また、参照符号１０１は、ＡＦにより焦点を合わせる位置（即ち、焦点位置）が設定される領域を示している。例えば、制御装置は、領域１０１内からより好ましい被写体を探索し、探索された当該被写体に合焦するように、位相差ＡＦやコントラストＡＦ等の各種ＡＦに係る動作に基づき撮像光学系（例えば、図１に示す撮像光学系１１Ａ）のレンズ位置を制御する。

また、表示領域１００には、撮像部による画像の撮像に関する設定を示す情報等のように、ユーザによる画像の撮影を補助するための情報が表示情報として表示されてもよい。このとき、表示領域１００中に表示される表示情報のうち少なくとも一部の表示情報は、当該表示領域１００に表示されるプレビュー画像上に重畳表示されてもよい。

例えば、図２に示す例では、表示領域１００中に表示されるプレビュー画像が表示される領域（即ち、撮像部の画角に相当する領域）に、ユーザによる構図の決定を補助するための表示情報としてグリッドライン１１１が提示されている。より具体的には、図２に示す例では、グリッドライン１１１は、表示領域１００の縦方向及び横方向のそれぞれを三分割するように提示されている。

本実施形態に係る制御装置は、グリッドライン１１１等のように撮像画像（例えば、プレビュー画像）が提示される領域（即ち、撮像部の画角に相当する領域）中に提示された表示情報の態様に応じて、ユーザが撮影しようとしている被写体が存在すると推定される対象領域を少なくとも１つ設定する。

具体的な一例として、図２に示す例のように表示領域１００（換言すると、画角内）を縦方向及び横方向の双方について三分割するようにグリッドライン１１１が提示されている場合には、ユーザは、所謂三分割法に基づき、撮影しようとして画像の構図を決定しているものと推定される。そのため、この場合には、制御装置は、例えば、縦方向に延伸するグリッドライン１１１と横方向に延伸するグリッドライン１１１との交点の位置（即ち、三分割法において好ましいとされる被写体の位置）に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定する。即ち、図２に示す例では、制御装置は、グリッドライン１１１の交点それぞれを含むように、４つの対象領域１５０を設定することとなる。

そして、本実施形態に係る制御装置は、設定した少なくとも１つの対象領域１５０のうち、少なくとも一部の対象領域１５０を、ＡＦ等のような撮像部による画像の撮像に関する動作の制御に利用する。

具体的な一例として、制御装置は、設定した少なくとも１つの対象領域１５０を、ユーザに対して選択可能に提示してもよい。この場合には、制御装置は、ボタンやダイヤル等のような操作Ｉ／Ｆを介したユーザからの操作を受けて、当該ユーザにより選択された対象領域１５０を特定し、特定した対象領域１５０を、撮像部による画像の撮像に関する動作の制御に利用してもよい。

また、他の一例として、制御装置は、設定した少なくとも１つの対象領域１５０それぞれに対して顔認識等の各種認識処理を実行し、認識結果に応じて、画像の撮像に関する動作の制御に利用する対象領域１５０を特定してもよい。このような制御により、制御装置は、例えば、設定した少なくとも１つの対象領域１５０のうち、被写体として人物が含まれる対象領域１５０を特定し、当該人物に合焦するように、撮像部によるＡＦに係る動作を制御することが可能となる。

また、他の一例として、制御装置は、撮像部の向き（縦向き及び横向きのいずれか等）、撮像部の角度（水平か否か等）、撮像部が三脚に乗っているか否か等のような、撮像部の状態に応じて、画像の撮像に関する動作の制御に利用する対象領域１５０を特定してもよい。より具体的な一例として、撮像部が三脚に乗っており、かつ、当該撮像部が水平に支持されている場合には、ユーザが風景を撮影している可能性が高い。そのため、この場合には、撮像装置は、無限遠に位置する被写体が優先されるように、当該被写体を示す対象領域１５０を、撮像部による画像の撮像に関する動作の制御に利用してもよい。

もちろん、上記に説明した例はあくまで一例であり、制御装置が、設定した少なくとも１つの対象領域１５０のうち、少なくとも一部の対象領域１５０を、所定の条件に基づき特定することが可能であれば、その方法は特に限定されない。

また、制御装置が、設定した対象領域１５０に基づき、撮像部による画像の撮像に関する動作を制御することが可能であれば、当該動作の内容は特に限定はされない。具体的な一例として、制御装置は、少なくとも一部の対象領域１５０中の画像の明るさ（換言すると、当該対象領域１５０に対応する画素の画素値）に応じて、露出を制御してもよい（即ち、ＡＥに係る動作を制御してもよい）。また、他の一例として、制御装置は、少なくとも一部の対象領域１５０中の画像の色温度に応じて、ホワイトバランスを制御してもよい即ち、ＡＷＢに係る動作を制御してもよい）。

また、制御装置は、設定した対象領域１５０は、複数の動作（例えば、ＡＦ、ＡＥ、及びＡＷＢ等）の制御に利用してもよい。この場合には、制御装置は、複数の動作それぞれの制御において、当該制御に利用する対象領域１５０を個別に特定してもよい。なお、このとき制御装置は、複数の動作（例えば、ＡＦ、ＡＥ、及びＡＷＢ等）それぞれの制御において、互いに異なる対象領域１５０を利用してもよい。具体的な一例として、制御装置は、複数の対象領域１５０を設定した場合に、奥行き方向の手前側の被写体を示す対象領域１５０をＡＦの制御に利用し、奥側の被写体を示す対象領域１５０をＡＥの制御に利用してもよい。

なお、上記説明では、本実施形態に係る制御装置の技術的特徴を、ユーザが撮像部により撮像されたプレビュー画像により被写体を確認しながら画像を撮像するような撮像装置に対して適用する場合を例に説明した。一方で、本実施形態に係る制御装置の技術的特徴を適用または応用可能であれば、その適用先または応用先は特に限定されない。具体的な一例として、本実施形態に係る制御装置の技術的特徴を、所謂一眼レフカメラやレンジファインダーカメラ等の撮像装置のように、ユーザがファインダーを通して被写体の光学像を確認しながら画像を撮像する撮像装置に応用してもよい。

この場合には、例えば、ファインダー内に所謂透過型のディスプレイを設けることで、当該透過型のディスプレイにグリッドライン等の表示情報を表示させることで、被写体の光学像に対して当該表示情報を重畳させてもよい。このような構成により、グリッドライン等のようなユーザの撮影を補助するための表示情報の表示態様に応じて、ファインダーを通してユーザに視認される被写体の光学像（即ち、撮像装置の画角に対応する光学像）の中から、ユーザが撮影しようとしている被写体を推定することが可能となる。このような特性を利用して、撮像装置の制御部は、被写体の光学像に重畳されるグリッドライン等の表示情報に応じて、少なくとも１つの対象領域１５０を設定し、当該対象領域１５０のうち少なくとも一部を画像の撮像に利用すればよい。

以上、図２を参照して、本実施形態に係る制御装置の技術的特徴について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明した。

＜１．３．処理＞
次いで、図３を参照して、本実施形態に係る制御装置の一連の処理の流れの一例について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明する。図３は、本実施形態に係る制御装置の一連の処理の流れの一例について示したフローチャートである。なお、本説明では、制御装置が、ＡＦに係る動作（即ち、被写体に焦点を合わせる動作）を制御する場合を例に説明する。

例えば、制御装置は、ユーザがシャッターボタンを半押しした場合等のように、ＡＦに係る動作のトリガを検出した場合に、ユーザに対して提示しているグリッドラインの態様に応じて、対象領域１５０を少なくとも１つ設定する（Ｓ１０１）。

次いで、制御装置は、例えば、設定した少なくとも１つの対象領域１５０を、ＵＩ上に提示したプレビュー画像上に重畳表示させることで、当該対象領域１５０をユーザに提示する（Ｓ１０３）。また、制御装置は、ボタンやダイヤル等のような操作Ｉ／Ｆを介したユーザからの操作を受けて、ユーザに対して提示した少なくとも１つの対象領域１５０のうち、当該ユーザにより選択された対象領域１５０を特定する（Ｓ１０５）。

そして、制御装置は、特定した対象領域１５０に基づき、撮像部によるＡＦに係る動作を制御する。より具体的には、制御装置は、特定した対象領域１５０中の被写体に合焦するように、位相差ＡＦやコントラストＡＦ等の各種ＡＦに係る動作に基づき撮像光学系（例えば、図１に示す撮像光学系１１Ａ）のレンズ位置を制御する（Ｓ１０７）。このような制御により、特定された対象領域１５０中の被写体に焦点が合った撮像画像が、撮像部により撮像されることとなる。

以上、図３を参照して、本実施形態に係る制御装置の一連の処理の流れの一例について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明した。

＜１．４．作用効果＞
以上、説明したように、本実施形態に係る制御装置は、グリッドライン等のように撮像画像と共に表示される表示情報に応じて、少なくとも１つの対象領域を設定する。そして、制御装置は、設定した少なくとも１つの対象領域のうち、少なくとも一部の対象領域を、撮像部による画像の撮像に係る動作の制御に利用する。このような制御により、本実施形態に係る制御装置は、撮像部により撮像される被写体のうち、ユーザの意図により近い被写体が優先して撮像されるように、撮像部による画像の撮像に関する動作を制御することが可能となる。

また、本実施形態に係る制御装置は、設定した対象領域以外の他の領域を、撮像部による画像の撮像に係る動作の制御に利用する領域の対象から除外することが可能となる。そのため、例えば、ユーザの意図しない被写体を優先して画像を撮像するといった事態が発生する確率をより低減することが可能となる。

具体的な一例として、制御装置は、撮像部によりＡＦに係る動作を制御することで、奥行き方向に沿って互いに異なる位置それぞれに被写体が存在するような状況下においても、ユーザの意図しない被写体に合焦する確率を低減することが可能となる。

また、他の一例として、制御装置は、撮像部によりＡＥに係る動作を制御することで、撮像部の画角内に明るさの異なる被写体が複数存在するような状況下においても、ユーザの意図した被写体がより暗く撮像される確率（または、ユーザの意図しない被写体がより明るく撮像される確率）を低減することが可能となる。

また、他の一例として、制御装置は、撮像部によりＡＷＢに係る動作を制御することで、撮像部の画角内に色温度の異なる光源によって照明された領域が複数存在するような状況下においても、ユーザの意図により近い色味で被写体を撮像することが可能となる。

また、本実施形態に係る制御装置は、対象領域の設定結果を所謂顔認識等のような各種認識処理に利用してもよい。これにより、制御装置は、例えば、設定された対象領域以外の他の領域を、各種認識処理の対象から除外することが可能なため、当該認識処理の計算量を低減し、認識結果の提示に関するレスポンスをより向上させることも可能となる。

＜＜２．変形例＞＞
次いで、本実施形態の変形例について説明する。

＜２．１．変形例１：表示情報に応じた対象領域の設定例＞
まず、変形例１として、グリッドライン等のように、撮像画像と共に表示される表示情報の一例と、当該表示情報に応じた対象領域の設定の一例とについて説明する。

（グリッドラインに基づく設定例）
まず、図４〜図８を参照して、制御装置が、撮像画像に重畳表示される表示情報としてグリッドラインを表示する場合における、対象領域の設定の一例について説明する。図４〜図８は、変形例１に係る制御装置の概要について説明するための説明図であり、撮像画像に重畳表示されるグリッドラインの一例を示している。

例えば、図４は、撮像画像が表示される表示領域１００（換言すると、画角）の対角線に沿ってグリッドライン１１１が提示されている場合の一例を示している。図４に示す例では、変形例１に係る制御装置は、例えば、グリッドライン１１１の交点の位置（即ち、表示領域１００の中心）に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定してもよい。

また、図５は、撮像画像が表示される表示領域１００を縦方向及び横方向のそれぞれについて二分割するようにグリッドライン１１１が提示されている場合の一例を示している。図５に示す例では、変形例１に係る制御装置は、例えば、グリッドライン１１１の交点の位置（即ち、表示領域１００の中心）に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定してもよい。

また、図６は、撮像画像が表示される表示領域１００を縦方向及び横方向のそれぞれについて四分割するようにグリッドライン１１１が提示されている場合の一例を示している。図６に示す例では、変形例１に係る制御装置は、例えば、図２、図４、及び図５を参照して説明した例と同様に、グリッドライン１１１の交点の位置に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定してもよい。

なお、制御装置は、グリッドライン１１１の交点のうち、一部の交点についてのみ、当該交点の位置を含むように対象領域１５０を設定してもよい。例えば、図６に示す例では、制御装置は、所謂四分割法に基づき、参照符号１１１ａ及び１１１ｂで示されたグリッドラインのうち、縦方向に延伸するグリッドライン１１１ａと横方向に延伸するグリッドライン１１１ａとの交点についてのみ、当該交点を含むように対象領域１５０を設定している。

また、図７は、撮像画像が表示される表示領域１００を黄金比に分割する所謂フィボナッチ螺旋（即ち、フィボナッチ数列からなる螺旋）に基づきグリッドライン１１１が提示されている場合の一例を示している。図７に示す例では、変形例１に係る制御装置は、例えば、フィボナッチ螺旋が収束する位置にユーザが撮影しようとしている被写体が存在するものと推定し、当該位置を含むように対象領域１５０を設定してもよい。

また、図８は、トリミング等により正方形の写真を切り出す場合を想定し、撮像画像が表示される表示領域１００中に正方形の領域を示すグリッドライン１１１が提示されている場合の一例を示している。図８に示す例では、変形例１に係る制御装置は、例えば、グリッドライン１１１により示される正方形の領域内（例えば、正方形の領域の中心）に被写体が存在するものと推定し、当該正方形の領域内に対象領域１５０を設定してもよい。

また、図２及び図４〜図８に示すような各グリッドライン１１１は、操作Ｉ／Ｆを介したユーザからの指示に基づき、選択的に切り替えられてもよいことは言うまでもない。なお、このとき制御装置は、選択的に提示されるグリッドライン１１１に応じて、設定する対象領域１５０の広さを変更してもよい。例えば、図２、図５、及び図６それぞれに示す例では、グリッドライン１１１により分割された部分領域の広さがそれぞれ異なる。そのため、例えば、制御装置は、グリッドライン１１１により分割される部分領域の広さに応じて、対象領域１５０の広さを設定してもよい。

以上説明したように、グリッドライン等のような、ユーザによる構図の決定を補助するための表示情報は、例えば、撮像画像（換言すると、画角）を複数の部分領域に分割する態様に応じて、当該ユーザの意図する構図を推定することが可能である。変形例１に係る制御装置は、このような特性を利用して、ユーザが撮影しようとしている被写体を推定し、当該被写体がより好適な態様で撮像されるように、撮像部による画像の撮像に係る動作（例えば、ＡＦ、ＡＥ、及びＡＷＢ等）を制御する。これにより、変形例１に係る制御装置は、ユーザが、フォーカス、露出、ホワイトバランス等の調整のための煩雑な操作を行わなくとも、当該ユーザの意図により近い態様での画像を、撮像部に撮像させることが可能となる。

（除外領域の設定例）
次いで、制御装置が、撮像画像と共に表示される表示情報に応じて、当該撮像画像（換言すると、画角）中に、対象領域の設定対象から除外する除外領域を設定し、当該除外領域の設定結果に応じて対象領域を設定する場合の一例について、当該表示情報の例とあわせて説明する。

例えば、図９は、変形例１に係る制御装置の概要について説明するための説明図である。具体的には、図９は、撮像画像を外部の表示装置（例えば、外部ディスプレイ等）に出力する場合に、表示対象となる領域を識別可能に提示する（または、表示されない領域を識別可能に提示する）ための安全領域を、当該撮像画像に重畳表示させた場合の一例を示している。

図９において、参照符号１１３は、安全領域等のような表示対象となる領域を示す補助線である。図９に示す例では、撮像画像が表示される表示領域１００のうち、補助線１１３の内側に相当する領域１０５が安全領域（即ち、表示対象となる領域）に相当し、補助線１１３の外側に相当する領域１０３が安全領域の外部（即ち、表示されない領域）に相当する。

このような特性から、図９に示す例では、制御装置は、撮像画像が表示される表示領域１００のうち、安全領域の外部に相当する領域１０３を除外領域として設定してもよい。

具体的には、制御装置は、外部の表示装置に対して撮像画像を出力するための表示設定に基づき、表示領域１００中の安全領域の位置及び範囲を認識し、当該認識結果に応じて、安全領域を示す補助線１１３を撮像画像（例えば、プレビュー画像）に重畳表示させる。そして、制御装置は、例えば、表示領域１００のうち、除外領域以外の他の領域内（即ち、安全領域に相当する領域１０５内）に被写体が存在するものと推定し、当該除外領域以外の他の領域内に対象領域１５０を設定してもよい。

また、図１０は、変形例１に係る制御装置の概要について説明するための説明図である。具体的には、図１０は、撮像後に撮像画像を撮像時とは異なるアスペクト比で表示させる場合を想定し、撮像時に当該アスペクト比の違いを表示情報としてプレビュー画像に重畳表示させる場合の一例を示している。

図１０に示す例では、撮像画像が表示される表示領域１００のうち、補助線１１３の外側に相当する領域１０３がアスペクト比の違いに伴い表示されない領域に相当し、補助線１１３の内側に相当する領域１０５が表示対象となる領域に相当する。即ち、図１０に示す例において、制御装置は、撮像画像が表示される表示領域１００のうち、アスペクト比の違いに伴い表示されない領域に相当する領域１０３を除外領域として設定してもよい。なお、以降の動作については、図９を参照して説明した例と同様である。

（画像の撮像に関する状態や設定を示す表示情報が提示されている場合の設定例）
次いで、図１１を参照して、ヒストグラムや各種アイコン等のように、画像の撮像に関する状態や設定等を示す表示情報が撮像画像に重畳表示されている場合における、対象領域１５０の設定例について説明する。図１１は、変形例１に係る制御装置の概要について説明するための説明図であり、画像の撮像に関する状態や設定等を示す表示情報が撮像画像に重畳表示する場合の一例を示している。

例えば、図１１に示す例では、撮像画像が表示される表示領域１００の一部に、撮像画像のヒストグラムが提示された補助ウィンドウ１４１が提示されている。また、図１１に示す例では、表示領域１００の一部に、画像の撮像に関する状態や設定等を示すアイコン１４３が提示されている。即ち、図１１に示す例では、補助ウィンドウ１４１やアイコン１４３等のような表示情報が、撮像画像（例えば、プレビュー画像）に重畳表示されることとなる。

このような場合においては、例えば、表示領域１００中に提示されたプレビュー画像のうち、補助ウィンドウ１４１やアイコン１４３等の表示情報が重畳表示された領域は、当該表示情報により遮蔽され一時的に見えなくなる。そのため、図１１に示すような状況下においては、制御装置は、補助ウィンドウ１４１やアイコン１４３等の表示情報が重畳表示された領域には、ユーザが撮影しようとしている被写体が存在しないものと推定し、他の領域中に対象領域１５０を設定してもよい。

なお、上域に説明した例はあくまで一例であり、制御装置が、撮像画像と共に提示される表示情報に応じて対象領域１５０を設定することが可能であれば、表示情報の種別や、当該表示情報に基づく対象領域１５０の設定方法は特に限定されない。また、上述した各例のうち、複数の例を組み合わせることで対象領域１５０が設定されてもよい。例えば、制御装置は、グリッドライン１１１の交点のうち、補助ウィンドウ１４１やアイコン１４３等が表示されていない領域に存在する交点を含むように対象領域１５０を設定してもよい。

以上、変形例１として、グリッドライン等のように、撮像画像と共に表示される表示情報の一例と、当該表示情報に応じた対象領域の設定の一例とについて説明する。

＜２．２．変形例２：ブラケット撮影への適用例＞
次に、変形例２として、対象領域１５０の設定結果を、画像の撮像に関する設定を逐次切り替えながら複数の画像を撮像する所謂ブラケット撮影に利用する場合の一例について説明する。例えば、図１２は、変形例２に係る制御装置の概要について説明するための説明図である。

図１２に示す例では、制御装置は、撮像画像が表示される表示領域１００が縦方向及び横方向のそれぞれに三分割されるようにグリッドライン１１１を提示している。この場合には、制御装置は、例えば、図２を参照して説明した例と同様に、グリッドライン１１１の交点それぞれを含むように、４つの対象領域１５０を設定することとなる。例えば、図１２において、参照符号１５５ａ〜１５５ｄは、設定された対象領域１５０のうち、撮像部による画像の撮像に利用される対象領域を模式的に示している。即ち、図１２に示す例では、制御装置は、対象領域１５５ａ〜１５５ｄそれぞれに位置する被写体が、ユーザが撮影しようとしている可能性が高い被写体であるものと認識している場合を示している。

そこで、変形例２に係る制御装置は、図１２に示すように、ユーザが撮影しようとしている可能性が高い被写体が複数存在する場合（換言すると、対象領域１５０が複数設定された場合）には、複数の被写体それぞれが対象となるように、撮像部に、画像の撮像に関する設定を逐次切り替えながら各被写体の画像を撮像させる。

より具体的な一例として、図１２に示す例の場合には、制御装置は、例えば、対象領域１５５ａ〜１５５ｄのそれぞれに位置する被写体に合焦した複数の画像を、撮像部に撮像させてもよい。この場合には、制御装置は、例えば、対象領域１５５ａ〜１５５ｄの中で注目する領域を順次切り替えながら、当該注目する領域に位置する被写体に合焦するように撮像部によるＡＦに係る動作を制御して、当該撮像部に画像を撮像させる。これにより、ユーザは、対象領域１５５ａ〜１５５ｄのそれぞれに位置する被写体に対してフォーカスをあわせるような煩雑な操作を伴わずに、より簡便な操作で、当該対象領域１５５ａ〜１５５ｄのそれぞれに位置する被写体に合焦した複数の画像を撮影することが可能となる。

このように、変形例２に係る制御装置は、設定された複数の対象領域１５０それぞれを、撮像部による画像の撮像に関する動作に順次利用することで複数の画像を撮像する。なお、前述した実施形態と同様に、制御装置が制御の対象とする、撮像部による画像の撮像に関する動作の内容は特に限定されない。具体的な一例として、制御装置は、設定された複数の対象領域１５０それぞれを、撮像部によるＡＥやＡＷＢに係る動作に順次利用してもよい。また、制御装置は、撮像部による画像の撮像に関する動作の制御に利用する対象領域１５０と、当該動作の内容（例えば、フォーカス、露出、ホワイトバランス等の設定）とを順次切り替えながら、被写体と撮像に関する設定との組み合わせそれぞれに対応する画像を撮像部に撮像させてもよい。

以上、変形例２として、対象領域１５０の設定結果を、画像の撮像に関する設定を逐次切り替えながら複数の画像を撮像する所謂ブラケット撮影に利用する場合の一例について説明した。

＜２．３．変形例３：制御に利用する領域を時系列に沿って変化させる場合の一例＞
静止画像を連続して撮像する場合や、動画像を撮像する場合には、被写体または撮像部自体が動くことで、画角内における被写体の位置が変化する場合がある。このような場合には、例えば、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域を、画角内における被写体の位置の変化にあわせて移動させることが望ましい場合がある。そこで、変形例３として、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域を、時系列に沿って変化させる場合の一例について説明する。

制御装置は、時系列に沿って移動する被写体を撮像部に撮像させる場合には、例えば、被写体の動きを推定し、推定結果に応じて、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域が被写体に追従するように、当該領域の位置を時系列に沿って変化させる。このとき、被写体の動きを推定する方法としては、例えば、画像認識技術を利用した方法や、撮像部と被写体との間の距離の測定結果を利用する方法が一般的に知られている。これに対して、変形例３に係る制御装置は、例えば、グリッドライン等のような表示情報を、被写体の動きの推定に利用する。

例えば、図１３は、変形例３に係る制御装置の概要について説明するための説明図であり、移動する被写体の画像を時系列に沿って撮像する場合の一例を示している。図１３において、参照符号１５５は、設定された対象領域１５０のうち撮像部による画像の撮像に利用される対象領域を模式的に示している。図１３に示す例では、例えば、撮像画像が表示される表示領域１００（換言すると、画角）の対角線に沿ってグリッドライン１１１が提示されている。このような場合には、例えば、ユーザは、提示されたグリッドライン１１１を利用しながら、当該グリッドライン１１１に沿った方向Ｄ１１に向けて移動する被写体を撮影しているものと推定される。

このような特性を利用することで、変形例３に係る制御装置は、例えば、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する対象領域１５５（換言すると、「注目している対象領域１５５」）の位置を時系列に沿って変化させてもよい。この場合には、制御装置は、例えば、注目している対象領域１５５に位置する被写体の動きの解析時に、グリッドライン１１１に沿った方向Ｄ１１への移動の解析を優先して実行し、解析結果に応じて対象領域１５５の位置を時系列に沿って変化させてもよい。

また、図１４は、変形例３に係る制御装置の概要について説明するための説明図であり、移動する被写体の画像を時系列に沿って撮像する場合の他の一例を示している。図１４は、図９を参照して説明した例と同様に、撮像画像が表示される表示領域１００中に、安全領域等のような表示対象となる領域を識別可能に提示した場合の一例を示している。

例えば、図１４に示す例のように、表示対象となる領域と表示されない領域の境界を示す補助線１１３の近傍に設定された対象領域１５０が、画像の撮像に関する動作の制御に利用する対象領域１５５として選択されたものとする。このような場合には、例えば、ユーザは、補助線１１３の外側（即ち、表示されない領域）を撮影する可能性は低く、当該補助線１１３から離間する方向Ｄ１３ａまたはＤ１３ｂ（換言すると、補助線１１３から離間する方向）に移動する被写体を撮影している可能性が高い。

このような特性を利用することで、変形例３に係る制御装置は、画像の撮像に関する動作の制御に利用する対象領域１５５の位置を時系列に沿って変化させてもよい。この場合には、制御装置は、例えば、対象領域１５５に位置する被写体の動きの解析時に、補助線１１３から離間する方向Ｄ１３ａまたはＤ１３ｂへの移動の解析を優先して実行し、解析結果に応じて対象領域１５５の位置を時系列に沿って変化させてもよい。また、制御装置は、対象領域１５５に位置する被写体の動きの解析時に、補助線１１３側に向けた移動については、解析の優先度をより下げてもよいし、解析の対象から除外してもよい。

以上のような制御により、変形例３に係る制御装置は、移動する被写体に追従するように、対象領域１５５の位置を時系列に沿って変化させる場合に、グリッドライン等の表示情報を、被写体の動きの推定に利用する。このような構成により、変形例３に係る制御装置は、移動する被写体の動きの推定に係る処理量を低減し、かつ、当該被写体に対してより精度良く対象領域１５５を追従させることが可能となる。

以上、変形例３として、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域を、時系列に沿って変化させる場合の一例について説明した。

＜２．４．変形例４：対象領域の設定結果を利用した制御の一例＞
次いで、変形例４として、本実施形態に係る制御装置が、グリッドライン等の表示情報に基づく対象領域１５０の設定結果を利用することで、画像の撮像に関する動作を選択的に切り替える場合の動作の一例について説明する。

撮像装置の中には、例えば、位相差ＡＦの動作として、利用されるセンサの検出範囲が互いに異なる複数種類の動作を、選択的に切り替えて実行可能に構成されたものがある。より具体的な一例として、イメージセンサ内に含まれた位相差センサを利用する像面位相差ＡＦと、イメージセンサの外部に設けられた位相差センサを利用した別体位相差ＡＦとを選択的に切り替えて実行可能な場合に、各位相差センサの検出範囲が互いに異なるような場合がある。変形例４に係る制御装置は、このような場合を想定して、選択的に切り替え可能な複数種類の動作の中から、より好適な動作を、対象領域１５０の設定結果に基づき選択する。

例えば、図１５は、変形例４に係る制御装置の概要について説明するための説明図である。図１５において、参照符号１３１及び１３３のそれぞれは、位相差ＡＦの動作に利用されるセンサの検出範囲を示す領域を模式的に示したものである。なお、領域１３１を検出範囲とする位相差センサと、領域１３３を検出範囲とする位相差センサとは、互いに異なる位相差ＡＦの動作で利用されるものとする。また、図１５に示す例では、領域１３１を検出範囲とする位相差センサは、領域１３３を検出範囲とする位相差センサよりも高い精度で、位相差を検出可能であるものとする。

また、図１５に示す例では、撮像画像が表示される表示領域１００（換言すると、画角内）を縦方向及び横方向の双方について三分割するようにグリッドライン１１１が提示されている。そのため、図１５に示す例では、制御装置は、グリッドライン１１１の交点それぞれを含むように、４つの対象領域１５０を設定している。

ここで、図１５に示す例では、設定された４つの対象領域１５０のそれぞれは、領域１３３の内部に位置し、かつ領域１３１の外部に位置するように設定されている。このような場合には、領域１３１を検出範囲とする位相差センサを利用した位相差ＡＦの動作を選択したとしても、設定された対象領域１５０に位置する被写体に合焦するようにフォーカスを制御することは困難である。そのため、図１５に示す例では、変形例４に係る制御装置は、領域１３３検出範囲とする位相差センサを利用した位相差ＡＦの動作を選択してもよい。

一方で、設定された対象領域１５０が、領域１３１の内部に位置するように設定されている場合に着目する。この場合には、領域１３１を検出範囲とする位相差センサを利用した位相差ＡＦの動作を利用して、当該対象領域１５０に位置する被写体に合焦するようにフォーカスを制御することが可能である。そのため、制御装置は、例えば、領域１３１を検出範囲とする位相差センサと、領域１３３を検出範囲とする位相差センサとのうち、より精度の高い位相差センサ（即ち、領域１３１を検出範囲とする位相差センサ）を利用した位相差ＡＦの動作を選択してもよい。

なお、上記では、位相差ＡＦの動作を切り替える場合を例に説明したが、必ずしも上記に説明した例には限定されない。具体的な一例として、変形例４に係る制御装置は、対象領域１５０の設定結果に基づき、ＡＥやＡＷＢの動作や、顔認識のような各種認識処理等を選択的に切り替えてもよいことは言うまでもない。

このような構成により、変形例４に係る制御装置は、対象領域１５０の設定結果を利用することで、当該対象領域１５０に位置する被写体をより好適な態様で撮像することが可能となる。

以上、変形例４として、本実施形態に係る制御装置が、グリッドライン等の表示情報に基づく対象領域１５０の設定結果を利用することで、画像の撮像に関する動作を選択的に切り替える場合の動作の一例について説明した。

＜２．５．変形例５：ＵＩの提示例＞
次いで、変形例５として、本実施形態に係るＵＩの一例として、ユーザによる画像の撮影をより好適な態様で補助するためのＵＩの一例について説明する。

例えば、図１６は、変形例５に係る制御装置により提示されるＵＩの一例について説明するための説明図である。図１６は、制御装置が、撮像画像が表示される表示領域１００に提示されたグリッドライン１１１に基づき、複数の対象領域１５０を設定し、当該複数の対象領域１５０の中から、画像の撮像に関する動作の制御に利用する１つの対象領域１５０を、選択した状態を示している。なお、参照符号１５０ａで示された対象領域は、画像の撮像に関する動作に利用される対象領域１５０（即ち、制御装置により選択された対象領域１５０）を示している。また、参照符号１５０ｂで示された対象領域は、画像の撮像に関する動作に利用されない対象領域１５０を示している。

即ち、図１６に示す例では、制御装置は、画像の撮像に関する動作の制御に利用するために選択した対象領域１５０ａと、その他の対象領域１５０ｂとを、互いに異なる態様で（例えば、互いに異なる色で）提示している。このような制御により、ユーザは、制御装置により設定された複数の対象領域１５０のうち、撮像部による画像の撮像に関する動作（例えば、ＡＦ、ＡＥ、ＡＷＢ等）に利用される対象領域１５０ａを認識することが可能となる。

なお、選択された対象領域１５０ａと、その他の対象領域１５０ｂとが、互いに異なる態様で提示されれば、その方法は特に限定されない。具体的な一例として、制御装置は、対象領域１５０ａと、対象領域１５０ｂとを、互いに異なる色で提示してもよい。また、他の一例として、制御装置は、対象領域１５０ａ及び１５０ｂのうち、選択した対象領域１５０ａのみを点滅させてもよい。

また、図１７は、変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。図１７は、撮像画像が表示される表示領域１００に提示されたグリッドライン１１１に基づき設定した複数の対象領域１５０のうち、１つの対象領域１５０が、撮像部による画像の撮像に関する動作の制御に利用する対象領域１５５として選択された状態を示している。なお、参照符号１１１ｃで示されたグリッドラインは、少なくとも一部が対象領域１５５に含まれるグリッドラインであり、即ち、当該対象領域１５５の設定に利用されたグリッドラインを示している。また、参照符号１１１ｄで示されたグリッドラインは、対象領域１５５の設定には利用されていないグリッドラインを示している。

即ち、図１７に示す例では、制御装置は、グリッドライン１１１のうち、撮像部による画像の撮像に関する動作の制御に利用する対象領域１５５の設定に利用したグリッドライン１１１ｃと、その他のグリッドライン１１１ｄとを、互いに異なる態様で提示してもいる。このような制御により、ユーザは、撮像部による画像の撮像に関する動作の制御に利用されるグリッドライン１１１を認識することが可能となる。

なお、グリッドライン１１１ｃと、その他のグリッドライン１１１ｄとが、互いに異なる態様で提示されれば、その方法は特に限定されない点については、図１６に示す例と同様である。

また、図１８は、変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。図１８は、図１４を参照して説明した例と同様に、撮像画像が表示される表示領域１００中に、安全領域等のような表示対象となる領域を識別可能に提示した場合の一例を示している。即ち、図１８に示す例では、対象領域１５５に位置する被写体が、当該対象領域１５５の近傍に位置する補助線１１３ａから離間する方向Ｄ１３ａまたはＤ１３ｂに移動する可能性が高い（換言すると、当該補助線１１３ａに向けて移動する可能性が低い）。

そこで、図１８に示す例では、制御装置は、補助線１１３ａと、他の補助線１１３ｂと互いに異なる態様で提示することで、当該補助線１１３ａを、対象領域１５５に位置する被写体の移動方向Ｄ１３ａ及びＤ１３ｂの推定に利用したことをユーザに通知している。

なお、補助線１１３ａと、他の補助線１１３ｂとが、互いに異なる態様で提示されれば、その方法は特に限定されない点については、図１６及び図１７に示す例と同様である。

また、図１９は、変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。図１９は、図９を参照して説明した例と同様に、撮像画像が表示される表示領域１００中に、安全領域等のような表示対象となる領域を識別可能に提示した場合の一例を示している。

前述したように、制御装置は、撮像画像を外部の表示装置に出力する場合に、表示領域１００のうち、撮像画像が表示されない領域１０３を除外領域として設定することが可能である。そこで、図１９に示す例では、制御装置は、除外領域として設定した領域１０３を、他の領域１０５（即ち、表示対象となる領域）とは異なる態様で提示している。このような制御により、ユーザは、除外領域（即ち、対象領域１５０が設定されない領域）を認識することが可能となる。なお、除外領域として設定した領域１０３と、他の領域１０５とが、互いに異なる態様で提示されれば、その方法は特に限定されない点については、図１６〜図１８を参照して説明した例と同様である。

以上、変形例５として、本実施形態に係るＵＩの一例として、ユーザによる画像の撮影をより好適な態様で補助するためのＵＩの一例について説明した。

＜＜３．実施例＞＞
次いで、本実施形態に係る制御装置の実施例について説明する。

＜３．１．実施例１：対象領域の設定に基づく自動制御機能の実装例＞
まず、実施例１として、上記に説明した、撮像画像と共に提示される表情情報（例えば、グリッドライン）に基づき対象領域を設定し、当該対象領域を、撮像部による画像の撮像に関する動作（例えば、ＡＦ、ＡＥ、ＡＷＢ等）の制御に利用する機能（本説明では、「本実施形態に係る自動制御機能」とも称する）を、所謂デジタルカメラ等の撮像装置に実装する場合の一例について説明する。

具体的な一例として、本実施形態に係る自動制御機能が、独立した機能として選択的に有効化及び無効化できるように実装されていてもよい。例えば、図２０は、実施例１に係る自動制御機能の実装方法の一例について説明するための説明図であり、当該自動制御機能を独立した機能として実装した場合における操作メニューの一例を示している。

図２０に示す例では、撮像装置を操作するための操作メニューとして、「グリッドラインに基づく自動制御」の機能をＯＮまたはＯＦＦする（即ち、有効化または無効化する）ための操作メニューＭ１１が設けられている。この場合には、本実施例に係る制御装置（例えば、撮像装置）は、ユーザからの操作に基づき操作メニューＭ１１が「ＯＮ」に設定された場合に、グリッドラインに基づく自動制御の機能（即ち、本実施形態に係る自動制御機能）を有効化する。

なお、提示するグリッドラインの種別の設定については、既存の操作メニューに基づき設定できるように構成されていてもよい。例えば、図２０に示す例では、グリッドラインの種別を設定するための操作メニューＭ１３が、操作メニューＭ１１として別途設けられている。この場合には、本実施例に係る制御装置は、操作メニューＭ１１が「ＯＮ」に設定された場合には、操作メニューＭ１３で設定されたグリッドラインの種別に基づき、対象領域を設定すればよい。

なお、操作メニューＭ１３は、グリッドラインの表示をＯＦＦに設定できる（即ち、グリッドラインが表示されないように設定できる）ように構成されていてもよい。この場合には、本実施例に係る制御装置は、操作メニューＭ１３によるグリッドラインの表示が「ＯＦＦ」に設定されている場合には、操作メニューＭ１１を「ＯＮ」に設定できないように制限してもよい。また、他の一例として、本実施例に係る制御装置は、操作メニューＭ１１が「ＯＮ」に設定されていたとしても、操作メニューＭ１３によりグリッドラインの表示が「ＯＦＦ」に設定されている場合には、本実施形態に係る自動制御の機能を実質的に無効化してもよい。

また、他の一例として、本実施形態に係る自動制御機能が、既存の機能が提供する動作モードの１つとして実装されていてもよい。例えば、図２１は、実施例１に係る自動制御機能の実装方法の他の一例について説明するための説明図であり、当該自動制御機能が、既存の機能が提供する動作モードの１つとして実装されている場合における操作メニューの一例を示している。

図２１に示す例では、ＡＦに関する動作設定として「オートフォーカスエリア」を設定する操作メニューＭ１５中に、グリッドラインに基づきＡＦを自動制御する動作モードの項目Ｍ１５１を追加した場合の一例である。この場合には、本実施例に係る制御装置は、操作メニューＭ１５中において項目Ｍ１５１が選択された場合に、グリッドラインに基づきＡＦを自動制御する機能（即ち、本実施形態に係る自動制御機能）を有効化する。

なお、提示するグリッドラインの種別の設定については、図２０に示した例と同様に、操作メニューＭ１３に基づき設定できるように構成されていてもよい。この場合には、本実施例に係る制御装置は、操作メニューＭ１５において項目Ｍ１５１が選択されることで、グリッドラインに基づきＡＦを自動制御する機能を有効化した場合には、操作メニューＭ１３で設定されたグリッドラインの種別に基づき、対象領域を設定すればよい。

また、図２１に示す例においても、本実施例に係る制御装置は、図２０に示す例と同様に、操作メニューＭ１３によるグリッドラインの表示が「ＯＦＦ」に設定されている場合には、操作メニューＭ１５における項目Ｍ１５１が選択できないように制限してもよい。また、他の一例として、本実施例に係る制御装置は、操作メニューＭ１５において項目Ｍ１５１が選択されていたとしても、操作メニューＭ１３によりグリッドラインの表示が「ＯＦＦ」に設定されている場合には、グリッドラインに基づきＡＦを自動制御する機能を実質的に無効化してもよい。

なお、図２０及び図２１を参照して説明した各操作メニューに対する操作は、例えば、撮像装置に設けられた一部のボタン（例えば、ファンクションボタン）等に割り当てられるように、当該撮像装置が構成されていてもよい。

以上、実施例１として、撮像画像と共に提示される表情情報に基づき対象領域を設定し、当該対象領域を、撮像部による画像の撮像に関する動作の制御に利用する機能を、所謂デジタルカメラ等の撮像装置に実装する場合の一例について説明した。

＜３．２．実施例２：適用例＞
次いで、実施例２として、本実施形態に係る制御装置の適用例について説明する。上述した実施形態及び各変形例では、本実施形態に係る制御装置を、所謂デジタルカメラ等のような撮像装置に適用する場合に着目して説明した。一方で、グリッドライン等のような撮像画像と共に提示される表示情報に基づき少なくとも１つの対象領域を設定し、設定された対象領域のうち少なくとも１つを各種動作の制御に利用可能であれば、本実施形態に係る制御装置の適用先は、必ずしも撮像装置には限定されない。

具体的な一例として、本実施形態に係る制御装置は、内視鏡や手術用顕微鏡等のように
医療の分野で利用される装置に適用されてもよい。また、他の一例として、本実施形態に係る制御装置は、所謂ナビゲーション装置のように自動車等の車両に設けられる車載装置に適用されてもよい。

また、本実施形態の制御装置の適用先となる各種装置の利用形態に応じて、本実施形態に係る制御装置が提供するＵＩを操作するための操作Ｉ／Ｆが変更されていてもよい。

具体的な一例として、本実施形態に係る制御装置が提供するＵＩを操作するための操作Ｉ／Ｆとして、アイトラッキング技術等に基づくユーザの視線方向の検出結果をユーザ入力として使用する操作Ｉ／Ｆ（所謂、視線入力に基づく操作Ｉ／Ｆ）が適用されていてもよい。より具体的な一例として、内視鏡や手術用顕微鏡等のように、手術中に使用され得る装置については、装置の操作によりユーザ（例えば、術者）の手が汚れるような事態を避けるために、タッチパネル等の操作Ｉ／Ｆに替えて、上述したような視線入力に基づく操作Ｉ／Ｆが適用されている場合もある。一方で、視線入力に基づく操作Ｉ／Ｆは、例えば、ユーザに対して提示された撮像画像中において、当該ユーザが指定している位置を検出するような状況下では、その検出精度が、タッチパネル等の操作Ｉ／Ｆを介して指定される場合に比べて低くなる場合がある。

これに対して、本実施形態に係る制御装置が提供するＵＩでは、前述したように、グリッドライン等の表示情報に基づき少なくとも１つの対象領域を設定してユーザに提示するため、当該ユーザは、提示された対象領域の中から、所望の対象領域を選択すればよい。即ち、本実施形態に係る制御装置が提供するＵＩでは、提示された撮像画像中の位置を細かく指定しなくてもよい。そのため、本実施形態に係る制御装置は、視線入力に基づく操作Ｉ／Ｆのように、ユーザが指定している位置の検出精度が比較的低いような操作Ｉ／Ｆが適用されるような状況下においても、ユーザの意図により近い制御を実行することが可能となる。

また、本実施形態に係る制御装置は、複数の撮像部（撮像装置）が互いに連携して動作するようなシステムにおいて、各撮像部の動作を制御してもよい。この場合には、例えば、制御装置は、複数の撮像部のうち、一部の撮像部により撮像された撮像画像に重畳表示された表示情報（例えば、グリッドライン等）に基づき対象領域１５０の設定結果を、他の撮像部による画像の撮像に関する動作の制御に利用してもよい。

なお、上記に説明した本実施形態に係る制御装置の適用例はあくまで一例である。即ち、撮像画像と共に提示される表示情報に基づき少なくとも１つの対象領域を設定し、設定された対象領域のうち少なくとも１つを各種動作の制御に利用可能であれば、本実施形態に係る制御装置の適用先は特に限定されない。

以上、実施例２として、本実施形態に係る制御装置の適用例について説明した。

＜＜４．むすび＞＞
以上、説明したように、本実施形態に係る制御装置は、グリッドライン等のように撮像画像と共に表示される表示情報に応じて、少なくとも１つの対象領域を設定する。そして、制御装置は、設定した少なくとも１つの対象領域のうち、少なくとも一部の対象領域を、撮像部による画像の撮像に係る動作の制御に利用する。このような制御により、本実施形態に係る制御装置は、撮像部により撮像される被写体のうち、ユーザの意図により近い被写体が優先して撮像されるように、撮像部による画像の撮像に係る動作を制御することが可能となる。

また、本実施形態に係る制御装置は、設定した対象領域以外の他の領域を、撮像部による画像の撮像に係る動作の制御に利用する領域の対象から除外することが可能となる。そのため、例えば、ユーザの意図しない被写体を優先して画像を撮像するといった事態が発生する確率をより低減することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、
前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、
を備える、制御装置。
（２）
前記表示情報は、前記撮像された画像を複数の部分領域に分割する情報であり、
前記設定部は、前記表示情報により前記画像が前記部分領域に分割される態様に応じて前記領域を設定する、
前記（１）に記載の制御装置。
（３）
前記領域は、前記複数の部分領域の境界の交点を含むように設定される、前記（２）に記載の制御装置。
（４）
前記設定部は、前記画像を複数の前記部分領域に分割する態様に応じて、前記領域の広さを制御する、、前記（３）に記載の制御装置。
（５）
前記表示情報は、前記撮像部により撮像された画像を外部の表示装置に表示するための表示設定に基づき、前記画像を、前記表示装置への表示対象となる前記部分領域と、他の前記部分領域とに分割する情報であり、
前記設定部は、表示対象となる前記部分領域中から、少なくともと１つの前記領域を設定する、
前記（２）に記載の制御装置。
（６）
前記表示情報は、前記撮像部による画像の撮像に関する状態を識別可能に提示する表示情報であり、
前記設定部は、前記画像中の、前記表示情報が占める領域とは異なる他の領域中に、少なくとも１つの前記領域を設定する、
前記（１）に記載の制御装置。
（７）
前記制御部は、設定された複数の前記領域のうち、前記動作の制御に利用する前記領域に応じて、前記表示情報のうち少なくとも一部の表示態様を制御する、前記（１）〜（６）のいずれか一項に記載の制御装置。
（８）
前記表示情報は、前記画像中を複数の部分領域に分割する情報であり、
前記制御部は、前記画像中を複数の前記部分領域に分割する複数の境界のうち、前記動作の制御に利用する前記領域中に少なくとも一部が含まれる前記境界が、他の前記境界とは異なる態様で提示されるように制御する、
前記（７）に記載の制御装置。
（９）
前記動作は焦点を合わせる動作であり、
前記制御部は、設定された少なくとも１つの前記領域に対応する被写体に合焦するように制御する、前記（１）〜（８）のいずれか一項に記載の制御装置。
（１０）
前記制御部は、前記動作として、互いに態様の異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、前記（１）〜（９）のいずれか一項に記載の制御装置。
（１１）
前記制御部は、前記動作として、制御に利用する前記画像中の領域が互いに異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、前記（１０）に記載の制御装置。
（１２）
前記制御部は、設定された複数の前記領域のうち２以上の前記領域それぞれに基づき前記動作を制御する、前記（１）〜（１１）のいずれか一項に記載の制御装置。
（１３）
前記制御部は、前記動作として、互いに態様の異なる複数の動作それぞれを個別に、設定された少なくとも１つの前記領域のうち、少なくとも一部の前記領域に基づき制御する、前記（１）〜（１２）のいずれか一項に記載の制御装置。
（１４）
前記制御部は、設定された少なくとも１つの前記領域のそれぞれを選択可能に提示し、選択された前記領域に基づき前記動作を制御する、前記（１）〜（１３）のいずれか一項に記載の制御装置。
（１５）
前記制御部は、設定された少なくとも１つの前記領域のうち、前記動作の制御に利用する前記領域を、前記撮像部の状態に応じて決定する、前記（１）〜（１４）のいずれか一項に記載の制御装置。
（１６）
前記表示情報は、前記画像に対して重畳表示される情報である、前記（１）に記載の制御装置。
（１７）
プロセッサが、
撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、
前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、
を含む、制御方法。
（１８）
コンピュータに、
撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、
前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、
を実行させる、プログラム。

１１ レンズ鏡筒
１１Ａ 撮像光学系
１２ 光学フィルタ
１３ イメージセンサ
１４ メイン処理部
１５ 照明制御部
１６ センサ駆動部
１７ 処理部
１８ 画像処理部
１９ フォーカス駆動部
２０ 表示部
２１ 操作部
２２ フラッシュメモリ
２３ フォーカスアクチュエータ
２４ 照明部
３１ ＣＰＵ
３２ メモリ
３３ ＡＤＣ
３４ ＤＡＣ
３５ 通信Ｉ／Ｆ

Claims (10)

1. 撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、
   少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、
   を備え、
   前記表示情報は、前記撮像された画像を黄金比によって複数の部分領域に分割する情報であり、
   前記設定部は、前記領域が、前記複数の部分領域の境界が収束する位置を含むように設定する、
   制御装置。
2. 撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、
   少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、
   を備え、
   前記表示情報は、前記撮像された画像を複数の部分領域に分割する情報であり、
   前記設定部は、前記複数の部分領域の境界に基づいて、前記境界に沿って移動する被写体を含むように、前記領域を設定する、
   制御装置。
3. 撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、
   少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、
   を備え、
   前記設定部は、前記撮像部が、三脚に乗っており、且つ、水平に支持されていることに基づいて、設定された少なくとも１つの前記領域のうち、前記動作の制御に利用する前記領域を、無限遠に位置する被写体に対応するように決定する、
   制御装置。
4. 前記動作は焦点を合わせる動作であり、
   前記制御部は、設定された少なくとも１つの前記領域に対応する被写体に合焦するように制御する、請求項１〜３のいずれか一項に記載の制御装置。
5. 前記制御部は、前記動作として、互いに態様の異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、請求項１〜４のいずれか一項に記載の制御装置。
6. 前記制御部は、前記動作として、制御に利用する前記画像中の領域が互いに異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、請求項５に記載の制御装置。
7. 前記制御部は、設定された複数の前記領域のうち２以上の前記領域のそれぞれに基づき前記動作を制御する、請求項１〜６のいずれか一項に記載の制御装置。
8. 前記制御部は、前記動作として、互いに態様の異なる複数の動作それぞれを個別に、設定された少なくとも１つの前記領域のうち、少なくとも一部の前記領域に基づき制御する、請求項１〜７のいずれか一項に記載の制御装置。
9. 前記制御部は、設定された少なくとも１つの前記領域のそれぞれを選択可能に提示し、選択された前記領域に基づき前記動作を制御する、請求項１〜８のいずれか一項に記載の制御装置。
10. 前記表示情報は、前記画像に対して重畳表示される情報である、請求項１〜９のいずれか一項に記載の制御装置。

Images