JP7421008B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像装置、撮像方法、及びプログラムに関する。

特開２０２０－１５４２８３号公報に記載の撮像装置は、撮像素子または撮像光学系の少なくとも一つを駆動し、あおり制御を行うあおり制御手段と、フォーカスレンズを駆動するフォーカスレンズ駆動手段と、あおり制御手段とフォーカスレンズ駆動手段の少なくとも一つを用いてフォーカス補正を行うための複数の制御モードを有するとともに、撮影画面内の被写体領域の数に応じて、複数の制御モードの一つを選択する制御手段と、を有する。

特開２００１－１１６９８０号公報に記載の自動焦点カメラは、撮影範囲中に存在する複数の被写体をそれぞれ別々に合焦させるためのフォーカスレンズ又は撮像面の複数の移動位置の測定が可能な測定手段と、測定手段により複数の移動位置が測定されると、複数の移動位置の両端の移動位置のほぼ中央の位置にフォーカスレンズ又は撮像面を移動させるフォーカス調節手段と、フォーカス調節手段により調節されたフォーカスレンズ又は撮像面によって複数の被写体を結像させる際に、複数の被写体が被写界深度内に入るように絞りを制御する絞り調節手段と、フォーカス調節手段及び絞り調節手段によってそれぞれ調節されたフォーカスレンズ又は撮像面及び絞りにより撮影する撮影手段と、を備える。

国際公開第２０１７／０５７１０４号パンフレットに記載の合焦制御装置は、第一の範囲で光軸方向に移動可能なフォーカスレンズを含む撮像光学系を通過した光束を受光し受光量に応じた信号を検出する複数の信号検出部と、第一の範囲に設定されるフォーカスレンズの移動を許可する移動許可範囲を制御する移動許可範囲制御部と、複数の信号検出部から出力された信号群に基づいて、移動許可範囲制御部により制御された移動許可範囲内でフォーカスレンズを移動させるレンズ駆動制御部と、を備える。

本開示の技術に係る一つの実施形態は、例えば、複数の被写体を撮像する場合に、被写体が深度方向に移動した場合においてもフォーカス状態の急な変化を抑制することができる撮像装置、撮像方法、及びプログラムを提供する。

本開示の撮像装置は、イメージセンサと、プロセッサと、を備える撮像装置であって、プロセッサは、イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の撮像装置との間の距離に関する第１距離データ、及び動画像に含まれる第２物体の撮像装置との間の距離に関する第２距離データを取得し、第１距離データに基づいた深度方向の第１物体位置、及び第２距離データに基づいた深度方向の第２物体位置が被写界深度内に収まるか否かに応じてフォーカス位置を制御する。

プロセッサは、第２物体位置が被写界深度から第１方向に外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第１方向に移動させる制御を行ってもよい。

プロセッサは、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、深度方向へ第１物体位置が移動することに応じて、フォーカス位置を移動させる制御を行ってもよい。

プロセッサは、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、深度方向へ移動する第１物体位置にフォーカス位置を連動させる制御を行ってもよい。

プロセッサは、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、第１物体位置と被写界深度の既定端との間の距離が既定距離以下となったことを条件に、フォーカス位置を連動させる制御を行ってもよい。

プロセッサは、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、第１物体位置と第２物体位置との間の位置が被写界深度の第１中央範囲内に収まる位置にフォーカス位置を設定する制御を行ってもよい。

第１物体位置と第２物体位置との間の位置は、第１物体位置及び第２物体位置間の中央の位置でもよい。

プロセッサは、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、合焦位置が第１物体位置と第２物体位置との間の位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

第１物体位置と第２物体位置との間の位置は、第１物体位置及び第２物体位置間の中央の位置でもよい。

プロセッサは、第２物体位置が被写界深度から外れた状態が第１既定時間以上継続した場合には、第１物体位置が被写界深度の第２中央範囲内に収まる位置にフォーカス位置を設定する制御を行ってもよい。

プロセッサは、被写界深度が既定範囲より狭くなった場合には、第１物体位置が被写界深度の第３中央範囲内に収まる位置にフォーカス位置を設定する制御を行ってもよい。

プロセッサは、第２物体位置が被写界深度から外れた状態で、かつ、第１物体位置及び第２物体位置間の距離が被写界深度の長さ未満である状態が、第２既定時間以上継続した場合には、第１物体位置及び第２物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行ってもよい。

プロセッサは、動画像データから特定される複数の物体のうち既定条件を満たした物体を第１物体に設定してもよい。

既定条件は、外部から指示されたという条件、又は、検出処理が行われることによって既定物体として検出されたという条件でもよい。

プロセッサは、動画像に含まれる第３物体の撮像装置との間の距離に関する第３距離データを取得し、第２物体位置、及び第３距離データに基づいた深度方向の第３物体位置が被写界深度から第２方向に外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２方向に移動させる制御を行ってもよい。

プロセッサは、第２物体位置が被写界深度から第３方向に外れ、第３物体位置が被写界深度から第４方向に外れた場合には、第１物体位置が被写界深度の第４中央範囲内に収まる位置にフォーカス位置を設定する制御を行ってもよい。

プロセッサは、第２物体位置が被写界深度から外れた場合には、絞り量を変更することにより被写界深度を拡げる制御を行ってもよい。

絞り量を変更することにより被写界深度を拡げる制御は、絞り量を被写界深度に第１物体位置及び第２物体位置が収まる量に変更する制御でもよい。

プロセッサは、イメージセンサから出力される撮像データに基づいて第１距離データ及び第２距離データを取得してもよい。

イメージセンサは、複数の位相差画素を有し、プロセッサは、撮像データのうち、位相差画素から出力された位相差画素データに基づいて第１距離データ及び第２距離データを取得してもよい。

位相差画素は、非位相差画素データと、位相差画素データとを選択的に出力する画素であり、非位相差画素データは、位相差画素の全領域によって光電変換が行われることで得られる画素データであり、位相差画素データは、位相差画素の一部の領域によって光電変換が行われることで得られる画素データでもよい。

本開示の撮像方法は、イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の撮像装置との間の距離に関する第１距離データ、及び動画像に含まれる第２物体の撮像装置との間の距離に関する第２距離データを取得すること、並びに、第１距離データに基づいた深度方向の第１物体位置、及び第２距離データに基づいた深度方向の第２物体位置が、被写界深度内に収まるか否かに応じてフォーカス位置を制御すること、を含む。

本開示のプログラムは、コンピュータに、イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の撮像装置との間の距離に関する第１距離データ、及び動画像に含まれる第２物体の撮像装置との間の距離に関する第２距離データを取得すること、並びに、第１距離データに基づいた深度方向の第１物体位置、及び第２距離データに基づいた深度方向の第２物体位置が、被写界深度内に収まるか否かに応じてフォーカス位置を制御すること、を含む処理を実行させる。

第１実施形態に係る撮像装置の構成の一例を示す概略構成図である。 第１実施形態に係る撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。 第１実施形態に係る光電変換素子の構成の一例を示す概略構成図である。 第１実施形態に係る被写界深度とフォーカスレンズとの関係の一例を説明する説明図である。 第１実施形態に係るＣＰＵの機能的な構成の一例を示すブロック図である。 第１実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第１実施形態に係る撮像装置の第２動作例の一例を示す説明図である。 第１実施形態に係る撮像装置の第３動作例の一例を示す説明図である。 第１実施形態に係る撮像装置の第４動作例の一例を示す説明図である。 第１実施形態に係るＣＰＵが実行するフォーカス位置制御処理の流れの一例を示すフローチャートである。 第２実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第２実施形態に係る撮像装置の第２動作例の一例を示す説明図である。 第２実施形態に係るＣＰＵが実行するフォーカス位置制御処理の流れの一例を示すフローチャートである。 第３実施形態に係る撮像装置の動作例の一例を示す説明図である。 第４実施形態に係る撮像装置の動作例の一例を示す説明図である。 第５実施形態に係る撮像装置の動作例の一例を示す説明図である。 第６実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第６実施形態に係る撮像装置の第２動作例の一例を示す説明図である。 第６実施形態に係る撮像装置の第３動作例の一例を示す説明図である。 第６実施形態に係る撮像装置の第４動作例の一例を示す説明図である。 第６実施形態に係るＣＰＵが実行するフォーカス位置制御処理の流れの一例を示すフローチャートである。 第７実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第７実施形態に係る撮像装置の第２動作例の一例を示す説明図である。 第７実施形態に係るＣＰＵが実行するフォーカス位置制御処理の流れの一例を示すフローチャートである。

以下、添付図面に従って本開示の技術に係る撮像装置、撮像方法、及びプログラムの一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＰＣとは、“Personal Computer”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＴＯＦとは、“Time of Flight”の略称を指す。

本明細書において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの平行を指す。また、本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、コントローラ１２、撮像装置本体１６、及び交換レンズ１８を備えている。撮像装置１０は、本開示の技術に係る「撮像装置」の一例であり、コントローラ１２は、本開示の技術に係る「コンピュータ」の一例である。コントローラ１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対する焦点の調整を手動で行う場合に、ユーザ等によって操作される。

図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。ただし、本例は、あくまでも一例に過ぎず、撮像装置１０は、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。

撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像エリアを撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。

第１実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。

レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。

撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。

ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。

ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。

タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。

第１実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。

一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素７２Ｂ（図３参照）を有しており、受光面７２Ａは、複数の感光画素７２Ｂによって形成されている。各感光画素７２Ｂは、マイクロレンズ７２Ｃ（図３参照）を有する。各感光画素７２Ｂは、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

また、複数の感光画素７２Ｂには、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ（図示省略）が既定のパターン配列（例えば、ベイヤ配列、ＲＧＢストライプ配列、Ｒ／Ｇ市松配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）でマトリクス状に配置されている。

交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。

また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。ただし、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等を制御装置３６のＮＶＭとして適用してもよい。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像レンズ４０の全体を制御する。

なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。

第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。

第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。
なお、ここでは、フォーカス用スライド機構とズーム用スライド機構とが別々に設けられている形態例を挙げているが、これはあくまでも一例に過ぎず、フォーカス及びズームを共に実現可能な一体型のスライド機構であってもよい。また、この場合、フォーカス用モータとズーム用モータとを用いずに、１つのモータによって生成された動力がスライド機構に伝達されるようにすればよい。

第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。開口４０Ｄ１の大きさが変化することで、絞り４０Ｄによる絞り量が変化し、これによって露出が調節される。

フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、第１実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。したがって、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。

撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動で焦点を合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点の位置が調節される。ＡＦモードでは、ＡＦが行われる。ＡＦとは、イメージセンサ２０から得られる信号に従って焦点の位置を調節する処理を指す。例えば、ＡＦモードでは、撮像装置本体１６によって撮像装置１０と被写体との間の距離が演算され、被写体に焦点が合う位置にフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点の位置が調節される。

撮像装置本体１６は、イメージセンサ２０、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及びＡ／Ｄ変換器７４を備えている。

入出力インタフェース７０には、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。

コントローラ１２は、撮像装置１０の全体を制御する。すなわち、図２に示す例では、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がコントローラ１２によって制御される。コントローラ１２は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ＣＰＵ６２は、本開示の技術に係る「プロセッサ」の一例であり、ＮＶＭ６４及び／又はＲＡＭ６６は、本開示の技術に係る「メモリ」の一例である。

ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、バス６８は、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ＮＶＭ６４は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。各種プログラムには、後述のプログラム６５（図５参照）が含まれる。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。ただし、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って画像処理を行う。

光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示す撮像データ７３としてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎に撮像データ７３を読み出す。

Ａ／Ｄ変換器７４は、光電変換素子７２から読み出されるアナログの撮像データ７３をデジタル化する。Ａ／Ｄ変換器７４によりデジタル化された撮像データ７３は、いわゆるＲＡＷ画像データであり、Ｒ画素、Ｇ画素、及びＢ画素がモザイク状に配列された画像を表す。また、第１実施形態では、一例として、ＲＡＷ画像データに含まれるＲ画素、Ｂ画素、及びＧ画素の各画素のビット数、すなわち、ビット長は、１４ビットである。

ＣＰＵ６２は、Ａ／Ｄ変換器７４から撮像データ７３を取得し、取得した撮像データ７３に対して画像処理を行う。ＣＰＵ６２は、撮像データ７３に基づいて、動画像データ８０を生成する。画像メモリ４６には、動画像データ８０が記憶される。動画像データ８０は、ライブビュー画像の表示に用いられる画像データ８１と、撮像エリア内における複数の被写体の撮像装置１０との間の距離に関する距離データ８２とを含む。

ＵＩ系デバイス４８は、ディスプレイ２８を備えている。ＣＰＵ６２は、ディスプレイ２８に対して、画像メモリ４６に記憶された動画像データ８０を表示させる。また、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。

また、ＵＩ系デバイス４８は、ユーザからの指示を受け付ける受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。

外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。

通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続される。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とコントローラ１２との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、コントローラ１２からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してコントローラ１２に出力する。

一例として図３に示すように、光電変換素子７２の受光面７２Ａには、複数の感光画素７２Ｂが２次元状に配列されている。各感光画素７２Ｂには、カラーフィルタ（図示省略）、及びマイクロレンズ７２Ｃが配置されている。図３では、受光面７２Ａに平行である１つの方向（例えば、２次元状に配列された複数の感光画素７２Ｂの行方向）をＸ方向とし、Ｘ方向に直交する方向（例えば、２次元状に配列された複数の感光画素７２Ｂの列方向）をＹ方向としている。複数の感光画素７２Ｂは、Ｘ方向及びＹ方向に沿って配列されている。各感光画素７２Ｂは、独立した一対のフォトダイオードＰＤ１及びＰＤ２を含む。フォトダイオードＰＤ１には、撮像レンズ４０を透過した被写体を示す光束（以下、「被写体光束」とも称する）が瞳分割されることで得られた第１光束（例えば、撮像レンズ４０（図２参照）における第１の瞳部分領域を通過する光束）が入射され、フォトダイオードＰＤ２には、被写体光束が瞳分割されることで得られた第２光束（例えば、撮像レンズ４０（図２参照）における第２の瞳部分領域を通過する光束）が入射される。

フォトダイオードＰＤ１は、第１光束に対する光電変換を行う。フォトダイオードＰＤ２は、第２光束に対する光電変換を行う。

一例として、光電変換素子７２は、１つの感光画素７２Ｂに一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子である。一例として、光電変換素子７２は、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えている。撮像モードにおいて撮像が行われる場合に、光電変換素子７２は、一対のフォトダイオードＰＤ１及びＰＤ２を合わせて１つの感光画素７２Ｂとすることで、非位相差画素データ７３Ａを出力する。また、ＡＦモードでは、光電変換素子７２は、一対のフォトダイオードＰＤ１及びＰＤ２のそれぞれから信号を検出することにより、位相差画素データ７３Ｂを出力する。すなわち、光電変換素子７２に設けられた全ての感光画素７２Ｂは、いわゆる位相差画素である。

感光画素７２Ｂは、非位相差画素データ７３Ａと、位相差画素データとを選択的に出力可能である。非位相差画素データ７３Ａは、感光画素７２Ｂの全領域によって光電変換が行われることで得られる画素データであり、位相差画素データ７３Ｂは、感光画素７２Ｂの一部の領域によって光電変換が行われることで得られる画素データである。ここで、「感光画素７２Ｂの全領域」とは、フォトダイオードＰＤ１とフォトダイオードＰＤ２とを合わせた受光領域である。また、「感光画素７２Ｂの一部の領域」とは、フォトダイオードＰＤ１の受光領域、又はフォトダイオードＰＤ２の受光領域である。感光画素７２Ｂは、本開示の技術に係る「位相差画素」の一例である。

なお、非位相差画素データ７３Ａは、位相差画素データ７３Ｂに基づいて生成することも可能である。例えば、位相差画素データ７３Ｂを、一対のフォトダイオードＰＤ１及びＰＤ２に対応する一対の画素信号ごとに加算することにより、非位相差画素データ７３Ａが生成される。また、位相差画素データ７３Ｂには、一対のフォトダイオードＰＤ１及びＰＤ２のうちの一方から出力されたデータのみが含まれていてもよい。例えば、位相差画素データ７３ＢにフォトダイオードＰＤ１から出力されたデータのみが含まれている場合には、非位相差画素データ７３Ａから位相差画素データ７３Ｂを画素ごとに減算することにより、フォトダイオードＰＤ２から出力されるデータを作成することが可能である。

動画像データ８０に含まれる画像データ８１（すなわち、ライブビュー画像の表示に用いられる画像データ）は、非位相差画素データ７３Ａに基づいて生成される。動画像データ８０に含まれる距離データ８２（すなわち、撮像エリア内における複数の被写体の撮像装置１０との間の距離に関する距離データ）は、位相差画素データ７３Ｂに基づいて生成される。

一例として図４に示すように、撮像装置１０は、位置センサ４２を備える。位置センサ４２は、光軸ＯＡ方向におけるフォーカスレンズ４０Ｂの位置を検出する。像距離は、撮像レンズ４０の主点から光電変換素子７２の受光面７２Ａまでの深度方向に沿った距離である。像距離は、既定の計算式、又はデータマッチングテーブルを用いて位置センサ４２の検出結果に基づいて導出される。深度方向は、光軸ＯＡと平行な方向である。

物体距離は、撮像レンズ４０の主点から合焦状態にある被写体までの深度方向に沿った距離である。合焦状態にある被写体は、合焦位置に位置する。合焦位置は、焦点が最も合っている位置である。物体距離をＬとした場合、Ｌは、下式（１）で算出される。ただし、ｔは、像距離であり、上述の通り、位置センサ４２の検出結果に基づいて導出される。また、ｆは、フォーカスレンズ４０Ｂの焦点距離であり、既知の固定値である。

撮像装置１０の被写界深度は、後方被写界深度及び前方被写界深度を有する。被写界深度をＤとした場合、Ｄは、下式（２）で算出される。また、後方被写界深度をＤ_ｒとした場合、Ｄ_ｒは、下式（３）で算出される。また、前方被写界深度をＤ_ｆとした場合、Ｄ_ｆは、下式（４）で算出される。ただし、Ｆは、絞り４０Ｄ（図２参照）の絞り値、すなわちＦ値であり、δは、許容錯乱円径である。Ｆ値は、絞り４０Ｄの絞り量を検出するセンサ（図示省略）の検出結果に基づいて導出される。許容錯乱円径は、既知の固定値である。許容錯乱円径は、受光面７２Ａに配列された感光画素７２Ｂ（図３参照）の配列ピッチの２倍程度であり、１画素程度の大きさのボケを許容する。許容錯乱円径は、ユーザがＵＩ系デバイス４８（図２参照）を用いて設定変更することが可能とされていてもよい。

近点距離は、撮像レンズ４０の主点から被写界深度の近点までの深度方向に沿った距離である。近点距離をＬ_ｎとした場合、Ｌ_ｎは、下式（５）で算出される。遠点距離は、撮像レンズ４０の主点から被写界深度の遠点までの深度方向に沿った距離である。遠点距離をＬ_ｆとした場合、Ｌ_ｆは、下式（６）で算出される。

以上の式（１）～（６）は、以下に説明するフォーカス位置制御処理で利用される。

一例として図５に示すように、ＮＶＭ６４には、プログラム６５が記憶されている。プログラム６５は、本開示の技術に係る「プログラム」の一例である。ＣＰＵ６２は、ＮＶＭ６４からプログラム６５を読み出し、読み出したプログラム６５をＲＡＭ６６上で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラム６５に従って、撮像データ７３（図６参照）に基づいて動画像データ８０を生成する動画像生成処理を行う。また、動画生成処理には、フォーカス位置制御処理が含まれている。すなわち、ＣＰＵ６２は、動画像生成処理において、以下に説明するフォーカス位置制御処理を行う。フォーカス位置制御処理は、ＣＰＵ６２がプログラム６５に従って、物体設定部１０１、距離データ取得部１０２、ＡＦ続行判定部１０３、物体間距離判定部１０４、及びフォーカス位置制御部１０５として動作することで実現される。

一例として図６に示すように、物体設定部１０１は、動画像データ８０に含まれる画像データ８１に基づいて、画像データ８１により示される動画像に含まれる複数の物体から、焦点を合わせる第１物体及び第２物体を設定する。第１物体及び第２物体としては、例えば、人、人の顔、人の体、動物、車、及び固定物等が挙げられる。第１物体及び第２物体は、互いに異なる種類の物体でもよい。また、第１物体及び第２物体のうちの少なくともいずれかは、複数の物体の集合体でもよい。また、第１物体及び第２物体のうちの少なくともいずれかは、複数種類の物体が混在した集合体でもよい。なお、本明細書中において、画像に含まれる物体とは、画像に像として含まれる物体を意味する。

物体設定部１０１は、撮像装置１０の撮像開始タイミングで焦点が合っている物体を第１物体として設定してもよい。また、物体設定部１０１は、撮像装置１０に事前に登録された情報に基づいて第１物体を設定してもよい。物体設定部１０１は、複数の物体のうち、第１物体に設定された物体以外の物体を第２物体に設定する。なお、物体設定部１０１による具体的な物体設定処理については、後述する第５実施形態で説明する。

図６に示す例では、一例として、複数の物体９０Ａ及び９０Ｂが示されている。一例として、複数の物体９０Ａ及び９０Ｂは、いずれも人である。以下、物体９０Ａが第１物体として設定され、物体９０Ｂが第２物体として設定された例を説明する。以降、物体９０Ａを第１物体９０Ａと称し、物体９０Ｂを第２物体９０Ｂと称する。第１物体９０Ａは、本開示の技術に係る「第１物体」の一例であり、第２物体９０Ｂは、本開示の技術に係る「第２物体」の一例である。

なお、図６に示す例では、一例として、被写界深度の近点側に位置する第１物体９０Ａが第１物体として設定され、被写界深度の遠点側に位置する第２物体９０Ｂが第２物体として設定されるが、被写界深度の遠点側に位置する第２物体９０Ｂが第１物体として設定され、被写界深度の近点側に位置する第１物体９０Ａが第２物体として設定されてもよい。

距離データ取得部１０２は、動画像データ８０に含まれる距離データ８２から、第１物体９０Ａに関する第１距離データ８２Ａ、及び第２物体９０Ｂに関する第２距離データ８２Ｂを取得する。

具体的には、距離データ取得部１０２は、距離データ８２に含まれる位相差画素データ７３Ｂ（図３参照）に基づいて、フォトダイオードＰＤ１から出力された信号による第１物体９０Ａの像と、フォトダイオードＰＤ２から出力された信号による第１物体９０Ａの像との位相差（すなわち、ずれ量及びずれ方向）を導出することにより、第１物体９０Ａに関する第１距離データ８２Ａを取得する。第１距離データ８２Ａは、第１物体９０Ａの撮像装置１０との間の距離（以降、第１物体距離と称する）に関するデータである。以下では、受光面７２Ａから第１物体距離離れた位置を第１物体位置と称する。第１物体位置は、深度方向における第１物体９０Ａの位置を表す。

同様に、距離データ取得部１０２は、距離データ８２に含まれる位相差画素データ７３Ｂ（図３参照）に基づいて、フォトダイオードＰＤ１から出力された信号による第２物体９０Ｂの像と、フォトダイオードＰＤ２から出力された信号による第２物体９０Ｂの像との位相差（すなわち、ずれ量及びずれ方向）を導出することにより、第２物体９０Ｂに関する第２距離データ８２Ｂを取得する。第２距離データ８２Ｂは、第２物体９０Ｂの撮像装置１０との間の距離（以降、第２物体距離と称する）に関するデータである。以下では、受光面７２Ａから第２物体距離離れた位置を第２物体位置と称する。第２物体位置は、深度方向における第２物体９０Ｂの位置を表す。

ＡＦ続行判定部１０３は、第１物体９０Ａ及び第２物体９０Ｂに対するＡＦを続行するか否かを判定する。ここで、第１物体９０Ａ及び第２物体９０Ｂに対するＡＦとは、イメージセンサ２０から得られる信号に従って第１物体９０Ａと第２物体９０Ｂとの間の位置（例えば、第１物体９０Ａと第２物体９０Ｂとの中央の位置）に焦点を合わせることを意味する。

例えば、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっているが、第２物体位置が被写界深度から外れた状態が第１既定時間以上継続した場合には、第１物体９０Ａ及び第２物体９０Ｂに対するＡＦを続行しないと判定する。第１既定時間は、例えば、３秒である。第１既定時間は、固定値であってもよいし、ユーザ等から与えられた指示及び／又は各種条件（例えば、撮像条件）等に応じて変更される可変値であってもよい。また、例えば、ＡＦ続行判定部１０３は、被写界深度が既定範囲より狭くなった場合には、第１物体９０Ａ及び第２物体９０Ｂに対するＡＦを続行しないと判定する。既定範囲は、予め設定された範囲でもよく、種々の条件に応じて変化する範囲でもよい。また、例えば、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっているが、第２物体位置が撮像範囲から外れた場合には、第１物体９０Ａ及び第２物体９０Ｂに対するＡＦを続行しないと判定する。

物体間距離は、第１物体位置及び第２物体位置間の深度方向の距離である。例えば、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっているが、第２物体位置が被写界深度から外れた状態で、かつ、物体間距離が被写界深度の長さ未満である状態が、第２既定時間以上継続した場合には、第１物体９０Ａ及び第２物体９０Ｂに対するＡＦを続行すると判定する。被写界深度の長さは、被写界深度の深度方向の長さに相当する。以下、被写界深度の深度方向の長さを被写界深度の長さと称する。第２既定時間は、例えば、３秒である。第２既定時間は、固定値であってもよいし、ユーザ等から与えられた指示及び／又は各種条件（例えば、撮像条件）等に応じて変更される可変値であってもよい。また、例えば、ＡＦ続行判定部１０３は、第１物体位置及び第２物体位置が被写界深度に収まっている時間が第３既定時間以上である場合には、第１物体９０Ａ及び第２物体９０Ｂに対するＡＦを続行すると判定する。第３既定時間は、例えば、３秒である。第３既定時間は、固定値であってもよいし、ユーザ等から与えられた指示及び／又は各種条件（例えば、撮像条件）等に応じて変更される可変値であってもよい。

なお、ＡＦ続行判定部１０３は、上記以外の条件に基づいて判定を行ってもよい。第１既定時間は、本開示の技術に係る「第１既定時間」の一例であり、第２既定時間は、本開示の技術に係る「第２既定時間」の一例である。

ＡＦ続行判定部１０３は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、式（５）から算出される近点距離、及び、式（６）から算出される遠点距離に基づいて、第１物体位置が被写界深度に収まっているか否か、及び、第２物体位置が被写界深度に収まっているか否かを判定する。

また、ＡＦ続行判定部１０３は、式（２）から算出される被写界深度に基づいて、被写界深度と既定範囲との広狭を判定する。また、ＡＦ続行判定部１０３は、第１距離データ８２Ａ及び第２距離データ８２Ｂから得られる物体間距離、並びに式（２）から算出される被写界深度に基づいて、物体間距離と被写界深度の長さとの長短を判定する。

また、ＡＦ続行判定部１０３は、イメージセンサ２０により撮像されることで得られた画像データ８１、及び第２物体９０Ｂの特徴を表すとしてＮＶＭ６４及び／又はＲＡＭ６６（図２参照）に予め記憶された特徴画像データを取得する。そして、ＡＦ続行判定部１０３は、いわゆるテンプレートマッチング方式で第２物体位置が撮像範囲から外れたか否かを判定する。すなわち、ＡＦ続行判定部１０３は、特徴画像データが画像データ８１に含まれるか否かに基づいて、第２物体位置が撮像範囲から外れたか否かを判定する。なお、ここでは、テンプレートマッチング方式で第２物体位置が撮像範囲から外れたか否かが判定されているが、本開示の技術は、これに限定されず、ＡＩによる被写体認識方式で第２物体位置が撮像範囲から外れたか否かを判定されるようにしてもよい。

物体間距離判定部１０４は、物体間距離が被写界深度の長さ未満であるか否かを判定する。より詳しく説明すると、物体間距離判定部１０４は、第１距離データ８２Ａ及び第２距離データ８２Ｂから得られる物体間距離、並びに式（２）から算出される被写界深度に基づいて、物体間距離と被写界深度の長さとの長短を特定し、特定結果に基づいて物体間距離が被写界深度の長さ未満であるか否かを判定する。

一例として図７に示すように、フォーカス位置制御部１０５は、ＡＦ続行判定部１０３で判定が否定された場合には、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。フォーカス位置を設定する制御を行うとは、ＣＰＵ６２が、制御装置３６を介して第１アクチュエータ３７を駆動させることでフォーカスレンズ４０Ｂを移動させることにより、フォーカスレンズ４０Ｂの位置を指定の位置に移動させることである。

図７に示す例では、第２物体位置が被写界深度の遠点側から外れているが、第２物体位置が被写界深度の近点側から外れ、かつ、ＡＦ続行判定部１０３で判定が否定された場合にも、フォーカス位置制御部１０５は、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、式（５）から算出される近点距離、及び式（６）から算出される遠点距離、被写界深度の中央範囲に関する設定値に基づいて、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

被写界深度の中央範囲は、被写界深度の中央から被写界深度の前方及び後方に延びる範囲であり、被写界深度に対する割合で規定される。一例として、被写界深度の中央範囲は、被写界深度の２０％の範囲に設定される。被写界深度の中央範囲は、２０％に限定されず、任意に設定可能である。被写界深度の中央範囲は、第１物体９０Ａの種別等の因子に応じて増減されてもよい。また、被写界深度の中央範囲は、被写界深度の前方へ増減されてもよく、被写界深度の後方へ増減されてもよい。被写界深度の中央範囲は、本開示の技術に係る「被写界深度の第２中央範囲」及び「被写界深度の第３中央範囲」の一例である。

なお、フォーカス位置制御部１０５は、ＡＦ続行判定部１０３で判定が否定された場合には、被写界深度の中央が第１物体位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

また、第２物体位置が被写界深度から外れた状態が第１既定時間以上継続したことにより、ＡＦ続行判定部１０３で判定が否定された場合と、被写界深度が既定範囲より狭くなったことにより、ＡＦ続行判定部１０３で判定が否定された場合と、第２物体位置が撮像範囲から外れたことにより、ＡＦ続行判定部１０３で判定が否定された場合とで、フォーカス位置制御部１０５は、被写界深度の中央範囲の長さ及び／又は位置を変更してもよい。

また、フォーカス位置制御部１０５は、第１距離データ８２Ａに基づいた深度方向の第１物体位置、及び第２距離データ８２Ｂに基づいた深度方向の第２物体位置が被写界深度内に収まるか否かに応じてフォーカス位置を制御する。

一例として図６に示すように、フォーカス位置制御部１０５は、物体間距離が被写界深度の長さ未満であることにより、物体間距離判定部１０４で判定が肯定された場合には、第１物体位置及び第２物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行う。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、式（５）から算出される近点距離、及び式（６）から算出される遠点距離に基づいて、第１物体位置及び第２物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行う。

また、一例として図８及び図９に示すように、フォーカス位置制御部１０５は、例えば第２物体位置が被写界深度から外れ、かつ、物体間距離が被写界深度の長さ以上になることにより、物体間距離判定部１０４で判定が否定された場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。フォーカス位置を移動させる制御を行うとは、ＣＰＵ６２が、制御装置３６を介して第１アクチュエータ３７を駆動させることでフォーカスレンズ４０Ｂを移動させることにより、フォーカスレンズ４０Ｂの位置を移動させることである。

具体的には、一例として図８に示すように、フォーカス位置制御部１０５は、第２物体位置が被写界深度の遠点側から外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を被写体方向に移動させる制御を行う。フォーカス位置を被写体方向に移動させる制御を行うと、被写界深度がフォーカス位置の移動方向と同じ方向である第２物体位置の方向に移動する。

また、一例として図９に示すように、フォーカス位置制御部１０５は、第２物体位置が被写界深度の近点側から外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を像方向に移動させる制御を行う。フォーカス位置を像方向に移動させる制御を行うと、被写界深度がフォーカス位置の移動方向と同じ方向である第２物体位置の方向に移動する。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、式（５）から算出される近点距離、及び式（６）から算出される遠点距離に基づいて、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。

なお、フォーカス位置制御部１０５は、第１物体位置が被写界深度よりも狭い既定範囲内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行ってもよい。既定範囲は、被写界深度の中心から被写界深度の前方及び後方に延びる範囲であり、被写界深度に対する割合で規定される。一例として、既定範囲は、被写界深度の８０％の範囲に設定される。既定範囲は、８０％に限定されず、任意に設定可能である。既定範囲は、第１物体９０Ａの種別、第１物体９０Ａの移動方向、又は第１物体９０Ａの移動速度等の因子に応じて増減されてもよい。また、既定範囲は、被写界深度の前方へ増減されてもよく、被写界深度の後方へ増減されてもよい。

この場合、フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、式（５）から算出される近点距離、式（６）から算出される遠点距離、及び被写界深度の既定範囲に関する設定値に基づいて、第１物体位置が既定範囲内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。

図８及び図９に示す例において、第２物体位置が被写界深度から外れた方向、及びフォーカス位置が移動する方向は、本開示の技術に係る「第１方向」の一例である。

次に、第１実施形態に係る撮像装置１０の作用について図１０を参照しながら説明する。図１０には、第１実施形態に係るフォーカス位置制御処理の流れの一例が示されている。図１０に示すフォーカス位置制御処理は、例えば、ＡＦモードにおいてレリーズボタン２２により撮像指示が行われる前のライブビュー画像の表示中に実行される。

図１０に示すフォーカス位置制御処理では、先ず、ステップＳ１１で、物体設定部１０１は、動画像データ８０に含まれる画像データ８１に基づいて、画像データ８１により示される動画像に含まれる複数の物体から、焦点を合わせる第１物体９０Ａを設定する。

ステップＳ１２で、物体設定部１０１は、画像データ８１により示される動画像に含まれる複数の物体から、焦点を合わせる第２物体９０Ｂを設定する。

ステップＳ１３で、距離データ取得部１０２は、動画像データ８０に含まれる距離データ８２から、第１物体９０Ａに関する第１距離データ８２Ａを取得する。

ステップＳ１４で、距離データ取得部１０２は、動画像データ８０に含まれる距離データ８２から、第２物体９０Ｂに関する第２距離データ８２Ｂを取得する。

ステップＳ１５で、ＡＦ続行判定部１０３は、第１物体９０Ａ及び第２物体９０Ｂに対してＡＦを続行するか否かを判定する。ステップＳ１５において、ＡＦ続行判定部１０３が、第１物体９０Ａ及び第２物体９０Ｂに対してＡＦを続行しない場合は、判定が否定されて、図１０に示す処理は、ステップＳ１６に移行する。ステップＳ１５において、ＡＦ続行判定部１０３が、第１物体９０Ａ及び第２物体９０Ｂに対してＡＦを続行する場合は、判定が肯定されて、図１０に示す処理は、ステップＳ１７に移行する。

ステップＳ１６で、フォーカス位置制御部１０５は、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。この場合、フォーカス位置制御部１０５は、被写界深度の中央が第１物体位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

ステップＳ１７で、物体間距離判定部１０４は、物体間距離が被写界深度の長さ未満であるか否かを判定する。ステップＳ１７において、物体間距離が被写界深度の長さ未満の場合は、判定が肯定されて、図１０に示す処理は、ステップＳ１８に移行する。ステップＳ１７において、物体間距離が被写界深度の長さ未満でない場合は、判定が否定されて、図１０に示す処理は、ステップＳ１９に移行する。

ステップＳ１８で、フォーカス位置制御部１０５は、第１物体位置及び第２物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行う。

ステップＳ１９で、フォーカス位置制御部１０５は、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。

図１０に示す処理は、ステップＳ１６の処理が実行された後、終了する。なお、上述の撮像装置１０の作用として説明した撮像方法は、本開示の技術に係る「撮像方法」の一例である。

以上説明したように、第１実施形態に係る撮像装置１０では、ＣＰＵ６２は、イメージセンサ２０により撮像されることで得られた動画像データ８０により示される動画像に含まれる第１物体９０Ａの撮像装置１０との間の距離に関する第１距離データ８２Ａ、及び動画像に含まれる第２物体９０Ｂの撮像装置１０との間の距離に関する第２距離データ８２Ｂを取得する。そして、ＣＰＵ６２は、第１距離データ８２Ａに基づいた深度方向の第１物体位置、及び第２距離データ８２Ｂに基づいた深度方向の第２物体位置が被写界深度内に収まるか否かに応じてフォーカス位置を制御する。したがって、例えば、第１物体９０Ａ及び第２物体９０Ｂを撮像する場合に、第２物体９０Ｂが深度方向に移動した場合においてもフォーカス状態の急な変化を抑制することができる。

また、ＣＰＵ６２は、第２物体位置が被写界深度から外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。したがって、例えば、第１物体９０Ａ及び第２物体９０Ｂを撮像する場合に、第２物体９０Ｂが深度方向に移動した場合においてもフォーカス状態の急な変化を抑制することができる。

また、ＣＰＵ６２は、第２物体位置が被写界深度から外れた状態が第１既定時間以上継続した場合には、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。したがって、第１物体９０Ａに焦点を合わせることができる。

また、ＣＰＵ６２は、被写界深度が既定範囲より狭くなった場合にも、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。したがって、第１物体９０Ａに焦点を合わせることができる。

また、ＣＰＵ６２は、第２物体位置が被写界深度から外れた状態で、かつ、物体間距離が被写界深度の長さ未満である状態が、第２既定時間以上継続した場合には、第１物体位置及び第２物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行う。したがって、第１物体９０Ａ及び第２物体９０Ｂに焦点を合わせることができる。

また、ＣＰＵ６２は、イメージセンサ２０から出力される撮像データ７３に基づいて第１距離データ８２Ａ及び第２距離データ８２Ｂを取得する。したがって、イメージセンサ２０以外の距離センサを不要にできる。

また、イメージセンサ２０は、複数の感光画素７２Ｂを有し、ＣＰＵ６２は、撮像データ７３のうち、感光画素７２Ｂから出力された位相差画素データ７３Ｂに基づいて第１距離データ８２Ａ及び第２距離データ８２Ｂを取得する。したがって、撮像データ７３から第１距離データ８２Ａ及び第２距離データ８２Ｂを取得することができる。

また、感光画素７２Ｂは、非位相差画素データ７３Ａと、位相差画素データ７３Ｂとを選択的に出力する画素である。また、非位相差画素データ７３Ａは、感光画素７２Ｂの全領域によって光電変換が行われることで得られる画素データであり、位相差画素データ７３Ｂは、感光画素７２Ｂの一部の領域によって光電変換が行われることで得られる画素データである。したがって、撮像データ７３から、画像データ８１及び距離データ８２を取得することができる。

なお、第１実施形態では、フォーカス位置制御部１０５は、例えば第２物体位置が被写界深度から外れ、かつ、物体間距離が被写界深度の長さ以上になることにより、物体間距離判定部１０４で判定が否定された場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。しかしながら、フォーカス位置制御部１０５は、例えば物体間距離が被写界深度の長さ未満であっても、第２物体位置が被写界深度から外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行ってもよい。また、この場合に、第２物体位置は、被写界深度内に収まっても収まらなくてもどちらでもよい。

また、第１実施形態では、ＣＰＵ６２は、光電変換素子７２に含まれる感光画素７２Ｂの各々に対応する位置について距離を取得するが、必ずしもすべての感光画素７２Ｂに対応する位置から距離を取得する必要はない。すなわち、距離を取得する感光画素７２Ｂを間引いてもよい。

また、第１実施形態では、光電変換素子７２は、一画素に一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子であり、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えているが、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えていることには限定されない。光電変換素子７２には、撮像及び位相差に関するデータを出力する機能を有しない感光画素７２Ｂが含まれていてもよい。また、光電変換素子７２は、一画素に一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子に限られず、非位相差画素データ７３Ａを取得するための撮像用の感光画素７２Ｂと、位相差画素データ７３Ｂを取得するための位相差検出用の感光画素７２Ｂとを含むものであってもよい。この場合、位相差画素は、第１の瞳部分領域と第２の瞳部分領域とのうち一方を受光するように遮光部材が設けられる。

また、第１実施形態では、位相差方式の光電変換素子７２により距離データ８２を取得しているが、位相差方式に限定されず、ＴＯＦ方式の光電変換素子を用いて距離データ８２を取得してもよいし、ステレオカメラ又は深度センサを用いて距離データ８２を取得してもよい。なお、距離データ８２は、イメージセンサ２０のフレームレートに合わせて取得されるようにしてもよいし、イメージセンサ２０のフレームレートで規定される時間間隔よりも長い時間間隔又は短い時間間隔で取得されるようにしてもよい。

［第２実施形態］
一例として図１１及び図１２に示すように、第２実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。すなわち、ＣＰＵ６２は、物体設定部１０１、距離データ取得部１０２、ＡＦ続行判定部１０３、物体間距離判定部１０４、及びフォーカス位置制御部１０５に加えて、物体移動判定部１０６として動作する。

一例として図１１に示すように、物体移動判定部１０６は、フォーカス位置制御部１０５によって第１物体位置及び第２物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御が行われた場合には、第１物体位置と被写界深度の近点との間の距離が第１既定距離以下になったか否かを判定する。

より詳しく説明すると、物体移動判定部１０６は、第１距離データ８２Ａから得られる第１物体距離、式（５）から算出される近点距離、及び第１既定距離に基づいて、第１物体位置と被写界深度の近点との間の距離と、第１既定距離との長短を特定し、特定結果に基づいて第１物体位置と被写界深度の近点との間の距離が第１既定距離以下になったか否かを判定する。

また、一例として図１２に示すように、物体移動判定部１０６は、フォーカス位置制御部１０５によって第１物体位置及び第２物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御が行われた場合には、第１物体位置と被写界深度の遠点との間の距離が第２既定距離以下になったか否かを判定する。

より詳しく説明すると、物体移動判定部１０６は、第１距離データ８２Ａから得られる第１物体距離、式（６）から算出される遠点距離、及び第２既定距離に基づいて、第１物体位置と被写界深度の遠点との間の距離と、第２既定距離との長短を特定し、特定結果に基づいて第１物体位置と被写界深度の遠点との間の距離が第２既定距離以下になったか否かを判定する。

以下では、特に区別して説明する必要が無い場合、被写界深度の近点及び被写界深度の遠点を被写界深度の既定端と称し、第１既定距離及び第２既定距離を既定距離と称する。被写界深度の既定端は、本開示の技術に係る「被写界深度の既定端」の一例であり、既定距離は、本開示の技術に係る「既定距離」の一例である。

一例として図１１及び図１２に示すように、フォーカス位置制御部１０５は、第１物体位置と被写界深度の既定端との間の距離が既定距離以下になったことにより、物体移動判定部１０６で判定が肯定された場合には、第１物体位置が移動することに応じて、フォーカス位置を移動させる制御を行う。

具体的には、一例として図１１に示すように、フォーカス位置制御部１０５は、第１物体位置と被写界深度の近点との間の距離が第１既定距離以下になったことにより、物体移動判定部１０６で判定が肯定された場合には、第１物体位置が近点側に移動することに応じて、フォーカス位置を像方向に移動させる制御を行う。

また、一例として図１２に示すように、フォーカス位置制御部１０５は、第１物体位置と被写界深度の遠点との間の距離が第２既定距離以下になったことにより、物体移動判定部１０６で判定が肯定された場合には、第１物体位置が遠点側に移動することに応じて、フォーカス位置を被写体方向に移動させる制御を行う。この場合に、フォーカス位置制御部１０５は、深度方向へ移動する第１物体位置にフォーカス位置を連動させる制御を行ってもよい。

深度方向へ移動する第１物体位置にフォーカス位置を連動させる制御を行うとは、ＣＰＵ６２が、制御装置３６を介して第１アクチュエータ３７を駆動させることでフォーカスレンズ４０Ｂを移動させることにより、第１物体９０Ａの移動する方向へフォーカスレンズ４０Ｂの位置を移動させることである。深度方向へ移動する第１物体位置にフォーカス位置を連動させる制御を行うと、第１物体位置に連動して被写界深度が移動する。

フォーカス位置制御部１０５は、第１物体位置が近点側に移動する場合、第１距離データ８２Ａから得られる第１物体距離、及び式（５）から算出される近点距離に基づいて、第１物体距離が近点距離を上回る状態を維持しつつ、近点側に移動する第１物体位置にフォーカス位置を連動させる制御を行う。

また、フォーカス位置制御部１０５は、第１物体位置が遠点側に移動する場合、第１距離データ８２Ａから得られる第１物体距離、及び式（６）から算出される遠点距離に基づいて、第１物体距離が遠点距離を下回る状態を維持しつつ、遠点側に移動する第１物体位置にフォーカス位置を連動させる制御を行う。

フォーカス位置制御部１０５は、第１物体位置が移動することに応じて、フォーカス位置を移動させる制御を行う場合、第１物体位置が移動する方向に被写界深度が既定距離移動する位置にフォーカス位置を設定する制御を行ってもよい。

また、フォーカス位置制御部１０５は、深度方向へ移動する第１物体位置にフォーカス位置を連動させる制御を行う場合、第１物体位置の移動速度に合わせて被写界深度を移動させてもよく、第１物体位置の移動速度と異なる速度で被写界深度を移動させてもよい。

次に、第２実施形態に係る撮像装置１０の作用について図１３を参照しながら説明する。図１３には、第２実施形態に係るフォーカス位置制御処理の流れの一例が示されている。図１３に示すフォーカス位置制御処理において、ステップＳ１１～ステップＳ１９は、第１実施形態に係るフォーカス位置制御処理と同様である。

図１３に示す処理は、ステップＳ１８の後に、ステップＳ２０に移行する。

ステップＳ２０で、物体移動判定部１０６は、第１物体位置と被写界深度の既定端との間の距離が既定距離以下になったか否かを判定する。ステップＳ２０において、第１物体位置と被写界深度の既定端との間の距離が既定距離を上回った場合は、判定が否定されて、図１３に示す処理は、ステップＳ１５に移行する。ステップＳ２０において、第１物体位置と被写界深度の既定端との間の距離が既定距離以下になった場合は、判定が肯定されて、図１３に示す処理は、ステップＳ２１に移行する。

ステップＳ２１で、フォーカス位置制御部１０５は、第１物体位置が移動することに応じて、フォーカス位置を移動させる制御を行う。この場合、フォーカス位置制御部１０５は、一例として、深度方向へ移動する第１物体位置にフォーカス位置を連動させる制御を行ってもよい。ステップＳ２１の処理が実行された後、図１３に示す処理は、ステップＳ１５に移行する。

以上説明したように、第２実施形態に係る撮像装置１０では、ＣＰＵ６２は、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、深度方向へ第１物体位置が移動することに応じて、フォーカス位置を移動させる制御を行う。したがって、第１物体位置が移動することに応じて、被写界深度を移動させることができる。

また、ＣＰＵ６２は、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、深度方向へ移動する第１物体位置にフォーカス位置を連動させる制御を行ってもよい。この場合には、第１物体位置に被写界深度を連動させることができる。

また、ＣＰＵ６２は、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、第１物体位置と被写界深度の既定端との間の距離が既定距離以下となったことを条件に、フォーカス位置を連動させる制御を行う。したがって、第１物体位置が被写界深度の既定端からはみ出す前に、フォーカス位置を連動させる制御を開始することができる。

［第３実施形態］
一例として図１４に示すように、第３実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、第３実施形態では、フォーカス位置制御部１０５は、物体間距離が被写界深度の長さ未満であることにより、物体間距離判定部１０４で判定が肯定された場合には、第１物体位置と第２物体位置との間の位置（以降、物体間位置と称する）が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

物体間位置は、第１物体位置及び第２物体位置間の中央から外れた位置でもよく、第１物体位置及び第２物体位置間の中央の位置でもよい。図１４に示す例では、一例として、物体間位置が第１物体位置及び第２物体位置間の中央の位置に設定されている。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、物体間位置に関する設定値、式（５）から算出される近点距離、式（６）から算出される遠点距離、及び被写界深度の中央範囲に関する設定値に基づいて、物体間位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

被写界深度の中央範囲は、被写界深度の中央から被写界深度の前方及び後方に延びる範囲であり、被写界深度に対する割合で規定される。一例として、被写界深度の中央範囲は、被写界深度の２０％の範囲に設定される。被写界深度の中央範囲は、２０％に限定されず、任意に設定可能である。被写界深度の中央範囲は、第１物体９０Ａの種別等の因子に応じて増減されてもよい。また、被写界深度の中央範囲は、被写界深度の前方へ増減されてもよく、被写界深度の後方へ増減されてもよい。被写界深度の中央範囲は、本開示の技術に係る「被写界深度の第１中央範囲」の一例である。

フォーカス位置制御部１０５は、物体間距離判定部１０４で判定が肯定された場合には、被写界深度の中央が物体間位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

図１４に示す例では、第１物体位置が近点側に位置し、第２物体位置が被写界深度の遠点側に位置しているが、第１物体位置が遠点側に位置し、第２物体位置が被写界深度の近点側に位置している場合にも、フォーカス位置制御部１０５は、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

以上説明したように、第３実施形態に係る撮像装置１０では、ＣＰＵ６２は、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、物体間位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。したがって、第１物体位置及び第２物体位置が移動しても、第１物体位置及び第２物体位置を被写界深度に収め続けることができる。

また、物体間位置は、第１物体位置及び第２物体位置間の中央の位置でもよい。この場合には、例えば、物体間位置が、第１物体位置及び第２物体位置間の中央の位置からずれている場合に比して、第１物体位置及び第２物体位置をバランスよく被写界深度に収めることができる。

［第４実施形態］
一例として図１５に示すように、第４実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、第４実施形態では、フォーカス位置制御部１０５は、物体間距離が被写界深度未満であることにより、物体間距離判定部１０４で判定が肯定された場合には、合焦位置が物体間位置に設定される位置にフォーカス位置を設定する制御を行う。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、物体間位置に関する設定値、及び式（１）から算出される物体距離に基づいて、合焦位置が物体間位置に設定される位置にフォーカス位置を設定する制御を行う。

図１５に示す例では、第１物体位置が近点側に位置し、第２物体位置が被写界深度の遠点側に位置しているが、第１物体位置が遠点側に位置し、第２物体位置が被写界深度の近点側に位置している場合にも、フォーカス位置制御部１０５は、合焦位置が物体間位置に設定される位置にフォーカス位置を設定する制御を行う。

以上説明したように、第４実施形態に係る撮像装置１０では、ＣＰＵ６２は、第１物体位置及び第２物体位置が被写界深度に収まっている場合には、合焦位置が物体間位置に設定される位置にフォーカス位置を設定する制御を行う。したがって、第１物体位置及び第２物体位置が移動しても、第１物体位置及び第２物体位置を被写界深度に収め続けることができる。

また、物体間位置は、第１物体位置及び第２物体位置間の中央の位置でもよい。この場合には、例えば、物体間位置が、第１物体位置及び第２物体位置間の中央の位置からずれている場合に比して、第１物体位置及び第２物体位置をバランスよく被写界深度に収めることができる。

また、一般的に、合焦位置は、被写界深度の中央よりも近点側に位置する。したがって、合焦位置が物体間位置に設定されることにより、例えば被写界深度の中央が物体間位置に設定される場合（図１４参照）に比して、第１物体９０Ａ及び第２物体９０Ｂのうち遠点側に位置する第２物体９０Ｂに焦点を合わせることができる。

［第５実施形態］
一例として図１６に示すように、第５実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、ディスプレイ２８には、撮像装置１０の物体検出機能によって検出された複数の物体１１０Ａ及び１１０Ｂの各々が枠１１１Ａ及び１１１Ｂでそれぞれ囲われた状態で表示される。図１６に示す例では、一例として、物体１１０Ａは、人の顔であり、動きを伴う可動物体である。また、一例として、物体１１０Ｂは、建物の一部であり、固定された固定物体である。

第５実施形態に係る物体設定部１０１は、複数の物体１１０Ａ及び１１０Ｂのうち既定条件を満たした物体を第１物体に設定する。既定条件としては、例えば、外部から指示されたという条件、又は、検出処理が行われることによって既定物体として検出されたという条件が挙げられる。

物体設定部１０１は、外部からの指示の一例として、受付デバイス７６によって受け付けられたユーザからの物体１１０Ａ又は１１０Ｂを選択する指示を受けた場合には、ユーザからの指示に従って、ディスプレイ２８に表示された複数の物体１１０Ａ及び１１０Ｂから第１物体を設定してもよい。

また、物体設定部１０１は、外部からの指示の一例として、ユーザが枠１１１Ａ又は１１１Ｂ内の画像をタッチパネル３０で指定したことによる指示を受けた場合には、ユーザからの指示に従って、ディスプレイ２８に表示された複数の物体１１０Ａ及び１１０Ｂから第１物体を設定してもよい。

また、物体設定部１０１は、外部からの指示の一例として、外部Ｉ／Ｆ５０で受信された外部装置からの指示を受けた場合には、外部装置からの指示に従って、複数の物体１１０Ａ及び１１０Ｂから第１物体を設定してもよい。

また、物体設定部１０１は、検出処理が行われることによって既定物体として検出されたことの一例として、例えば、人工知能を用いた物体検出処理が行われることによって可動物体が検出された場合には、可動物体を第１物体に設定してもよい。

図１６に示す例では、物体設定部１０１は、物体１１０Ａを第１物体として設定し、物体設定部１０１は、物体１１０Ｂを第２物体として設定する。

以上説明したように、第５実施形態に係る撮像装置１０では、ＣＰＵ６２は、動画像データ８０から特定される複数の物体のうち既定条件を満たした物体を第１物体に設定する。したがって、例えば、既定条件を満たしたか否かに関係なく第１物体が設定される場合にして、ユーザの優先する物体を第１物体に設定できる確率を高めることができる。

また、既定条件は、外部から指示されたという条件でもよい。この場合には、外部から指示された物体を第１物体に設定することができる。

また、既定条件は、検出処理が行われることによって既定物体として検出されたという条件でもよい。この場合には、例えば、検出処理が行われずに第１物体が設定される場合にして、ユーザの優先する物体を第１物体に設定できる確率を高めることができる。

［第６実施形態］
一例として図１７に示されるように、第６実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、ＣＰＵ６２は、物体設定部１０１、距離データ取得部１０２、ＡＦ続行判定部１０３、物体間距離判定部１０４、物体位置判定部１０７、及びフォーカス位置制御部１０５として動作する。

物体設定部１０１は、動画像データ８０に含まれる画像データ８１に基づいて、画像データ８１により示される動画像に含まれる複数の物体から、焦点を合わせる第１物体、第２物体、及び第３物体を設定する。第１物体、第２物体、及び第３物体としては、例えば、人、人の顔、人の体、動物、車、及び固定物等が挙げられる。第１物体、第２物体、及び第３物体は、互いに異なる種類の物体でもよい。また、第１物体、第２物体、及び第３物体の少なくともいずれかは、複数の物体の集合体でもよい。また、第１物体、第２物体、及び第３物体の少なくともいずれかは、複数種類の物体が混在した集合体でもよい。

図１７に示す例では、一例として、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃが物体設定部によって設定された場合を説明する。第１物体９０Ａは、本開示の技術に係る「第１物体」の一例であり、第２物体９０Ｂは、本開示の技術に係る「第２物体」の一例であり、第３物体９０Ｃは、本開示の技術に係る「第３物体」の一例である。

距離データ取得部１０２は、動画像データ８０に含まれる距離データ８２から、第１物体９０Ａに関する第１距離データ８２Ａ、第２物体９０Ｂに関する第２距離データ８２Ｂ、及び第３物体９０Ｃに関する第３距離データ８２Ｃを取得する。

具体的には、距離データ取得部１０２は、距離データ８２に含まれる位相差画素データ７３Ｂ（図３参照）に基づいて、フォトダイオードＰＤ１から出力された信号による第１物体９０Ａの像と、フォトダイオードＰＤ２から出力された信号による第１物体９０Ａの像との位相差（すなわち、ずれ量及びずれ方向）を導出することにより、第１物体９０Ａに関する第１距離データ８２Ａを取得する。第１距離データ８２Ａが第１物体距離に関するデータである点、及び、第１物体位置が深度方向における第１物体９０Ａの位置を表す点は、第１実施形態と同様である。

同様に、距離データ取得部１０２は、距離データ８２に含まれる位相差画素データ７３Ｂ（図３参照）に基づいて、フォトダイオードＰＤ１から出力された信号による第２物体９０Ｂの像と、フォトダイオードＰＤ２から出力された信号による第２物体９０Ｂの像との位相差（すなわち、ずれ量及びずれ方向）を導出することにより、第２物体９０Ｂに関する第２距離データ８２Ｂを取得する。第２距離データ８２Ｂが第２物体距離に関するデータである点、及び、第２物体位置が深度方向における第２物体９０Ｂの位置を表す点は、第１実施形態と同様である。

また、距離データ取得部１０２は、距離データ８２に含まれる位相差画素データ７３Ｂ（図３参照）に基づいて、フォトダイオードＰＤ１から出力された信号による第３物体９０Ｃの像と、フォトダイオードＰＤ２から出力された信号による第３物体９０Ｃの像との位相差（すなわち、ずれ量及びずれ方向）を導出することにより、第３物体９０Ｃに関する第３距離データ８２Ｃを取得する。第３距離データ８２Ｃは、第３物体９０Ｃの撮像装置１０との間の距離（以降、第３物体距離と称する）に関するデータである。以下では、受光面７２Ａから第３物体距離離れた位置を第３物体位置と称する。第３物体位置は、深度方向における第３物体９０Ｃの位置を表す。

ＡＦ続行判定部１０３は、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを続行するか否かを判定する。ここで、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦとは、イメージセンサ２０から得られる信号に従って、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃによって規定される深度方向の範囲の中央部（例えば、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃによって規定される深度方向の範囲の中央の位置）に焦点を合わせることを意味する。

例えば、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっているが、第２物体位置及び／又は第３物体位置が被写界深度から外れた状態が第１既定時間以上継続した場合には、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを続行しないと判定する。また、例えば、ＡＦ続行判定部１０３は、被写界深度が既定範囲より狭くなった場合には、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを続行しないと判定する。既定範囲は、予め設定された範囲でもよく、種々の条件に応じて変化する範囲でもよい。また、例えば、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっているが、第２物体位置及び／又は第３物体位置が撮像範囲から外れた場合には、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを続行しないと判定する。

両端物体間距離は、第１物体位置、第２物体位置、及び第３物体位置のうち両端の位置の間の深度方向の距離である。例えば、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっているが、第２物体位置及び／又は第３物体位置が被写界深度から外れた状態で、かつ、両端物体間距離が被写界深度の長さ未満である状態が、第２既定時間以上継続した場合には、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを継続すると判定する。また、例えば、ＡＦ続行判定部１０３は、第１物体位置、第２物体位置、及び第３物体位置が被写界深度に収まっている時間が第３既定時間以上である場合には、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを継続すると判定する。

なお、ＡＦ続行判定部１０３は、上記以外の条件に基づいて判定を行ってもよい。
第１既定時間は、本開示の技術に係る「第１既定時間」の一例であり、第２既定時間は、本開示の技術に係る「第２既定時間」の一例である。

ＡＦ続行判定部１０３は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、第３距離データ８２Ｃから得られる第３物体距離、式（５）から算出される近点距離、及び、式（６）から算出される遠点距離に基づいて、第１物体位置が被写界深度に収まっているか否か、第２物体位置が被写界深度に収まっているか否か、及び第３物体位置が被写界深度に収まっているか否かを判定する。

また、ＡＦ続行判定部１０３は、式（２）から算出される被写界深度に基づいて、被写界深度と既定範囲との広狭を判定する。また、ＡＦ続行判定部１０３は、第１距離データ８２Ａ、第２距離データ８２Ｂ、及び第３距離データ８２Ｃから得られる両端物体間距離、並びに式（２）から算出される被写界深度に基づいて、両端物体間距離と被写界深度の長さとの長短を判定する。

また、ＡＦ続行判定部１０３は、イメージセンサ２０により撮像されることで得られた画像データ８１、第２物体９０Ｂの特徴を表すとしてＮＶＭ６４及び／又はＲＡＭ６６（図２参照）に予め記憶された第１特徴画像データ、第３物体９０Ｃの特徴を表すとしてＮＶＭ６４及び／又はＲＡＭ６６（図２参照）に予め記憶された第２特徴画像データを取得する。そして、ＡＦ続行判定部１０３は、いわゆるテンプレートマッチング方式で第２物体位置が撮像範囲から外れたか否かを判定する。すなわち、ＡＦ続行判定部１０３は、第１特徴画像データが画像データ８１に含まれるか否かに基づいて、第２物体位置が撮像範囲から外れたか否かを判定する。また、同様に、ＡＦ続行判定部１０３は、いわゆるテンプレートマッチング方式で第３物体位置が撮像範囲から外れたか否かを判定する。すなわち、ＡＦ続行判定部１０３は、第２特徴画像データが画像データ８１に含まれるか否かに基づいて、第３物体位置が撮像範囲から外れたか否かを判定する。なお、ここでは、テンプレートマッチング方式で第２物体位置及び第３物体位置が撮像範囲から外れたか否かが判定されているが、本開示の技術は、これに限定されず、ＡＩによる被写体認識方式で第２物体位置及び／又は第３物体位置が撮像範囲から外れたか否かを判定されるようにしてもよい。

物体間距離判定部１０４は、両端物体間距離が被写界深度の長さ未満であるか否かを判定する。より詳しく説明すると、物体間距離判定部１０４は、第１距離データ８２Ａ、第２距離データ８２Ｂ、及び第３距離データ８２Ｃから得られる両端物体間距離、並びに式（２）から算出される被写界深度に基づいて、両端物体間距離と被写界深度の長さとの長短を特定し、特定結果に基づいて両端物体間距離が被写界深度の長さ未満であるか否かを判定する。

物体位置判定部１０７は、第２物体位置及び第３物体位置が被写界深度から同じ方向に外れているか否かを判定する。より詳しく説明すると、物体位置判定部１０７は、第２距離データ８２Ｂから得られる第２物体距離、第３距離データ８２Ｃから得られる第３物体距離、式（５）から算出される近点距離、及び式（６）から算出される遠点距離に基づいて、第２物体位置、第３物体位置、近点、及び遠点の位置関係を特定し、特定結果に基づいて第２物体位置及び第３物体位置が被写界深度から同じ方向に外れているか否かを判定する。

一例として図１８に示すように、フォーカス位置制御部１０５は、ＡＦ続行判定部１０３によって判定が否定された場合には、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

図１８に示す例では、第２物体位置が被写界深度の近点側から外れ、第３物体位置が被写界深度の遠点側から外れているが、第２物体位置が被写界深度の遠点側から外れ、第３物体位置が被写界深度の近点側から外れた場合にも、フォーカス位置制御部１０５は、ＡＦ続行判定部１０３で判定が否定された場合には、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、式（５）から算出される近点距離、式（６）から算出される遠点距離、被写界深度の中央範囲に関する設定値に基づいて、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。被写界深度の中央範囲は、第１実施形態と同様である。

なお、フォーカス位置制御部１０５は、ＡＦ続行判定部１０３で判定が否定された場合には、被写界深度の中央が第１物体位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

また、第２物体位置及び／又は第３物体位置が被写界深度から外れた状態が第１既定時間以上継続したことにより、ＡＦ続行判定部１０３で判定が否定された場合と、被写界深度が既定範囲より狭くなったことにより、ＡＦ続行判定部１０３で判定が否定された場合と、第２物体位置及び／又は第３物体位置が撮像範囲から外れたことにより、ＡＦ続行判定部１０３で判定が否定された場合とで、フォーカス位置制御部１０５は、被写界深度の中央範囲の長さ及び／又は位置を変更してもよい。

また、フォーカス位置制御部１０５は、第１距離データ８２Ａに基づいた深度方向の第１物体位置、第２距離データ８２Ｂに基づいた深度方向の第２物体位置、及び第３距離データ８２Ｃに基づいた深度方向の第３物体位置が被写界深度内に収まるか否かに応じてフォーカス位置を制御する。

一例として図１７に示すように、フォーカス位置制御部１０５は、両端物体間距離が被写界深度の長さ未満であることにより、物体間距離判定部１０４で判定が肯定された場合には、第１物体位置、第２物体位置、及び第３物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行う。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、第３距離データ８２Ｃから得られる第３物体距離、式（５）から算出される近点距離、及び式（６）から算出される遠点距離に基づいて、第１物体位置、第２物体位置、及び第３物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行う。

また、一例として図１９及び図２０に示すように、フォーカス位置制御部１０５は、第２物体位置及び第３物体位置が被写界深度から同じ方向に外れたことにより、物体位置判定部１０７で判定が肯定された場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置及び第３物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。

具体的には、一例として図１９に示すように、フォーカス位置制御部１０５は、第２物体位置及び第３物体位置が被写界深度の遠点側から外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を被写体方向に移動させる制御を行う。フォーカス位置を被写体方向に移動させる制御を行うと、被写界深度がフォーカス位置の移動方向と同じ方向である第２物体位置及び第３物体位置の方向に移動する。

また、一例として図２０に示すように、フォーカス位置制御部１０５は、第２物体位置及び第３物体位置が被写界深度の近点側から外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を像方向に移動させる制御を行う。フォーカス位置を像方向に移動させる制御を行うと、被写界深度がフォーカス位置の移動方向と同じ方向である第２物体位置及び第３物体位置の方向に移動する。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、第３距離データ８２Ｃから得られる第３物体距離、式（５）から算出される近点距離、及び式（６）から算出される遠点距離に基づいて、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置及び第３物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。

なお、フォーカス位置制御部１０５は、第１物体位置が被写界深度よりも狭い既定範囲内に収まる範囲でフォーカス位置を第２物体位置及び第３物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行ってもよい。既定範囲は、第１実施形態と同様である。

この場合、フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、第３距離データ８２Ｃから得られる第３物体距離、式（５）から算出される近点距離、式（６）から算出される遠点距離、及び被写界深度の既定範囲に関する設定値に基づいて、第１物体位置が既定範囲内に収まる範囲でフォーカス位置を第２物体位置及び第３物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。

図１９及び図２０に示す例において、第２物体位置及び第３物体位置が被写界深度から外れた方向、及びフォーカス位置が移動する方向は、本開示の技術に係る「第２方向」の一例である。

また、一例として図１８に示すように、フォーカス位置制御部１０５は、第２物体位置及び第３物体位置が被写界深度から互いに異なる方向に外れたことにより、物体位置判定部１０７で判定が否定された場合には、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

図１８に示す例では、第２物体位置が被写界深度の近点側から外れ、第３物体位置が被写界深度の遠点側から外れているが、第２物体位置が被写界深度の遠点側から外れ、第３物体位置が被写界深度の近点側から外れた場合にも、フォーカス位置制御部１０５は、上記と同様に第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。

図１８に示す例において、第２物体位置が被写界深度から外れた方向は、本開示の技術に係る「第３方向」の一例であり、第３物体位置が被写界深度から外れた方向は、本開示の技術に係る「第４方向」の一例である。

フォーカス位置制御部１０５は、第１距離データ８２Ａから得られる第１物体距離、式（５）から算出される近点距離、式（６）から算出される遠点距離、被写界深度の中央範囲に関する設定値に基づいて、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。被写界深度の中央範囲は、第１実施形態と同様である。中央範囲は、本開示の技術に係る「第４中央範囲」の一例である。

なお、フォーカス位置制御部１０５は、物体位置判定部１０７で判定が否定された場合には、被写界深度の中央が第１物体位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

また、ＡＦ続行判定部１０３で判定が否定された場合と、物体位置判定部１０７で判定が否定された場合とで、フォーカス位置制御部１０５は、被写界深度の中央範囲の長さ及び／又は位置を変更してもよい。

次に、第６実施形態に係る撮像装置１０の作用について図２１を参照しながら説明する。図２１には、第６実施形態に係るフォーカス位置制御処理の流れの一例が示されている。図２１に示すフォーカス位置制御処理は、例えば、ＡＦモードにおいてレリーズボタン２２により撮像指示が行われる前のライブビュー画像の表示中に実行される。

図２１に示すフォーカス位置制御処理では、先ず、ステップＳ３１で、物体設定部１０１は、動画像データ８０に含まれる画像データ８１に基づいて、画像データ８１により示される動画像に含まれる複数の物体から、焦点を合わせる第１物体９０Ａを設定する。

ステップＳ３２で、物体設定部１０１は、画像データ８１により示される動画像に含まれる複数の物体から、焦点を合わせる第２物体９０Ｂを設定する。

ステップＳ３３で、物体設定部１０１は、画像データ８１により示される動画像に含まれる複数の物体から、焦点を合わせる第３物体９０Ｃを設定する。

ステップＳ３４で、距離データ取得部１０２は、動画像データ８０に含まれる距離データ８２から、第１物体９０Ａに関する第１距離データ８２Ａを取得する。

ステップＳ３５で、距離データ取得部１０２は、動画像データ８０に含まれる距離データ８２から、第２物体９０Ｂに関する第２距離データ８２Ｂを取得する。

ステップＳ３６で、距離データ取得部１０２は、動画像データ８０に含まれる距離データ８２から、第３物体９０Ｃに関する第３距離データ８２Ｃを取得する。

ステップＳ３７で、ＡＦ続行判定部１０３は、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを続行するか否かを判定する。ステップＳ３７において、ＡＦ続行判定部１０３が、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを続行しない場合は、判定が否定されて、図２１に示す処理は、ステップＳ３８に移行する。ステップＳ３７において、ＡＦ続行判定部１０３が、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃに対するＡＦを続行する場合は、判定が肯定されて、図２１に示す処理は、ステップＳ３９に移行する。

ステップＳ３８で、フォーカス位置制御部１０５は、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。この場合、フォーカス位置制御部１０５は、被写界深度の中央が第１物体位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

ステップＳ３９で、物体間距離判定部１０４は、両端物体間距離が被写界深度の長さ未満であるか否かを判定する。ステップＳ３９において、両端物体間距離が被写界深度の長さ未満である場合は、判定が肯定されて、図２１に示す処理は、ステップＳ４０に移行する。ステップＳ３９において、両端物体間距離が被写界深度の長さ以上である場合は、判定が否定されて、図２１に示す処理は、ステップＳ４１に移行する。

ステップＳ４０で、フォーカス位置制御部１０５は、第１物体位置、第２物体位置、及び第３物体位置が被写界深度内に収まる位置にフォーカス位置を設定する制御を行う。

ステップＳ４１で、物体位置判定部１０７は、第２物体位置及び第３物体位置が被写界深度から同じ方向に外れているか否かを判定する。ステップＳ４１において、第２物体位置及び第３物体位置が被写界深度から同じ方向に外れている場合は、判定が肯定されて、図２１に示す処理は、ステップＳ４２に移行する。ステップＳ４１において、第２物体位置及び第３物体位置が被写界深度から同じ方向に外れていない場合は、判定が否定されて、図２１に示す処理は、ステップＳ４３に移行する。

ステップＳ４２で、フォーカス位置制御部１０５は、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置及び第３物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。

ステップＳ４３で、フォーカス位置制御部１０５は、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。この場合、フォーカス位置制御部１０５は、被写界深度の中央が第１物体位置に設定される位置にフォーカス位置を設定する制御を行ってもよい。

図２１に示す処理は、ステップＳ３８の処理が実行された後、終了する。なお、上述の撮像装置１０の作用として説明した撮像方法は、本開示の技術に係る「撮像方法」の一例である。

以上説明したように、第６実施形態に係る撮像装置１０では、ＣＰＵ６２は、第２物体位置及び第３物体位置が被写界深度から同じ方向に外れた場合には、第１物体位置が被写界深度内に収まる範囲でフォーカス位置を第２物体位置及び第３物体位置が被写界深度から外れた方向と同じ方向に移動させる制御を行う。したがって、例えば、第１物体９０Ａ、第２物体９０Ｂ、及び第３物体９０Ｃを撮像する場合に、第２物体９０Ｂ及び／又は第３物体９０Ｃが深度方向に移動した場合においてもフォーカス状態の急な変化を抑制することができる。

また、ＣＰＵ６２は、第２物体位置及び第３物体位置が被写界深度から互いに異なる方向に外れている場合には、第１物体位置が被写界深度の中央範囲内に収まる位置にフォーカス位置を設定する制御を行う。したがって、第１物体９０Ａに焦点を合わせることができる。

なお、第２物体９０Ｂ及び第３物体９０Ｃがそれぞれ複数の物体の集合体であり、第２物体位置及び第３物体位置が被写界深度から互いに異なる方向に外れている場合には、第１物体位置が被写界深度内に収まる範囲で、第２物体９０Ｂ及び第３物体９０Ｃのうち個体数の多い物体の方向にフォーカス位置を移動させてもよい。

また、第１物体９０Ａに対して第２物体９０Ｂ及び第３物体９０Ｃが近点側に位置する場合と、第１物体９０Ａに対して第２物体９０Ｂ及び第３物体９０Ｃが遠点側に位置する場合とで、フォーカス位置を変えてもよい。

［第７実施形態］
一例として図２２及び図２３に示すように、第７実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっている場合に、第２物体位置が被写界深度から外れたか否かを判定する。また、ＣＰＵ６２は、物体設定部１０１、距離データ取得部１０２、ＡＦ続行判定部１０３、物体間距離判定部１０４、及びフォーカス位置制御部１０５に加えて、絞り量制御部１０８として動作する。

絞り量制御部１０８は、例えば第２物体位置が被写界深度から外れたことにより、ＡＦ続行判定部１０３で判定が否定された場合には、絞り量を変更することにより被写界深度を拡げる制御を行う。

絞り量を変更することにより被写界深度を拡げる制御を行うとは、ＣＰＵ６２が、制御装置３６を介して第３アクチュエータ３９を駆動させることで絞り４０Ｄの開口４０Ｄ１の大きさを変化させることにより、被写界深度を拡げることである。この場合、絞り量制御部１０８は、絞り量を変更することにより被写界深度を拡げる制御の一例として、絞り量を被写界深度に第１物体位置及び第２物体位置が収まる量に変更する制御を行ってもよい。これにより、一例として図２３に示すように、被写界深度が拡がり、被写界深度に第１物体位置及び第２物体位置が収まる。

図２２に示す例では、第２物体位置が被写界深度の遠点側から外れているが、第２物体位置が被写界深度の近点側から外れた場合にも、絞り量制御部１０８は、ＡＦ続行判定部１０３で判定が否定された場合には、絞り量を変更することにより被写界深度を拡げる制御を行う。

絞り量制御部１０８は、第１距離データ８２Ａから得られる第１物体距離、第２距離データ８２Ｂから得られる第２物体距離、式（５）から算出される近点距離、及び式（６）から算出される遠点距離に基づいて、絞り量を被写界深度に第１物体位置及び第２物体位置が収まる量に変更する制御を行う。

次に、第７実施形態に係る撮像装置１０の作用について図２４を参照しながら説明する。図２４には、第７実施形態に係るフォーカス位置制御処理の流れの一例が示されている。図２４に示すフォーカス位置制御処理では、ステップＳ１５及びステップＳ１６の処理内容が、第１実施形態に係るフォーカス位置制御処理と異なっている。

ステップＳ１５で、ＡＦ続行判定部１０３は、第１物体位置が被写界深度に収まっている場合に、第２物体位置が被写界深度から外れたか否かを判定する。ステップＳ１５において、第２物体位置が被写界深度から外れた場合は、判定が肯定されて、図２４に示す処理は、ステップＳ１７に移行する。ステップＳ１５において、第２物体位置が被写界深度から外れていない場合は、判定が否定されて、図２４に示す処理は、ステップＳ１６に移行する。

ステップＳ１６で、絞り量制御部１０８は、絞り量を変更することにより被写界深度を拡げる制御を行う。この場合、絞り量制御部１０８は、絞り量を変更することにより被写界深度を拡げる制御の一例として、絞り量を被写界深度に第１物体位置及び第２物体位置が収まる量に変更する制御を行ってもよい。ステップＳ１６の処理が実行された後、図２４に示す処理が終了する。

以上説明したように、第２実施形態に係る撮像装置１０では、ＣＰＵ６２は、第２物体位置が被写界深度から外れた場合には、絞り量を変更することにより被写界深度を拡げる制御を行う。したがって、例えば、第１物体９０Ａ及び第２物体９０Ｂを撮像する場合に、第２物体９０Ｂが深度方向に移動した場合においてもフォーカス状態の急な変化を抑制することができる。

また、絞り量を変更することにより被写界深度を拡げる制御は、絞り量を被写界深度に第１物体位置及び第２物体位置が収まる量に変更する制御でもよい。この場合には、被写界深度に第１物体位置及び第２物体位置を収めることができる。

なお、物体間距離が被写界深度の長さ以上になった場合、露出に応じて、イメージセンサ２０のゲイン及び／又は光電変換効率が上限以下となる範囲で絞り量を変更して被写界深度を拡げてもよい。

また、高いフレームレートで撮像を行うことで得られた撮像データ７３に基づいて動画像データ８０を生成する場合には、既定の光量が確保される範囲で絞り量を変更して被写界深度を拡げてもよい。

以上、第１実施形態乃至第７実施形態について説明したが、上記実施形態及び変形例は、矛盾が生じない限り互いに組み合わせることが可能である。また、上記実施形態及び変形例が組み合わされた場合に、重複する複数のステップがある場合、各種条件等に応じて複数のステップに優先順位が付与されてもよい。

また、上記実施形態では、ＣＰＵ６２を例示したが、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

また、上記実施形態では、ＮＶＭ６４にプログラム６５が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プログラム６５がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されているプログラム６５は、撮像装置１０のコントローラ１２にインストールされる。ＣＰＵ６２は、プログラム６５に従ってフォーカス位置制御処理を実行する。

また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置にプログラム６５を記憶させておき、撮像装置１０の要求に応じてプログラム６５がダウンロードされ、コントローラ１２にインストールされるようにしてもよい。

なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６４にプログラム６５の全てを記憶させておく必要はなく、プログラム６５の一部を記憶させておいてもよい。

また、図１及び図２に示す撮像装置１０にはコントローラ１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、コントローラ１２が撮像装置１０の外部に設けられるようにしてもよい。

また、上記実施形態では、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を含むコントローラ１２が例示されているが、本開示の技術はこれに限定されず、コントローラ１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

また、上記実施形態で説明したフォーカス位置制御処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、フォーカス位置制御処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することでフォーカス位置制御処理を実行する。

フォーカス位置制御処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、フォーカス位置制御処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、フォーカス位置制御処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、フォーカス位置制御処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、フォーカス位置制御処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記のフォーカス位置制御処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (22)

1. イメージセンサと、
   プロセッサと、を備える撮像装置であって、
   プロセッサは、
   前記イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の前記撮像装置との間の距離に関する第１距離データ、及び前記動画像に含まれる第２物体の前記撮像装置との間の距離に関する第２距離データを取得し、
   前記第１距離データに基づいた深度方向の第１物体位置、及び前記第２距離データに基づいた前記深度方向の第２物体位置が被写界深度内に収まるか否かに応じてフォーカス位置を制御し、
   前記第１物体位置及び前記第２物体位置が前記被写界深度に収まっている場合には、前記第１物体位置と前記被写界深度の既定端との間の距離が既定距離以下となったことを条件に、前記深度方向へ移動する前記第１物体位置に前記フォーカス位置を連動させる制御を行う
   撮像装置。
2. 前記プロセッサは、前記第２物体位置が前記被写界深度から第１方向に外れた場合には、前記第１物体位置が前記被写界深度内に収まる範囲で前記フォーカス位置を前記第１方向に移動させる制御を行う
   請求項１に記載の撮像装置。
3. 前記プロセッサは、前記第１物体位置及び前記第２物体位置が前記被写界深度に収まっている場合には、前記第１物体位置と前記第２物体位置との間の位置が前記被写界深度の第１中央範囲内に収まる位置に前記フォーカス位置を設定する制御を行う
   請求項１又は請求項２に記載の撮像装置。
4. 前記第１物体位置と前記第２物体位置との間の位置は、前記第１物体位置及び前記第２物体位置間の中央の位置である
   請求項３に記載の撮像装置。
5. 前記プロセッサは、前記第１物体位置及び前記第２物体位置が前記被写界深度に収まっている場合には、合焦位置が前記第１物体位置と前記第２物体位置との間の位置に設定される位置に前記フォーカス位置を設定する制御を行う
   請求項１から請求項４の何れか一項に記載の撮像装置。
6. 前記第１物体位置と前記第２物体位置との間の位置は、前記第１物体位置及び前記第２物体位置間の中央の位置である
   請求項５に記載の撮像装置。
7. 前記プロセッサは、前記第２物体位置が前記被写界深度から外れた状態が第１既定時間以上継続した場合には、前記第１物体位置が前記被写界深度の第２中央範囲内に収まる位置に前記フォーカス位置を設定する制御を行う
   請求項１から請求項６の何れか一項に記載の撮像装置。
8. 前記プロセッサは、前記被写界深度が既定範囲より狭くなった場合には、前記第１物体位置が前記被写界深度の第３中央範囲内に収まる位置に前記フォーカス位置を設定する制御を行う
   請求項１から請求項７の何れか一項に記載の撮像装置。
9. イメージセンサと、
   プロセッサと、を備える撮像装置であって、
   プロセッサは、
   前記イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の前記撮像装置との間の距離に関する第１距離データ、及び前記動画像に含まれる第２物体の前記撮像装置との間の距離に関する第２距離データを取得し、
   前記第１距離データに基づいた深度方向の第１物体位置、及び前記第２距離データに基づいた前記深度方向の第２物体位置が被写界深度内に収まるか否かに応じてフォーカス位置を制御し、
   前記第２物体位置が前記被写界深度から外れた状態で、かつ、前記第１物体位置及び前記第２物体位置間の距離が前記被写界深度の長さ未満である状態が、第２既定時間以上継続した場合には、前記第１物体位置及び前記第２物体位置が前記被写界深度内に収まる位置に前記フォーカス位置を設定する制御を行う
   撮像装置。
10. 前記プロセッサは、前記動画像データから特定される複数の物体のうち既定条件を満たした物体を前記第１物体に設定する
    請求項１から請求項９の何れか一項に記載の撮像装置。
11. 前記既定条件は、外部から指示されたという条件、又は、検出処理が行われることによって既定物体として検出されたという条件である
    請求項１０に記載の撮像装置。
12. 前記プロセッサは、
    前記動画像に含まれる第３物体の前記撮像装置との間の距離に関する第３距離データを取得し、
    前記第２物体位置、及び前記第３距離データに基づいた深度方向の第３物体位置が前記被写界深度から第２方向に外れた場合には、前記第１物体位置が前記被写界深度内に収まる範囲で前記フォーカス位置を前記第２方向に移動させる制御を行う
    請求項１から請求項１１の何れか一項に記載の撮像装置。
13. 前記プロセッサは、前記第２物体位置が前記被写界深度から第３方向に外れ、前記第３物体位置が前記被写界深度から第４方向に外れた場合には、前記第１物体位置が前記被写界深度の第４中央範囲内に収まる位置に前記フォーカス位置を設定する制御を行う
    請求項１２に記載の撮像装置。
14. 前記プロセッサは、前記第２物体位置が前記被写界深度から外れた場合には、絞り量を変更することにより前記被写界深度を拡げる制御を行う
    請求項１から請求項１３の何れか一項に記載の撮像装置。
15. 前記絞り量を変更することにより前記被写界深度を拡げる制御は、前記絞り量を前記被写界深度に前記第１物体位置及び前記第２物体位置が収まる量に変更する制御である
    請求項１４に記載の撮像装置。
16. 前記プロセッサは、前記イメージセンサから出力される撮像データに基づいて前記第１距離データ及び前記第２距離データを取得する
    請求項１から請求項１５の何れか一項に記載の撮像装置。
17. 前記イメージセンサは、複数の位相差画素を有し、
    前記プロセッサは、前記撮像データのうち、前記位相差画素から出力された位相差画素データに基づいて前記第１距離データ及び前記第２距離データを取得する
    請求項１６に記載の撮像装置。
18. 前記位相差画素は、非位相差画素データと、前記位相差画素データとを選択的に出力する画素であり、
    前記非位相差画素データは、前記位相差画素の全領域によって光電変換が行われることで得られる画素データであり、
    前記位相差画素データは、前記位相差画素の一部の領域によって光電変換が行われることで得られる画素データである
    請求項１７に記載の撮像装置。
19. イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の撮像装置との間の距離に関する第１距離データ、及び前記動画像に含まれる第２物体の前記撮像装置との間の距離に関する第２距離データを取得すること、
    前記第１距離データに基づいた深度方向の第１物体位置、及び前記第２距離データに基づいた前記深度方向の第２物体位置が、被写界深度内に収まるか否かに応じてフォーカス位置を制御すること、並びに、
    前記第１物体位置及び前記第２物体位置が前記被写界深度に収まっている場合には、前記第１物体位置と前記被写界深度の既定端との間の距離が既定距離以下となったことを条件に、前記深度方向へ移動する前記第１物体位置に前記フォーカス位置を連動させる制御を行うこと
    を含む撮像方法。
20. イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の撮像装置との間の距離に関する第１距離データ、及び前記動画像に含まれる第２物体の前記撮像装置との間の距離に関する第２距離データを取得すること、
    前記第１距離データに基づいた深度方向の第１物体位置、及び前記第２距離データに基づいた前記深度方向の第２物体位置が、被写界深度内に収まるか否かに応じてフォーカス位置を制御すること、並びに、
    前記第２物体位置が前記被写界深度から外れた状態で、かつ、前記第１物体位置及び前記第２物体位置間の距離が前記被写界深度の長さ未満である状態が、第２既定時間以上継続した場合には、前記第１物体位置及び前記第２物体位置が前記被写界深度内に収まる位置に前記フォーカス位置を設定する制御を行うこと
    を含む撮像方法。
21. コンピュータに、
    イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の撮像装置との間の距離に関する第１距離データ、及び前記動画像に含まれる第２物体の前記撮像装置との間の距離に関する第２距離データを取得すること、
    前記第１距離データに基づいた深度方向の第１物体位置、及び前記第２距離データに基づいた前記深度方向の第２物体位置が、被写界深度内に収まるか否かに応じてフォーカス位置を制御すること、並びに、
    前記第１物体位置及び前記第２物体位置が前記被写界深度に収まっている場合には、前記第１物体位置と前記被写界深度の既定端との間の距離が既定距離以下となったことを条件に、前記深度方向へ移動する前記第１物体位置に前記フォーカス位置を連動させる制御を行うこと
    を含む処理を実行させるためのプログラム。
22. コンピュータに、
    イメージセンサにより撮像されることで得られた動画像データにより示される動画像に含まれる第１物体の撮像装置との間の距離に関する第１距離データ、及び前記動画像に含まれる第２物体の前記撮像装置との間の距離に関する第２距離データを取得すること、
    前記第１距離データに基づいた深度方向の第１物体位置、及び前記第２距離データに基づいた前記深度方向の第２物体位置が、被写界深度内に収まるか否かに応じてフォーカス位置を制御すること、並びに、
    前記第２物体位置が前記被写界深度から外れた状態で、かつ、前記第１物体位置及び前記第２物体位置間の距離が前記被写界深度の長さ未満である状態が、第２既定時間以上継続した場合には、前記第１物体位置及び前記第２物体位置が前記被写界深度内に収まる位置に前記フォーカス位置を設定する制御を行うこと
    を含む処理を実行させるためのプログラム。