JPWO2017141746A1

JPWO2017141746A1 - 撮像装置、撮像制御方法、およびプログラム

Info

Publication number: JPWO2017141746A1
Application number: JP2018500044A
Authority: JP
Inventors: 元成岡田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-02-19
Filing date: 2017-02-06
Publication date: 2018-12-13
Also published as: US20200344421A1; WO2017141746A1; US20180352167A1; CN107924040A

Abstract

本技術は、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができるようにする撮像装置、撮像制御方法、およびプログラムに関する。
撮像装置は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、距離情報取得部で取得された距離情報とルックアップテーブルとに基づいて、レンズ駆動部を制御する制御部とを備える。本技術は、例えば、フォーカス制御を行う撮像装置等に適用できる。

Description

本技術は、撮像装置、撮像制御方法、およびプログラムに関し、特に、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができるようにした撮像装置、撮像制御方法、およびプログラムに関する。

撮像装置のオートフォーカスの方式として、コントラスト方式や位相差方式がある。コントラスト方式は、フォーカスレンズのレンズ位置をずらしながらコントラストの変化を検出し、コントラストが最大となる位置を合焦位置とする方法である。位相差方式は、画像センサとは別の位相差センサを用いて、三角測量法に基づいた測距結果から合焦位置を決定する方法である。

コントラスト方式や位相差方式では、暗所や被写界深度の浅いレンズでのオートフォーカスが難しい。そこで、例えば、画像情報のぼけを除去するぼけ除去処理を行うことにより、被写界深度の大きい画像を取得できるようにした撮像装置が提案されている（例えば、特許文献１参照）。

特開２０１４−１３８２９０号公報

以上のように、暗所などの環境条件や被写界深度の浅いレンズなどの光学条件に依存しないフォーカス制御が望まれているが、そのような要望に十分にこたえられていない状況である。

本技術は、このような状況に鑑みてなされたものであり、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができるようにするものである。

本技術の第１の側面の撮像装置は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する制御部とを備える。

本技術の第１の側面の撮像制御方法は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置が、前記撮像領域に存在する物体までの距離情報を取得し、取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する。

本技術の第１の側面のプログラムは、所定の撮像領域を有する撮像素子と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置のコンピュータに、前記撮像領域に存在する物体までの距離情報を取得し、取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置を制御する処理を実行させるためのものである。

本技術の第１の側面においては、所定の撮像領域を有する撮像素子と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置において、前記撮像領域に存在する物体までの距離情報が取得され、取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置が制御される。

本技術の第２の側面の撮像装置は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、前記ルックアップテーブルに基づいて、前記レンズ駆動部を制御するレンズ位置制御部と、前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、前記距離情報取得部で取得された距離情報に基づいて、撮像に関する制御を実行する撮像制御部とを備える。

本技術の第２の側面においては、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係を記憶するルックアップテーブルに基づいて、レンズ駆動部が制御され、撮像領域に存在する物体までの距離情報が取得され、取得された距離情報に基づいて、撮像に関する制御が実行される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の第１及び第２の側面によれば、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した撮像装置の第１の実施形態の構成例を示すブロック図である。測距センサと撮像センサの配置を示す外観図である。図１の撮像装置の詳細ブロック図である。撮像画像とデプスマップの例を示す図である。第１の撮影モードを説明する図である。第１の撮影処理を説明するフローチャートである。第２の撮影処理を説明するフローチャートである。第３の撮影モードを説明する図である。第３の撮影処理を説明するフローチャートである。第３の撮影モードにおける距離情報の入力方法を説明する図である。第４の撮影処理を説明するフローチャートである。 LUT生成処理を説明するフローチャートである。本技術を適用した撮像装置の第２の実施形態の詳細構成例を示すブロック図である。本技術を適用した撮像装置の第３の実施形態の構成例を示すブロック図である。測距センサと撮像センサの配置を示す外観図である。図１４の撮像装置の詳細ブロック図である。撮像装置がミラーレスのデジタルカメラである場合の第１の構成例を示す断面図である。撮像装置がミラーレスのデジタルカメラである場合の第２の構成例を示す断面図である。撮像装置が１眼レフのデジタルカメラである場合の構成例を示す断面図である。測距センサと撮像センサの配置例を示す断面図である。本技術を適用したコンピュータの一実施形態の構成例を示すブロック図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施形態（アクティブタイプの測距方式の構成例）
２．第２の実施形態（複数のLUTを有する構成例）
３．第３の実施形態（パッシブタイプの測距方式の構成例）
４．デジタルカメラの構成例
５．本技術を適用したコンピュータの説明
６．応用例

＜１．第１の実施形態＞
＜撮像装置の構成例＞
図１は、本技術を適用した撮像装置の第１の実施形態の構成例を示すブロック図である。

図１に示される撮像装置１は、例えば、１眼レフのデジタルカメラ、ミラーレスのデジタルカメラ、レンズ交換式のデジタルカメラ、コンパクトデジタルカメラ、デジタルビデオカメラなどで構成される。また、撮像装置１は、機能の一部として撮像機能を有する、スマートフォンなどの電子機器であってもよい。

撮像装置１は、制御部１１、光学系１２、発光部１３、測距センサ１４、撮像センサ１５、演算処理部１６、記憶部１７、表示部１８、及び、操作部１９を有する。

制御部１１は、例えば、CPU（Central Processing Unit）やMPU（Micro Processing Unit）などの演算処理装置と周辺回路などで構成され、記憶部１７に記録されている所定の制御プログラムを読み出して実行することにより、撮像装置１の全体の動作を制御する。

例えば、制御部１１は、光学系１２を構成するフォーカスレンズ、ズームレンズ、手振れ補正レンズなどの各種のレンズのレンズ位置を制御したり、発光部１３による発光のオンオフを制御する。あるいはまた、制御部１１は、撮像センサ１５や測距センサ１４の撮像動作を制御したり、演算処理部１６に所定の演算処理を実行させる。

光学系１２は、例えば、フォーカスレンズ、ズームレンズ、手振れ補正レンズなどの各種のレンズで構成され、制御部１１の制御に従って、所定の位置に移動される。

発光部１３は、例えば、IR光（赤外光）を発光するLED（Light Emitting Diode）光源を含んで構成され、制御部１１の制御に従って、IR光の発光をオンオフする。発光部１３は、所定の発光パターン（オンオフの繰り返しパターン）でIR光を発光させることができる。

測距センサ１４は、発光部１３が発したIR光を受光する受光部として機能し、例えば、ToF（Time of Flight）方式を用いて被写体までの距離を計測する。ToF方式では、発光部１３が発したIR光が被写体の表面で反射して返ってくるまでの経過時間が計測され、経過時間に基づいて被写体までの距離が測定される。ToF方式の測距センサ１４は、高速に（短い周期で）距離情報を生成することができ、また、IR光を用いていることから、周囲の明るさに関係なく、暗所でも距離情報を生成することができる。

測距センサ１４は、例えば、フォトダイオードを形成した各画素が２次元配置された撮像素子（イメージセンサ）で構成され、IR光を受光するまでの経過時間を画素ごとに計測することで、一点だけでなく被写体の様々な部分の測距が可能である。上記の経過時間を計測する方法として、IR光をパルス照射し、被写体の表面で反射して返ってくるまでの時間を直接計測する方法や、IR光を変調し、照射時の光の位相と、反射して返って来た光の位相との位相差に基づいて算出する方法などがある。

測距センサ１４によって計測された距離情報は、演算処理部１６に供給される。

発光部１３と測距センサ１４は、撮像センサ１５が撮像した画像に含まれる被写体までの距離情報を取得する距離情報取得部２０を構成する。なお、距離情報取得部２０が行う被写体までの距離情報の取得方法は、ToF方式に限定されない。例えば、ストラクチャライト法などを用いて、被写体までの距離情報を取得してもよい。ストラクチャライト法とは、物体の表面に特殊な設計の光パターンを投射し、その被投射パターンの変形を分析することによって物体までの距離を推定する方法である。

また、測距センサ１４が受光したIR光の光量に基づいてIR画像を生成し、所定周期で更新されるIR画像どうしのずれ量を、手振れ補正の補正量として用いることも可能である。

撮像センサ１５は、例えば、CCD(Charge Coupled Device)またはCMOS（Complementary Mental Oxide Semiconductor）センサなどの、２次元の撮像領域を有する撮像素子で構成される。撮像センサ１５は、制御部１１の制御に従い、被写体を撮像し、画像データを生成して、演算処理部１６に供給する。

演算処理部１６は、撮像センサ１５から供給される画像のうち、所定のフォーカス対象エリア内の被写体までの距離を、測距センサ１４から供給される距離情報を用いて算出する。撮像センサ１５の各画素の画素位置と、測距センサ１４の各画素の画素位置との対応関係、換言すれば、撮像センサ１５と測距センサ１４の位置関係は、予め校正されて、記憶部１７に記憶されている。

また、演算処理部１６は、記憶部１７に記憶されている、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUT（ルックアップテーブル）を参照して、フォーカス対象エリア内の被写体までの距離に対応するレンズ制御値を取得し、制御部１１へ供給する。制御部１１は、演算処理部１６から供給されたレンズ制御値を用いて、光学系１２のフォーカスレンズを駆動する。

さらに、演算処理部１６は、撮像センサ１５から供給されるRAW画像に対してデモザイク処理を実行し、さらに、所定のファイル形式の画像データに変換して記憶部１７に記録させる処理なども行う。

記憶部１７は、例えば半導体メモリ等の記憶媒体で構成され、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTを記憶する。また、記憶部１７は、シャッタ操作を行ったタイミングで撮像センサ１５で撮像された撮像画像（以下、記録用画像という。）を記憶する。さらに、記憶部１７は、制御部１１で実行されるプログラムや、撮像センサ１５と測距センサ１４の位置関係を示すキャリブレーション情報なども記憶する。

表示部１８は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、撮像センサ１５で撮像された画像（動画または静止画）を表示する。また、表示部１８は、フォーカス対象エリアを表すAFウインドウなども表示する。表示部１８は、撮像センサ１５で撮像された画像をリアルタイムに表示するライブビュー画像の表示や、記録用画像の表示などを行うことができる。

操作部１９は、例えば、シャッタボタン等のハードウエアキー、表示部１８に積層されたタッチパネルによるソフトウェアキーを含み、ユーザが行う所定の操作を受け付けて、その操作信号を制御部１１に供給する。ユーザは、例えば、表示部１８に表示された撮像画像の所定の位置をタッチし、操作部１９としてのタッチパネルが、ユーザのタッチ位置を検出することにより、撮像画像内のフォーカス対象エリアを特定し、制御部１１に供給する。

図２は、撮像装置１がスマートフォンで構成される場合の測距センサ１４と撮像センサ１５の配置を示す外観図である。

図２では、撮像装置１としてのスマートフォンにおいて、表示部１８（図２では不図示）が配置された面と反対側となる面に、発光部１３、測距センサ１４、及び撮像センサ１５が配置されている。測距センサ１４の上面はカバーガラス５１で覆われており、撮像センサ１５の上面も、カバーガラス５２で覆われている。

測距センサ１４と撮像センサ１５は、図２に示されるように、同一の光軸を有する必要がなく、異なる光学系を有していて構わない。また、図２の例では、測距センサ１４と撮像センサ１５が同一平面上に配置されているが、測距センサ１４と撮像センサ１５は同一平面に配置されなくてもよい。換言すれば、測距センサ１４と撮像センサ１５は、平面方向及び光軸方向のいずれにおいても異なる位置に配置させることができ、相互の位置関係は、キャリブレーション情報として、予め記憶部１７に記憶されている。

以上のように構成される撮像装置１は、コントラスト方式によるフォーカス制御の他、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTを用いて、測距センサ１４で取得された距離情報に対応するレンズ位置にフォーカスレンズを移動させるフォーカス制御（以下、LUTフォーカス制御という。）を行うことができる。

そこで、次に、図３を参照して、LUTフォーカス制御について詳しく説明する。

＜詳細ブロック図＞
図３は、LUTフォーカス制御に関する撮像装置１の詳細ブロック図である。

なお、図３において、図１と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。

図３では、図１の制御部１１が、センサ制御部４１、レンズ制御部４２、及び、レンズ駆動部４３に分かれて構成されており、光学系１２の一部であるフォーカスレンズ４４が示されている。センサ制御部４１とレンズ制御部４２は、それぞれが保有する情報を共有する。

センサ制御部４１は、発光部１３による発光のオンオフを制御するとともに、測距センサ１４によるIR光の受光を制御する。また、センサ制御部４１は、所定のフレームレートで撮像するように撮像センサ１５を制御し、撮像センサ１５が撮像した画像を、プレビュー画像として表示部１８に表示させるとともに、シャッタ操作が行われたタイミングで生成された記録用画像を記憶部１７に記憶させる。

センサ制御部４１は、測距センサ１４がIR光を受光して距離情報を生成するフレームレートが、撮像センサ１５が撮像を行うフレームレート以上となるように、発光部１３、測距センサ１４、及び撮像センサ１５を制御する。これにより、距離情報に基づくフォーカス動作（レンズ移動動作）と撮像タイミングとの時間差を少なくすることができる。撮像センサ１５が撮像を行うフレームレートと、測距センサ１４が距離情報を生成するフレームレートが、同一のフレームレートである場合には、センサ制御部４１は、距離情報生成タイミングの所定時間後が撮像タイミングとなるように動作させ、距離情報生成タイミングと撮像タイミングとの時間差ができるだけ短い時間となるように制御する。

演算処理部１６は、表示部１８に表示されたプレビュー画像に対してユーザが設定したフォーカス対象エリア内の被写体までの距離を、測距センサ１４から供給される距離情報から取得する。そして、演算処理部１６は、記憶部１７に記憶されているLUTを参照して、被写体までの距離に対応するレンズ制御値を決定し、レンズ制御部４２へ供給する。

記憶部１７には、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTが記憶されている。ここで、レンズ制御値は、フォーカスレンズ４４を光軸方向の所定の位置に移動させる制御値であり、フォーカスレンズ４４のレンズ位置に対応する情報（レンズ位置情報）である。また、レンズ制御値と対応付けて記憶する距離情報は、距離そのもののほか、距離に相当するビット値（例えばデプスマップの値）などでもよく、距離を表す情報であればよい。

レンズ制御部４２は、コントラスト方式によるフォーカス制御や、LUTフォーカス制御のため、レンズ駆動部４３を制御する。具体的には、レンズ制御部４２は、フォーカスレンズ４４の現在のレンズ位置（に対応するレンズ制御値）をレンズ駆動部４３から取得したり、フォーカスレンズ４４を所定の位置に移動させる命令をレンズ駆動部４３に供給する。LUTフォーカス制御では、レンズ制御部４２は、LUTに基づいて決定されたレンズ制御値を演算処理部１６から取得し、それをレンズ駆動部４３に供給してレンズ駆動部４３を駆動させる。

レンズ駆動部４３は、レンズ制御部４２から供給されたレンズ制御値となるようにフォーカスレンズ４４を駆動する。フォーカスレンズ４４は、１枚以上のレンズで構成される。

図４のAは、撮像センサ１５で得られた撮像画像の例を示している。

図４のBは、図４のAに示した撮像画像の被写体に対して、測距センサ１４が計測した距離情報を、距離が遠いほど暗い値となるようにグレイスケールで表したデプスマップの例を示している。

制御部１１は、図４のAに示すような撮像センサ１５で得られた撮像画像を、例えば、プレビュー画像や記録用画像として表示部１８に表示させることができ、また、図４のBに示すような測距センサ１４が計測した距離情報に基づくデプスマップも、表示部１８に表示させることができる。

＜第１の撮影モード＞
次に、図５を参照して、撮像装置１が備える第１の撮影モードについて説明する。

撮像装置１の表示部１８には、撮像センサ１５で撮像された画像が、プレビュー画像として表示される。例えば、図４のAに示した電車の画像が撮像されて、表示部１８に表示されているものとする。

ユーザは、表示部１８に表示されたプレビュー画像の所定の位置をタッチし、フォーカス対象エリアとして指定する。例えば、ユーザが電車の正面部分をタッチすると、図５に示されるように、ユーザがタッチした電車の正面部分がフォーカス対象エリアに設定され、AFウインドウ６１が表示される。そして、フォーカス対象エリアにフォーカスが合うように、フォーカスレンズ４４のレンズ位置が駆動される。

このように、第１の撮影モードは、ユーザが指定した撮像画像の所定の位置にフォーカス位置（合焦位置）を合わせて撮影を行う撮影モードである。

図６のフローチャートを参照して、第１の撮影モードにおける撮影処理（第１の撮影処理）について説明する。

この第１の撮影処理は、例えば、撮像装置１の動作モードが第１の撮影モードに設定されたときに開始される。また例えば、撮像装置１の動作モードが第１の撮影モードに設定されている状態で、ユーザがシャッタボタンを半押し状態（半分だけ押下された状態）にするシャッタ操作を行ったとき、第１の撮影処理を開始してもよい。

図６の処理が開始される状態では、撮像センサ１５が所定のフレームレートで撮像し、表示部１８にプレビュー画像を表示している状態であるとする。

初めに、ステップＳ１において、センサ制御部４１は、発光部１３の発光を開始させる。発光部１３は、センサ制御部４１により発光動作の開始が指示された後、第１の撮影処理が終了するまで、所定の発光パターンによる発光動作を継続する。

ステップＳ２において、センサ制御部４１は、測距センサ１４に距離の計測を開始させる。測距センサ１４は、発光部１３が発したIR光を受光し、被写体までの距離を画素単位で計測し、距離情報として演算処理部１６に供給する動作を、第１の撮影処理が終了するまで繰り返す。ここで、測距センサ１４が２次元領域の画素単位で距離情報を計測して演算処理部１６に供給するフレームレートは、撮像センサ１５が撮像画像を撮像するフレームレートよりも短い周期となる。

ユーザが、例えば、表示部１８に表示されたプレビュー画像の所定の位置をタッチすることで、フォーカス対象エリアを指定すると、ステップＳ３において、センサ制御部４１は、表示部１８で指定されたフォーカス対象エリアを取得する。具体的には、表示部１８に積層されたタッチパネルが、ユーザのタッチ位置を検出してセンサ制御部４１に供給し、センサ制御部４１が、ユーザのタッチ位置をフォーカス対象エリアとして取得する。

ステップＳ４において、センサ制御部４１は、取得したフォーカス対象エリアを示す情報を演算処理部１６に供給し、演算処理部１６は、供給された表示部１８のフォーカス対象エリアを、測距センサ１４上のエリアに変換する。即ち、ユーザは表示部１８に表示されたプレビュー画像の所定の位置をフォーカス対象エリアとして指定しており、測距センサ１４と撮像センサ１５は、装置内における取り付け位置が異なるので、キャリブレーション情報として記憶部１７に記憶されている撮像センサ１５と測距センサ１４の位置関係に基づいて、表示部１８上のフォーカス対象エリアの位置が、測距センサ１４上のフォーカス対象エリアの位置に変換される。

ステップＳ５において、演算処理部１６は、測距センサ１４から供給された距離情報のなかから、ユーザによって指定されたフォーカス対象エリアの距離情報を取得する。

ステップＳ６において、演算処理部１６は、記憶部１７に記憶されているLUTを参照して、フォーカス対象エリアの距離情報に対応するレンズ制御値を決定し、レンズ制御部４２に供給する。

ステップＳ７において、レンズ制御部４２は、演算処理部１６から供給されたレンズ制御値をレンズ駆動部４３に供給する。

ステップＳ８において、レンズ駆動部４３は、レンズ制御部４２から供給されたレンズ制御値に基づいてフォーカスレンズ４４を駆動する。これにより、レンズ制御部４２から供給されたレンズ制御値（の位置）となるようにフォーカスレンズ４４が移動される。

ステップＳ９において、センサ制御部４１は、シャッタ操作が行われたかを判定する。例えば、撮像装置１がデジタルカメラである場合には、シャッタ操作として、シャッタボタンが半押し状態から全押し状態となったかが判定される。例えば、撮像装置１がスマートフォンなどである場合には、ライブビュー画像を表示している表示部１８をタップする操作が行われたかが判定される。

ステップＳ９で、シャッタ操作が行われていないと判定された場合、処理はステップＳ３に戻り、上述したステップＳ３乃至Ｓ９の処理、即ち、フォーカス対象エリアの距離情報とLUTとに基づいて、フォーカス対象エリアの被写体にフォーカスが合焦するようにフォーカスレンズ４４を駆動する制御が繰り返される。

そして、ステップＳ９で、シャッタ操作が行われたと判定された場合、処理はステップＳ１０に進み、センサ制御部４１は、シャッタ動作を行わせる。即ち、センサ制御部４１は、シャッタ操作が行われたタイミングにおいて撮像センサ１５が撮像した画像を、記録用画像として、記憶部１７に記憶させ、処理を終了する。

以上のように、第１の撮影処理によれば、ユーザが指定したフォーカス対象エリアの距離情報に対応するレンズ制御値が、記憶部１７に記憶されているLUTから取得され、取得されたレンズ制御値に基づいて、フォーカス対象エリアの被写体にフォーカスが合焦するようにフォーカスレンズ４４が制御される。

発光部１３の光源としてIR光を採用し、測距センサ１４が、ToF方式を用いて被写体までの距離を計測することで、周囲の明るさに関係なく、例えば暗所でも距離情報を高速に取得することができる。

LUTフォーカス制御は、位相差やコントラストを用いないため、撮像センサ１５が撮像した画像に像が無くても合焦させることが可能である。また、被写界深度の極めて浅いフォーカスレンズや暗所でも合焦させることが可能である。従って、本技術のLUTフォーカス制御によれば、環境条件や光学条件に依存することなく、フォーカス制御を行うことができる。

＜第２の撮影モード＞
次に、撮像装置１が備える第２の撮影モードについて説明する。

第２の撮影モードでは、撮像装置１は、距離情報取得部２０の測距機能を使用して、撮像画像内のオブジェクトを識別し、識別されたオブジェクトにフォーカスを追従させる処理を行う。

図７のフローチャートを参照して、第２の撮影モードにおける撮影処理（第２の撮影処理）について説明する。この第２の撮影処理は、例えば、動作モードが第２の撮影モードに設定されたときに開始される。

図７のステップＳ２１乃至Ｓ２３の処理は、図６のステップＳ１乃至Ｓ３の処理と同じであるので、その説明は省略する。

ステップＳ２４において、センサ制御部４１は、取得したフォーカス対象エリアを示す情報を演算処理部１６に供給し、演算処理部１６は、撮像画像のフォーカス対象エリアに存在するオブジェクトを認識する。オブジェクトの認識技術は、公知の物体検出技術を用いることができる。オブジェクトの認識には、測距センサ１４が出力する距離情報を用いることができる。

ステップＳ２５において、演算処理部１６は、記憶部１７に記憶されている撮像センサ１５と測距センサ１４の位置関係に基づいて、認識されたオブジェクトの領域情報を、測距センサ１４上の領域情報に変換する。

ステップＳ２６において、演算処理部１６は、測距センサ１４から供給された距離情報のなかから、オブジェクトの領域に対応する距離情報を取得することにより、オブジェクトの距離情報を取得する。

ステップＳ２７において、演算処理部１６は、記憶部１７に記憶されているLUTを参照して、オブジェクトの距離情報に対応するレンズ制御値を決定し、レンズ制御部４２に供給する。

図７のステップＳ２８乃至Ｓ３１の処理は、図６のステップＳ７乃至Ｓ１０の処理と同じである。

即ち、ステップＳ２８において、レンズ制御部４２は、レンズ制御部４２から供給されたレンズ制御値をレンズ駆動部４３に供給する。

ステップＳ２９において、レンズ駆動部４３は、レンズ制御部４２から供給されたレンズ制御値に基づいてフォーカスレンズ４４を駆動する。

ステップＳ３０において、センサ制御部４１は、シャッタ操作が行われたかを判定する。

ステップＳ３０で、シャッタ操作が行われていないと判定された場合、処理はステップ２４に戻り、上述したステップＳ２４乃至Ｓ３０の処理、即ち、認識したオブジェクトの距離情報とLUTとに基づいて、認識したオブジェクトにフォーカスが合焦するようにフォーカスレンズ４４を駆動する制御が繰り返される。

そして、ステップＳ３０で、シャッタ操作が行われたと判定された場合、処理はステップＳ３１に進み、センサ制御部４１は、シャッタ動作を行わせ、処理を終了する。

以上のように、第２の撮影処理では、表示部１８に表示されたプレビュー画像のなかから、フォーカスを合わせるオブジェクト（被写体）がユーザによって指定され、指定されたオブジェクトにフォーカス位置を追従させるフォーカス制御が行われる。

上述した第１の撮影モードでは、表示部１８に表示されたプレビュー画像で被写体が移動してもフォーカス対象エリアは移動しないが、第２の撮影モードでは、オブジェクトに指定された被写体が移動するとフォーカス対象エリアも移動する。例えば、被写体として多数の人物が存在するような場面において特定の人物にフォーカスを合わせるような場合であっても、ToF方式の測距センサ１４による距離情報出力の高速性と、距離情報の連続性を用いて、予測無しでオブジェクトのフォーカストラッキングが可能となる。

なお、上述した第２の撮影処理は、撮像センサ１５の撮像範囲内でフォーカストラッキングを行う例であるが、例えば、撮像装置１がパン（左右方向の回転移動）・チルト（上下方向の回転移動）する回転機構を備えるか、または、パン・チルトの回転機構を備える雲台と連動する機能を備える場合には、フレームアウトしないようにフォーカストラッキングすることも可能である。

＜第３の撮影モード＞
次に、撮像装置１が備える第３の撮影モードについて説明する。

図８を参照して、第３の撮影モードについて説明する。

図８の上段に示されるように、撮像装置１の前方A1[ｍ]の距離に被写体７１がある。

ユーザは、撮像装置１の操作部１９を操作して、合焦位置として距離情報A2[ｍ]を入力する。撮像装置１のセンサ制御部４１は、ユーザによって入力された距離情報A2[ｍ]を取得し、レンズ制御部４２は、撮像装置１の前方A2[ｍ]の距離でフォーカスが合うように、レンズ駆動部４３を駆動する。

そして、図８の下段に示されるように、被写体７１が、撮像装置１の前方A2[ｍ]の距離に移動してきたとき、撮像装置１は、シャッタ動作を行い、記録用画像を生成する。これにより、前方A2[ｍ]の距離に移動した瞬間の被写体７１を撮像センサ１５が撮像した画像が、記録用画像として記憶部１７に記憶される。

LUTフォーカス制御では、フォーカス制御にLUT化された情報を利用するので、対象物が何もない空間に対しても数値入力で合焦させることができる。また、数値入力によって既に合焦されているので、合焦させる時間が不要であり、高速に横切るような被写体に合焦させる撮影も容易に可能である。

図９のフローチャートを参照して、第３の撮影モードにおける撮影処理（第３の撮影処理）についてさらに説明する。第３の撮影処理は、例えば、動作モードが第３の撮影モードに設定されたときに開始される。

図９のステップＳ４１乃至Ｓ４３の処理は、図６のステップＳ１乃至Ｓ３の処理と同じであるので、その説明は省略する。

ステップＳ４４において、センサ制御部４１は、ユーザが入力した距離情報を取得する。例えば、センサ制御部４１は、表示部１８にフォーカス位置とする距離を入力させる入力画面（入力ダイアログ）を表示させ、そこにユーザが入力した数値を距離情報として取得する。取得された距離情報は、センサ制御部４１から演算処理部１６に供給される。

ステップＳ４５において、演算処理部１６は、記憶部１７に記憶されているLUTを参照して、ユーザによって入力された距離情報に対応するレンズ制御値を決定し、レンズ制御部４２に供給する。

ステップＳ４６において、レンズ制御部４２は、演算処理部１６から供給されたレンズ制御値をレンズ駆動部４３に供給する。

ステップＳ４７において、レンズ駆動部４３は、レンズ制御部４２から供給されたレンズ制御値に基づいてフォーカスレンズ４４を駆動する。換言すれば、フォーカスレンズ４４のレンズ位置がユーザによって入力された距離となるように、フォーカスレンズ４４が駆動される。

ステップＳ４８において、演算処理部１６は、測距センサ１４から供給される距離情報に基づいて、フォーカス対象エリアの距離が、ユーザによって入力された距離と等しいかを判定する。ここで、演算処理部１６は、フォーカス対象エリアの距離が、ユーザによって入力された距離を中心値として所定の範囲内となったとき、フォーカス対象エリアの距離が、ユーザによって入力された距離と等しいと判定する。

ステップＳ４８で、フォーカス対象エリアの距離が、ユーザによって入力された距離と等しいと判定されるまで、ステップＳ４８の処理が繰り返される。

そして、ステップＳ４８で、フォーカス対象エリアの距離が入力された距離と等しいと判定された場合、処理はステップＳ４９に進み、演算処理部１６は、その旨をセンサ制御部４１に通知し、センサ制御部４１は、シャッタ動作を行わせて、処理を終了する。

以上のように、第３の撮影処理によれば、測距センサ１４から供給されるフォーカス対象エリアの距離情報が、ユーザが指定した距離に対応する距離情報となった場合に、シャッタ動作が実行され、記録用画像が生成される。

なお、第３の撮影モードにおいて、フォーカス位置となる距離情報の入力方法は、上述したように、入力画面で数値を直接入力させる方法以外の方法とすることができる。

例えば、図１０に示されるように、表示部１８に表示されたプレビュー画像の第１の位置６２を、ユーザがタッチし、第２の位置６３までドラッグ（表示部１８の表面から指を離さずに移動）した後、タッチした指を表示部１８の表面から離す操作によって、フォーカス位置となる距離情報を入力してもよい。この場合、ユーザが指を離した第２の位置６３がフォーカス対象エリアに設定されてAFウインドウ６１が表示されるとともに、第１の位置６２の距離情報となるようにフォーカスレンズ４４が駆動されて、待機される。そして、測距センサ１４から供給される距離情報に基づいて、AFウインドウ６１がある第２の位置６３の距離情報が、指定した第１の位置６２の距離情報と等しくなった場合、シャッタ動作が行われ、記録用画像が生成される。

このように、数値入力ではなく、プレビュー画像の所定の位置を指定することで距離情報を入力する入力方法とすることで、ユーザがフォーカス位置を合わせたい場所の距離が数値として具体的に分からない場合でも指定することができる。

＜第４の撮影モード＞
次に、撮像装置１が備える第４の撮影モードについて説明する。

第４の撮影モードは、複数枚の記録用画像を生成する連写モードである。第４の撮影モードでは、連写撮影する枚数（例えば、Ｎ枚とする。）、１枚目の撮影を行う被写体までの距離（連写開始位置）、及び、Ｎ枚目の撮影を行う被写体までの距離（連写終了位置）が設定される。

図１１のフローチャートを参照して、第４の撮影モードにおける撮影処理（第４の撮影処理）についてさらに説明する。第４の撮影処理は、例えば、動作モードが第４の撮影モードに設定されたときに開始される。

図１１のステップＳ６１とＳ６２の処理は、図６のステップＳ１とＳ２の処理と同じである。

すなわち、ステップＳ６１において、センサ制御部４１は、発光部１３の発光を開始させ、ステップＳ６２において、センサ制御部４１は、測距センサ１４に距離の計測を開始させる。

ステップＳ６３において、センサ制御部４１は、表示部１８に、連写撮影枚数、連写開始位置、及び、連写終了位置を指定させる指定画面を表示させ、ユーザが指定した連写撮影枚数、連写開始位置、及び、連写終了位置を示す数値を取得する。取得された連写撮影枚数、連写開始位置、及び、連写終了位置は、センサ制御部４１から演算処理部１６に供給される。ここで、連写開始位置及び連写終了位置は、ユーザがマニュアルフォーカス操作を行い、そのレンズ位置をレンズ制御部４２等が読み取ることで指定されてもよい。

ステップＳ６４において、演算処理部１６は、記憶部１７に記憶されているLUTを参照して、ユーザが指定した連写開始位置と連写終了位置に対応するレンズ制御値を取得する。

次に、ステップＳ６５において、演算処理部１６は、ユーザが指定した連写撮影枚数に応じたレンズ移動量を演算し、その演算結果を、連写開始位置と連写終了位置に対応するレンズ制御値とともにレンズ制御部４２に供給する。

ステップＳ６６において、レンズ制御部４２は、演算処理部１６から供給された連写開始位置に対応するレンズ制御値をレンズ駆動部４３に供給し、レンズ駆動部４３は、供給されたレンズ制御値に基づいて、フォーカスレンズ４４を連写開始位置に移動させる。

ステップＳ６７において、センサ制御部４１は、シャッタ動作を行わせ、１枚の記録用画像を作成して、記録部１７に記録させる。

ステップＳ６８において、センサ制御部４１は、ユーザによって指定された撮影枚数の撮影を行ったかを判定する。

ステップＳ６８で、指定された撮影枚数の撮影を行っていないと判定された場合、処理はステップＳ６９に進み、レンズ制御部４２は、レンズ駆動部４３を介して、ステップＳ６５で得られたレンズ移動量だけフォーカスレンズ４４を駆動させる。

ステップＳ６９の後、処理はステップＳ６７に戻り、指定された撮影枚数の撮影を行ったと判定されるまで、ステップＳ６７乃至Ｓ６９の処理が繰り返される。

そして、ステップＳ６８で、指定された撮影枚数の撮影を行ったと判定された場合、第４の撮影処理が終了する。

以上の第４の撮影処理によれば、被写体までの距離を変えて、複数枚の記録用画像を高速に生成することができる。このとき、レンズ制御値に基づいてフォーカス位置が設定されるので、撮像画像に像があるか否かや、テクスチャに関係なく撮影することができる。

＜LUT生成処理＞
記憶部１７に記憶されているLUTは、例えば、撮像装置１の製造時に予め記憶されたものとすることができるが、ユーザ自身でLUTを生成することも可能である。

図１２のフローチャートを参照して、ユーザ自身でLUTを生成するLUT生成処理について説明する。この処理は、例えば、設定画面のLUT生成モードの開始が指示されたとき、実行される。

初めに、ステップＳ８１において、センサ制御部４１は、発光部１３の発光を開始させ、ステップＳ８２において、センサ制御部４１は、測距センサ１４に距離の計測を開始させる。

ステップＳ８３において、センサ制御部４１は、撮像センサ１５に撮像させ、その結果得られた撮像画像を、ライブビュー画像として表示部１８に表示させる。

ユーザは、例えば、表示部１８に表示されたプレビュー画像の所定の位置をタッチすることでフォーカス対象エリアを指定した後、コントラストオートフォーカスを実行させる。

ユーザの操作に対応して、センサ制御部４１は、ステップＳ８４において、ユーザによって指定されたフォーカス対象エリアを取得するとともに、コントラストフォーカス制御を行い、フォーカス対象エリアの被写体にフォーカスを合わせる。なお、ユーザは、コントラストオートフォーカスではなく、マニュアル操作によって、フォーカス対象エリアでフォーカスが合うようにフォーカスレンズ４４を移動させてもよい。

ステップＳ８５において、演算処理部１６は、測距センサ１４から供給された距離情報のなかから、ユーザによって指定されたフォーカス対象エリアの距離情報を取得する。

ステップＳ８６において、レンズ制御部４２は、レンズ駆動部４３を介してフォーカスレンズ４４のレンズ制御値を取得し、演算処理部１６に供給する。

ステップＳ８７において、演算処理部１６は、取得したフォーカス対象エリアの距離情報とレンズ制御値とを対応付けて記憶部１７に一時記憶する。

ステップＳ８８において、演算処理部１６は、ステップＳ８３乃至Ｓ８７の処理を、予め決定された所定回数繰り返し実行したかを判定する。換言すれば、ステップＳ８８では、距離情報とレンズ制御値との対応関係を、予め決定された個数だけ記憶部１７に一時記憶したかを判定する。

ステップＳ８８で、まだ所定回数繰り返し実行していないと判定された場合、処理はステップＳ８３に戻り、上述したステップＳ８３乃至Ｓ８７の処理が再度実行される。

一方、ステップＳ８８で、テップＳ８３乃至Ｓ８７の処理が予め決定された所定回数繰り返し実行されたと判定された場合、処理はステップＳ８９に進み、演算処理部１６は、繰り返し実行したステップＳ８７の処理で記憶部１７に一時記憶した、距離情報とレンズ制御値の複数個の対応関係を１つのLUTとして記憶部１７に記憶させて、処理を終了する。

以上のように、撮像装置１は、LUT生成処理を実行することで、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTを、ユーザ自身で作成することができる。

また、記憶部１７に記憶されているLUTを読み出して、距離情報またはレンズ制御値のいずれか一方を数値入力等によって上書き修正したり、LUT生成処理で取得した距離情報またはレンズ制御値に置き換えることで、記憶部１７に記憶されているLUTを、ユーザ自身が自由に変更することも可能である。

例えば、LUTフォーカス制御のオートフォーカスにおいて、レンズ個体差や撮像装置１の個体差によるフォーカスずれが発生している場合であっても、LUT生成処理を実行してLUTを修正することで、フォーカスずれの微調整を行うことができる。レンズの前ピン、後ピンといったレンズ個体によって生じるフォーカスずれの修正や、経時変化等によるフォーカスずれの修正も、特別な機材を用意することなく、可能である。

＜２．第２の実施形態＞
＜詳細ブロック図＞
図１３は、本技術を適用した撮像装置の第２の実施形態の構成例を示すブロック図である。図１３のブロック図は、第１の実施形態において図３に示した詳細ブロック図に対応する。

第２の実施形態では、上述した第１の実施形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

第２の実施形態を図３に示した第１の実施形態と比較すると、第２の実施形態では、通信部２１が新たに追加されている。

通信部２１は、例えば、USB(Universal Serial Bus)インタフェースや無線LAN（ローカルエリアネットワーク）などの通信インタフェースで構成され、LUTなどのデータを外部装置から取得（受信）したり、撮像装置１で撮影して生成した記録用画像などを外部装置に送信する。

また、第２の実施形態において、記憶部１７には、複数のLUTが記憶されている点が、１個のLUTが記憶されている第１の実施形態と異なる。

記憶部１７に記憶されている複数のLUTの１つは、例えば、撮像装置１に予め用意された（プリインストールされた）LUTであり、他の１つは、上述したLUT生成処理でユーザ自身が作成したLUTである。

また例えば、他のユーザが作成したLUTや、ダウンロードサービスで提供されているLUTなどを、通信部２１を介して取得し、記憶部１７に記憶させることもできる。

複数のLUTが記憶部１７に記憶されている場合、ユーザが操作部１９を操作することにより、使用するLUTを選択し、演算処理部１６は、ユーザが選択したLUTを参照して、被写体までの距離に対応するレンズ制御値を決定し、レンズ制御部４２へ供給する。

あるいはまた、撮像装置１がレンズ交換式のデジタルカメラである場合、装着される交換レンズ（フォーカスレンズ４４を含む）ごとにLUTが記憶部１７に記憶されている。

撮像装置１がレンズ交換式のデジタルカメラである場合、交換レンズがボディ側装置に装着されたとき、ボディ側装置の制御部は、交換レンズとの通信によって、装着された交換レンズを認識することができる。記憶部１７の各LUTには、交換レンズのレンズ識別情報が紐付けられており、演算処理部１６は、装着された交換レンズに対応するLUTを自動で（ユーザの指示なしで）記憶部１７から取得し、LUTフォーカス制御に使用することができる。

＜３．第３の実施形態＞
＜撮像装置の構成例＞
図１４は、本技術を適用した撮像装置の第３の実施形態の構成例を示すブロック図である。図１４のブロック図は、第１の実施形態において図１に示したブロック図に対応する。

第３の実施形態では、上述した第１の実施形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図１４に示される第３の実施形態を第１の実施形態と比較すると、第３の実施形態では、距離情報取得部２０において、発光部１３が省略されており、また、測距センサ１４に代えて、測距センサ８１が設けられている。

上述した第１の実施形態の距離情報取得部２０は、発光部１３が発した光を測距センサ１４が受光することで被写体までの距離を計測する、いわゆるアクティブタイプの測距方式である。

一方、第３の実施形態の距離情報取得部２０は、発光部１３を必要とせずに被写体までの距離を計測する、いわゆるパッシブタイプの測距方式である。

測距センサ８１は、可視光を受光する第１の撮像素子８２Aと第２の撮像素子８２Bを有し、第１の撮像素子８２Aと第２の撮像素子８２Bは、水平方向（横方向）に所定間隔離れて配置されている。測距センサ８１は、第１の撮像素子８２Aと第２の撮像素子８２Bで撮像された２つの画像から、いわゆるステレオカメラ方式により、被写体までの距離を計測する。

なお、測距センサ８１の第１の撮像素子８２Aと第２の撮像素子８２Bは、IR光を受光する撮像素子としてもよい。この場合、周囲の明るさに関係なく、被写体までの距離を計測することができる。

あるいはまた、測距センサ８１は、１つの撮像素子（第１の撮像素子８２Aと第２の撮像素子８２Bのいずれか一方）のみを有し、図１５に示されるように、測距センサ８１を、撮像センサ１５に対して、水平方向（横方向）に所定間隔離れるように配置して、測距センサ８１が、測距センサ８１が捉えた画像と、撮像センサ１５が捉えた画像を用いて、被写体までの距離を計測する構成とすることもできる。

＜詳細ブロック図＞
図１６は、第３の実施形態の詳細ブロック図である。図１６のブロック図は、第１の実施形態において図３に示した詳細ブロック図に対応する。

図１６に示される第３の実施形態の詳細ブロック図を、図３に示した第１の実施形態の詳細ブロック図と比較すると、発光部１３が省略されており、また、測距センサ１４に代えて、測距センサ８１が設けられている。

第３の実施形態においては、発光部１３が省略されているため、センサ制御部４１は、発光部１３の制御が不要である。また、測距センサ８１は、ステレオカメラ方式により被写体までの距離を計測し、その結果を演算処理部１６に供給する。その他は、上述した第１の実施形態と同様である。

以上のように、撮像装置１の距離情報取得部２０は、アクティブタイプの測距方式の他、パッシブタイプの測距方式を用いて、被写体までの距離を計測するものでもよい。

さらに、距離情報取得部２０は、アクティブタイプとパッシブタイプの両方を備えたハイブリットタイプであってもよい。

アクティブタイプは、例えば白い壁など、パッシブタイプでは合焦できないものに対しても、テクスチャに依存せずに合焦させることができる。したがって、距離情報取得部２０の測距方式としては、アクティブタイプか、または、ハイブリッドタイプが好ましい。

また、測距センサ８１と測距センサ１４は、上述した例に限られず、２点以上を同時に測距できるものであればよい。

＜４．デジタルカメラの構成例＞
図２や図１５では、撮像装置１がスマートフォンで構成される場合を例として、測距センサ１４と撮像センサ１５の配置について説明した。

以下では、撮像装置１が、１眼レフのデジタルカメラやミラーレスのデジタルカメラである場合の測距センサ１４と撮像センサ１５の配置について説明する。

図１７は、撮像装置１がミラーレスのデジタルカメラである場合の第１の構成例の概略を示す断面図である。

図１７において、撮像装置１は、着脱可能な交換レンズ１１１と、交換レンズ１１１が装着されるボディ側装置１１２とで構成され、ボディ側装置１１２に、測距センサ１４、撮像センサ１５、及び、可動ミラー１１３を有する。

交換レンズ１１１は、図示せぬフォーカスレンズ４４や絞り等を内蔵して構成され、被写体からの光Lを集光する。

可動ミラー１１３は、平板形状のミラーであり、撮像センサ１５での撮像を行っていないときには、図１７のAに示されるように、右上がりの姿勢になって、交換レンズ１１１を通過した光を、ボディ側装置１１２の上部に反射する。

また、可動ミラー１１３は、撮像センサ１５での撮像を行うときには、図１７のBに示されるように、水平の姿勢になって、交換レンズ１１１を通過した光を、撮像センサ１５に入射させる。

可動ミラー１１３は、図示せぬシャッタボタンが全押し操作されたときに、図１７のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図１７のAに示されるように、右上がりの姿勢になる。

測距センサ１４は、IR光と可視光の両方を受光可能なイメージセンサで構成され、受光したIR光に基づいて距離情報を生成し、出力する。

また、測距センサ１４は、EVF(Electric View Finder)用センサも兼用し、可動ミラー１１３で反射された可視光を受光することにより、図示せぬEVFで表示するEVF用画像を撮像する。

図１７において、撮像センサ１５は、シャッタボタンが全押し操作された場合に、図１７のBに示されるように、交換レンズ１１１からの光を受光して記録用の撮像を行う。

一方、シャッタボタンが全押し操作されていないときには、図１７のAに示されるように、可動ミラー１１３が右上がりの姿勢になり、交換レンズ１１１を通過した光が、可動ミラー１１３で反射され、EVF用センサを兼ねる測距センサ１４に入射する。測距センサ１４は、可動ミラー１１３で反射されたIR光と可視光を受光することにより、IR光に基づいて距離情報を生成し、出力するとともに、EVF用画像を撮像する。

図１８は、撮像装置１がミラーレスのデジタルカメラである場合の第２の構成例の概略を示す断面図である。

なお、図中、図１７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図１８において、撮像装置１は、着脱可能な交換レンズ１１１と、交換レンズ１１１が装着されるボディ側装置１１２とで構成され、ボディ側装置１１２に、測距センサ１４、撮像センサ１５、可動ミラー１１３、及び、EVF用光学系１２１を有する。

したがって、図１８の撮像装置１は、測距センサ１４、撮像センサ１５、可動ミラー１１３を有する点で、図１７の場合と共通し、EVF用光学系１２１が新たに設けられている点で、図１７の場合と相違する。

EVF用光学系１２１は、例えば、光学フィルタやレンズ等の、EVF用センサに固有の光学部品であり、EVF用センサを兼用する測距センサ１４の、光が入射する側に設けられている。したがって、測距センサ１４では、EVF用光学系１２１を通過（経由）した光が受光される。

可動ミラー１１３は、図示せぬシャッタボタンが全押し操作されたときに、図１８のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図１８のAに示されるように、右上がりの姿勢になる。

撮像センサ１５は、シャッタボタンが全押し操作された場合に、図１８のBに示されるように、交換レンズ１１１からの光を受光して記録用の撮像を行う。

一方、シャッタボタンが全押し操作されていないときには、図１８のAに示されるように、可動ミラー１１３が右上がりの姿勢になり、測距センサ１４は、可動ミラー１１３で反射されたIR光と可視光を受光することにより、IR光に基づいて距離情報を生成し、出力するとともに、EVF用画像を撮像する。

図１９は、撮像装置１が１眼レフのデジタルカメラである場合の構成例の概略を示す断面図である。

図１９において、撮像装置１は、着脱可能な交換レンズ１１１と、交換レンズ１１１が装着されるボディ側装置１１２とで構成され、ボディ側装置１１２に、測距センサ１４、撮像センサ１５、可動ハーフミラー１３１、可動ミラー１３２、及び、ペンタプリズム１３３を有する。

したがって、図１９の撮像装置１は、測距センサ１４、撮像センサ１５、及び交換レンズ１１１を有する点で、図１７の場合と共通する。

但し、図１９の撮像装置１は、可動ミラー１１３を有しない点、並びに、可動ハーフミラー１３１、可動ミラー１３２、及び、ペンタプリズム１３３を有する点で、図１７の場合と相違する。

可動ハーフミラー１３１は、光の一部を反射させ、残りの光を通過させる平板形状のミラーであり、例えば、コールドミラーのような、IR光を透過し可視光を反射する光学薄膜をつけた鏡で構成することができる。あるいはまた、可動ハーフミラー１３１は、あたかもバンドパスフィルターのように、波長帯域を選択して反射または透過させることができる光学薄膜をつけた鏡で構成することができる。

可動ハーフミラー１３１は、撮像センサ１５での撮像を行っていないときには、図１９のAに示されるように、右上がりの姿勢になって、交換レンズ１１１を通過した光の一部（可視光）を、ボディ側装置１１２の上部に反射するとともに、残りの光（IR光）を通過させる。

また、可動ハーフミラー１３１は、撮像センサ１５での撮像を行うときには、図１９のBに示されるように、可動ミラー１３２とともに水平の姿勢になって、交換レンズ１１１を通過した光を、撮像センサ１５に入射させる。

可動ハーフミラー１３１は、図示せぬシャッタボタンが全押し操作されたときに、図１９のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図１９のAに示されるように、右上がりの姿勢になる。

可動ミラー１３２は、平板形状のミラーであり、撮像センサ１５での撮像を行っていないときには、図１９のAに示されるように、左上がりの姿勢になって、可動ハーフミラー１３１を通過した光を、ボディ側装置１１２の下部に反射し、測距センサ１４に入射させる。可動ミラー１３２には、バンドパスフィルターのように波長帯域を選択して反射させることができる光学薄膜をつけても構わない。

また、可動ミラー１３２は、撮像センサ１５での撮像を行うときには、図１９のBに示されるように、可動ハーフミラー１３１とともに水平の姿勢になって、交換レンズ１１１を通過した光を、撮像センサ１５に入射させる。

可動ミラー１３２は、図示せぬシャッタボタンが全押し操作されたときに、図１９のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図１９のAに示されるように、左上がりの姿勢になる。

ペンタプリズム１３３は、可動ハーフミラー１３１で反射された光を適切に反射して、ユーザの眼に導く。ユーザは、撮像センサ１５で撮像される像（画像）を確認することができる。

図１９の撮像装置１では、シャッタボタンが全押し操作されていないときには、図１９のAに示されるように、可動ハーフミラー１３１は、右上がりの姿勢になり、可動ミラー１３２は、左上がりの姿勢になる。その結果、交換レンズ１１１を通過したIR光は、可動ハーフミラー１３１を通過し、可視光は、可動ハーフミラー１３１で反射される。可動ハーフミラー１３１で反射された可視光は、さらに、ペンタプリズム１３３で反射され、ユーザの眼に入射される。

一方、可動ハーフミラー１３１を通過したIR光は、可動ミラー１３２で反射され、測距センサ１４に入射される。測距センサ１４は、可動ミラー１３２で反射されたIR光を受光することにより、IR光に基づいて距離情報を生成し、出力する。

撮像センサ１５は、シャッタボタンが全押し操作された場合に、図１９のBに示されるように、交換レンズ１１１からの光を受光して記録用の撮像を行う。

図１７乃至図１９で示した、撮像装置１が１眼レフのデジタルカメラやミラーレスのデジタルカメラである場合の構成例では、測距センサ１４と撮像センサ１５が同一の光軸を有する場合の配置例であったが、１眼レフのデジタルカメラやミラーレスのデジタルカメラの場合であっても、測距センサ１４と撮像センサ１５は、同一の光軸を有する必要はなく、３次元的に配置させることが可能である（平面方向及び光軸方向のいずれにおいても異なる位置に配置させることができる）。例えば、測距センサ１４を、レンズ鏡筒内やレンズ鏡筒外周、カメラ筐体外部等に配置してもよく、測距センサ１４が生成する距離情報や、測距センサ１４に供給される制御情報などの各種の情報の送受信が可能であれば、別筐体であっても構わない。

あるいはまた、測距センサ１４と撮像センサ１５は、いずれも撮像素子で構成することができるので、図２０に示されるように、測距センサ１４を第１の基板１５１に形成し、撮像センサ１５を第２の基板１５２に形成して、第１の基板１５１と第２の基板１５２を積層した構成とすることもできる。また、積層する場合の第１の基板１５１と第２の基板１５２の上下関係は、図２０の逆でもよい。

さらには、１枚の基板内に撮像センサ１５としての光電変換部を形成し、同じ基板の上側に、IR光を受光する光電変換部を形成することで、１枚の基板に測距センサ１４と撮像センサ１５を形成することも可能である。EVF用センサを兼用する測距センサ１４も、同様に、１枚の基板内にEVF用センサとしての光電変換部を形成し、同じ基板の上側に、IR光を受光する光電変換部を形成することで実現できる。

＜５．本技術を適用したコンピュータの説明＞
上述した制御部１１や演算処理部１６等が行う一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等のコンピュータにインストールされる。

図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。

CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。

これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。

なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

本技術は、フォーカスレンズ４４を、モータを使って所定のレンズ位置に駆動する制御を行う撮像装置全般に適用することができる。

＜６．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１等を用いて説明した各実施形態に係る撮像装置１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した図２２の車両制御システム７０００において、図１等を用いて説明した各実施形態に係る撮像装置１の撮像センサ１５および距離情報取得部２０は、撮像部７４１０および車外情報検出部７４２０に相当する。また、撮像装置１の制御部１１および演算処理部１６は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当し、撮像装置１の記憶部１７、表示部１８は、それぞれ、統合制御ユニット７６００の記憶部７６９０、表示部７７２０に相当する。例えば、記憶部７６９０には、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTが記憶されており、マイクロコンピュータ７６１０が、撮像部７４１０によって撮像された画像から算出された距離情報に基づいて、撮像部７４１０の光学系を制御するLUTフォーカス制御を行うことができる。本開示の技術を車両制御システム７０００に適用することにより、例えば環境条件や光学条件に依存することなく、撮像部７４１０のフォーカス制御を行うことができる。

また、図１等を用いて説明した撮像装置１の少なくとも一部の構成要素は、図２２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１等を用いて説明した撮像装置１は、図２２に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

本技術の実施形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

上述した各実施形態において、センサ制御部４１が行った制御の一部は、レンズ制御部４２が行ってもよいし、反対に、レンズ制御部４２が行った制御の一部を、センサ制御部４１が行ってもよい。

上述した複数の実施形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する制御部と
を備える撮像装置。
（２）
前記制御部は、さらに、前記距離情報取得部で取得された距離情報に基づいて、シャッタ動作を制御する
前記（１）に記載の撮像装置。
（３）
前記制御部は、前記物体までの距離が所定距離範囲内になった場合に、前記シャッタ動作を行わせる
前記（２）に記載の撮像装置。
（４）
前記フォーカスレンズのレンズ位置情報は、前記レンズ駆動部に供給されるレンズ制御値である
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記距離情報取得部は、前記撮像素子とは異なる位置に配置されている
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記距離情報取得部は、光を発する発光部と、前記光を受光する受光部とを有し、
前記発光部が発した前記光が前記物体に反射して返ってくるまでの経過時間に基づいて、前記物体までの距離情報を取得する
前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
前記受光部が受光するフレームレートは、前記撮像素子のフレームレート以上である
前記（６）に記載の撮像装置。
（８）
前記受光部は、前記撮像素子と積層されて配置されている
前記（６）または（７）に記載の撮像装置。
（９）
前記発光部は、赤外光を発光する
前記（６）乃至（８）のいずれかに記載の撮像装置。
（１０）
前記距離情報取得部は、所定の間隔離れて配置された２個の撮像素子で構成される
前記（１）乃至（４）のいずれかに記載の撮像装置。
（１１）
前記制御部は、前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づく前記レンズ駆動部の制御を、所定の時間間隔で繰り返し実行する
前記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）
ユーザの操作を受け付ける操作部をさらに備え、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、前記ユーザの操作に基づいて、前記記憶部に記憶されている複数の前記ルックアップテーブルのなかから選択された前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
前記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）
前記撮像装置は、レンズ交換式の撮像装置であり、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、複数の前記ルックアップテーブルのなかから、装着された前記フォーカスレンズに対応する前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
前記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）
ユーザによる前記距離情報の入力を受け付ける操作部をさらに備え、
前記制御部は、前記ユーザが入力した前記距離情報に基づいて前記ルックアップテーブルを作成し、前記記憶部に記憶させる
前記（１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
外部装置と所定のデータを通信する通信部をさらに備え、
前記制御部は、前記通信部を介して取得した前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
前記（１）乃至（１４）のいずれかに記載の撮像装置。
（１６）
前記制御部は、さらに、前記距離情報取得部によって得られた前記距離情報に基づいて、デプスマップを表示部に表示させる制御を行う
前記（１）乃至（１５）のいずれかに記載の撮像装置。
（１７）
所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置が、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する
撮像制御方法。
（１８）
所定の撮像領域を有する撮像素子と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置のコンピュータに、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置を制御する
処理を実行させるためのプログラム。
（１９）
所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記ルックアップテーブルに基づいて、前記レンズ駆動部を制御するレンズ位置制御部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報に基づいて、撮像に関する制御を実行する撮像制御部と
を備える撮像装置。

１撮像装置，１１制御部，１２光学系，１３発光部，１４測距センサ，１５撮像センサ，１６演算処理部，１７記憶部，１８表示部，１９操作部，２０距離情報取得部，２１通信部，４１センサ制御部，４２レンズ制御部，４３レンズ駆動部，４４フォーカスレンズ，８１測距センサ，８２A 第１の撮像素子，８２B 第２の撮像素子，２０２ CPU，２０３ ROM，２０４ RAM，２０５ハードディスク，２０６出力部，２０７入力部，２０８通信部，２０９ドライブ

Claims

所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する制御部と
を備える撮像装置。
前記制御部は、さらに、前記距離情報取得部で取得された距離情報に基づいて、シャッタ動作を制御する
請求項１に記載の撮像装置。
前記制御部は、前記物体までの距離が所定距離範囲内になった場合に、前記シャッタ動作を行わせる
請求項２に記載の撮像装置。
前記フォーカスレンズのレンズ位置情報は、前記レンズ駆動部に供給されるレンズ制御値である
請求項１に記載の撮像装置。
前記距離情報取得部は、前記撮像素子とは異なる位置に配置されている
請求項１に記載の撮像装置。
前記距離情報取得部は、光を発する発光部と、前記光を受光する受光部とを有し、
前記発光部が発した前記光が前記物体に反射して返ってくるまでの経過時間に基づいて、前記物体までの距離情報を取得する
請求項１に記載の撮像装置。
前記受光部が受光するフレームレートは、前記撮像素子のフレームレート以上である
請求項６に記載の撮像装置。
前記受光部は、前記撮像素子と積層されて配置されている
請求項６に記載の撮像装置。
前記発光部は、赤外光を発光する
請求項６に記載の撮像装置。
前記距離情報取得部は、所定の間隔離れて配置された２個の撮像素子で構成される
請求項１に記載の撮像装置。
前記制御部は、前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づく前記レンズ駆動部の制御を、所定の時間間隔で繰り返し実行する
請求項１に記載の撮像装置。
ユーザの操作を受け付ける操作部をさらに備え、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、前記ユーザの操作に基づいて、前記記憶部に記憶されている複数の前記ルックアップテーブルのなかから選択された前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
請求項１に記載の撮像装置。
前記撮像装置は、レンズ交換式の撮像装置であり、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、複数の前記ルックアップテーブルのなかから、装着された前記フォーカスレンズに対応する前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
請求項１に記載の撮像装置。
ユーザによる前記距離情報の入力を受け付ける操作部をさらに備え、
前記制御部は、前記ユーザが入力した前記距離情報に基づいて前記ルックアップテーブルを作成し、前記記憶部に記憶させる
請求項１に記載の撮像装置。
外部装置と所定のデータを通信する通信部をさらに備え、
前記制御部は、前記通信部を介して取得した前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
請求項１に記載の撮像装置。
前記制御部は、さらに、前記距離情報取得部によって得られた前記距離情報に基づいて、デプスマップを表示部に表示させる制御を行う
請求項１に記載の撮像装置。
所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置が、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する
撮像制御方法。
所定の撮像領域を有する撮像素子と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置のコンピュータに、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置を制御する
処理を実行させるためのプログラム。
所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記ルックアップテーブルに基づいて、前記レンズ駆動部を制御するレンズ位置制御部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報に基づいて、撮像に関する制御を実行する撮像制御部と
を備える撮像装置。