JP7517335B2 - 信号処理装置、信号処理方法、および、測距モジュール - Google Patents

Description

本技術は、信号処理装置、信号処理方法、および、測距モジュールに関し、特に、適切な露出制御を行うことができるようにした信号処理装置、信号処理方法、および、測距モジュールに関する。

間接ToF（Time of Flight）方式を利用した測距センサが知られている。間接ToF方式の測距センサでは、測定対象物にあたって反射されてきた反射光を受光することで得られる信号電荷を２つの電荷蓄積領域に振り分け、それらの信号電荷の配分比から距離が算出される。このような測距センサにおいて、裏面照射型とすることで、受光特性を向上させたものが提案されている（例えば、特許文献１参照）。

国際公開第２０１８／１３５３２０号

反射光を受光する測距センサにおいては、太陽光などの環境光や発光源の光量が受光量に影響を及ぼすため、距離を正確に測定するためには、適切な露出制御が求められる。

本技術は、このような状況に鑑みてなされたものであり、適切な露出制御を行うことができるようにするものである。

本技術の第１の側面の信号処理装置は、発光部からの光が物体で反射した反射光を受光した受光センサの検出信号から、間接ToF法による前記物体までの距離を画素値として格納したデプスマップと、画素で受光した前記反射光の大きさを画素値として格納した信頼度マップとを生成する距離画像信頼度算出部と、前記デプスマップにおける距離のヒストグラムを算出する統計量算出部と、前記ヒストグラムと前記信頼度マップを用いて、前記受光センサの全画素のSN比の平均値を評価値として算出する評価値算出部と、前記発光部の光源の発光量と前記受光センサの露光時間とを含む露出制御パラメータであって、前記評価値が最大となる前記露出制御パラメータを決定するパラメータ決定部とを備える。

本技術の第２の側面の信号処理方法は、信号処理装置が、発光部からの光が物体で反射した反射光を受光した受光センサの検出信号から、間接ToF法による前記物体までの距離を画素値として格納したデプスマップと、画素で受光した前記反射光の大きさを画素値として格納した信頼度マップとを生成することと、前記デプスマップにおける距離のヒストグラムを算出することと、前記ヒストグラムと前記信頼度マップを用いて、前記受光センサの全画素のSN比の平均値を評価値として算出することと、前記発光部の光源の発光量と前記受光センサの露光時間とを含む露出制御パラメータであって、前記評価値が最大となる前記露出制御パラメータを決定することとを含む。

本技術の第３の側面の測距モジュールは、光源を所定の周波数で発光させる発光部と、前記発光部からの光が物体で反射した反射光を受光する受光センサと、前記反射光を受光した前記受光センサの検出信号から、間接ToF法による前記物体までの距離を画素値として格納したデプスマップと、画素で受光した前記反射光の大きさを画素値として格納した信頼度マップとを生成する距離画像信頼度算出部と、前記デプスマップにおける距離のヒストグラムを算出する統計量算出部と、前記ヒストグラムと前記信頼度マップを用いて、前記受光センサの全画素のSN比の平均値を評価値として算出する評価値算出部と、前記発光部の光源の発光量と前記受光センサの露光時間とを含む露出制御パラメータであって、前記評価値が最大となる前記露出制御パラメータを決定するパラメータ決定部とを備える。

本技術の第１乃至第３の側面においては、発光部からの光が物体で反射した反射光を受光した受光センサの検出信号から、間接ToF法による前記物体までの距離を画素値として格納したデプスマップと、画素で受光した前記反射光の大きさを画素値として格納した信頼度マップとが生成され、前記デプスマップにおける距離のヒストグラムが算出され、前記ヒストグラムと前記信頼度マップを用いて、前記受光センサの全画素のSN比の平均値が評価値として算出され、前記発光部の光源の発光量と前記受光センサの露光時間とを含む露出制御パラメータであって、前記評価値が最大となる前記露出制御パラメータが決定される。

信号処理装置及び測距モジュールは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。

本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。 Indirect ToF方式における画素の動作を説明する図である。 ４Phaseによる検出方式を説明する図である。 ４Phaseによる検出方式を説明する図である。 ２Phase方式と４Phase方式によるデプス値と信頼度の算出方法を説明する図である。 輝度値ｌと分散σ^２(ｌ)の関係を示す図である。 距離に応じたSN比を示す図である。 露出制御パラメータを決定する際の評価指標を説明する図である。 評価値Eの探索を説明する図である。 信号処理部の第１の構成例を示すブロック図である。 第１のデプスマップ生成処理を説明するフローチャートである。 信号処理部の第２の構成例を示すブロック図である。 第２の構成例で採用するSN比を説明する図である。 第２の構成例で採用する評価指標を説明する図である。 複数のSNRの例を示す図である。 SNRの等高線を示す図である。 第２のデプスマップ生成処理を説明するフローチャートである。 信号処理部の第３の構成例を示すブロック図である。 制約条件下の露出制御パラメータの探索を説明する図である。 第３のデプスマップ生成処理を説明するフローチャートである。 信号処理部の第４の構成例を示すブロック図である。 注目領域の設定を説明する図である。 第４のデプスマップ生成処理を説明するフローチャートである。 本技術を適用した電子機器の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距モジュールの構成例
２．Indirect ToF方式の画素動作
３．信号処理部の露出制御パラメータの算出方法
４．信号処理部の第１の構成例
５．第１のデプスマップ生成処理
６．信号処理部の第２の構成例
７．第２のデプスマップ生成処理
８．信号処理部の第３の構成例
９．第３のデプスマップ生成処理
１０．信号処理部の第４の構成例
１１．第４のデプスマップ生成処理
１２．第１の変形例
１３．第２の変形例
１４．第３の変形例
１５．まとめ
１６．電子機器の構成例
１７．コンピュータの構成例
１８．移動体への応用例

＜１．測距モジュールの構成例＞
図１は、本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。

図１に示される測距モジュール１１は、Indirect ToF方式による測距を行う測距モジュール（ToFモジュール）であり、発光部１２、発光制御部１３、受光部１４、および信号処理部１５を有する。測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射した光（反射光）を受光することにより、物体までの距離情報としてのデプスマップ（距離画像）と、輝度情報としての信頼度マップ（信頼度画像）とを生成して出力する。

発光部１２は、例えば、光源として赤外線レーザダイオードなどを有し、発光制御部１３による制御に従って、発光制御部１３から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。

発光制御部１３は、光源を発光させるときの周波数（例えば、20MHzなど）と発光量とを制御する発光制御信号を発光部１２に供給することにより、発光部１２の発光を制御する。また、発光部１２における発光のタイミングに合わせて受光部１４を駆動させるために、発光制御部１３は、受光部１４にも発光制御信号を供給する。

受光部１４には、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素２１が行方向および列方向の行列状に２次元配置された画素アレイ部２２が設けられており、画素アレイ部２２の周辺領域に駆動制御回路２３が配置されている。受光部１４は、反射光を受光する受光センサであり、ToFセンサとも呼ばれる。

受光部１４は、複数の画素２１が２次元配置された画素アレイ部２２で、物体からの反射光を受光する。そして、受光部１４は、画素アレイ部２２の各画素２１が受光した反射光の光量に応じた検出信号を画素データとして信号処理部１５に供給する。

駆動制御回路２３は、例えば、発光制御部１３から供給される発光制御信号などに基づいて、画素２１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。

画素２１は、フォトダイオード３１と、フォトダイオード３１で光電変換された電荷を検出する第１タップ３２Aおよび第２タップ３２Bとを有する。画素２１では、１つのフォトダイオード３１で発生した電荷が、第１タップ３２Aまたは第２タップ３２Bに振り分けられる。そして、フォトダイオード３１で発生した電荷のうち、第１タップ３２Aに振り分けられた電荷が信号線３３Aから検出信号Aとして出力され、第２タップ３２Bに振り分けられた電荷が信号線３３Bから検出信号Bとして出力される。

第１タップ３２Aは、転送トランジスタ４１A、FD（Floating Diffusion）部４２A、選択トランジスタ４３A、およびリセットトランジスタ４４Aにより構成される。同様に、第２タップ３２Bは、転送トランジスタ４１B、FD部４２B、選択トランジスタ４３B、およびリセットトランジスタ４４Bにより構成される。

信号処理部１５は、画素アレイ部２２の画素２１ごとに、受光部１４から供給される画素データに基づいて、測距モジュール１１から物体までの距離であるデプス値を算出する。さらに、信号処理部１５は、画素アレイ部２２の各画素２１の画素値としてデプス値（奥行き情報）が格納されたデプスマップを生成して出力する。また、信号処理部１５は、画素アレイ部２２の各画素２１について、算出したデプス値の信頼度も算出し、画素アレイ部２２の各画素２１の画素値として信頼度（輝度情報）を格納した信頼度マップを生成して出力する。

また、信号処理部１５は、得られたデプスマップと信頼度マップから、反射光を次に受光するときの最適な露出制御パラメータを算出し、発光制御部１３に供給する。発光制御部１３は、信号処理部１５からの露出制御パラメータに基づいて発光制御信号を生成する。

＜２．Indirect ToF方式の画素動作＞
図２を参照して、Indirect ToF方式における画素２１の動作について説明する。

図２に示されるように、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が発光部１２から出力され、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード３１において反射光が受光される。また、振り分け信号DIMIX_Aは、転送トランジスタ４１Aのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ４１Bのオン／オフを制御する。振り分け信号DIMIX_Aは、照射光と同一位相の信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相となっている。

従って、フォトダイオード３１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ４１Aがオンとなっている間ではFD部４２Aに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ４１Bがオンとなっている間ではFD部４２Bに転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ４１Aを介して転送された電荷はFD部４２Aに順次蓄積され、転送トランジスタ４１Bを介して転送された電荷はFD部４２Bに順次蓄積される。

そして、電荷を蓄積する期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ４３Aがオンとなると、FD部４２Aに蓄積されている電荷が信号線３３Aを介して読み出され、その電荷量に応じた検出信号Aが受光部１４から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ４３Bがオンとなると、FD部４２Bに蓄積されている電荷が信号線３３Bを介して読み出され、その電荷量に応じた検出信号Bが受光部１４から出力される。また、FD部４２Aに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ４４Aがオンになると排出され、FD部４２Bに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ４４Bがオンになると排出される。

このように、画素２１は、フォトダイオード３１が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第１タップ３２Aまたは第２タップ３２Bに振り分けて、検出信号Aおよび検出信号Bを出力する。そして、遅延時間ΔTは、発光部１２で発光した光が物体まで飛行し、物体で反射した後に受光部１４まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距モジュール１１は、検出信号Aおよび検出信号Bに基づき、遅延時間ΔTに従って物体までの距離（デプス値）を求めることができる。

ただし、画素アレイ部２２では、個々の画素２１が有するフォトダイオード３１や転送トランジスタ４１等の画素トランジスタの各素子の特性のズレ（感度差）によって、画素２１ごとに異なる影響が検出信号Aおよび検出信号Bに与えられる場合がある。そのため、Indirect ToF方式の測距モジュール１１では、同一の画素２１で位相を変えて反射光を受光した検出信号Aおよび検出信号Bを取得することにより、各画素のタップ間の感度差を除去し、SN比を向上させる手法が採用される。

位相を変えて反射光を受光し、デプス値を算出する方式として、例えば、２Phaseによる検出方式（２Phase方式）と、４Phaseによる検出方式（４Phase方式）とについて説明する。

受光部１４は、図３に示されるように、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。より具体的には、受光部１４は、あるフレーム期間では、照射光の照射タイミングに対して位相を０°にして受光し、次のフレーム期間では、位相を９０°にして受光し、次のフレーム期間では、位相を１８０°にして受光し、次のフレーム期間では、位相を２７０°にして受光する、というように、時分割で位相を変えて反射光を受光する。

図４は、０°、９０°、１８０°、および、２７０°の各位相における画素２１の第１タップ３２Aの露光期間を、位相差が分かり易いように並べて示した図である。

図４に示されるように、第１タップ３２Aにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Aを検出信号A_０、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Aを検出信号A_９０、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Aを検出信号A_１８０、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Aを検出信号A_２７０、と呼ぶことにする。

また、図示は省略するが、第２タップ３２Bにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Bを検出信号B_０、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Bを検出信号B_９０、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Bを検出信号B_１８０、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Bを検出信号B_２７０、と呼ぶことにする。

図５は、２Phase方式と４Phase方式によるデプス値と信頼度の算出方法を説明する図である。

Indirect ToF方式において、デプス値dは、次式（１）で求めることができる。

式（１）のｃは光速であり、ΔTは遅延時間であり、fは光の変調周波数を表す。また、式（１）のφは、反射光の位相ずれ量[rad]を表し、次式（２）で表される。

４Phase方式では、式（２）のI,Qが、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A_０乃至A_２７０および検出信号B_０乃至B_２７０を用いて、次式（３）で計算される。I,Qは、照射光の輝度変化をcos波と仮定し、cos波の位相を極座標から直交座標系（IQ平面）に変換した信号である。
I＝ｃ_０－ｃ_１８０＝（A_０－B_０）－（A_１８０－B_１８０）
Q＝ｃ_９０－ｃ_２７０＝（A_９０－B_９０）－（A_２７０－B_２７０）
・・・・・・・・・・（３）

４Phase方式では、例えば、式（３）の“A_０－A_１８０”や“A_９０－A_２７０”のように、同じ画素での逆位相の検出信号の差分を取ることで、各画素に存在するタップ間の特性ばらつき、すなわち、タップ間の感度差を除去することができる。

一方、２Phase方式では、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A_０乃至A_２７０および検出信号B_０乃至B_２７０のうち、直交関係にある２つの位相のみを用いて、物体までのデプス値dを求めることができる。例えば、位相０°の検出信号A_０およびB_０と、位相９０°の検出信号A_９０およびB_９０を用いた場合、式（２）のI,Qは次式（４）となる。
I＝ｃ_０－ｃ_１８０＝（A_０－B_０）
Q＝ｃ_９０－ｃ_２７０＝（A_９０－B_９０） ・・・・・・・・・・（４）

例えば、位相１８０°の検出信号A_１８０およびB_１８０と、位相２７０°の検出信号A_２７０およびB_２７０を用いた場合、式（２）のI,Qは次式（５）となる。
I＝ｃ_０－ｃ_１８０＝－（A_１８０－B_１８０）
Q＝ｃ_９０－ｃ_２７０＝－（A_２７０－B_２７０） ・・・・・・・・・・（５）

２Phase方式では、各画素に存在するタップ間の特性ばらつきは除去することができないが、２つの位相の検出信号のみで物体までのデプス値dを求めることができるので、４Phase方式の２倍のフレームレートで測距を行うことができる。タップ間の特性ばらつきは、ゲインやオフセット等の補正パラメータで調整することができる。

信頼度cnfは、２Phase方式および４Phase方式のいずれにおいても、次式（６）で求められ。

式（６）から分かるように、信頼度cnfは、画素２１で受光した反射光の大きさ、即ち輝度情報（輝度値）に相当する。

本実施の形態において、測距モジュール１１は、４Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号と、２Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号のいずれを用いてデプス値dおよび信頼度cnfを用いるかは問わない。４Phase方式または２Phase方式のいずれか一方が固定的に用いられてもよいし、例えば、物体の動き等に応じて適切に選択またはブレンドする方法でもよい。以下では、簡単のため、４Phase方式が採用されることとする。

なお、以下では、１枚のデプスマップを出力するための単位を１フレーム（期間）と称し、０°、９０°、１８０°、または、２７０°の各位相の画素データ（検出信号）を生成する単位をマイクロフレーム（期間）と称する。４Phase方式では、１フレームが４マイクロフレームで構成され、２Phase方式の場合には、１フレームが２マイクロフレームで構成される。また、以下の説明では、理解を容易にするため、デプス値ｄを距離ｄと称する場合がある。

＜３．信号処理部の露出制御パラメータの算出方法＞
測距モジュール１１の信号処理部１５は、上述したように、４Phase方式による反射光の受光結果に基づいてデプスマップと信頼度マップを生成して出力するとともに、得られたデプスマップと信頼度マップから、次に反射光を受光するときの最適な露出制御パラメータを算出し、発光制御部１３に供給する。

そこで、次に、図６乃至図９を参照して、信号処理部１５による露出制御パラメータの算出方法について説明する。

まず、受光センサとしての受光部１４の各画素２１で観測される輝度値ｌには、平均が０、分散がσ^２(ｌ)となる正規分布で表現される加法性ノイズ（光ショットノイズ）が生じることを仮定する。分散σ^２(ｌ)は、次式（７）で表される。
σ^２(ｌ)＝ａ・ｌ＋ｂ ・・・・・・・・・・（７）
ここで、ａ，ｂは、受光部１４のゲインなどの駆動パラメータによって決定される値であり、例えば、事前のキャリブレーションにより求めることができる。

図６は、次式（７）で表現される輝度値ｌと分散σ^２(ｌ)の関係を示している。図６にも表れているように、輝度値ｌが大きくなるに従い、分散σ^２(ｌ)も大きくなる。

また、Indirect ToF方式は、自発光光源の光を反射光として受光する方式であり、光の強度が距離の２乗に反比例する性質から、所定の距離に存在する物体の輝度値が、どのような値になるかを予め見積もることができる。

例えば、距離dにおける輝度値ｌ（ｒ，ｐ，ｔ，ｄ）は、下記の式（８）のモデルで表すことができる。

式（８）において、ｄは距離を表し、ｒは物体の反射率、ｐは発光部１２の光源の発光量、ｔは、受光部１４の画素２１の露光時間（蓄積時間）を表す。係数Ａ（ｒ，ｐ，ｔ）は、反射率ｒ、発光量ｐ、および、露光時間ｔに線形となる係数であり、offsetは、オフセット定数である。

距離dに存在する物体の輝度情報は、式（８）の輝度値ｌ（ｒ，ｐ，ｔ，ｄ）で見積もることができ、輝度情報に応じた分散は、式（７）のσ^２(ｌ)で表すことができることから、距離dに応じたSN比であるSNR(ｄ)は、輝度情報を用いて、次の式（９）で表される。

ただし、物体までの距離が近い場合には、検出信号が飽和し、正確な信号を取得することができない。そのため、飽和を考慮すると、SNR(ｄ)は、式（９）’のように表すことができる。

図７は、式（９）’のSNR(ｄ)の例を示している。図７のSNR(ｄ)において飽和状態と判定する距離d_satは、例えば、受光部１４の飽和電荷量等のセンサ性能に応じて決定することができる。

ここで、信号処理部１５は、受光部１４の最適な露出制御パラメータを決定する際の評価値Eとして、受光部１４の全画素のSNR(ｄ)の平均値を採用することとすると、評価値Eは、図８に示されるように、受光部１４全体における距離ｄの出現頻度p(ｄ)と、距離ｄに応じたSNR(ｄ)とを畳み込んだ式で表すことができる。換言すれば、評価値Eは、次式（１０）の、１フレームで検出された距離ｄについての出現頻度p(ｄ)とSNR(ｄ)との積和で表すことができる。

式（１０）によれば、現在の露出制御パラメータで反射光を受光したときに期待されるSN比がわかる。したがって、信号処理部１５が、式（１０）の評価値Eが最大となる露出制御パラメータを探索することで、最適な露出制御パラメータを算出することができる。

図９は、露出制御パラメータとして、露光時間ｔを固定とし、発光部１２の光源の発光量ｐを逐次的に変更した場合の評価値Eの変移を示している。評価値Eが最大となる発光量ｐと、露光時間ｔとが、最適な露出制御パラメータとなる。

＜４．信号処理部の第１の構成例＞
図１０は、上述した露出制御パラメータの最適値を探索する処理を実行する信号処理部１５の第１の構成例を示すブロック図である。なお、図１０では、測距モジュール１１のその他の構成も併せて示している。

信号処理部１５は、距離画像・信頼度算出部６１、統計量算出部６２、評価値算出部６３、評価指標記憶部６４、パラメータ決定部６５、および、パラメータ保持部６６により構成される。信号処理部１５は、１つの信号処理チップまたは信号処理装置で構成することができる。また、発光制御部１３と信号処理部１５とを１つの信号処理チップまたは信号処理装置で構成してもよいし、受光部１４と信号処理部１５とを１つの信号処理チップまたは信号処理装置で構成してもよい。

距離画像・信頼度算出部６１は、受光部１４から供給される各画素２１の画素データ（検出信号AおよびB）に基づいて、各画素２１の距離dおよび信頼度cnfを算出する。各画素の距離dおよび信頼度cnfの算出方法は、上述した通りである。

距離画像・信頼度算出部６１は、各画素２１の距離dを画素アレイ部２２の画素値として格納したデプスマップ（距離画像）と、各画素２１の信頼度cnfを画素アレイ部２２の画素値として格納した信頼度マップ（信頼度画像）を生成し、外部に出力する。

また、距離画像・信頼度算出部６１は、距離情報としてのデプスマップと、輝度情報としての信頼度マップとを、統計量算出部６２にも供給する。

統計量算出部６２は、距離画像・信頼度算出部６１から供給される１枚のデプスマップから、デプスマップの統計量を算出する。具体的には、統計量算出部６２は、図８に示した距離ｄの出現頻度（度数）を画素アレイ部２２の全画素についてカウントした、距離ｄのヒストグラムを生成し、評価値算出部６３に供給する。

評価値算出部６３は、評価指標記憶部６４により供給される評価指標に従い、現在の露出制御パラメータにおける評価値を算出する。具体的には、評価値算出部６３は、評価指標として評価指標記憶部６４から供給された式（１０）に基づく評価値Eを算出し、その結果を、パラメータ決定部６５に供給する。

評価指標記憶部６４は、評価指標としての式（１０）の評価値Eの演算式と、距離dに応じたSNRを表す式（９）’とを記憶し、評価値算出部６３に供給する。式（１０）の評価値Eは、デプスマップの統計量と、信頼度マップとを用いて算出される値であり、より具体的には、距離ｄの出現頻度p(ｄ)と、距離ｄに応じたSNR(ｄ)とを畳み込んだ式で計算される値である。

パラメータ決定部６５は、現在の露出制御パラメータが、評価値Eが最大となる値であるかを判定する。そして、現在の露出制御パラメータが、評価値Eが最大となる値ではないと判定された場合、例えば、勾配法などを用いて、次の露出制御パラメータを決定し、発光制御部１３に供給する。また、パラメータ決定部６５は、現在の露出制御パラメータと、そのときの評価値Eとをパラメータ保持部６６に供給し、保持させる。パラメータ決定部６５は、評価値Eが最大となる露出制御パラメータが探索されたと判定された場合、露出制御パラメータの更新を終了する。本実施の形態では、パラメータ決定部６５は、更新対象の露出制御パラメータとして、発光部１２の光源の発光量ｐを更新し、パラメータ保持部６６と発光制御部１３とに供給する。

パラメータ保持部６６は、パラメータ決定部６５から供給される露出制御パラメータと、そのときの評価値Eとを保持する。パラメータ保持部６６に保持された露出制御パラメータと評価値Eとは、必要に応じてパラメータ決定部６５によって参照される。

発光制御部１３は、更新後の露出制御パラメータとしてパラメータ決定部６５から供給される発光量ｐに基づく発光制御信号を生成し、発光部１２および受光部１４に供給する。

＜５．第１のデプスマップ生成処理＞
次に、図１１のフローチャートを参照して、信号処理部１５の第１の構成例を備える測距モジュール１１によるデプスマップ生成処理（第１のデプスマップ生成処理）を説明する。この処理は、例えば、測距モジュール１１に対して、測定を開始する指令が供給されたとき、開始される。

初めに、ステップＳ１１において、パラメータ決定部６５は、予め決定された露出制御パラメータの初期値を発光制御部１３に供給する。

ステップＳ１２において、発光制御部１３は、パラメータ決定部６５から供給された露出制御パラメータに基づいて発光制御信号を生成し、発光部１２と受光部１４とに供給する。この発光制御信号には、発光部１２が光源を発光させるときの周波数と発光量とが規定されている。受光部１４では、発光制御信号によって規定される光源の発光タイミングにしたがい、露光期間（受光期間）が決定し、画素アレイ部２２の各画素２１が駆動される。

ステップＳ１３において、発光部１２は、発光制御信号に基づく所定の周波数と発光量で発光し、受光部１４は、発光部１２から照射された照射光が物体に反射されて返ってきた、物体からの反射光を受光する。そして、受光部１４の各画素２１は、受光量に応じて生成された画素データを、信号処理部１５の距離画像・信頼度算出部６１に出力する。受光部１４は、４Phase方式による１枚のデプスマップを生成可能な反射光の受光を行う。すなわち、受光部１４は、照射光の発光タイミングに対して、位相を０°、９０°、１８０°、および、２７０°だけずらした４位相の受光を行い、その結果得られた画素データを、距離画像・信頼度算出部６１に出力する。

ステップＳ１４において、距離画像・信頼度算出部６１は、受光部１４から供給された各画素２１の画素データに基づいて、各画素２１の距離dおよび信頼度cnfを算出し、デプスマップと信頼度マップとを生成して、外部に出力する。また、距離画像・信頼度算出部６１は、生成したデプスマップと信頼度マップとを、統計量算出部６２にも供給する。

ステップＳ１５において、統計量算出部６２は、距離画像・信頼度算出部６１から供給された１枚のデプスマップから、デプスマップの統計量を算出する。具体的には、統計量算出部６２は、距離ｄの出現頻度を画素アレイ部２２の全画素についてカウントした、図８に示した距離ｄのヒストグラムを生成し、評価値算出部６３に供給する。

ステップＳ１６において、評価値算出部６３は、評価指標記憶部６４により供給された評価指標に従い、現在の露出制御パラメータにおける評価値Eを算出する。具体的には、評価値算出部６３は、評価指標として評価指標記憶部６４から供給された式（１０）の評価値Eを算出し、その結果をパラメータ決定部６５に供給する。

ステップＳ１７において、パラメータ決定部６５は、評価値Eが最大となる露出制御パラメータが探索されたかを判定する。例えば、パラメータ決定部６５は、勾配法を用いて露出制御パラメータを探索する場合には、勾配がゼロとみなすことができる所定の範囲内となったかにより、評価値Eが最大となる露出制御パラメータが探索されたか否かを判定する。あるいはまた、パラメータ決定部６５は、露出制御パラメータを探索する処理を予め決定した回数繰り返したかや、評価値Eが向上する露出制御パラメータの更新がないと判定された場合などに、評価値Eが最大となる露出制御パラメータが探索されたと判定してもよい。

ステップＳ１７で、評価値Eが最大となる露出制御パラメータがまだ探索されていないと判定された場合、処理はステップＳ１８に進み、パラメータ決定部６５は、露出制御パラメータを更新して、発光制御部１３に供給する。具体的には、パラメータ決定部６５は、所定の設定幅で光源の発光量ｐを変更した露出制御パラメータを発光制御部１３に供給する。また、ステップＳ１８では、更新前の露出制御パラメータと、そのときの評価値Eとをパラメータ保持部６６に記憶させる処理も行われる。ステップＳ１８の後、処理はステップＳ１２に戻り、上述したステップＳ１２乃至Ｓ１７の処理が繰り返される。

そして、ステップＳ１７で、評価値Eが最大となる露出制御パラメータが探索されたと判定された場合、処理はステップＳ１９に進み、測距モジュール１１は、最適と判定された露出制御パラメータを設定し、受光した反射光に基づいてデプスマップと信頼度マップを生成して、外部に出力する。すなわち、パラメータ決定部６５は、評価値Eが最大となると判定された最適な露出制御パラメータを、再度、発光制御部１３に供給する。発光制御部１３は、パラメータ決定部６５から供給された最適な露出制御パラメータに基づいて発光制御信号を生成し、発光部１２と受光部１４とに供給する。受光部１４は、物体からの反射光を受光し、画素データを出力する。距離画像・信頼度算出部６１は、最適な露出制御パラメータにおけるデプスマップと信頼度マップとを生成して、外部に出力する。

以上で、第１のデプスマップ生成処理が終了する。

第１のデプスマップ生成処理によれば、距離に応じて想定される輝度情報と、実際に反射光を受光して得られた物体（被写体）の距離情報とを用いた評価指標に基づいて、評価指標を最大化する露出制御パラメータを探索し、決定することができる。これにより、適切な露出制御を行うことができる。

なお、上述した第１のデプスマップ生成処理において、最適と決定された露出制御パラメータを、再度、発光制御部１３に供給し、最適な露出制御パラメータにおけるデプスマップと信頼度マップを再度生成して、出力するようにしたが、探索中の各露出制御パラメータで生成したデプスマップと信頼度マップをパラメータ保持部６６に記憶させ、最適な露出制御パラメータが確定した場合に、そのときのデプスマップと信頼度マップをパラメータ保持部６６から取得して、外部に出力してもよい。また、逐次設定された露出制御パラメータにおけるデプスマップと信頼度マップを外部に出力するようにしたが、最適な露出制御パラメータにおけるデプスマップと信頼度マップのみを外部に出力するようにしてもよい。

＜６．信号処理部の第２の構成例＞
図１２は、信号処理部１５の第２の構成例を示すブロック図である。図１２においても、測距モジュール１１のその他の構成も併せて示している。

図１２の第２の構成例において、図１０に示した第１の構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、第１の構成例と異なる部分に着目して説明する。

図１２の第２の構成例では、距離画像・信頼度算出部６１の後段に、画像合成部８１が新たに追加されている点が異なり、その他は第１の構成例と同様に構成されている。

第２の構成例に係る信号処理部１５は、発光制御部１３に、露出制御パラメータとしての発光量ｐを高輝度と低輝度の２回設定し、高輝度の環境下で生成される第１のデプスマップと、低輝度の環境下で生成される第２のデプスマップとを合成したデプスマップを生成して出力する。信頼度マップについても同様に、高輝度の環境下で生成される第１の信頼度マップと、低輝度の環境下で生成される第２の信頼度マップとを合成した信頼度マップが生成されて出力される。

ToFセンサでは、遠距離の情報を取得できるように発光を強くすると、近距離の物体のところで電荷が飽和してしまい、情報が取得できず、逆に、発光を弱くすると遠距離の物体に十分な光が届かず、SN比が得られないという問題がある。光源の発光量ｐを高輝度と低輝度の２回設定し、複数のデプスマップを合成することで、上述の問題を解決することができる。

例えば、１枚目のデプスマップの生成において、パラメータ決定部６５は、低輝度となる第１の発光量ｐ_lowを含む露出制御パラメータを発光制御部１３に供給する。発光部１２は、第１の発光量ｐ_lowで発光し、受光部１４は、受光量に応じた画素データを距離画像・信頼度算出部６１に出力する。距離画像・信頼度算出部６１は、各画素２１の画素データに基づいて、低輝度時の第１のデプスマップおよび第１の信頼度マップを生成する。

次に、２枚目のデプスマップの生成において、パラメータ決定部６５は、高輝度となる第２の発光量ｐ_highを含む露出制御パラメータを発光制御部１３に供給する。発光部１２は、第２の発光量ｐ_highで発光し、受光部１４は、受光量に応じた画素データを距離画像・信頼度算出部６１に出力する。距離画像・信頼度算出部６１は、各画素２１の画素データに基づいて、高輝度時の第２のデプスマップおよび第２の信頼度マップを生成する。

画像合成部８１は、低輝度時の第１のデプスマップと、高輝度時の第２のデプスマップとを合成処理し、ダイナミックレンジが拡大されたデプスマップ（以下、HDRデプスマップという。）を生成する。また、画像合成部８１は、低輝度時の第１の信頼度マップと、高輝度時の第２の信頼度マップとを合成処理し、ダイナミックレンジが拡大された信頼度マップ（以下、HDR信頼度マップという。）を生成する。生成されたHDRデプスマップおよびHDR信頼度マップは、外部に出力されるとともに、統計量算出部６２に供給される。

第１の発光量ｐ_lowによる輝度値ｌ（ｒ，ｐ_low，ｔ，ｄ）と、第２の発光量ｐ_highによる輝度値ｌ（ｒ，ｐ_high，ｔ，ｄ）とを合成する場合の輝度値ｌ_hdrは、下記の式（１１）で表すことができる。
ｌ_hdr＝α・ｒ・ｌ（ｒ，ｐ_low，ｔ，ｄ）＋（１－α）・ｌ（ｒ，ｐ_high，ｔ，ｄ）
・・・・・・・・・・・（１１）

式（１１）のｒは、第１の発光量ｐ_lowと第２の発光量ｐ_highとの輝度比（ｒ＝ｐ_high／ｐ_low）を表し、αは、低輝度時の第１のデプスマップと高輝度時の第２のデプスマップとのブレンド比（０≦α≦１）を表す。

ブレンド比αは、輝度値に相当する信頼度cnfによって決定することができる。信頼度cnfの大きさによってノイズの大きさが想定できるので、例えば、信頼度cnfが第１の閾値未満TH1である場合には、α＝１として第１の発光量ｐ_lowによる輝度値ｌ（ｒ，ｐ_low，ｔ，ｄ）のみを用い、信頼度cnfが第１の閾値TH1以上である場合には、α＝０として第２の発光量ｐ_highによる輝度値ｌ（ｒ，ｐ_high，ｔ，ｄ）のみを用いるように設定することができる。これにより、被写体としての物体が近距離にあっても電荷が飽和せず、遠距離にあっても十分な光量による画素データが得られ、近くから遠くまでのレンジの広い測距が可能となる。

画像合成部８１によるHDRデプスマップの合成も、式（１１）と同様のブレンド処理により求めることができる。HDR信頼度マップの合成についても同様である。

統計量算出部６２は、距離画像・信頼度算出部６１から供給される１枚のHDRデプスマップから、HDRデプスマップの統計量を算出する。すなわち、第１の構成例と同様に、HDRデプスマップについての距離ｄのヒストグラムが生成される。

評価値算出部６３は、評価指標記憶部６４から供給される評価指標に従い、現在の露出制御パラメータにおける評価値Eを算出する。評価指標記憶部６４から供給される評価値Eを求める式は、上述した式（１０）と同一である。すなわち、評価値Eは、距離ｄの出現頻度p(ｄ)と、距離ｄに応じたSNR(ｄ)とを畳み込んだ式で表される。

ただし、高輝度時と低輝度時の２枚のデプス画像をブレンド比αで合成する場合の距離dに応じたSN比であるSNR(ｄ)は次式（１２）で定義され、さらに、近距離における飽和を考慮すると、式（１２）’のように表される。

図１３は、式（１２）’のSNR(ｄ)の例を示している。

図１４は、図１３のSNR(ｄ)を用いて評価値Eを求める式（１０）に相当する概念図である。

評価指標記憶部６４には、複数のSNR(ｄ)が記憶されており、評価値算出部６３は、動作モード、測定対象物の反射率ｒ、測距範囲等に応じて、所定のSNR(ｄ)を評価指標記憶部６４から取得する。

図１５は、評価指標記憶部６４に記憶されている複数のSNR(ｄ)の例を示している。

評価指標記憶部６４には、SNR１０１乃至１０３の３種類のSNR(ｄ)が記憶されている。

SNR１０１は、距離d1で、近距離用の第１の発光量ｐ_lowによるSNRと、遠距離用の第２の発光量ｐ_highによるSNRとが切り替えられる。

SNR１０２は、SNR１０１と同様に距離d1で近距離用のSNRと遠距離用のSNRとが切り替えられるが、近距離用の第１の発光量ｐ_lowによるSNRの測定範囲が、SNR１０１よりも狭く、しかし、高SN比に設定されている。

SNR１０３は、近距離用のSNRと遠距離用のSNRとを切り替える距離ｄ2が、SNR１０１およびSNR１０２の距離d1より大きく（d1＜d2）設定され、SNR１０２よりも、近距離用のSNRの測定範囲が大きく設定されている。

図１６は、遠距離用の第２の発光量ｐ_highを横軸とし、近距離用の第１の発光量ｐ_lowを縦軸とした２次元領域における、SNRの等高線を示している。

発光量が大きいほどSNRが高くなるので、図１６の２次元領域の右上、すなわち、第１の発光量ｐ_lowと第２の発光量ｐ_highの両方が大きい場合がSNRは最も高くなり、図１６の２次元領域の左下、すなわち、第１の発光量ｐ_lowと第２の発光量ｐ_highの両方が小さい場合がSNRは最も低くなる。パラメータ決定部６５は、露出制御パラメータを逐次的に更新し、SNRが最大となる露出制御パラメータを探索し、決定する。

＜７．第２のデプスマップ生成処理＞
次に、図１７のフローチャートを参照して、信号処理部１５の第２の構成例を備える測距モジュール１１によるデプスマップ生成処理（第２のデプスマップ生成処理）を説明する。この処理は、例えば、測距モジュール１１に対して、測定を開始する指令が供給されたとき、開始される。

初めに、ステップＳ３１において、パラメータ決定部６５は、予め決定された露出制御パラメータの初期値を発光制御部１３に供給する。ここで発光制御部１３に供給される露出制御パラメータには、近距離用の第１の発光量ｐ_lowと、遠距離用の第２の発光量ｐ_highの２種類の発光量ｐを少なくとも含む。

ステップＳ３２において、発光制御部１３は、パラメータ決定部６５から供給された露出制御パラメータに基づいて、第１の発光量ｐ_lowを含む発光制御信号を生成し、発光部１２と受光部１４とに供給する。

ステップＳ３３において、発光部１２は、発光制御信号に基づく所定の周波数と第１の発光量ｐ_lowで発光し、受光部１４は、物体からの反射光を受光する。そして、受光部１４の各画素２１は、受光量に応じて生成された画素データを、信号処理部１５の距離画像・信頼度算出部６１に出力する。受光部１４は、照射光の発光タイミングに対して、位相を０°、９０°、１８０°、および、２７０°だけずらした４位相の受光を行い、その結果得られた画素データを、距離画像・信頼度算出部６１に出力する。

ステップＳ３４において、距離画像・信頼度算出部６１は、受光部１４から供給された各画素２１の画素データに基づいて、第１のデプスマップと第１の信頼度マップとを生成し、統計量算出部６２に供給する。

ステップＳ３５において、発光制御部１３は、第２の発光量ｐ_highを含む発光制御信号を生成し、発光部１２と受光部１４とに供給する。

ステップＳ３６において、発光部１２は、発光制御信号に基づく所定の周波数と第２の発光量ｐ_highで発光し、受光部１４は、物体からの反射光を受光する。そして、受光部１４の各画素２１は、受光量に応じて生成された画素データを、信号処理部１５の距離画像・信頼度算出部６１に出力する。受光部１４は、照射光の発光タイミングに対して、位相を０°、９０°、１８０°、および、２７０°だけずらした４位相の受光を行い、その結果得られた画素データを、距離画像・信頼度算出部６１に出力する。

ステップＳ３７において、距離画像・信頼度算出部６１は、受光部１４から供給された各画素２１の画素データに基づいて、第２のデプスマップと第２の信頼度マップとを生成し、統計量算出部６２に供給する。

ステップＳ３８において、画像合成部８１は、低輝度時の第１のデプスマップと、高輝度時の第２のデプスマップとを合成処理し、ダイナミックレンジが拡大されたHDRデプスマップを生成する。また、画像合成部８１は、低輝度時の第１の信頼度マップと、高輝度時の第２の信頼度マップとを合成処理し、ダイナミックレンジが拡大されたHDR信頼度マップを生成する。生成されたHDRデプスマップおよびHDR信頼度マップは、外部に出力されるとともに、統計量算出部６２に供給される。

ステップＳ３９において、統計量算出部６２は、距離画像・信頼度算出部６１から供給された１枚のHDRデプスマップから、HDRデプスマップの統計量を算出する。すなわち、統計量算出部６２は、HDRデプスマップについて、距離ｄのヒストグラムを生成し、評価値算出部６３に供給する。

ステップＳ４０において、評価値算出部６３は、評価指標記憶部６４により供給された評価指標に従い、現在の露出制御パラメータにおける評価値Eを算出する。具体的には、評価値算出部６３は、評価指標として評価指標記憶部６４から供給された式（１０）の評価値Eを算出し、その結果をパラメータ決定部６５に供給する。

ステップＳ４１において、パラメータ決定部６５は、評価値Eが最大となる露出制御パラメータが探索されたかを判定する。この判定処理は、上述した図１１のステップＳ１７と同様である。

ステップＳ４１で、評価値Eが最大となる露出制御パラメータがまだ探索されていないと判定された場合、処理はステップＳ４２に進み、パラメータ決定部６５は、露出制御パラメータを更新して、発光制御部１３に供給する。ステップＳ４２の後、処理はステップＳ３２に戻り、上述したステップＳ３２乃至Ｓ４１の処理が繰り返される。

そして、ステップＳ４１で、評価値Eが最大となる露出制御パラメータが探索されたと判定された場合、処理はステップＳ４３に進む。評価値Eが最大となる露出制御パラメータが最適な露出制御パラメータとなる。

ステップＳ４３において、測距モジュール１１は、最適な露出制御パラメータを設定し、受光した反射光に基づいてHDRデプスマップとHDR信頼度マップを生成して、外部に出力する。すなわち、測距モジュール１１は、最適な露出制御パラメータとして決定された近距離用の第１の発光量ｐ_lowと遠距離用の第２の発光量ｐ_highの２種類の発光量ｐによる２枚のデプスマップおよび信頼度マップの生成を行い、合成処理を行って、DRデプスマップとHDR信頼度マップを生成して、外部に出力する。

以上で、第２のデプスマップ生成処理が終了する。

第２のデプスマップ生成処理によれば、光源の発光量を低輝度と高輝度の２回設定して反射光を受光することにより、低輝度時の第１のデプスマップと高輝度時の第２のデプスマップとの２枚を用いて、物体の距離情報を近距離から遠距離まで得ることができる。その２回の受光においても、距離に応じて想定される輝度情報と、実際に反射光を受光して得られた物体（被写体）の距離情報とを用いた評価指標に基づいて、評価指標を最大化する露出制御パラメータが探索され、決定される。したがって、適切な露出制御を行うことができる。

＜８．信号処理部の第３の構成例＞
図１８は、信号処理部１５の第３の構成例を示すブロック図である。図１８においても、測距モジュール１１のその他の構成も併せて示している。

図１８の第３の構成例において、図１２に示した第２の構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、第２の構成例と異なる部分に着目して説明する。

図１８の第３の構成例では、制約設定部８２が新たに追加されている点が異なり、その他は第２の構成例と同様に構成されている。

上述した第２の構成例による第２のデプスマップ生成処理では、信号処理部１５は、評価値Eが最大となる露出制御パラメータを探索した。しかしながら、図１６に示したSNRの等高線から明らかなように、第１の発光量ｐ_lowおよび第２の発光量ｐ_highを大きくするほど、SNRは大きくなるため、評価値Eが最大となる露出制御パラメータは、消費電力も大きくなってしまう。そのため、消費電力も考慮して、最適な露出制御パラメータを決定することが望ましい。

図１８の第３の構成例において新たに追加された制約設定部８２は、最適な露出制御パラメータを決定する際の制約条件をパラメータ決定部６５に設定する。制約設定部８２は、測距において測距モジュール１１が満たすべきSNRの最低値（以下、最低SNRという。）を、制約条件として設定する。制約条件としての最低SNRは、例えば、測距モジュール１１の設計者によって予め決定されて記憶されたり、測距モジュール１１を用いたアプリケーションの設定画面において、アプリケーションの使用者であるユーザによって決定される。

パラメータ決定部６５は、露出制御パラメータを逐次的に変更し、制約設定部８２によって設定された最低SNRを満たし、かつ、評価値Eが最大となる露出制御パラメータを決定する。

例えば、制約設定部８２によって決定された最低SNRが、図１９のSNR等高線１１１で示されるSNRに設定されたとすると、初めに、SNR等高線１１１のSNRに一致する露出制御パラメータが、所定の初期値から逐次的に更新されて探索され、次に、SNR等高線１１１上のSNRのなかで、消費電力が最小となる第１の発光量ｐ_lowおよび第２の発光量ｐ_highの組合せ１１２が決定される。

＜９．第３のデプスマップ生成処理＞
次に、図２０のフローチャートを参照して、信号処理部１５の第３の構成例を備える測距モジュール１１によるデプスマップ生成処理（第３のデプスマップ生成処理）を説明する。この処理は、例えば、測距モジュール１１に対して、測定を開始する指令が供給されたとき、開始される。

図２０のステップＳ６１乃至ステップＳ７０は、図１７に示した第２のデプスマップ生成処理のステップＳ３１乃至ステップＳ４０と同様であるので、その説明は省略する。

ステップＳ７０により、現在の露出制御パラメータにおける評価値Eが算出された後、ステップＳ７１において、パラメータ決定部６５は、評価値算出部６３で算出された評価値Eが、制約条件である最低SNRと一致するかを判定する。パラメータ決定部６５は、算出された評価値Eが、目標値である最低SNRに近い所定の範囲内である場合、最低SNRと一致すると判定する。制約条件である最低SNRは、デプスマップ生成処理の前に、あるいは、必要に応じて、制約設定部８２から供給される。

ステップＳ７１で、現在の露出制御パラメータにおける評価値が最低SNRと一致しないと判定された場合、処理はステップＳ７２に進み、パラメータ決定部６５は、露出制御パラメータを更新して、発光制御部１３に供給する。ステップＳ７２の後、処理はステップＳ６２に戻り、上述したステップＳ６２乃至Ｓ７１の処理が繰り返される。

そして、現在の露出制御パラメータにおける評価値が最低SNRと一致すると判定された場合、処理はステップＳ７３に進む。ステップＳ７３において、パラメータ決定部６５は、現在の露出制御パラメータが、消費電力が最小となる露出制御パラメータであるかを判定する。ここで、露出制御パラメータの探索処理として、近距離用の第１の発光量ｐ_lowと遠距離用の第２の発光量ｐ_highの２種類の発光量ｐが変更されるので、ステップＳ７３における消費電力は、簡易的に、第１の発光量ｐ_lowと第２の発光量ｐ_highの総和で考えることができる。

ステップＳ７３で、現在の露出制御パラメータが、消費電力が最小となる露出制御パラメータではない、と判定された場合、処理はステップＳ７２に進み、露出制御パラメータが次の値に変更され、上述したステップＳ６２乃至Ｓ７３の処理が繰り返される。

一方、ステップＳ７３で、現在の露出制御パラメータが、消費電力が最小となる露出制御パラメータであると判定された場合、処理はステップＳ７４に進む。すなわち、制約条件を満たし、かつ、評価値Eが最大となる露出制御パラメータが決定された場合、処理はステップＳ７４に進む。

ステップＳ７４において、測距モジュール１１は、最適な露出制御パラメータを設定し、受光した反射光に基づいてHDRデプスマップとHDR信頼度マップを生成して、外部に出力する。すなわち、測距モジュール１１は、最適な露出制御パラメータとして決定された近距離用の第１の発光量ｐ_lowと遠距離用の第２の発光量ｐ_highの２種類の発光量ｐによる２枚のデプスマップおよび信頼度マップの生成を行い、合成処理を行って、HDRデプスマップとHDR信頼度マップを生成して、外部に出力する。

以上で、第３のデプスマップ生成処理が終了する。

第３のデプスマップ生成処理によれば、消費電力も考慮して、最適な露出制御パラメータを決定することができる。

なお、上述した第３のデプスマップ生成処理では、最初に、最低SNRと一致する露出制御パラメータを探索し、次に、消費電力が最小となる露出制御パラメータを探索する処理を実行したが、SNRと消費電力の両方が最小となる露出制御パラメータを同時に探索してもよい。

＜１０．信号処理部の第４の構成例＞
図２１は、信号処理部１５の第４の構成例を示すブロック図である。図２１においても、測距モジュール１１のその他の構成も併せて示している。

図２１の第４の構成例において、図１０に示した第１の構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、第１の構成例と異なる部分に着目して説明する。

図２１の第４の構成例では、注目領域決定部９１が新たに追加されている点が異なり、その他は図１０に示した第１の構成例と同様に構成されている。

第４の構成例に係る信号処理部１５は、上述した第１の構成例と同様に、評価値Eが最大となる露出制御パラメータを最適な露出制御パラメータとして決定するが、画素アレイ部２２の全ての画素領域ではなく、全画素領域のなかで特に注目する注目領域についての評価値Eが最大となる露出制御パラメータを、最適な露出制御パラメータとして決定する。

注目領域決定部９１には、デプスマップと信頼度マップが、距離画像・信頼度算出部６１から供給される。注目領域決定部９１は、デプスマップまたは信頼度マップの少なくとも一方を用いて、画素アレイ部２２の全画素領域に対する注目領域を決定し、注目領域を設定する領域設定情報を統計量算出部６２に供給する。注目領域決定部９１が注目領域を決定する方法は特に限定されない。例えば、注目領域決定部９１は、デプスマップが示す距離情報または信頼度マップが示す輝度情報から、物体毎の領域をクラスタとして識別して、予め登録されている認識対象に最も近いクラスタを注目領域に決定することができる。また例えば、注目領域決定部９１は、信頼度マップが示す輝度情報から、物体毎の領域をクラスタとして識別して、信頼度が最も高いクラスタを注目領域に決定してもよい。注目領域決定部９１は、任意の物体認識器を用いて、物体認識器による物体認識結果から、注目領域を決定することができる。

さらに、注目領域決定部９１は、測距モジュール１１外の装置から供給される領域特定信号に基づいて注目領域を決定することもできる。例えば、測距モジュール１１が組み込まれたスマートフォン等のタッチパネル上をユーザが操作することにより、注目領域がユーザにより設定され、その注目領域を示す領域特定信号が、注目領域決定部９１に供給される。注目領域決定部９１は、領域特定信号に基づいて決定した注目領域を示す領域設定情報を統計量算出部６２に供給する。

図２２のAは、デプスマップまたは信頼度マップを用いた自動認識処理により、注目領域９２が設定される様子を示している。

図２２のBは、スマートフォンのタッチパネル上でユーザが注目領域９２を指定することにより、注目領域９２が設定される様子を示している。

統計量算出部６２は、距離画像・信頼度算出部６１から供給される１枚のデプスマップと、注目領域決定部９１から供給される注目領域の領域設定情報とから、注目領域に関するデプスマップの統計量を算出する。具体的には、統計量算出部６２は、図８に示した距離ｄの出現頻度（度数）を、注目領域の画素についてカウントした、距離ｄのヒストグラムを生成し、評価値算出部６３に供給する。

評価値算出部６３は、注目領域についての評価値Eを算出し、パラメータ決定部６５に供給する。

＜１１．第４のデプスマップ生成処理＞
次に、図２３のフローチャートを参照して、信号処理部１５の第４の構成例を備える測距モジュール１１によるデプスマップ生成処理（第４のデプスマップ生成処理）を説明する。この処理は、例えば、測距モジュール１１に対して、測定を開始する指令が供給されたとき、開始される。

図２３のステップＳ９１乃至ステップＳ９４は、図１１に示した第１のデプスマップ生成処理のステップＳ１１乃至ステップＳ１４と同様である。ステップＳ９４までの処理により、距離画像・信頼度算出部６１で生成されたデプスマップと信頼度マップとが、統計量算出部６２と注目領域決定部９１とに供給される。

ステップＳ９５において、注目領域決定部９１は、デプスマップと信頼度マップが生成された全画素領域のなかの注目領域を決定する。注目領域決定部９１自身が注目領域を識別する場合には、例えば、注目領域決定部９１は、デプスマップが示す距離情報または信頼度マップが示す輝度情報から、物体毎の領域をクラスタとして識別して、予め登録されている認識対象に最も近いクラスタを注目領域に決定する。注目領域が測距モジュール１１の外部で設定される場合には、注目領域決定部９１は、入力される領域特定信号に基づいて注目領域を決定する。決定された注目領域を設定する領域設定情報が、統計量算出部６２に供給される。

ステップＳ９６において、統計量算出部６２は、距離画像・信頼度算出部６１から供給された１枚のデプスマップと、注目領域決定部９１から供給された注目領域を示す領域設定情報とから、注目領域に関するデプスマップの統計量を算出する。

ステップＳ９７において、評価値算出部６３は、注目領域について、現在の露出制御パラメータにおける評価値Eを算出する。この処理は、評価値Eが注目領域について算出される点を除いて、図１１のステップＳ１６と同様である。

ステップＳ９８乃至ステップＳ１００の処理は、図１１に示した第１のデプスマップ生成処理のステップＳ１７乃至ステップＳ１９と同様である。すなわち、注目領域の評価値Eに基づいて、評価値Eが最大となる最適な露出制御パラメータが探索されたと判定されるまで処理が繰り返され、決定された最適な露出制御パラメータにより、デプスマップと信頼度マップが生成されて、外部に出力される。

以上で、第４のデプスマップ生成処理が終了する。

第４のデプスマップ生成処理によれば、測距モジュール１１の受光領域全体ではなく、その一部の領域について評価指標を最大化する露出制御パラメータを探索し、決定することができる。これにより、受光領域の一部の領域に特化した適切な露出制御を行うことができる。

なお、図２１の第４の構成例は、図１０に示した第１の構成例に、注目領域決定部９１を追加した構成であるが、図１２に示した第２の構成例、および、図１８に示した第３の構成例に、注目領域決定部９１を追加した構成も可能である。換言すれば、低輝度時の第１のデプスマップと高輝度時の第２のデプスマップとの２枚を用いて生成したHDRデプスマップとHDR信頼度マップに対して注目領域を設定し、適切な露出制御パラメータを求める構成とすることができる。

＜１２．第１の変形例＞
＜発光周波数を変更する制御＞
上述した例では、発光部１２は、発光制御信号に基づいて、例えば、20MHzなどの単一周波数の変調光を物体に照射することとした。光源の変調周波数は、例えば、100MHzなどのように周波数を高くすると、距離情報の分解能を高くすることができるが、測距可能なレンジが狭くなる。一方、変調周波数を低くすると測距可能なレンジを拡大できる。

距離dは、上述したように式（１）で表され、距離情報は、反射光の位相ずれ量φを基に算出される。このとき、位相ずれ量φに生じるノイズを、輝度値ｌの関数σ_φ(ｌ)としたとき、距離dにのるノイズσ_ｄは、式（１）から、以下の式（１３）のように定義することができる。

ここで、式（１３）のｋは、ｋ＝ｃ／４πとなる定数である。

式（１３）から明らかなように、変調周波数が大きくなるほど、距離dの誤差（ノイズ）は小さくなる。そこで、信号処理部１５の第１の変形例として、パラメータ決定部６５から発光制御部１３に供給する露出制御パラメータに、露光時間ｔと発光量ｐとに加えて、変調周波数ｆを含み、変調周波数ｆを含めた最適な露出制御パラメータを決定する構成とすることができる。

具体的には、測距モジュール１１は、最初に、例えば20MHzなどの第１の周波数で照射光を物体に照射してデプスマップ生成処理を実行し、デプスマップ生成処理の結果、測定対象物までの距離が近い（測定対象物までの距離が所定の範囲内である）と判定された場合に、変調周波数を第１の周波数よりも高い第２の周波数、例えば、100MHzに変更して、デプスマップ生成処理を実行する。この場合、距離画像・信頼度算出部６１で生成されたデプスマップと信頼度マップとをパラメータ決定部６５にも供給し、パラメータ決定部６５が、測定対象物までの距離に応じて、第２の周波数に変更する露出制御パラメータを発光制御部１３に供給する。

上述したような、発光量ｐの最適値を決定し、次に変調周波数ｆの最適値を決定する２段階のパラメータ探索方法の他、式（９）や式（１２）のSNR(ｄ)の式を、発光量ｐと変調周波数ｆの両方を含めた形とし、式（１０）の評価値Eが最大となる発光量ｐと変調周波数ｆの最適値を同時に決定する方法も可能である。

変調周波数を含めた露出制御パラメータを決定する第１の変形例は、上述した第１乃至第４の構成例のいずれとも組み合わせて実行することができる。

＜１３．第２の変形例＞
＜露光時間を変更する制御＞
上述した第１乃至第４のデプスマップ生成処理では、信号処理部１５は、露出制御パラメータとして発光量ｐを変化させ、発光量ｐの最適値を決定した。

発光量ｐを増大させることにより受光部１４で生成される信号電荷が変化するが、発光量ｐを固定値として、露光時間ｔを変更させることでも、信号電荷を増大させることができる。すなわち、発光量ｐの変化による輝度変化は、露光時間ｔの変化と本質的に同一である。そのため、上述した第１乃至第４のデプスマップ生成処理において発光量pを変化させる代わりに、露光時間ｔを変化させるように制御し、露出制御パラメータとして露光時間ｔの最適値を決定する処理としてもよい。

なお、露光時間ｔを大きくすると、フレームレートが低下することが考えられる。その場合、例えば、図１８に示した信号処理部１５の第３の構成例の制約設定部８２が、制約条件として、フレームレートの下限値を設定すればよい。これにより、制約設定部８２によって設定されたフレームレートの下限値を満たし、かつ、評価値Eが最大となる露出制御パラメータを決定することができる。

＜１４．第３の変形例＞
＜環境光を考慮した制御＞
受光部１４の各画素２１で得られる画素データ（検出信号）の成分は、アクティブ成分、環境光成分、および、ノイズ成分に大別される。アクティブ成分は、照射光が物体で反射され、返ってきた光成分である。環境光成分は、太陽光などの環境光による光成分である。環境光成分は、上述の式（３）乃至式（５）の演算の過程でキャンセルされるが、ノイズ成分は残るため、環境光成分が大きくなるとノイズ成分の割合が大きくなり、相対的にSN比が低くなる。

そこで、信号処理部１５は、環境光成分の割合が大きいと判定される場合、露光時間ｔを短くし、かつ、発光量ｐを大きくする露出制御パラメータを生成し、発光制御部１３に供給する処理を行うことができる。環境光成分の割合の大きさは、例えば、各画素２１で得られる画素データ（検出信号）の平均値と、距離画像・信頼度算出部６１から供給される信頼度マップから算出した各画素の信頼度の平均値との差から判定することができる。または、環境光成分の割合の大きさは、単純に、信頼度マップから算出した各画素の信頼度の平均値（の大きさ）で判定してもよい。

具体的には、パラメータ決定部６５が、受光部１４から各画素２１の画素データを取得し、距離画像・信頼度算出部６１から信頼度マップを取得する。そして、パラメータ決定部６５は、環境光成分の割合が大きいか否かを判定し、環境光成分の割合が大きいと判定された場合に、露光時間ｔを短くし、かつ、発光量ｐを大きくする露出制御パラメータを生成することができる。これにより、アクティブ成分の割合を大きくすることで、ノイズ増大の影響を小さくすることができる。

＜１５．まとめ＞
図１の測距モジュール１１は、信号処理部１５の第１乃至第４の構成例またはその変形例を含む構成とすることができ、第１乃至第４のデプスマップ生成処理およびその変形例に係る処理を実行することができる。測距モジュール１１は、第１乃至第４のデプスマップ生成処理およびその変形例に係る処理のいずれか１つのみを実行する構成としてもよいし、動作モード等の切り替えにより、全ての処理を選択的に実行する構成としてもよい。

図１の測距モジュール１１によれば、距離に応じて想定される輝度情報と、実際に反射光を受光して得られた物体（被写体）の距離情報とを用いた評価指標に基づいて、評価指標を最大化する露出制御パラメータを探索し、決定することができる。これにより、適切な露出制御を行うことができる。

また、光源の発光量を低輝度と高輝度の２回設定して受光した結果に基づいて、ダイナミックレンジが拡大されたHDRデプスマップとHDR信頼度マップを生成することができ、その場合においても、適切な露出制御を行うことができる。

最適な露出制御パラメータを決定する際の評価指標は、評価指標記憶部６４において定義することができるので、測距モジュール１１の設計者、測距モジュール１１を用いた測距アプリケーションの設計者、または、測距アプリケーションの使用者などが、評価指標を任意に設定することができる。

また、制約設定部８２を追加した構成においては、SN比、消費電力、フレームレートなどの制約条件を設定した上で、適切な露出制御を行うことができる。

注目領域決定部９１を追加した構成においては、測距モジュール１１の受光領域全体ではなく、その一部の領域について評価指標を最大化する露出制御パラメータを探索し、決定することができる。

＜１６．電子機器の構成例＞
上述した測距モジュール１１は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。

図２４は、測距モジュールを搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。

図２４に示すように、スマートフォン２０１は、測距モジュール２０２、撮像装置２０３、ディスプレイ２０４、スピーカ２０５、マイクロフォン２０６、通信モジュール２０７、センサユニット２０８、タッチパネル２０９、および制御ユニット２１０が、バス２１１を介して接続されて構成される。また、制御ユニット２１０では、CPUがプログラムを実行することによって、アプリケーション処理部２２１およびオペレーションシステム処理部２２２としての機能を備える。

測距モジュール２０２には、図１の測距モジュール１１が適用される。例えば、測距モジュール２０２は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。

撮像装置２０３は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン２０１の背面にも撮像装置２０３が配置された構成としてもよい。

ディスプレイ２０４は、アプリケーション処理部２２１およびオペレーションシステム処理部２２２による処理を行うための操作画面や、撮像装置２０３が撮像した画像などを表示する。スピーカ２０５およびマイクロフォン２０６は、例えば、スマートフォン２０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。

通信モジュール２０７は、通信ネットワークを介した通信を行う。センサユニット２０８は、速度や加速度、近接などをセンシングし、タッチパネル２０９は、ディスプレイ２０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。

アプリケーション処理部２２１は、スマートフォン２０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ２０４に表示する処理を行うことができる。また、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。

オペレーションシステム処理部２２２は、スマートフォン２０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン２０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。

このように構成されているスマートフォン２０１では、上述した測距モジュール１１を適用することで、適切な露出制御を行うことができる。これにより、スマートフォン２０１は、測距情報をより正確に検出することができる。

＜１７．コンピュータの構成例＞
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図２５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）３０４は、バス３０５により相互に接続されている。バス３０５には、さらに、入出力インタフェース３０６が接続されており、入出力インタフェース３０６が外部に接続される。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、ROM３０２およびEEPROM３０４に記憶されているプログラムを、バス３０５を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU３０１）が実行するプログラムは、ROM３０２に予め書き込んでおく他、入出力インタフェース３０６を介して外部からEEPROM３０４にインストールしたり、更新したりすることができる。

これにより、CPU３０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース３０６を介して、外部へ出力することができる。

本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

＜１８．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２７は、撮像部１２０３１の設置位置の例を示す図である。

図２７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距モジュール１１による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距モジュール１１による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。

なお、本技術は、Indirect ToF方式の中でもContinuous-Wave方式と称する、物体へ投射する光を振幅変調する方式に適用することができる。また、受光部１４のフォトダイオード３１の構造としては、CAPD（Current Assisted Photonic Demodulator）構造の測距センサや、フォトダイオードの電荷を２つのゲートに交互にパルスを加えるゲート方式の測距センサなど、２つの電荷蓄積部に電荷を振り分ける構造の測距センサに適用することができる。また、本技術は、Structured Light方式の測距センサに適用してもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

なお、本技術は、以下の構成を取ることができる。
（１）
受光センサの検出信号から算出された距離情報と輝度情報とを用いた評価指標に基づいて、露出制御パラメータを決定するパラメータ決定部
を備える信号処理装置。
（２）
前記距離情報と輝度情報とを用いた評価指標に基づく値である評価値を算出する評価値算出部をさらに備え、
前記パラメータ決定部は、前記評価値に基づいて、前記露出制御パラメータを決定する
前記（１）に記載の信号処理装置。
（３）
前記パラメータ決定部は、前記評価値が最大となる前記露出制御パラメータを決定する
前記（２）に記載の信号処理装置。
（４）
前記評価指標を記憶する評価指標記憶部をさらに備え、
前記評価値算出部は、前記評価指標記憶部から供給された前記評価指標に基づく前記評価値を算出する
前記（２）または（３）に記載の信号処理装置。
（５）
前記受光センサの検出信号から、前記距離情報としての距離画像と、前記輝度情報としての信頼度画像とを生成する距離画像信頼度算出部と、
前記距離画像の統計量を算出する統計量算出部と
をさらに備える
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
第１の露出制御パラメータにおける第１の距離画像と第２の露出制御パラメータにおける第２の距離画像とを合成した合成距離画像と、前記第１の露出制御パラメータにおける第１の信頼度画像と前記第２の露出制御パラメータにおける第２の信頼度画像とを合成した合成信頼度画像とを生成する画像合成部をさらに備え、
前記距離画像信頼度算出部は、前記第１の距離画像および前記第２の距離画像と、前記第１の信頼度画像および前記第２の信頼度画像とを生成し、
前記統計量算出部は、前記合成距離画像の統計量を算出し、
前記パラメータ決定部は、前記第１の露出制御パラメータと、前記第２の露出制御パラメータとを決定する
前記（５）に記載の信号処理装置。
（７）
前記評価指標は、前記距離画像の統計量と、前記信頼度画像とを用いて算出される値である
前記（５）または（６）に記載の信号処理装置。
（８）
前記距離画像の統計量は、前記距離情報の出現頻度である
前記（７）に記載の信号処理装置。
（９）
前記評価指標は、前記距離情報の出現頻度と、前記信頼度画像を用いた前記距離情報に応じたSN比とを畳み込んだ式で計算される値である
前記（８）に記載の信号処理装置。
（１０）
前記パラメータ決定部は、前記露出制御パラメータとして、前記受光センサが受光する光を発光させる光源の発光量を決定する
前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
前記パラメータ決定部は、前記露出制御パラメータとして、前記受光センサが受光する光を発光させる光源の変調周波数を決定する
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記パラメータ決定部は、前記露出制御パラメータとして、前記受光センサの露光時間を決定する
前記（１）乃至（１１）のいずれかに記載の信号処理装置。
（１３）
前記パラメータ決定部は、環境光成分の割合が大きい場合、前記受光センサの露光時間を短くし、前記受光センサが受光する光を発光させる光源の発光量を大きくする前記露出制御パラメータを決定する
前記（１）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
前記露出制御パラメータを決定する際の制約条件を設定する制約設定部をさらに備え、
前記パラメータ決定部は、前記制約条件を満たす前記露出制御パラメータを決定する
前記（１）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
前記受光センサの全画素領域のなかで特に注目する注目領域を決定する注目領域決定部をさらに備え、
前記パラメータ決定部は、前記注目領域の距離情報と輝度情報とを用いた前記評価指標に基づいて、前記露出制御パラメータを決定する
前記（１）乃至（１４）のいずれかに記載の信号処理装置。
（１６）
前記注目領域決定部は、前記距離情報または前記輝度情報の少なくとも一方を用いて、前記注目領域を決定する
前記（１５）に記載の信号処理装置。
（１７）
前記注目領域決定部は、外部からから供給される、前記注目領域を示す領域特定信号に基づいて、前記注目領域を決定する
前記（１５）または（１６）に記載の信号処理装置。
（１８）
信号処理装置が、
受光センサの検出信号から算出された距離情報と輝度情報とを用いた評価指標に基づいて、露出制御パラメータを決定する
信号処理方法。
（１９）
所定の周波数で発光させる発光部と、
前記発光部からの光が物体で反射した反射光を受光する受光センサと、
前記受光センサの検出信号から算出された距離情報と輝度情報とを用いた評価指標に基づいて、露出制御パラメータを決定するパラメータ決定部と
を備える測距モジュール。

１１ 測距モジュール， １２ 発光部， １３ 発光制御部， １４ 受光部， １５ 信号処理部， ２１ 画素， ２２ 画素アレイ部， ６１ 距離画像・信頼度算出部， ６２ 統計量算出部， ６３ 評価値算出部， ６４ 評価指標記憶部， ６５ パラメータ決定部， ６６ パラメータ保持部， ８１ 画像合成部， ８２ 制約設定部， ９１ 注目領域決定部， ９２ 注目領域， ２０１ スマートフォン， ２０２ 測距モジュール， ３０１ CPU， ３０２ ROM， ３０３ RAM

Claims (12)

1. 発光部からの光が物体で反射した反射光を受光した受光センサの検出信号から、間接ToF法による前記物体までの距離を画素値として格納したデプスマップと、画素で受光した前記反射光の大きさを画素値として格納した信頼度マップとを生成する距離画像信頼度算出部と、
   前記デプスマップにおける距離のヒストグラムを算出する統計量算出部と、
   前記ヒストグラムと前記信頼度マップを用いて、前記受光センサの全画素のSN比の平均値を評価値として算出する評価値算出部と、
   前記発光部の光源の発光量と前記受光センサの露光時間とを含む露出制御パラメータであって、前記評価値が最大となる前記露出制御パラメータを決定するパラメータ決定部と
   を備える信号処理装置。
2. 前記評価値の演算式を記憶する評価指標記憶部をさらに備え、
   前記評価値算出部は、前記評価指標記憶部から供給された前記演算式に基づく前記評価値を算出する
   請求項１に記載の信号処理装置。
3. 前記評価値の演算式は、前記距離のヒストグラムと、前記信頼度マップを用いた前記距離に応じたSN比とを畳み込んだ式である
   請求項２に記載の信号処理装置。
4. 前記露出制御パラメータとして第１の露出制御パラメータと第２の露出制御パラメータの２つがあり、前記第１の露出制御パラメータにおける第１のデプスマップと前記第２の露出制御パラメータにおける第２のデプスマップとを合成した合成デプスマップと、前記第１の露出制御パラメータにおける第１の信頼度マップと前記第２の露出制御パラメータにおける第２の信頼度マップとを合成した合成信頼度マップとを生成する画像合成部をさらに備え、
   前記距離画像信頼度算出部は、前記第１のデプスマップおよび前記第２のデプスマップと、前記第１の信頼度マップおよび前記第２の信頼度マップとを生成し、
   前記統計量算出部は、前記合成デプスマップにおける距離のヒストグラムを算出し、
   前記評価値算出部は、前記合成デプスマップにおける距離のヒストグラムと前記合成信頼度マップを用いて前記評価値を算出し、
   前記パラメータ決定部は、前記評価値が最大となる前記第１の露出制御パラメータ及び前記第２の露出制御パラメータを決定する
   請求項１に記載の信号処理装置。
5. 前記パラメータ決定部は、前記露出制御パラメータとして、前記光源の変調周波数をさらに決定する
   請求項１に記載の信号処理装置。
6. 前記パラメータ決定部は、環境光成分の割合が大きい場合、前記受光センサの露光時間を短くし、前記光源の発光量を大きくする前記露出制御パラメータを決定する
   請求項１に記載の信号処理装置。
7. 前記露出制御パラメータを決定する際の制約条件を設定する制約設定部をさらに備え、
   前記パラメータ決定部は、前記制約条件を満たす前記露出制御パラメータを決定する
   請求項１に記載の信号処理装置。
8. 前記受光センサの全画素領域のなかで特に注目する注目領域を決定する注目領域決定部をさらに備え、
   前記パラメータ決定部は、前記注目領域の前記デプスマップと前記信頼度マップとを用いた前記評価値に基づいて、前記露出制御パラメータを決定する
   請求項１に記載の信号処理装置。
9. 前記注目領域決定部は、前記デプスマップまたは前記信頼度マップの少なくとも一方を用いて、前記注目領域を決定する
   請求項８に記載の信号処理装置。
10. 前記注目領域決定部は、外部からから供給される、前記注目領域を示す領域特定信号に基づいて、前記注目領域を決定する
    請求項８に記載の信号処理装置。
11. 信号処理装置が、
    発光部からの光が物体で反射した反射光を受光した受光センサの検出信号から、間接ToF法による前記物体までの距離を画素値として格納したデプスマップと、画素で受光した前記反射光の大きさを画素値として格納した信頼度マップとを生成することと、
    前記デプスマップにおける距離のヒストグラムを算出することと、
    前記ヒストグラムと前記信頼度マップを用いて、前記受光センサの全画素のSN比の平均値を評価値として算出することと、
    前記発光部の光源の発光量と前記受光センサの露光時間とを含む露出制御パラメータであって、前記評価値が最大となる前記露出制御パラメータを決定することと
    を含む信号処理方法。
12. 光源を所定の周波数で発光させる発光部と、
    前記発光部からの光が物体で反射した反射光を受光する受光センサと、
    前記反射光を受光した前記受光センサの検出信号から、間接ToF法による前記物体までの距離を画素値として格納したデプスマップと、画素で受光した前記反射光の大きさを画素値として格納した信頼度マップとを生成する距離画像信頼度算出部と、
    前記デプスマップにおける距離のヒストグラムを算出する統計量算出部と、
    前記ヒストグラムと前記信頼度マップを用いて、前記受光センサの全画素のSN比の平均値を評価値として算出する評価値算出部と、
    前記発光部の光源の発光量と前記受光センサの露光時間とを含む露出制御パラメータであって、前記評価値が最大となる前記露出制御パラメータを決定するパラメータ決定部と
    を備える測距モジュール。

Images