JP7476170B2 - 信号処理装置、信号処理方法、および、測距モジュール - Google Patents

Description

本技術は、信号処理装置、信号処理方法、および、測距モジュールに関し、特に、測距精度を向上させることができるようにした信号処理装置、信号処理方法、および、測距モジュールに関する。

近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。

測距モジュールにおける測距方法としては、例えば、Indirect ToF（Time of Flight）方式や、Structured Light方式などがある。Indirect ToF方式では、光を物体に向かって照射して物体の表面で反射してくる光を検出し、その光の飛行時間を測定した測定値に基づいて物体までの距離が算出される。Structured Light方式では、パターン光を物体に向かって照射し、物体の表面におけるパターンの歪みを撮像した画像に基づいて物体までの距離が算出される。

例えば、特許文献１には、Indirect ToF方式で測距する測距モジュールにおいて、検出期間内における物体の移動を判定することにより、距離を正確に測定する技術が開示されている。

特開２０１７－１５０８９３号公報

Indirect ToF方式の測距モジュールにおいては、さらなる測距精度の向上が求められている。

本開示は、このような状況に鑑みてなされたものであり、測距精度を向上させることができるようにするものである。

本技術の第１の側面の信号処理装置は、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部と、前記第１乃至第４の検出信号の振幅を推定する振幅推定部とを備え、前記推定部は、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する。
本技術の第２の側面の信号処理装置は、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部と、前記第１乃至第４の検出信号の振幅を推定する振幅推定部と、前記画素における前記物体の動き量を推定する動き量推定部とを備え、前記推定部は、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する。
本技術の第３の側面の信号処理装置は、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部と、前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理を行う補正処理部と、補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号を算出する２位相処理部と、前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号を算出する４位相処理部と、前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドし、ブレンド後のI信号およびQ信号を算出するブレンド処理部と、前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報を算出する算出部とを備える。

本技術の第４の側面の信号処理方法は、信号処理装置が、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定することと、前記第１乃至第４の検出信号の振幅を推定することとを含み、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する。
本技術の第５の側面の信号処理方法は、信号処理装置が、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定することと、前記第１乃至第４の検出信号の振幅を推定することと、前記画素における前記物体の動き量を推定することとを含み、
前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する。
本技術の第６の側面の信号処理方法は、信号処理装置が、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定することと、前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理を行うことと、補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号を算出することと、前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号を算出することと、前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドし、ブレンド後のI信号およびQ信号を算出することと、前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報を算出することとを含む。

本技術の第７の側面の測距モジュールは、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素が２次元配置された受光部と、第１の側面から第３の側面のいずれかの信号処理装置とを備える。

本技術の第１乃至第６の側面においては、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差が推定される。
本技術の第１及び第４の側面においては、前記第１乃至第４の検出信号の振幅が推定され、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインが算出され、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインが更新される。
本技術の第２及び第５の側面においては、前記第１乃至第４の検出信号の振幅が推定され、前記画素における前記物体の動き量が推定され、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインが算出され、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインが更新される。
本技術の第３及び第６の側面においては、前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理が行われ、補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号が算出され、前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号が算出され、前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とがブレンドされ、ブレンド後のI信号およびQ信号が算出され、前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報が算出される。
本技術の第７の側面においては、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素が２次元配置された受光部が設けられ、第１の側面から第３の側面のいずれかの信号処理装置が設けられる。

信号処理装置及び測距モジュールは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。

本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。 Indirect ToF方式における画素の動作を説明する図である。 ４Phaseによる検出方式を説明する図である。 ４Phaseによる検出方式を説明する図である。 ２Phase方式と４Phase方式によるデプス値の算出方法を説明する図である。 測距モジュールの受光部の駆動とデプスマップの出力タイミングを説明する図である。 信号処理部の詳細構成を示すブロック図である。 ４位相の検出信号を説明する図である。 動き量と振幅に基づくブレンド率を説明する図である。 固定パターン推定部の詳細構成例を示すブロック図である。 動き量と振幅に基づく係数更新のブレンド率を説明する図である。 信号処理部による処理対象画素のデプス値算出処理を説明するフローチャートである。 駆動の第１変形例及び第２変形例を説明する図である。 駆動の第１変形例及び第２変形例を説明する図である。 駆動の第３変形例を説明する図である。 本技術を適用した電子機器の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距モジュールの構成例
２．Indirect ToF方式の画素動作
３．デプスマップの出力タイミング
４．信号処理部の詳細構成例
５．信号処理部のデプス値算出処理
６．測距モジュールによる駆動の変形例
７．電子機器の構成例
８．コンピュータの構成例
９．移動体への応用例

＜１．測距モジュールの構成例＞
図１は、本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。

図１に示される測距モジュール１１は、Indirect ToF方式による測距を行う測距モジュールであり、発光部１２、発光制御部１３、受光部１４、および信号処理部１５を有する。測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射した光（反射光）を受光することにより、物体までの距離情報としてのデプス値を測定し、デプスマップを出力する。

発光部１２は、例えば、光源として赤外線レーザダイオードなどを有し、発光制御部１３による制御に従って、発光制御部１３から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。

発光制御部１３は、所定の周波数（例えば、20MHzなど）の発光制御信号を発光部１２に供給することにより、発光部１２の発光を制御する。また、発光部１２における発光のタイミングに合わせて受光部１４を駆動させるために、発光制御部１３は、受光部１４にも発光制御信号を供給する。

受光部１４には、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素２１が行方向および列方向の行列状に２次元配置された画素アレイ部２２が設けられており、画素アレイ部２２の周辺領域に駆動制御回路２３が配置されている。

受光部１４は、複数の画素２１が２次元配置された画素アレイ部２２で、物体からの反射光を受光する。そして、受光部１４は、画素アレイ部２２の各画素２１が受光した反射光の受光量に応じた検出信号で構成される画素データを信号処理部１５に供給する。

信号処理部１５は、画素アレイ部２２の画素２１ごとに、受光部１４から供給される画素データに基づいて、測距モジュール１１から物体までの距離であるデプス値を算出して、後段の制御ユニット（例えば、図１６のアプリケーション処理部１２１やオペレーションシステム処理部１２２など）へ出力する。あるいはまた、信号処理部１５は、画素アレイ部２２の各画素２１の画素値としてデプス値が格納されたデプスマップを生成して、後段へ出力してもよい。なお、信号処理部１５の詳細な構成については、図７を参照して後述する。

駆動制御回路２３は、例えば、発光制御部１３から供給される発光制御信号などに基づいて、画素２１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。

画素２１は、フォトダイオード３１と、フォトダイオード３１で光電変換された電荷を検出する第１タップ３２Aおよび第２タップ３２Bとを有する。画素２１では、１つのフォトダイオード３１で発生した電荷が、第１タップ３２Aまたは第２タップ３２Bに振り分けられる。そして、フォトダイオード３１で発生した電荷のうち、第１タップ３２Aに振り分けられた電荷が信号線３３Aから検出信号Aとして出力され、第２タップ３２Bに振り分けられた電荷が信号線３３Bから検出信号Bとして出力される。

第１タップ３２Aは、転送トランジスタ４１A、FD（Floating Diffusion）部４２A、選択トランジスタ４３A、およびリセットトランジスタ４４Aにより構成される。同様に、第２タップ３２Bは、転送トランジスタ４１B、FD部４２B、選択トランジスタ４３B、およびリセットトランジスタ４４Bにより構成される。

＜２．Indirect ToF方式の画素動作＞
図２を参照して、Indirect ToF方式における画素２１の動作について説明する。

図２に示されるように、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が発光部１２から出力され、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード３１において反射光が受光される。また、振り分け信号DIMIX_Aは、転送トランジスタ４１Aのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ４１Bのオン／オフを制御する。振り分け信号DIMIX_Aは、照射光と同一位相の信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相となっている。

従って、フォトダイオード３１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ４１Aがオンとなっている間ではFD部４２Aに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ４１Bがオンとなっている間ではFD部４２Bに転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ４１Aを介して転送された電荷はFD部４２Aに順次蓄積され、転送トランジスタ４１Bを介して転送された電荷はFD部４２Bに順次蓄積される。

そして、電荷を蓄積する期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ４３Aがオンとなると、FD部４２Aに蓄積されている電荷が信号線３３Aを介して読み出され、その電荷量に応じた検出信号Aが受光部１４から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ４３Bがオンとなると、FD部４２Bに蓄積されている電荷が信号線３３Bを介して読み出され、その電荷量に応じた検出信号Bが受光部１４から出力される。また、FD部４２Aに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ４４Aがオンになると排出され、FD部４２Bに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ４４Bがオンになると排出される。

このように、画素２１は、フォトダイオード３１が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第１タップ３２Aまたは第２タップ３２Bに振り分けて、検出信号Aおよび検出信号Bを出力する。そして、遅延時間ΔTは、発光部１２で発光した光が物体まで飛行し、物体で反射した後に受光部１４まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距モジュール１１は、検出信号Aおよび検出信号Bに基づき、遅延時間ΔTに従って物体までの距離（デプス値）を求めることができる。

ただし、画素アレイ部２２では、個々の画素２１が有するフォトダイオード３１や転送トランジスタ４１等の画素トランジスタの各素子の特性のズレ（感度差）によって、画素２１ごとに異なる影響が検出信号Aおよび検出信号Bに与えられる場合がある。そのため、Indirect ToF方式の測距モジュール１１では、同一の画素２１で位相を変えて反射光を受光した検出信号Aおよび検出信号Bを取得することにより、各画素の固定パターンノイズとしてのタップ間の感度差を除去し、SN比を向上させる手法が採用される。

位相を変えて反射光を受光し、デプス値を算出する方式として、例えば、２Phaseによる検出方式（２Phase方式）と、４Phaseによる検出方式（４Phase方式）とについて説明する。

受光部１４は、図３に示されるように、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。より具体的には、受光部１４は、あるフレーム期間では、照射光の照射タイミングに対して位相を０°にして受光し、次のフレーム期間では、位相を９０°にして受光し、次のフレーム期間では、位相を１８０°にして受光し、次のフレーム期間では、位相を２７０°にして受光する、というように、時分割で位相を変えて反射光を受光する。

図４は、０°、９０°、１８０°、および、２７０°の各位相における画素２１の第１タップ３２Aの受光期間（露光期間）を、位相差が分かり易いように並べて示した図である。

図４に示されるように、第１タップ３２Aにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Aを検出信号A0、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Aを検出信号A1、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Aを検出信号A2、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Aを検出信号A3、と呼ぶことにする。

また、図示は省略するが、第２タップ３２Bにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Bを検出信号B0、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Bを検出信号B1、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Bを検出信号B2、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Bを検出信号B3、と呼ぶことにする。

図５は、２Phase方式と４Phase方式によるデプス値dの算出方法を説明する図である。

Indirect ToF方式において、デプス値dは、次式（１）で求めることができる。

式（１）のｃは光速であり、ΔTは遅延時間であり、fは光の変調周波数を表す。また、式（１）のφは、反射光の位相ずれ量[rad]を表し、次式（２）で表される。

４Phase方式では、式（２）のI,Qが、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A0乃至A3および検出信号B0乃至B3を用いて、次式（３）で計算される。I,Qは、照射光の輝度変化をcos波と仮定し、cos波の位相を極座標から直交座標系（IQ平面）に変換した信号である。
I＝ｃ_０－ｃ_１８０＝（A0－B0）－（A2－B2）
Q＝ｃ_９０－ｃ_２７０＝（A1－B1）－（A3－B3） ・・・・・・・・・・（３）

４Phase方式では、例えば、式（３）の“A0－A2”や“A1－A3”のように、同じ画素での逆位相の検出信号の差分を取ることで、各画素に存在するタップ間の特性ばらつき、すなわち、固定パターンノイズを除去することができる。

一方、２Phase方式では、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A0乃至A3および検出信号B0乃至B3のうち、直交関係にある２つの位相のみを用いて、物体までのデプス値dを求めることができる。例えば、位相０°の検出信号A0およびB0と、位相９０°の検出信号A1およびB１を用いた場合、式（２）のI,Qは次式（４）となる。
I＝ｃ_０－ｃ_１８０＝（A0－B0）
Q＝ｃ_９０－ｃ_２７０＝（A1－B1） ・・・・・・・・・・（４）

例えば、位相１８０°の検出信号A2およびB2と、位相２７０°の検出信号A3およびB3を用いた場合、式（２）のI,Qは次式（５）となる。
I＝ｃ_０－ｃ_１８０＝－（A2－B2）
Q＝ｃ_９０－ｃ_２７０＝－（A3－B3） ・・・・・・・・・・（５）

２Phase方式では、各画素に存在するタップ間の特性ばらつきは除去することができないが、２つの位相の検出信号のみで物体までのデプス値dを求めることができるので、４Phase方式の２倍のフレームレートで測距を行うことができる。

測距モジュール１１の信号処理部１５は、４Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号と、２Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号を、物体の動き等に応じて適切に選択またはブレンドする信号処理を行い、その結果を用いてデプス値dを算出し、デプスマップを出力する。

＜３．デプスマップの出力タイミング＞
次に、測距モジュール１１が生成するデプスマップの出力タイミングについて説明する。

図６は、測距モジュール１１の受光部１４の駆動と、デプスマップの出力タイミングを示している。

測距モジュール１１の受光部１４は、上述したように、位相０°、位相９０°、位相１８０°、および、位相２７０°の順番で、時分割で位相を変えて反射光を受光するように駆動するが、２Phase方式でデプス値dを算出する２つの位相を１セットとして連続して駆動する。

すなわち、受光部１４は、図６に示すように、時刻ｔ１から、位相０°の受光と位相９０°の受光とを連続して行い、時刻ｔ２から時刻ｔ３までの待機期間の後、時刻ｔ３から、位相１８０°の受光と位相２７０°の受光とを連続して行う。次に、時刻ｔ４から時刻ｔ５までの所定の待機期間の後、受光部１４は、時刻ｔ５から、位相１８０°の受光と位相２７０°の受光とを連続して行い、時刻ｔ６から時刻ｔ７までの待機期間の後、時刻ｔ７から、位相０°の受光と位相９０°の受光とを連続して行う。

各位相の受光動作は、リセットトランジスタ４４Aおよび４４Bをオンし、電荷をリセットするリセット動作、FD部４２Aおよび４２Bに電荷を蓄積するインテグレーション動作、FD部４２Aおよび４２Bに蓄積された電荷を読み出すリードアウト動作とで構成される。

信号処理部１５は、４位相分の画素データを用いてデプス値を算出するが、２位相単位でデプスマップを出力する。

具体的には、信号処理部１５は、時刻ｔ４において、時刻ｔ１から時刻ｔ４までの４位相分の画素データを用いてデプスマップDepth#1を生成して出力し、次の時刻ｔ６において、時刻ｔ３から時刻ｔ６までの４位相分の画素データを用いてデプスマップDepth#2を生成して出力する。信号処理部１５は、次の時刻ｔ８において、時刻ｔ５から時刻ｔ８までの４位相分の画素データを用いてデプスマップDepth#3を生成して出力する。

このように２つの位相を１セットとして連続して駆動することで、物体が動いている場合に、２Phase方式で算出するデプス値において、物体の動きによる影響を抑制することができる。

＜４．信号処理部の詳細構成例＞
図７は、信号処理部１５の詳細構成を示すブロック図である。

信号処理部１５は、補正処理部６１、２位相処理部６２、４位相処理部６３、動き推定部６４、振幅推定部６５、固定パターン推定部６６、ブレンド処理部６７、および、位相算出部６８を備える。

信号処理部１５には、受光部１４から、画素アレイ部２２の各画素の検出信号A0乃至A3と検出信号B0乃至B3が順次供給される。検出信号A0乃至A3は、第１タップ３２Aで位相を０°、９０°、１８０°、および、２７０°に順次設定して得られた検出信号Aであり、検出信号B0乃至B3は、第２タップ３２Bで位相を０°、９０°、１８０°、および、２７０°に順次設定して得られた検出信号Bである。

信号処理部１５は、図６を参照して説明したように、画素ごとに、位相０°、位相９０°、位相１８０°、および位相２７０°の最新の検出信号A0乃至A3と検出信号B0乃至B3を用いて、デプスマップを生成して出力するが、検出信号A0乃至A3と検出信号B0乃至B3の組合せとしては、図８のAに示されるように、位相１８０°と位相２７０°の２位相の検出信号が最新の検出信号である場合と、図８のBに示されるように、位相０°と位相９０°の２位相の検出信号が最新の検出信号である場合とがある。

以下の説明では、説明を簡単にするため、受光部１４から信号処理部１５に供給される検出信号A0乃至A3と検出信号B0乃至B3の組合せが、図８のAに示される、位相１８０°と位相２７０°の２位相の検出信号が最新の検出信号である場合を例に、信号処理部１５の各処理について説明する。

なお、位相０°と位相９０°の２位相の検出信号が最新の検出信号である場合は、図８のBに示されるように、位相１８０°、位相２７０°、位相０°、および、位相９０°の検出信号を、検出信号A0乃至A3と検出信号B0乃至B3とみなし、符号を反転させることで、同様に処理することができる。

図７の説明に戻り、信号処理部１５は、受光部１４から供給される画素アレイ部２２の各画素の検出信号A0乃至A3と検出信号B0乃至B3を、順次、処理対象画素として、画素毎に同様の処理を行う。したがって、以下では、処理対象画素とされた１画素の処理として、信号処理部１５の各処理について説明する。

受光部１４から信号処理部１５に供給される処理対象画素としての所定の画素２１の検出信号A0乃至A3と検出信号B0乃至B3は、４位相処理部６３、動き推定部６４、振幅推定部６５、および、固定パターン推定部６６に供給される。また、最新の位相１８０°と位相２７０°の２位相の検出信号A2およびA3並びにB2およびB3が、補正処理部６１に供給される。

補正処理部６１は、固定パターン推定部６６から供給される補正パラメータを用いて、処理対象画素の第１タップ３２Aの検出信号Aと、第２タップ３２Bの検出信号Bとのタップ間の特性ばらつき（感度差）を補正する処理を行う。

本実施の形態では、処理対象画素の第２タップ３２Bの検出信号Bを、第１タップ３２Aの検出信号Aに合わせることとして、補正処理部６１は、位相１８０°と位相２７０の検出信号A（A2,A3）およびB（B2,B3）それぞれについて、以下の補正処理を行う。
A’＝A
B’＝c0＋c1・B ・・・・・・・・・・（６）

ここで、c0およびc1は、固定パターン推定部６６から供給される補正パラメータであり、c0は、検出信号Aに対する検出信号Bのオフセットを表し、c1は、検出信号Aに対する検出信号Bのゲインを表す。

式（６）の検出信号A’およびB’が、補正処理後の検出信号を表す。なお、補正処理は、第１タップ３２Aの検出信号Aを、処理対象画素の第２タップ３２Bの検出信号Bに合わせることもできるし、検出信号AとBの中間に合わせるようにしてもよい。

補正処理部６１は、補正処理後の位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’を、２位相処理部６２に供給する。

２位相処理部６２は、補正処理部６１からの位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’とを用いて、式（５）による２Phase方式のI信号およびQ信号を算出する。

なお、以下では、４位相処理部６３によって算出された４Phase方式のI信号およびQ信号と区別するため、２Phase方式のI信号およびQ信号をI2信号およびQ2信号と記述する。

２位相処理部６２は、式（５）により算出した２Phase方式のI2信号およびQ2信号を、ブレンド処理部６７に供給する。

４位相処理部６３は、受光部１４から供給される処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、式（３）による４Phase方式のI信号およびQ信号を算出する。以下では、２Phase方式のI2信号およびQ2信号と区別して、４Phase方式のI信号およびQ信号を、I4信号およびQ4信号と記述する。

４位相処理部６３は、式（３）により算出した４Phase方式のI4信号およびQ4信号を、ブレンド処理部６７に供給する。

動き推定部６４は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、位相０°と位相９０°のセットと、位相１８０°と位相２７０°のセットのセット間における物体の動き量diffを推定（算出）する。

動き推定部６４は、セット間における物体の動き量diffとして、以下のdiff0乃至diff2のいずれかを採用することができる。
diff0 = |(A0+B0+A1+B1)-(A2+B2+A3+B3)|
diff1 = |(A0+B0)-(A2+B2)|+|(A1+B1)-(A3+B3)| ・・・・・（７）
diff2 = sqrt(|(A0+B0)-(A2+B2)|²+|(A1+B1)-(A3+B3)|²)

diff0は、セット間におけるI信号およびQ信号の総和の差によって動き量を算出する式である。diff1は、セット間におけるI信号の差によって動き量を算出する式である。diff2は、IQ平面上のセット間の距離によって動き量を算出する式である。動き量diff0乃至diff2のいずれを採用するかは、固定的に決定されてもよいし、設定信号等で選択（切替え）してもよい。

動き推定部６４は、推定した物体の動き量diffを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。

振幅推定部６５は、受光部１４から供給される処理対象画素の検出信号の振幅ampを推定（算出）する。ここでの振幅とは、変調された照射光により生じる２つの位相間の検出信号の差を表す。振幅ampが大きいことは、照射光が物体から十分に反射して処理対象画素に入射されていることを表す。振幅ampが小さいことは、ノイズが大きいことを表す。

振幅推定部６５は、検出信号の振幅ampとして、以下のamp0乃至amp3のいずれかを採用することができる。
amp0 = |(A2-B2)-(A3-B3)|
amp1 = sqrt(|(A2-B2)|²+|(A3-B3)|²)
amp2 = |(A0-B0)-(A2-B2)|+|(A1-B1)-(A3-B3)|) ・・・・・（８）
amp3 = sqrt(|(A0-B0)-(A2-B2)|²+|(A1-B1)-(A3-B3)|²)

amp0およびamp1は、最新の２つの位相、すなわち位相１８０°と位相２７０°の検出信号のみを用いて振幅を算出する式であり、amp2およびamp3は、最新の４つの位相、すなわち位相０°、位相９０°、位相１８０°、および、位相２７０°の検出信号を用いて振幅を算出する式である。

振幅推定部６５は、推定した検出信号の振幅ampを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。

固定パターン推定部６６は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3と、動き推定部６４から供給される物体の動き量diff、および、振幅推定部６５から供給される振幅ampとを用いて、タップ間の特性ばらつき（感度差）を補正する補正パラメータであるオフセットc0とゲインc1を推定（算出）する。

処理対象画素としての所定の画素２１の第１タップ３２Aと第２タップ３２Bの受光期間は、１８０°位相がずれていることから、オフセットc0とゲインc1と、検出信号A0乃至A3および検出信号B0乃至B3との間には、理想条件では以下の関係が成り立つ。
B0 = c0+ c1・A2
B1 = c0+ c1・A3
B2 = c0+ c1・A0 ・・・・・（９）
B3 = c0+ c1・A1

行列A、ｘ、およびｙを、以下のように置くと、

式（９）は、ｙ＝Aｘと表現することができるので、最小二乗法により、次式（１０）により、行列ｘ、すなわち、オフセットc0とゲインc1を算出することができる。

より厳密には、固定パターン推定部６６は、動き推定部６４から供給される物体の動き量diffと、振幅推定部６５から供給される振幅ampとに応じて、現在のオフセットc0とゲインc1を保持したり、新たに算出したオフセットc0とゲインc1に更新したりするが、詳細については、図１０を参照して後述する。

ブレンド処理部６７は、２位相処理部６２から供給される２Phase方式のI2信号およびQ2信号と、４位相処理部６３から供給される４Phase方式のI4信号およびQ4信号とを、動き量diffおよび振幅ampに応じてブレンドし、ブレンド後のI信号およびQ信号を算出して、位相算出部６８に供給する。

具体的には、ブレンド処理部６７は、動き推定部６４から供給される物体の動き量diffに基づいて、次式（１１）により、動き量diffに基づくブレンド率α_diffを算出する。

式（１１）によれば、図９のAに示されるように、動き推定部６４から供給される動き量diffが、第１の閾値dth0より小さい場合にブレンド率α_diff＝０とされ、第２の閾値dth1以上である場合にブレンド率α_diff＝１とされ、第１の閾値dth0以上第２の閾値dth1未満においては、ブレンド率α_diffが０＜α_diff＜１の範囲で線形に決定される。

また、ブレンド処理部６７は、振幅推定部６５から供給される振幅ampに基づいて、次式（１２）により、振幅ampに基づくブレンド率α_ampを算出する。

式（１２）によれば、図９のBに示されるように、振幅推定部６５から供給される振幅ampが、第１の閾値ath0より小さい場合にブレンド率α_amp＝０とされ、第２の閾値ath1以上である場合にブレンド率α_amp＝１とされ、第１の閾値ath0以上第２の閾値ath1未満においては、ブレンド率α_ampが０＜α_amp＜１の範囲で線形に決定される。

そして、ブレンド処理部６７は、動き量diffに基づくブレンド率α_diffと、振幅ampに基づくブレンド率α_ampとから、最終的なブレンド率αを、以下の式（１２A）または（１２B）のいずれかにより算出する。
α＝ｍｉｎ（α_diff，α_amp） ・・・・・・・・・・（１２A）
α＝β・α_diff＋（１－β）・α_amp ・・・・・・・・・・（１２B）

なお、式（１２B）のβは、ブレンド率α_diffとブレンド率α_ampとをブレンドするブレンド係数であり、例えば、予め設定される。

ブレンド処理部６７は、算出した最終的なブレンド率αを用いて、式（１３）により、２Phase方式のI2信号およびQ2信号と、４Phase方式のI4信号およびQ4信号とをブレンドしたI信号およびQ信号を算出して、位相算出部６８に供給する。
I＝α・I2＋（１－α）・I4
Q＝α・Q2＋（１－α）・I4 ・・・・・・・・・・（１３）

ブレンド処理部６７は、動き量diffが大きい場合は、２Phase方式のI2信号およびQ2信号の比率を大きくし、動き量diffが小さい場合は、ノイズの少ない４Phase方式のI4信号およびQ4信号の比率を大きくするようにブレンドする。また、ブレンド処理部６７は、振幅ampが小さい（ノイズが大きい）場合は、SN比が向上するように４Phase方式のI4信号およびQ4信号の比率を大きくするようにブレンドする。

図７の位相算出部６８は、ブレンド処理部６７から供給されるI信号およびQ信号を用いて、上述した式（１）および式（２）により、物体までの距離情報であるデプス値dを算出する。図６を参照して説明したように、位相算出部６８は、２つの位相の検出信号AおよびBが更新されるごとに、最新の４位相の検出信号AおよびBを用いてデプス値d（デプスマップ）を算出して出力する。

図１０は、固定パターン推定部６６の詳細構成例を示すブロック図である。

固定パターン推定部６６は、係数算出部８１、係数更新部８２、および、係数記憶部８３を備える。

受光部１４からの処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3は、係数算出部８１に供給され、動き推定部６４からの物体の動き量diffと、振幅推定部６５からの検出信号の振幅ampは、係数更新部８２に供給される。

係数算出部８１は、上述した式（１０）により、行列ｘ、すなわち、オフセットc0とゲインc1を算出する。係数算出部８１は、算出したオフセットc0とゲインc1を、更新候補としての新オフセットnext_c0および新ゲインnext_c1として、係数更新部８２に供給する。

係数更新部８２は、動き推定部６４から供給される物体の動き量diffに基づいて、次式（１４）により、動き量diffに基づくブレンド率u_diffを算出する。

式（１４）によれば、図１１のAに示されるように、動き推定部６４から供給される動き量diffが、第１の閾値uth0より小さい場合にブレンド率u_diff＝１とされ、第２の閾値uth1以上である場合にブレンド率u_diff＝０とされ、第１の閾値uth0以上第２の閾値uth1未満においては、ブレンド率u_diffが０＜u_diff＜１の範囲で線形に決定される。

また、係数更新部８２は、振幅推定部６５から供給される振幅ampに基づいて、次式（１５）により、振幅ampに基づくブレンド率u_ampを算出する。

式（１５）によれば、図１１のBに示されるように、振幅推定部６５から供給される振幅ampが、第１の閾値vth0より小さい場合にブレンド率u_amp＝０とされ、第２の閾値vth1以上である場合にブレンド率u_amp＝１とされ、第１の閾値vth0以上第２の閾値vth1未満においては、ブレンド率u_amが０＜u_amp＜１の範囲で線形に決定される。

そして、係数更新部８２は、動き量diffに基づくブレンド率u_diffと、振幅ampに基づくブレンド率u_ampとから、最終的なブレンド率uを、以下の式（１６）により算出する。
u＝ｍｉｎ（u_diff，u_amp） ・・・・・・・・・・（１６）

係数更新部８２は、算出した最終的なブレンド率uを用いて、次式（１７）により、係数算出部８１からの新オフセットnext_c0および新ゲインnext_c1と、係数記憶部８３からの現在のオフセットprev_c0およびゲインprev_c1とをブレンドして、更新後のオフセットc0およびゲインc1を算出する。
c0＝u・next_c0＋（１－u）・prev_c0
c1＝u・next_c1＋（１－u）・prev_c1 ・・・・・・・・・・（１７）

係数更新部８２は、算出した更新後のオフセットc0およびゲインc1を、補正処理部６１（図７）に供給するとともに、係数記憶部８３に記憶させる。

係数記憶部８３は、係数更新部８２から供給されるオフセットc0およびゲインc1を記憶する。そして、係数記憶部８３に記憶されたオフセットc0およびゲインc1は、係数算出部８１から係数更新部８２に次の新オフセットnext_c0および新ゲインnext_c1が供給されるタイミングで、更新前の現在のオフセットprev_c0およびゲインprev_c1として、係数更新部８２に供給される。

係数算出部８１で算出される新オフセットnext_c0および新ゲインnext_c1は、振幅ampが十分に大きく、かつ、動き量diffが少ない場合に、最も精度よく算出することができる。係数更新部８２は、振幅ampが十分に大きく、かつ、動き量diffが少ない場合には、新オフセットnext_c0および新ゲインnext_c1のブレンド率を大きくして更新し、振幅ampが小さい、または、動き量diffが大きい場合には、現在のオフセットprev_c0およびゲインprev_c1のブレンド率を大きくして、現在のオフセットprev_c0およびゲインprev_c1を保持するようにブレンド率uを設定し、更新後のオフセットc0およびゲインc1を算出する。

なお、上述の例では、係数更新部８２は、動き推定部６４から供給される動き量diffと、振幅推定部６５から供給される振幅ampの両方を用いて、オフセットc0およびゲインc1を更新するようにしたが、動き量diffまたは振幅ampのどちらか一方のみを用いて、オフセットc0およびゲインc1を更新するようにしてもよい。その場合、式（１７）のブレンド率uとして、動き量diffに基づくブレンド率u_diffか、または、振幅ampに基づくブレンド率u_ampが代入される。

＜５．信号処理部のデプス値算出処理＞
次に、図１２のフローチャートを参照して、信号処理部１５による処理対象画素のデプス値を算出するデプス値算出処理について説明する。この処理は、例えば、処理対象画素としての画素アレイ部２２内の所定の画素２１の検出信号A0乃至A3と検出信号B0乃至B3が供給されたとき開始される。

初めに、ステップＳ１において、４位相処理部６３は、受光部１４から供給された処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、式（３）による４Phase方式のI4信号およびQ4信号を算出する。算出した４Phase方式のI4信号およびQ4信号は、ブレンド処理部６７に供給される。

ステップＳ２において、動き推定部６４は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、位相０°と位相９０°のセットと、位相１８０°と位相２７０°のセットのセット間における物体の動き量diffを推定する。例えば、式（７）のdiff0乃至diff2の一つが、動き量diffとして算出される。動き推定部６４は、推定した物体の動き量diffを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。

ステップＳ３において、振幅推定部６５は、式（８）のamp0乃至amp3のいずれかを算出することにより、処理対象画素の検出信号の振幅ampを推定する。振幅推定部６５は、推定した検出信号の振幅ampを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。

ステップＳ１乃至Ｓ３は、異なる順番で処理してもよく、また同時に処理することもできる。

ステップＳ４において、固定パターン推定部６６は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3と、動き推定部６４から供給された物体の動き量diff、および、振幅推定部６５から供給された検出信号の振幅ampとを用いて、タップ間の特性ばらつきを補正する補正パラメータであるオフセットc0とゲインc1を推定する。推定したオフセットc0とゲインc1は、補正処理部６１に供給される。

ステップＳ５において、補正処理部６１は、固定パターン推定部６６から供給された補正パラメータを用いて、処理対象画素の第１タップ３２Aの検出信号Aと、第２タップ３２Bの検出信号Bとのタップ間の特性ばらつきを補正する処理を行う。具体的には、補正処理部６１は、固定パターン推定部６６から供給された補正パラメータであるオフセットc0とゲインc1を用いた式（６）により、処理対象画素の第２タップ３２Bの検出信号Bを、第１タップ３２Aの検出信号Aに合わせる処理を行う。補正処理後の位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’が、２位相処理部６２に供給される。

ステップＳ６において、２位相処理部６２は、補正処理後の位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’とを用いて、式（５）による２Phase方式のI2信号およびQ2信号を算出する。算出されたI2信号およびQ2信号は、ブレンド処理部６７に供給される。

ステップＳ７において、ブレンド処理部６７は、２位相処理部６２から供給された２Phase方式のI2信号およびQ2信号と、４位相処理部６３から供給された４Phase方式のI4信号およびQ4信号とを、動き量diffおよび振幅ampに応じてブレンドし、ブレンド後のI信号およびQ信号を算出して、位相算出部６８に供給する。

ステップＳ８において、位相算出部６８は、ブレンド処理部６７から供給されたI信号およびQ信号を用いて、上述した式（１）および式（２）により、物体までのデプス値dを算出し、後段へ出力する。

上述したステップＳ１乃至Ｓ８の処理が、受光部１４から供給される画素アレイ部２２の各画素を処理対象画素として順次実行される。

画素アレイ部２２の画素毎に、物体の動き量diffや検出信号の振幅ampは異なるので、画素毎に異なるブレンド率αで２Phase方式のI2信号およびQ2信号と、４位相処理部６３から供給される４Phase方式のI4信号およびQ4信号とがブレンドされ、I信号およびQ信号が算出される。

上述したデプス値算出処理によれば、物体の動き量diffが大きい場合には、２Phase方式のI2信号およびQ2信号を優先してデプス値dが算出され、動き量diffが小さく、物体が静止しているような場合には、４Phase方式のI4信号およびQ4信号を優先してデプス値dが算出される。また、４位相の検出信号から、固定パターンノイズとなる、タップ間の特性ばらつき（感度差）が推定され、補正処理部６１で補正されるので、２位相処理のI2信号およびQ2信号を高精度で算出することができる。これにより、SN比を向上させることができる。すなわち、測距精度を向上させることができる。

信号処理部１５は、２位相の検出信号を受光するごとに、デプス値（デプスマップ）を出力するので、高SN比で、高フレームレートを実現することができる。

＜６．測距モジュールによる駆動の変形例＞
図１３乃至図１５を参照して、測距モジュール１１の駆動の変形例について説明する。測距モジュール１１は、上述した駆動のほか、以下の第１変形例乃至第３変形例の駆動を選択的に実行することができる。

図１３のAは、測距モジュール１１の駆動の第１変形例を示している。

上述した実施の形態では、発光制御部１３が、例えば、20MHzなどの単一周波数の発光制御信号を発光部１２に供給し、発光部１２が単一周波数の変調光を物体に照射することとした。

これに対して、図１３のAに示されるように、発光制御部１３が、発光部１２に複数の周波数で照射光を照射させ、受光部１４に受光させることができる。図１３のAにおいて、「HIGH FREQ.」と「LOW FREQ.」とは、発光部１２に発光させる変調光の周波数が異なり、「HIGH FREQ.」が、例えば100MHｚなどの高周波数であり、「LOW FREQ.」が、例えば20MHzなどの低周波数である。

受光部１４は、高周波数で発光させた第１変調光と低周波数で発光させた第２変調光を、順番に、位相０°と位相９０°の２つの位相で受光する。次に、受光部１４は、高周波数で発光させた第１変調光と低周波数で発光させた第２変調光を、順番に、位相１８０°と位相２７０°の２つの位相で受光する。各周波数におけるデプス値の算出方法は、上述した実施の形態と同様である。

測距モジュール１１は、発光部１２に複数の周波数で発光させ、受光部１４に受光させ、信号処理部１５が、上述したデプス値算出処理を行う。複数の周波数を用いてデプス値を算出することで、変調周波数に応じた複数の距離を同じと判断してしまう現象（デプスエイリアシング）を解消することができる。

図１３のBは、測距モジュール１１の駆動の第２変形例を示している。

上述した実施の形態では、受光部１４の各画素２１が変調光を受光する受光期間（露光期間）は単一の時間とされていた。

これに対して、図１３のBに示されるように、各画素２１が変調光を受光する受光期間（露光期間）を複数に設定して受光させることができる。図１３のBにおいて、「HIGH SENSITIVITY」と「LOW SENSITIVITY」とは、受光期間が異なり、「HIGH SENSITIVITY」が、受光期間が第１受光期間に設定された高感度であり、「LOW SENSITIVITY」が、受光期間が第１受光期間より短い第２受光期間に設定された低感度である。

受光部１４は、所定の周波数で発光させた変調光を高感度と低感度とで順番に、位相０°と位相９０°の２つの位相で受光する。次に、受光部１４は、所定の周波数で発光させた変調光を高感度と低感度とで順番に、位相１８０°と位相２７０°の２つの位相で受光する。各周波数におけるデプス値の算出方法は、上述した実施の形態と同様である。

測距モジュール１１は、発光部１２に所定の周波数で発光させ、受光部１４に高感度と低感度の２種類の感度で受光させ、信号処理部１５が、上述したデプス値算出処理を行う。高感度による受光では、遠距離までの測定が可能となるが、低感度による受光では、飽和しやすくなる。複数の感度を用いてデプス値を算出することで、距離の測定範囲を拡大することができる。

図１３のBの例では、高感度と低感度を同じ２つの位相で検出したが、高感度と低感度を異なる２つの位相で検出してもよい。具体的には、最初に、高感度で位相０°と位相９０°の２つの位相で受光し、低感度で位相１８０°と位相２７０°の２つの位相で受光した後、高感度で位相１８０°と位相２７０°の２つの位相で受光し、低感度で位相０°と位相９０°の２つの位相で受光するように駆動してもよい。

図１３のAで説明した駆動の第１変形例、および、図１３のBで説明した駆動の第２変形例のいずれも、複数周波数または複数感度で、それぞれ、位相０°、位相９０°、位相１８０°、位相２７０°の４位相の検出を行うようにしたが、複数周波数または複数感度の一方は、２位相の検出のみ行うようにしてもよい。

例えば、図１４のAは、図１３のAに示した複数周波数の駆動において、低周波数で発光させる第２変調光については、位相１８０°と位相２７０°の２位相の受光を省略し、高周波数でのみ４位相の検出を行うようにした例を示している。

また、図１４のBは、図１３のBに示した複数感度の駆動において、低感度での位相１８０°と位相２７０°の２位相の受光を省略し、高感度でのみ４位相の検出を行うようにした例を示している。

このように、複数周波数または複数感度の一方は、２位相の検出のみ行うようにすることで、フレームレートを向上させることができる。

図１５は、測距モジュール１１の駆動の第３変形例を示している。

上述した実施の形態では、受光部１４の画素アレイ部２２の全ての画素２１が、所定のタイミングにおいては、位相０°、位相９０°、位相１８０°、または、位相２７０°のいずれかの同じ位相で検出するように駆動されていた。

これに対して、図１５のAに示されるように、画素アレイ部２２の各画素２１を、市松模様状に画素２１Xと画素２１Yとに分類し、画素２１Xと画素２１Yとで、異なる位相で検出するように駆動させてもよい。

例えば、測距モジュール１１の受光部１４は、図１５のCに示されるように、あるフレーム期間では、画素アレイ部２２の画素２１Xでは位相０°で検出すると同時に、画素２１Yでは位相９０°で検出するように駆動させ、次のフレーム期間では、画素アレイ部２２の画素２１Xでは位相１８０°で検出すると同時に、画素２１Yでは位相２７０°で検出するように駆動することができる。そして、２つのフレーム期間で得られた４位相の検出信号を用いて、上述したデプス値算出処理により、デプス値が算出される。

図１の測距モジュール１１は、例えば、車両に搭載され、車外にある対象物までの距離を測定する車載用のシステムに適用することができる。また例えば、図１の測距モジュール１１は、ユーザの手等の対象物までの距離を測定し、その測定結果に基づいてユーザのジェスチャを認識するジェスチャ認識用のシステムなどに適用することができる。

＜７．電子機器の構成例＞
上述した測距モジュール１１は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。

図１６は、測距モジュールを搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。

図１６に示すように、スマートフォン１０１は、測距モジュール１０２、撮像装置１０３、ディスプレイ１０４、スピーカ１０５、マイクロフォン１０６、通信モジュール１０７、センサユニット１０８、タッチパネル１０９、および制御ユニット１１０が、バス１１１を介して接続されて構成される。また、制御ユニット１１０では、CPUがプログラムを実行することによって、アプリケーション処理部１２１およびオペレーションシステム処理部１２２としての機能を備える。

測距モジュール１０２には、図１の測距モジュール１１が適用される。例えば、測距モジュール１０２は、スマートフォン１０１の前面に配置され、スマートフォン１０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。

撮像装置１０３は、スマートフォン１０１の前面に配置され、スマートフォン１０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン１０１の背面にも撮像装置１０３が配置された構成としてもよい。

ディスプレイ１０４は、アプリケーション処理部１２１およびオペレーションシステム処理部１２２による処理を行うための操作画面や、撮像装置１０３が撮像した画像などを表示する。スピーカ１０５およびマイクロフォン１０６は、例えば、スマートフォン１０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。

通信モジュール１０７は、通信ネットワークを介した通信を行う。センサユニット１０８は、速度や加速度、近接などをセンシングし、タッチパネル１０９は、ディスプレイ１０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。

アプリケーション処理部１２１は、スマートフォン１０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部１２１は、測距モジュール１０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ１０４に表示する処理を行うことができる。また、アプリケーション処理部１２１は、測距モジュール１０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。

オペレーションシステム処理部１２２は、スマートフォン１０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部１２２は、測距モジュール１０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン１０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部１２２は、測距モジュール１０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。

このように構成されているスマートフォン１０１では、上述した測距モジュール１１を適用することで、例えば、フレームレートの向上や、消費電力の低減、データ転送帯域の削減を実現することができる。これにより、スマートフォン１０１は、より滑らかに動く顔をコンピュータグラフィックスで作成したり、高精度に顔認証を行ったり、バッテリの消費を抑制したり、データ転送を狭帯域で行うことができる。

＜８．コンピュータの構成例＞
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）２０４は、バス２０５により相互に接続されている。バス２０５には、さらに、入出力インタフェース２０６が接続されており、入出力インタフェース２０６が外部に接続される。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、ROM２０２およびEEPROM２０４に記憶されているプログラムを、バス２０５を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU２０１）が実行するプログラムは、ROM２０２に予め書き込んでおく他、入出力インタフェース２０６を介して外部からEEPROM２０４にインストールしたり、更新したりすることができる。

これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０６を介して、外部へ出力することができる。

本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

＜９．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１９は、撮像部１２０３１の設置位置の例を示す図である。

図１９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距モジュール１１による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距モジュール１１による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。

なお、本技術は、Indirect ToF方式の中でもContinuous-Wave方式と称する、物体へ投射する光を振幅変調する方式に適用することができる。また、受光部１４のフォトダイオード３１の構造としては、CAPD（Current Assisted Photonic Demodulator）構造の測距センサや、フォトダイオードの電荷を２つのゲートに交互にパルスを加えるゲート方式の測距センサなど、２つの電荷蓄積部に電荷を振り分ける構造の測距センサに適用することができる。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は、以下の構成を取ることができる。
（１）
光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を備える
信号処理装置。
（２）
前記推定部は、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出する
前記（１）に記載の信号処理装置。
（３）
前記推定部は、前記第１のタップと前記第２のタップの位相が１８０度ずれていることを条件として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出する
前記（２）に記載の信号処理装置。
（４）
前記第１乃至第４の検出信号の振幅を推定する振幅推定部をさらに備え、
前記推定部は、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
前記（２）または（３）に記載の信号処理装置。
（５）
前記画素における前記物体の動き量を推定する動き量推定部をさらに備え、
前記推定部は、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
前記（２）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理を行う補正処理部をさらに備える
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号を算出する２位相処理部と、
前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号を算出する４位相処理部と、
前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドし、ブレンド後のI信号およびQ信号を算出するブレンド処理部と、
前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報を算出する算出部と
をさらに備える
前記（６）に記載の信号処理装置。
（８）
前記ブレンド処理部は、前記第１乃至第４の検出信号の振幅と、前記画素における前記物体の動き量とに基づいて、前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドする
前記（７）に記載の信号処理装置。
（９）
前記算出部は、前記第１乃至第４の検出信号のなかの２つの位相の検出信号が更新されるごとに、前記物体までの距離情報を算出する
前記（７）または（８）に記載の信号処理装置。
（１０）
信号処理装置が、
光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する
信号処理方法。
（１１）
光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素が２次元配置された受光部と、
前記画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を有する信号処理部と
を備える測距モジュール。
（１２）
前記画素は、複数の周波数で前記照射光を発光させた前記反射光を受光し、
前記推定部は、前記複数の周波数それぞれの前記タップ間の感度差を推定する
前記（１１）に記載の測距モジュール。
（１３）
前記画素は、前記照射光を発光させた前記反射光を複数の露光時間で受光し、
前記推定部は、前記複数の露光時間それぞれの前記タップ間の感度差を推定する
前記（１１）または（１２）に記載の測距モジュール。
（１４）
前記受光部は、第１の画素で前記第１の位相で前記反射光を受光すると同時に、第２の画素で前記第２の位相で前記反射光を受光するように駆動し、次に、前記第１の画素で前記第３の位相で前記反射光を受光すると同時に、前記第２の画素で前記第４の位相で前記反射光を受光するように駆動し、
前記推定部は、前記第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する
前記（１１）乃至（１３）のいずれかに記載の測距モジュール。

１１ 測距モジュール， １３ 発光制御部， １４ 受光部， １５ 信号処理部， ２１ 画素， １８ 参照信号生成部， １８a，１８ｂ DAC， １８ｃ 制御部， ２１ 画素， ２２ 画素アレイ部， ２３ 駆動制御回路， ３１ フォトダイオード， ３２A 第１タップ， ３２B 第２タップ， ６１ 補正処理部， ６２ ２位相処理部， ６３ ４位相処理部， ６４ 動き推定部， ６５ 振幅推定部， ６６ 固定パターン推定部， ６７ ブレンド処理部， ６８ 位相算出部， ８１ 係数算出部， ８２ 係数更新部， ８３ 係数記憶部， １０１ スマートフォン， １０２ 測距モジュール， ２０１ CPU， ２０２ ROM， ２０３ RAM

Claims (12)

1. 光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部と、
   前記第１乃至第４の検出信号の振幅を推定する振幅推定部と
   を備え、
   前記推定部は、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
   信号処理装置。
2. 光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部と、
   前記第１乃至第４の検出信号の振幅を推定する振幅推定部と、
   前記画素における前記物体の動き量を推定する動き量推定部と
   を備え、
   前記推定部は、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
   信号処理装置。
3. 光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部と、
   前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理を行う補正処理部と、
   補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号を算出する２位相処理部と、
   前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号を算出する４位相処理部と、
   前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドし、ブレンド後のI信号およびQ信号を算出するブレンド処理部と、
   前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報を算出する算出部と
   を備える信号処理装置。
4. 前記ブレンド処理部は、前記第１乃至第４の検出信号の振幅と、前記画素における前記物体の動き量とに基づいて、前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドする
   請求項３に記載の信号処理装置。
5. 前記算出部は、前記第１乃至第４の検出信号のなかの２つの位相の検出信号が更新されるごとに、前記物体までの距離情報を算出する
   請求項３に記載の信号処理装置。
6. 信号処理装置が、
   光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定することと、
   前記第１乃至第４の検出信号の振幅を推定することと
   を含み、
   前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
   信号処理方法。
7. 信号処理装置が、
   光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定することと、
   前記第１乃至第４の検出信号の振幅を推定することと、
   前記画素における前記物体の動き量を推定することと
   を含み、
   前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出し、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
   信号処理方法。
8. 信号処理装置が、
   光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定することと、
   前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理を行うことと、
   補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号を算出することと、
   前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号を算出することと、
   前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドし、ブレンド後のI信号およびQ信号を算出することと、
   前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報を算出することと
   を含む信号処理方法。
9. 光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素が２次元配置された受光部と、
   請求項１から請求項３のいずれかに記載の信号処理装置と
   を備える測距モジュール。
10. 前記画素は、複数の周波数で前記照射光を発光させた前記反射光を受光し、
    前記推定部は、前記複数の周波数それぞれの前記タップ間の感度差を推定する
    請求項９に記載の測距モジュール。
11. 前記画素は、前記照射光を発光させた前記反射光を複数の露光時間で受光し、
    前記推定部は、前記複数の露光時間それぞれの前記タップ間の感度差を推定する
    請求項９に記載の測距モジュール。
12. 前記受光部は、第１の画素で前記第１の位相で前記反射光を受光すると同時に、第２の画素で前記第２の位相で前記反射光を受光するように駆動し、次に、前記第１の画素で前記第３の位相で前記反射光を受光すると同時に、前記第２の画素で前記第４の位相で前記反射光を受光するように駆動し、
    前記推定部は、前記第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する
    請求項９に記載の測距モジュール。

Images