JP7030607B2 - 測距処理装置、測距モジュール、測距処理方法、およびプログラム - Google Patents

測距処理装置、測距モジュール、測距処理方法、およびプログラム Download PDF

Info

Publication number
JP7030607B2
JP7030607B2 JP2018087513A JP2018087513A JP7030607B2 JP 7030607 B2 JP7030607 B2 JP 7030607B2 JP 2018087513 A JP2018087513 A JP 2018087513A JP 2018087513 A JP2018087513 A JP 2018087513A JP 7030607 B2 JP7030607 B2 JP 7030607B2
Authority
JP
Japan
Prior art keywords
distance measurement
detection signal
unit
detection
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018087513A
Other languages
English (en)
Other versions
JP2019191119A (ja
JP2019191119A5 (ja
Inventor
峻太郎 青竹
智経 増野
拓郎 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018087513A priority Critical patent/JP7030607B2/ja
Priority to CN201910248398.3A priority patent/CN110412598A/zh
Priority to TW108111643A priority patent/TWI798408B/zh
Priority to US16/375,896 priority patent/US11561303B2/en
Priority to KR1020190040503A priority patent/KR20190125171A/ko
Priority to EP19170343.8A priority patent/EP3561544A1/en
Publication of JP2019191119A publication Critical patent/JP2019191119A/ja
Publication of JP2019191119A5 publication Critical patent/JP2019191119A5/ja
Application granted granted Critical
Publication of JP7030607B2 publication Critical patent/JP7030607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Description

本開示は、測距処理装置、測距モジュール、測距処理方法、およびプログラムに関し、特に、より高性能化を図ることができるようにした測距処理装置、測距モジュール、測距処理方法、およびプログラムに関する。
近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。
一般的に、測距モジュールにおける測距方法としては、Indirect TOF（Time of Flight）方式およびStructured Light方式の２種類がある。Indirect ToF方式では、光を物体に向かって照射して物体の表面で反射してくる光を検出し、その光の飛行時間を測定した測定値に基づいて物体までの距離が算出される。Structured Light方式では、パターン光を物体に向かって照射し、物体の表面におけるパターンの歪みを撮像した画像に基づいて物体までの距離が算出される。
例えば、特許文献１には、ToF方式で測距する測距システムにおいて、検出期間内における物体の移動を判定することにより、距離を正確に測定する技術が開示されている。
特開２０１７－１５０８９３号公報
ところで、上述したように、測距モジュールをモバイル端末で利用する際には、フレームレートや消費電力、データ転送帯域などの性能を向上させることが求められる。
本開示は、このような状況に鑑みてなされたものであり、より高性能化を図ることができるようにするものである。
本開示の一側面の測距処理装置は、所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算部と、前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算部と、前記検出信号に基づいた条件判断を行い、前記第１の測距演算部および前記第２の測距演算部を切り替えて用いる条件判断部とを備える。
本開示の一側面の測距モジュールは、所定数の位相の異なる照射光を物体に照射する発光部と、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の位相の照射光について２つずつ検出される前記所定数の２倍の検出信号を出力する受光部と、前記所定数の２倍の前記検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算部と、前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算部と、前記検出信号に基づいた条件判断を行い、前記第１の測距演算部および前記第２の測距演算部を切り替えて用いる条件判断部とを備える。
本開示の一側面の測距処理方法は、測距処理を行う測距処理装置が、所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算処理を行うことと、前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演処理を行うことと、前記検出信号に基づいた条件判断を行い、前記第１の測距演算処理および前記第２の測距演算処理を切り替えて用いることとを含む。
本開示の一側面のプログラムは、測距処理を行う測距処理装置のコンピュータに、所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算処理を行うことと、前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演処理を行うことと、前記検出信号に基づいた条件判断を行い、前記第１の測距演算処理および前記第２の測距演算処理を切り替えて用いることとを含む測距処理を実行させる。
本開示の一側面においては、所定数の位相の異なる照射光を物体に照射して、物体で反射した反射光を受光することにより発生する電荷が、物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、所定数の照射光について２つずつ検出される所定数の２倍の検出信号を全て用いて、物体までの距離を表すデプスを求める演算を行う第１の測距演算処理が行われ、所定数の２倍の検出信号のうち、前段半分の照射光に基づく所定数の検出信号と、後段半分の照射光に基づく所定数の検出信号とを交互に用いて、物体までの距離を表すデプスを求める演算を行う第２の測距演処理が行われ、検出信号に基づいた条件判断を行い、第１の測距演算処理および第２の測距演算処理が切り替えられて用いられる。
本開示の一側面によれば、より高性能化を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。 画素回路における電荷の振り分けを説明する図である。 ９０°ごとに位相が遅れた４通りの照射光の一例を示す図である。 ９０°ごとに位相が遅れた４通りの照射光による４つの検出期間を利用した測距について説明する図である。 位相遅れ０°の照射光による検出期間での検出信号の一例を示す図である。 位相遅れ９０°の照射光による検出期間での検出信号の一例を示す図である。 位相遅れ１８０°の照射光による検出期間での検出信号の一例を示す図である。 位相遅れ２７０°の照射光による検出期間での検出信号の一例を示す図である。 検出信号Ａ０乃至Ａ２７０および検出信号Ｂ０乃至Ｂ２７０の関係を説明する図である。 補正演算について説明する図である。 ２つの検出期間を利用した測距について説明する図である。 測距演算処理部の第１の構成例を示すブロック図である。 測距演算処理の第１の処理例を説明するフローチャートである。 測距演算処理部の第２の構成例を示すブロック図である。 測距結果を合成することによるフレームレートの向上について説明する図である。 測距結果を合成することによる消費電力の低下について説明する図である。 測距演算処理の第２の処理例を説明するフローチャートである。 １枚のデプスマップを出力するための発光および受光のタイミングの一例を示す図である。 発光パターンのバリエーションを示す図である。 発光パターンのバリエーションを示す図である。 発光パターンのバリエーションを示す図である。 測距演算処理部の第３の構成例を示すブロック図である。 動き検知に基づいた測距結果の合成について説明する図である。 測距演算処理の第３の処理例を説明するフローチャートである。 測距モジュールを搭載した電子機器の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜測距モジュールの構成例＞
図１は、本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。
図１に示すように、測距モジュール１１は、発光部１２、発光制御部１３、受光部１４、および測距演算処理部１５を備えて構成される。例えば、測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射した光（反射光）を受光して、物体までの距離を表すデプスを測定する。
発光部１２は、発光制御部１３による制御に従って、発光制御部１３から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。
発光制御部１３は、所定の周波数（例えば、20MHzなど）の発光制御信号を発光部１２に供給し、発光部１２の発光を制御する。また、発光部１２における発光のタイミングに合わせて受光部１４を駆動させるために、発光制御部１３は、受光部１４にも発光制御信号を供給する。
受光部１４は、複数の画素がアレイ状に配置されたセンサ面で、物体からの反射光を受光する。そして、受光部１４は、それぞれの画素が受光した反射光の受光量に応じた検出信号で構成される画像データを、測距演算処理部１５に供給する。
測距演算処理部１５は、受光部１４から供給される画像データに基づいて、測距モジュール１１から物体までのデプスを求める演算を行う。そして、測距演算処理部１５は、物体までのデプスが画素ごとに表されたデプスマップと、それぞれのデプスに対する信頼度が画素ごとに表された信頼度マップとを生成して、図示しない後段の制御ユニット（例えば、図２５のアプリケーション処理部１２１やオペレーションシステム処理部１２２など）へ出力する。なお、測距演算処理部１５の詳細な構成については、図１２を参照して後述する。
また、受光部１４には、複数の画素回路２１がアレイ状に配置された画素アレイ部２２が設けられており、画素アレイ部２２の周辺領域に駆動制御回路２３が配置されている。画素アレイ部２２は、反射光を受光するセンサ面である。駆動制御回路２３は、例えば、発光制御部１３から供給される発光制御信号などに基づいて、画素回路２１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。
画素回路２１は、１つのフォトダイオード３１で発生した電荷がタップ３２Ａおよびタップ３２Ｂに振り分けられるように構成されている。そして、フォトダイオード３１で発生した電荷のうち、タップ３２Ａに振り分けられた電荷が信号線３３Ａから読み出されて検出信号Ａとして用いられ、タップ３２Ｂに振り分けられた電荷が信号線３３Ｂから読み出されて検出信号Ｂとして用いられる。
タップ３２Ａは、転送トランジスタ４１Ａ、ＦＤ（Floating Diffusion）部４２Ａ、選択トランジスタ４３Ａ、およびリセットトランジスタ４４Ａにより構成される。同様に、タップ３２Ｂは、転送トランジスタ４１Ｂ、ＦＤ部４２Ｂ、選択トランジスタ４３Ｂ、およびリセットトランジスタ４４Ｂにより構成される。
図２を参照して、画素回路２１における電荷の振り分けについて説明する。
図２に示すように、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が発光部１２から出力され、物体までの距離に応じた遅延時間ＴＲＴだけ遅れて、フォトダイオード３１において反射光が受光される。また、振り分け信号DIMIX_Aは、転送トランジスタ４１Ａのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ４１Ｂのオン／オフを制御する。図示するように、振り分け信号DIMIX_Aが、照射光と同一の位相である一方で、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相となっている。
従って、フォトダイオード３１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ４１Ａがオンとなっている間ではＦＤ部４２Ａに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ４１Ｂのオンとなっている間ではＦＤ部４２Ｂに転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ４１Ａを介して転送された電荷はＦＤ部４２Ａに順次蓄積され、転送トランジスタ４１Ｂを介して転送された電荷はＦＤ部４２Ｂに順次蓄積される。
そして、電荷を蓄積する期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ４３Ａがオンとなると、ＦＤ部４２Ａに蓄積されている電荷が信号線３３Ａを介して読み出され、その電荷量に応じた検出信号Ａが受光部１４から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ４３Ｂがオンとなると、ＦＤ部４２Ｂに蓄積されている電荷が信号線３３Ｂを介して読み出され、その電荷量に応じた検出信号Ｂが受光部１４から出力される。また、ＦＤ部４２Ａに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ４４Ａがオンになると排出され、ＦＤ部４２Ｂに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ４４Ｂがオンになると排出される。
このように、画素回路２１は、フォトダイオード３１が受光した反射光により発生する電荷を、遅延時間ＴＲＴに応じてタップ３２Ａおよびタップ３２Ｂに振り分けて、検出信号Ａおよび検出信号Ｂを出力することができる。そして、遅延時間ＴＲＴは、発光部１２で発光した光が物体まで飛行し、物体で反射した後に受光部１４まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距モジュール１１は、検出信号Ａおよび検出信号Ｂに基づき、遅延時間ＴＲＴに従って物体までの距離（デプス）を求めることができる。
ところで、測距モジュール１１では、個々の画素回路２１が有するフォトダイオード３１などの各素子の特性のズレによって、画素回路２１ごとに異なる影響が検出信号Ａおよび検出信号Ｂに与えられることになる。従って、一般的に、位相の異なる照射光が用いられ、複数回、それぞれの位相の照射光による反射光から検出される検出信号Ａおよび検出信号Ｂに基づいて、個々の特性のズレによる影響を打ち消すような演算が行われる。
ここで、図３乃至図９を参照して、従来、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響を打ち消すために必要としている検出信号について説明する。
例えば、図３に示すように、９０°ごとに位相が遅れた４通りの照射光が用いられる。即ち、位相遅れ０°の照射光を基準として、位相遅れ９０°の照射光、位相遅れ１８０°の照射光、および、位相遅れ２７０°の照射光を用いて、それぞれ検出信号Ａおよび検出信号Ｂを検出する期間（quad）が４回設けられる。
即ち、図４に示すように、例えば、位相遅れ０°の照射光による反射光を検出する検出期間Ｑ０、位相遅れ９０°の照射光による反射光を検出する検出期間Ｑ１、位相遅れ１８０°の照射光による反射光を検出する検出期間Ｑ２、および、位相遅れ２７０°の照射光による反射光を検出する検出期間Ｑ３が連続的に設けられる。また、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３では、電荷をリセットするリセット期間、電荷を蓄積するインテグレーション期間、電荷を読み出すリードアウト期間がそれぞれ設けられている。
そして、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３からなる検出期間と、その後の待機期間（dead time / idle time）とにより、１枚のデプスマップを出力するための１デプスフレームが構成される。このような１デプスフレームが繰り返され、フレーム番号ｔのデプスフレーム、フレーム番号ｔ＋１のデプスフレーム、フレーム番号ｔ＋２のデプスフレームのように、所定のフレームレートで連続的にデプスフレームが出力される。
図５には、検出期間Ｑ０における照射光、反射光、振り分け信号DIMIX_AおよびDIMIX_B、並びに、検出信号ＡおよびＢの一例が示されている。図５に示すように、遅延時間ＴＲＴに応じた電荷量でタップ３２Ａおよびタップ３２Ｂに電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ０における検出信号Ａ０および検出信号Ｂ０が出力される。
図６には、検出期間Ｑ１における照射光、反射光、振り分け信号DIMIX_AおよびDIMIX_B、並びに、検出信号ＡおよびＢの一例が示されている。図６に示すように、遅延時間ＴＲＴに応じた電荷量でタップ３２Ａおよびタップ３２Ｂに電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ１における検出信号Ａ９０および検出信号Ｂ９０が出力される。
図７には、検出期間Ｑ２における照射光、反射光、振り分け信号DIMIX_AおよびDIMIX_B、並びに、検出信号ＡおよびＢの一例が示されている。図７に示すように、遅延時間ＴＲＴに応じた電荷量でタップ３２Ａおよびタップ３２Ｂに電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ２における検出信号Ａ１８０および検出信号Ｂ１８０が出力される。
図８には、検出期間Ｑ３における照射光、反射光、振り分け信号DIMIX_AおよびDIMIX_B、並びに、検出信号ＡおよびＢの一例が示されている。図８に示すように、遅延時間ＴＲＴに応じた電荷量でタップ３２Ａおよびタップ３２Ｂに電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ３における検出信号Ａ２７０および検出信号Ｂ２７０が出力される。
このように、検出期間Ｑ０では位相遅れ０°の照射光を用いて検出信号Ａ０および検出信号Ｂ０が検出され、検出期間Ｑ１では位相遅れ９０°の照射光を用いて検出信号Ａ９０および検出信号Ｂ９０が検出される。同様に、検出期間Ｑ２では位相遅れ１８０°の照射光を用いて検出信号Ａ１８０および検出信号Ｂ１８０が検出され、検出期間Ｑ３では位相遅れ２７０°の照射光を用いて検出信号Ａ２７０および検出信号Ｂ２７０が検出される。
ここで、図９には、位相遅れを横軸とし、信号の強度（Intensity）を縦軸としたときの、検出信号Ａ０乃至Ａ２７０および検出信号Ｂ０乃至Ｂ２７０の関係が示されている。
そして、検出信号Ａ０および検出信号Ｂ０の関係、検出信号Ａ９０および検出信号Ｂ９０の関係、検出信号Ａ１８０および検出信号Ｂ１８０の関係、並びに、検出信号Ａ２７０および検出信号Ｂ２７０の関係は、次の式（１）に示すようにモデル化される。
Figure 0007030607000001
このようなモデル化を行って、この式（１）からオフセットOffset、ゲインGain、および角度θを求めることで、例えば、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルした測距を行うことができる。即ち、タップ３２Ａとタップ３２ＢとにおけるオフセットOffsetおよびゲインGainの違いを打ち消すために、４回の検出期間Ｑ０乃至Ｑ３で検出される８つの検出信号（検出信号Ａ０乃至Ａ２７０および検出信号Ｂ０乃至Ｂ２７０）が必要とされる。
このように、従来、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルした測距を行うために、検出信号Ａ０乃至Ａ２７０および検出信号Ｂ０乃至Ｂ２７０を検出する必要があった。
これに対し、測距モジュール１１では、タップ３２Ａのオフセットおよびゲインと、タップ３２Ｂのオフセットおよびゲインとを求め、それらのズレを補償する。これにより、測距モジュール１１は、２回の検出期間Ｑ０およびＱ１（または検出期間Ｑ２およびＱ３）それぞれで検出信号Ａと検出信号Ｂとを検出するだけで、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルした測距を行うことができる。
例えば、タップ３２ＡのオフセットOffset_AおよびゲインGain_A、並びに、タップ３２ＢのオフセットOffset_BおよびゲインGain_Bには、次の式（２）に示すような関係がある。
Figure 0007030607000002
ここで、オフセットOffset_AおよびOffset_Bについては、画素回路２１ごとに固定の値となり、事前に求めることができる。一方、ゲインGain_AおよびGain_Bについては、画素回路２１の構造によっては光の入射角に従って変動することがあるため、デプスフレームごとに算出する必要がある。
即ち、測距モジュール１１では、事前に、または、測距を行う初期の処理で、検出信号Ａ０乃至Ａ２７０および検出信号Ｂ０乃至Ｂ２７０を検出し、次の式（３）に示す連立方程式を解くことで、オフセットOffset_AおよびOffset_Bが求められる。
Figure 0007030607000003
そして、測距モジュール１１では、オフセットOffset_AおよびOffset_Bがオフセットパラメータとして格納される。
その後、測距モジュール１１では、検出信号Ａ０、検出信号Ｂ０、検出信号Ａ９０、および検出信号Ｂ９０が検出されたタイミングで、次の式（４）に示すようなゲインパラメータ（Gain_A / Gain_B）が求められる。
Figure 0007030607000004
また、測距モジュール１１では、検出信号Ａ１８０およびＡ２７０並びに検出信号Ｂ１８０およびＢ２７０が検出されたタイミングで、次の式（５）に示すようなゲインパラメータ（Gain_A / Gain_B）が求められる。
Figure 0007030607000005
従って、測距モジュール１１では、検出信号Ａ０、検出信号Ｂ０、検出信号Ａ９０、および検出信号Ｂ９０が検出されたタイミングで、次の式（６）に従って、オフセットパラメータ（Offset_A , Offset_B）およびゲインパラメータ（Gain_A / Gain_B）を用いた補正を施すことができる。
Figure 0007030607000006
これにより、測距モジュール１１では、検出信号Ａを基準とする場合には、補正検出信号Ａ’１８０およびＡ’２７０が求められ、検出信号Ｂを基準とする場合には、補正検出信号Ｂ’１８０およびＢ’２７０が求められる。
即ち、図１０に示すように、検出信号Ｂ０に対する補正により補正検出信号Ａ’１８０が求められるとともに、検出信号Ｂ９０に対する補正により補正検出信号Ａ’２７０が求められる。または、検出信号Ａ０に対する補正により補正検出信号Ｂ’１８０が求められるとともに、検出信号Ａ９０に対する補正により補正検出信号Ｂ’２７０が求められる。
従って、測距モジュール１１は、検出信号Ａ０、検出信号Ａ９０、補正検出信号Ａ’１８０、および補正検出信号Ａ’２７０を用い、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルして、デプスと信頼度とを求めることができる。または、測距モジュール１１は、検出信号Ｂ０、検出信号Ｂ９０、補正検出信号Ｂ’１８０、および補正検出信号Ｂ’２７０を用い、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルして、デプスと信頼度とを求めることができる。
同様に、測距モジュール１１では、検出信号Ａ１８０、検出信号Ｂ２７０、検出信号Ａ１８０、および検出信号Ｂ２７０が検出されたタイミングで、次の式（７）に従って、オフセットパラメータ（Offset_A , Offset_B）およびゲインパラメータ（Gain_A / Gain_B）を用いた補正を施すことができる。
Figure 0007030607000007
これにより、測距モジュール１１では、検出信号Ａを基準とする場合には、補正検出信号Ａ’０およびＡ’９０が求められ、検出信号Ｂを基準とする場合には、補正検出信号Ｂ’０およびＢ’９０が求められる。
従って、測距モジュール１１は、補正検出信号Ａ’０、補正検出信号Ａ’９０、検出信号Ａ１８０、および検出信号Ａ２７０を用い、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルして、デプスと信頼度とを求めることができる。または、測距モジュール１１は、補正検出信号Ｂ’０、補正検出信号Ｂ’９０、検出信号Ｂ１８０、および検出信号Ｂ２７０を用い、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルして、デプスと信頼度とを求めることができる。
このように、測距モジュール１１では、オフセットパラメータ（Offset_A , Offset_B）を事前に求め、ゲインパラメータ（Gain_A / Gain_B）をデプスフレームごとに求めることにより、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルした測距が行われる。
例えば、図１１に示すように、測距モジュール１１は、２回の検出期間Ｑ０およびＱ１において、４つの検出信号（検出信号Ａ０、検出信号Ｂ０、検出信号Ａ９０、および検出信号Ｂ９０）を検出して、フレーム番号ｔのデプスフレームを出力する。続けて、測距モジュール１１は、２回の検出期間Ｑ２およびＱ３において、４つの検出信号（検出信号Ａ１８０、検出信号Ｂ１８０、検出信号Ａ２７０、および検出信号Ｂ２７０）を検出して、フレーム番号ｔ＋１のデプスフレームを出力する。
従って、図４を参照して上述したような４回の検出期間Ｑ０乃至Ｑ３により１デプスフレームが出力されるような測距方法と比較して、測距モジュール１１は、１デプスフレームを出力するのに必要となる時間を半分に短縮することができる。即ち、測距モジュール１１は、従来よりもフレームレートを２倍とすることができる。
＜測距演算処理部の構成例＞
図１２は、測距演算処理部１５の第１の構成例を示すブロック図である。
測距演算処理部１５は、受光部１４から画像データとして供給される検出信号Ａ（ｔ）および検出信号Ｂ（ｔ）を用いて、フレーム番号ｔのデプスマップを構成するデプスｄ（ｔ）と、フレーム番号ｔの信頼度マップを構成する信頼度ｃ（ｔ）を出力する。
まず、測距演算処理部１５は、位相遅れ０°および９０°の照射光で検出される４つの検出信号（検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ））が供給されると、フレーム番号ｔのデプスフレームのデプスｄ（ｔ）および信頼度ｃ（ｔ）を出力する。続けて、測距演算処理部１５は、位相遅れ１８０°および２７０°の照射光で検出される４つの検出信号（検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１））が供給されると、フレーム番号ｔ＋１のデプスフレームを構成するデプスｄ（ｔ＋１）および信頼度ｃ（ｔ＋１）を出力する。
図１２に示すように、測距演算処理部１５は、補正パラメータ算出部５１および測距部５２を備えて構成される。補正パラメータ算出部５１は、ズレ補正パラメータ計算部６１およびズレ補正パラメータ格納部６２を有しており、オフセットパラメータおよびオフセットパラメータを算出する。測距部５２は、補正演算部７１および測距演算部７２を有しており、オフセットパラメータおよびオフセットパラメータに基づいて検出信号を補正し、デプスを求める。
ズレ補正パラメータ計算部６１は、例えば、測距開始時の数フレームにおいて、次の式（８）を、オフセットOffset_AおよびOffset_Bについて解く。
Figure 0007030607000008
これにより、ズレ補正パラメータ計算部６１は、オフセットOffset_AおよびOffset_Bを求めて、ズレ補正パラメータ格納部６２に格納する。なお、オフセットOffset_AおよびOffset_Bついては、例えば、測距モジュール１１の検査時などにおいて事前に求めておき、測距モジュール１１の出荷時にはズレ補正パラメータ格納部６２に格納されているようにしてもよい。
そして、ズレ補正パラメータ計算部６１は、位相遅れ０°および９０°の照射光で検出される４つの検出信号（検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ））が供給されると、次の式（９）を計算する。これにより、ズレ補正パラメータ計算部６１は、ゲインパラメータ（Gain_A / Gain_B（ｔ））を求めて、測距部５２の補正演算部７１に供給する。
Figure 0007030607000009
続けて、ズレ補正パラメータ計算部６１は、位相遅れ１８０°および２７０°の照射光で検出される４つの検出信号（検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１））が供給されると、次の式（１０）を計算する。これにより、ズレ補正パラメータ計算部６１は、ゲインパラメータ（Gain_A / Gain_B（ｔ＋１））を求めて、測距部５２の補正演算部７１に供給する。
Figure 0007030607000010
ズレ補正パラメータ格納部６２は、ズレ補正パラメータ計算部６１により計算されたオフセットパラメータ（Offset_A , Offset_B）を格納し、測距部５２の補正演算部７１に供給する。なお、ズレ補正パラメータ計算部６１は、画素回路２１ごとにゲインパラメータおよびオフセットパラメータを求め、ズレ補正パラメータ格納部６２は、画素回路２１ごとにオフセットパラメータを保持する。
補正演算部７１には、位相遅れ０°および９０°の照射光で検出される４つの検出信号（検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ））が供給されるタイミングで、ズレ補正パラメータ計算部６１からゲインパラメータ（Gain_A / Gain_B（ｔ））が供給される。従って、このタイミングで、補正演算部７１は、次の式（１１）に示す演算を行うことで、補正検出信号Ａ’１８０（ｔ）およびＡ’２７０（ｔ）、または、補正検出信号Ｂ’１８０（ｔ）およびＢ’２７０（ｔ）を求めることができる。
Figure 0007030607000011
これにより、補正演算部７１は、位相遅れ０°および９０°の照射光で検出される４つの検出信号が供給されるタイミングで、補正検出信号Ａ’１８０（ｔ）およびＡ’２７０（ｔ）、または、補正検出信号Ｂ’１８０（ｔ）およびＢ’２７０（ｔ）を測距演算部７２に供給する。
続けて、補正演算部７１には、位相遅れ１８０°および２７０°の照射光で検出される４つの検出信号（検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１））が供給されるタイミングで、ズレ補正パラメータ計算部６１からゲインパラメータ（Gain_A / Gain_B（ｔ＋１））が供給される。従って、このタイミングで、補正演算部７１は、次の式（１２）に示す演算を行うことで、補正検出信号Ａ’０（ｔ＋１）およびＡ’９０（ｔ＋１）、または、補正検出信号Ｂ’０（ｔ＋１）およびＢ’９０（ｔ＋１）を求めることができる。
Figure 0007030607000012
これにより、補正演算部７１は、位相遅れ１８０°および２７０°の照射光で検出される４つの検出信号が供給されるタイミングで、補正検出信号Ａ’０（ｔ＋１）およびＡ’９０（ｔ＋１）、または、補正検出信号Ｂ’０（ｔ＋１）およびＢ’９０（ｔ＋１）を測距演算部７２に供給する。
測距演算部７２には、位相遅れ０°および９０°の照射光で検出される４つの検出信号（検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ））が供給されるタイミングで、補正演算部７１から補正検出信号Ａ’１８０（ｔ）およびＡ’２７０（ｔ）、または、補正検出信号Ｂ’１８０（ｔ）およびＢ’２７０（ｔ）が供給される。そして、測距演算部７２は、次の式（１３）に示す演算を行うことで、フレーム番号ｔのデプスフレームのデプスｄ（ｔ）および信頼度ｃ（ｔ）を求めることができる。
Figure 0007030607000013
但し、測距演算部７２は、この式（１３）において、D0(t)＝A0(t) , D2(t)＝A'180(t) , D1(t)＝A90(t) , D3(t)＝A'270(t)、および、D2(t)＝B'180(t) , D0(t)＝B0(t) , D1(t)＝B'270(t) , D3(t)＝B90(t)のうちの、どちらか一方を用いることができる。または、測距演算部７２は、この式（１３）において、D0(t)＝A0(t) , D2(t)＝A'180(t) , D1(t)＝A90(t) , D3(t)＝A'270(t)と、D2(t)＝B'180(t) , D0(t)＝B0(t) , D1(t)＝B'270(t) , D3(t)＝B90(t)との平均を用いてもよい。
続いて、測距演算部７２には、位相遅れ１８０°および２７０°の照射光で検出される４つの検出信号（検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１））が供給されるタイミングで、補正演算部７１から補正検出信号Ａ’０（ｔ＋１）およびＡ’９０（ｔ＋１）、または、補正検出信号Ｂ’０（ｔ＋１）およびＢ’９０（ｔ＋１）が供給される。そして、測距演算部７２は、次の式（１４）に示す演算を行うことで、フレーム番号ｔ＋１のデプスフレームのデプスｄ（ｔ＋１）および信頼度ｃ（ｔ＋１）を求めることができる。
Figure 0007030607000014
但し、測距演算部７２は、この式（１４）において、D2(t+1)＝A180(t+1) , D0(t+1)＝A'0(t+1) , D3(t+1)＝A270(t+1) , D1(t+1)＝A'90(t+1)、および、D0(t+1)＝B'0(t+1) , D2(t+1)＝B180(t+1) , D1(t+1)＝B'90(t+1) , D3(t+1)＝B270(t+1)のうちの、どちらか一方を用いることができる。または、測距演算部７２は、この式（１４）において、D0(t+1)＝A0(t+1) , D2(t+1)＝A'180(t+1) , D1(t+1)＝A90(t+1) , D3(t+1)＝A'270(t+1)と、D2(t+1)＝B'180(t+1) , D0(t+1)＝B0(t+1) , D1(t+1)＝B'270(t+1) , D3(t+1)＝B90(t+1)との平均を用いてもよい。
以上のように構成される測距演算処理部１５は、位相遅れ０°および９０°の照射光で検出される４つの検出信号からデプスを求めること、または、位相遅れ１８０°および２７０°の照射光で検出される４つの検出信号からデプスを求めることができる。従って、例えば、従来のように８つの検出信号からデプスを求める場合と比較して、フレームレートを２倍に向上させることができる。
また、測距演算処理部１５は、フレームレートを向上させないときには、２回の照射光の発光で済むため、従来のように４回の照射光の発光を行う場合と比較して、消費電力を低下させることができる。さらに、測距演算処理部１５は、１デプスフレームを出力するのに検出することが必要な検出信号を、従来の１／２にすることができるので、データ転送帯域の削減を図ることができる。
従って、測距演算処理部１５を備える測距モジュール１１は、従来よりも高性能化を図ることができる。
＜測距演算処理の第１の処理例＞
図１３は、測距演算処理部１５において実行される測距演算処理の第１の処理例を説明するフローチャートである。
例えば、図示しない上位の制御ユニットにより測距演算処理を実行するように制御されると処理が開始される。ステップＳ１１において、測距演算処理部１５は、位相遅れの異なる２つの照射光それぞれで、２つの検出信号を取得する。即ち、測距演算処理部１５は、例えば、位相遅れ０°の照射光で検出される２つの検出信号Ａ０および検出信号Ｂ０と、位相遅れ９０°の照射光を用いて検出される２つの検出信号Ａ９０および検出信号Ｂ９０とを取得する。または、測距演算処理部１５は、例えば、位相遅れ１８０°の照射光で検出される２つの検出信号Ａ１８０および検出信号Ｂ１８０と、位相遅れ２７０°の照射光を用いて検出される２つの検出信号Ａ２７０および検出信号Ｂ２７０とを取得する。
ステップＳ１２において、ズレ補正パラメータ計算部６１は、オフセットパラメータ（Offset_A , Offset_B）がズレ補正パラメータ格納部６２に格納済みであるか否かを判定する。
ステップＳ１２において、ズレ補正パラメータ計算部６１が、オフセットパラメータ（Offset_A , Offset_B）がズレ補正パラメータ格納部６２に格納済みでないと判定した場合、処理はステップＳ１３に進む。
ステップＳ１３において、ズレ補正パラメータ計算部６１は、オフセットパラメータ（Offset_A , Offset_B）の計算に必要な、位相遅れの異なる４つの照射光それぞれで、２つの検出信号が取得されているか否かを判定する。例えば、ズレ補正パラメータ計算部６１は、検出信号Ａ０乃至Ａ２７０および検出信号Ｂ０乃至Ｂ２７０の８つの検出信号を取得している場合、位相遅れの異なる４つの照射光それぞれで、２つの検出信号が取得されていると判定する。
ステップＳ１３において、ズレ補正パラメータ計算部６１が、位相遅れの異なる４つの照射光それぞれで、２つの検出信号が取得されていないと判定した場合、処理はステップＳ１１に戻る。例えば、この場合、検出信号Ａ０およびＡ９０並びに検出信号Ｂ０およびＢ９０が取得された状態であり、ズレ補正パラメータ計算部６１は、次のステップＳ１１で、検出信号Ａ１８０およびＡ２７０並びに検出信号Ｂ１８０およびＢ２７０を取得する。
一方、ステップＳ１３において、ズレ補正パラメータ計算部６１が、位相遅れの異なる４つの照射光それぞれで、２つの検出信号が取得されていると判定した場合、処理はステップＳ１４に進む。
ステップＳ１４において、ズレ補正パラメータ計算部６１は、上述した式（３）に示す連立方程式を解くことで、オフセットOffset_AおよびOffset_Bを算出する。
そして、ズレ補正パラメータ計算部６１は、オフセットOffset_AおよびOffset_Bをズレ補正パラメータ格納部６２に格納した後、処理はステップＳ１５に進む。一方、ステップＳ１２において、ズレ補正パラメータ計算部６１が、オフセットパラメータ（Offset_A , Offset_B）がズレ補正パラメータ格納部６２に格納済みであると判定した場合、処理はステップＳ１５に進む。
ステップＳ１５において、ズレ補正パラメータ計算部６１は、上述した式（４）または式（５）に従ってゲインパラメータ（Gain_A / Gain_B）を算出する。そして、ズレ補正パラメータ計算部６１は、算出したゲインパラメータ（Gain_A / Gain_B）を補正演算部７１に供給し、ズレ補正パラメータ格納部６２は、格納しているオフセットパラメータ（Offset_A , Offset_B）を補正演算部７１に供給する。
ステップＳ１６において、補正演算部７１は、ステップＳ１１で取得された４つの検出信号に対する補正演算を行って、４つの補正検出信号を取得し、測距演算部７２に供給する。
例えば、補正演算部７１は、ステップＳ１１で検出信号Ａ０およびＡ９０並びに検出信号Ｂ０およびＢ９０が取得されている場合、上述した式（６）に従った補正演算を行って、補正検出信号Ａ’１８０およびＡ’２７０、または、補正検出信号Ｂ’１８０およびＢ’２７０を取得する。また、補正演算部７１は、ステップＳ１１で検出信号Ａ１８０およびＡ２７０並びに検出信号Ｂ１８０およびＢ２７０が取得されている場合、上述した式（７）に従った補正演算を行って、補正検出信号Ａ’０およびＡ’９０、または、補正検出信号Ｂ’０およびＢ’９０を取得する。
ステップＳ１７において、測距演算部７２は、ステップＳ１１で取得された４つの検出信号と、ステップＳ１６の補正演算により取得された４つの補正検出信号とを用いて、デプスおよび信頼度を算出する。
例えば、ステップＳ１１で検出信号Ａ０およびＡ９０並びに検出信号Ｂ０およびＢ９０が取得され、ステップＳ１６で補正検出信号Ａ’１８０およびＡ’２７０、または、補正検出信号Ｂ’１８０およびＢ’２７０が取得されているとする。このとき、測距演算部７２は、上述した式（１３）に示す演算を行うことで、デプスおよび信頼度を算出する。また、ステップＳ１１で検出信号Ａ１８０およびＡ２７０並びに検出信号Ｂ１８０およびＢ２７０が取得され、ステップＳ１６で補正検出信号Ａ’０およびＡ’９０、または、補正検出信号Ｂ’０およびＢ’９０が取得されているとする。このとき、測距演算部７２は、上述した式（１４）に示す演算を行うことで、デプスおよび信頼度を算出する。
ステップＳ１８において、測距演算処理部１５は、例えば、例えば、図示しない上位の制御ユニットによる測距演算処理についての制御に従って、測距を継続するか否かを判定する。
ステップＳ１８において、測距演算処理部１５が、測距を継続すると判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１８において、測距演算処理部１５が、測距を継続しないと判定した場合、測距演算処理は終了される。
以上のように、測距演算処理部１５は、検出信号Ａ０およびＡ９０並びに検出信号Ｂ０およびＢ９０を取得して、または、検出信号Ａ１８０およびＡ２７０並びに検出信号Ｂ１８０およびＢ２７０を取得して、デプスおよび信頼度を算出することができる。従って、測距演算処理部１５は、デプスおよび信頼度の算出に必要な検出信号の検出に要する時間を短くすることができ、例えば、ロバスト性を高めることができる。
＜測距演算処理部の第２の構成例＞
図１４は、測距演算処理部１５の第２の構成例を示すブロック図である。なお、図１４に示す測距演算処理部１５Ａについて、図１２の測距演算処理部１５と共通する構成については同一の符号を付し、その詳細な説明は省略する。
即ち、測距演算処理部１５Ａは、補正パラメータ算出部５１および測距部５２Ａを備えて構成され、補正パラメータ算出部５１は、図１２の測距演算処理部１５と同様に、ズレ補正パラメータ計算部６１およびズレ補正パラメータ格納部６２を有している。
測距部５２Ａは、図１２の測距演算処理部１５と同様に、補正演算部７１および測距演算部７２を有する一方で、測距結果格納部７３および結果合成部７４を有している点で、図１２の測距演算処理部１５と異なる構成となっている。
また、測距部５２Ａは、上述したように測距演算部７２により求められたデプスｄ（ｔ）および信頼度ｃ（ｔ）が、測距結果として測距結果格納部７３および結果合成部７４に供給されるように構成される。そして、測距部５２Ａは、測距結果格納部７３から結果合成部７４に１フレーム前の測距結果、即ち、デプスｄ（ｔ－１）および信頼度ｃ（ｔ－１）が供給されるように構成される。
測距結果格納部７３は、測距演算部７２から供給されるデプスｄ（ｔ）および信頼度ｃ（ｔ）を、１フレーム分だけ格納することができ、１フレーム前のデプスｄ（ｔ－１）および信頼度ｃ（ｔ－１）を結果合成部７４に供給する。
結果合成部７４は、測距演算部７２から供給されるデプスｄ（ｔ）および信頼度ｃ（ｔ）と、測距結果格納部７３から供給されるデプスｄ（ｔ－１）および信頼度ｃ（ｔ－１）を合成し、その合成結果として求められるデプスｄ（ｔ）および信頼度ｃ（ｔ）を出力する。
ここで、測距演算部７２から測距結果格納部７３および結果合成部７４に供給されるデプスｄ（ｔ）および信頼度ｃ（ｔ）をデプスｄ’（ｔ）および信頼度ｃ’（ｔ）として、結果合成部７４による合成結果をデプスｄ（ｔ）および信頼度ｃ（ｔ）とする。この場合、結果合成部７４は、信頼度ｃ’（ｔ）に基づく重みｇを用いて、次の式（１５）に示すような重み付け演算により測距結果を合成することができる。
Figure 0007030607000015
このように、測距演算処理部１５Ａでは、現在のフレームの測距結果と１フレーム前の測距結果との合成（以下、スライドウィンドウとも称する）を行うことにより、ＳＮ（Signal Noise）比を向上させて、合成結果を低ノイズ化させることができる。
例えば、スライドウィンドウを行わない場合と検出期間Ｑ０乃至Ｑ３が等しい場合、４回の検出期間Ｑ０乃至Ｑ３で検出される８つの検出信号を用いた測距結果と比較して、２回の検出期間Ｑ０乃至Ｑ１で検出される４つの検出信号を用いた測距結果は、ＳＮ比が低下することになる。そこで、測距演算処理部１５Ａでは、スライドウィンドウを行うことで、１フレーム前も含めた８つの検出信号を用いた測距結果を行うことになるので、ＳＮ比の低下を抑制することができる。
また、測距演算処理部１５Ａでは、１デプスフレームにおける検出期間を短縮しても、スライドウィンドウを行うことで、１デプスフレームで検出信号の取得に必要なパワーあたりのＳＮ比（frame × SNR ／ power）の向上を図ることができる。
従って、測距演算処理部１５Ａは、スライドウィンドウを行うことにより低ノイズ化を図ることができるため、図１５に示すように、図４と比較して検出期間Ｑ０乃至Ｑ３を半分の時間にすることができる。即ち、測距演算処理部１５Ａは、検出信号ＡおよびＢの取得速度を２倍に向上させて、フレームレートを２倍にすることができる。
ここで、例えば、スライドウィンドウが行われない場合、１デプスフレームについて検出信号の取得に必要なパワーを変更せず、かつ、フレームレートを２倍にする条件では、検出期間Ｑ０乃至Ｑ３が短縮される分だけＳＮ比が低下することになる。これに対し、測距演算処理部１５Ａでは、１デプスフレームで検出信号の取得に必要なパワーを変えずに、フレームレートを２倍にしても、スライドウィンドウを行うことによって、ＳＮ比が低下することを回避することができる。
または、図１６に示すように、図４と同一の時間の検出期間Ｑ０乃至Ｑ３としてフレームレートを変更せず、かつ、ＳＮ比を変更させない条件では、１デプスフレームで検出信号の取得に必要なパワーを低下させることができる。即ち、測距演算処理部１５Ａは、スライドウィンドウを行うことによって、低消費電力化を図ることができる。
なお、測距演算処理部１５Ａでは、結果合成部７４が、信頼度に基づいた重み付け演算を行って測距結果を合成する処理を行う他、例えば、単純平均により測距結果を合成してもよいし、信頼度以外の基準に基づく重み付けにより測距結果を合成してもよい。
さらに、例えば、結果合成部７４により測距結果を合成する処理を、図４を参照して上述したような４回の検出期間Ｑ０乃至Ｑ３により１デプスフレームが出力されるような構成に適用してもよい。即ち、２回の検出期間Ｑ０およびＱ１により検出される４つの検出信号、または、２回の検出期間Ｑ２およびＱ３により検出される４つの検出信号に基づいて、１デプスフレームが出力されるような構成に適用するのに限定されることはない。さらに、例えば、４回の検出期間Ｑ０乃至Ｑ３のうちの１回が行われるごとに、取得済みの３つの検出信号と、新たに取得されたフレームの１つの検出信号とを合成するようにスライドウィンドウを行ってもよい。
＜測距演算処理の第２の処理例＞
図１７は、測距演算処理部１５Ａにおいて実行される測距演算処理の第２の処理例を説明するフローチャートである。
ステップＳ２１乃至Ｓ２７において、図１３のステップＳ１１乃至Ｓ１７と同様の処理が行われる。
そして、ステップＳ２７では、算出されたデプスおよび信頼度が測距結果格納部７３および結果合成部７４に供給され、ステップＳ２８において、結果合成部７４は、測距結果格納部７３に測距結果が格納されているか否かが判定される。
ステップＳ２８において、結果合成部７４が、測距結果格納部７３に測距結果が格納されていないと判定した場合、処理はステップＳ２１に戻る。即ち、この場合、測距結果格納部７３には１フレーム前のデプスおよび信頼度が格納されておらず、結果合成部７４は、測距結果を合成する処理を行わない。
一方、ステップＳ２８において、結果合成部７４が、測距結果格納部７３に測距結果が格納されていると判定した場合、処理はステップＳ２９に進む。
ステップＳ２９において、結果合成部７４は、１フレーム前のデプスおよび信頼度を測距結果格納部７３から読み出す。そして、結果合成部７４は、ステップＳ２７で供給されたデプスおよび信頼度と、測距結果格納部７３から読み出した１フレーム前のデプスおよび信頼度とを、信頼度に基づいた重み付け演算することにより測定結果を合成した合成測距結果を出力する。
その後、ステップＳ３０において、図１３のステップＳ１８と同様の処理が行われ、測距を継続しないと判定された場合、測距演算処理は終了される。
以上のように、測距演算処理部１５Ａは、信頼度に基づいた重み付け演算により測定結果を合成することで、測定結果のＳＮ比の低減を図ることができ、より正確な測距を行うことができる。また、測距演算処理部１５Ａは、フレームレートの向上（図１５参照）、または、消費電力の低減（図１６参照）を図ることができる。
＜発光部および受光部の動作＞
図１８乃至図２１を参照して、発光部１２および受光部１４の動作について説明する。
図１８には、１枚のデプスマップを出力するための発光および受光のタイミングの一例が示されている。
例えば、測距モジュール１１は、デプスマップを出力する１フレームを１サブフレームと設定することができ、１サブフレームが、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３に４分割される。また、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３それぞれのインテグレーション期間において、発光部１２は、変調信号に従ったタイミングで照射光を発光し、その反射光を受光部１４が受光する。図１を参照して説明したように、振り分け信号DIMIX_AおよびDIMIX_Bに従って、１つのフォトダイオード３１で発生した電荷がタップ３２Ａおよびタップ３２Ｂに振り分けられ、インテグレーション期間において受光した光量に応じた電荷が蓄積される。
ここで、上述の図４に示した例では、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３の後に、１デプスフレーム分の待機期間が設けられている。これに対し、図１８に示す例では、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３それぞれの後に４分割された待機期間が設けられる。
このように、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３ごとに待機期間を設けることで、それぞれのインテグレーション期間の間隔を均等にすることができる。
即ち、図１９に示すように、位相遅れ０°の照射光の発光タイミング、位相遅れ９０°の照射光の発光タイミング、位相遅れ１８０°の照射光の発光タイミング、および位相遅れ２７０°の照射光の発光タイミングが、等間隔に設定される。このように、互いに等間隔となる発光タイミングを採用することで、例えば、測距演算処理部１５Ａのようにスライドウィンドウを行う際に、それらの間隔が異なることによる悪影響を抑制することができる。
また、図２０に示すような発光タイミングを採用してもよい。上述したように、測距演算処理部１５は、４つの検出信号Ａ０、検出信号Ｂ０、検出信号Ａ９０、および検出信号Ｂ９０から１デプスフレームを取得し、４つの検出信号Ａ１８０、検出信号Ｂ１８０、検出信号Ａ２７０、および検出信号Ｂ２７０から１デプスフレームを取得する。
従って、図２０に示すように、ある１デプスフレームを取得するための位相遅れ０°の照射光の発光タイミングと位相遅れ９０°の照射光の発光タイミングとが近接するとともに、次の１デプスフレームを取得するための位相遅れ１８０°の照射光の発光タイミングと位相遅れ２７０°の照射光の発光タイミングとが近接することが好ましい。例えば、１デプスフレームを取得するための発光タイミングを近接させることで、物体が動いている場合、その動きにより、発光タイミングが離れていることに与えられる影響を抑制することができる。
また、測距演算処理部１５Ａのようにスライドウィンドウを行う際に、ある１デプスフレームを取得するための発光タイミングと、次の１デプスフレームを取得するための発光タイミングとが等間隔となることで、それらの間隔が異なることによる悪影響を抑制することができる。
また、図２１に示すような発光タイミングを採用してもよい。即ち、測距演算処理部１５は、オフセットOffset_AおよびOffset_Bが事前に求められていれば、位相遅れ０°の照射光と、位相遅れ９０°の照射光とだけを用いてデプスフレームを取得することができる。
なお、発光部１２の発光タイミングは、図１８乃至図２１に示す例に限定されることなく、その他の様々な発光タイミングを採用することができる。
＜測距演算処理部の第３の構成例＞
図２２は、測距演算処理部１５の第３の構成例を示すブロック図である。
図２２に示す測距演算処理部１５Ｂは、検出信号格納部８１、動き検知部８２、４位相測距演算部８３、２位相測距演算部８４、測距結果格納部８５、および結果合成部８６を備えて構成される。
また、測距演算処理部１５Ｂには、図１２を参照して説明したのと同様に、位相遅れ０°および９０°の照射光で検出される４つの検出信号が供給されるとともに、位相遅れ１８０°および２７０°の照射光で検出される４つの検出信号が供給される。つまり、測距演算処理部１５Ｂには、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）が供給され、続けて、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）が供給される。
検出信号格納部８１は、４つの検出信号を格納することができ、４つの検出信号が供給されるたびに、格納していた１つ前の４つの検出信号を動き検知部８２に供給する。
即ち、検出信号格納部８１は、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）が供給されるタイミングでは、検出信号Ａ１８０（ｔ－１）、検出信号Ｂ１８０（ｔ－１）、検出信号Ａ２７０（ｔ－１）、および検出信号Ｂ２７０（ｔ－１）を格納しており、それらを動き検知部８２に供給する。また、検出信号格納部８１は、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）が供給されるタイミングでは、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）を格納しており、それらを動き検知部８２に供給する。
動き検知部８２は、受光部１４の画素ごとに被写体の動きを検知し、所定の閾値ｔｈに基づいて、動被写体が映されているか否かの判断を行う。
即ち、動き検知部８２は、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）が供給されるタイミングでは、次の式（１６）に示す判定条件に従った判断を行う。
Figure 0007030607000016
例えば、動き検知部８２は、式（１６）の判定条件が満たされている場合、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）に基づいて取得されるデプスフレームには動被写体が映されていないと判断する。この場合、動き検知部８２は、動被写体が映されていないことを示す動被写体検出信号Ｍ（ｔ）＝０を出力し、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）を４位相測距演算部８３に供給する。さらに、この場合、動き検知部８２は、検出信号格納部８１から供給される検出信号Ａ１８０（ｔ－１）、検出信号Ｂ１８０（ｔ－１）、検出信号Ａ２７０（ｔ－１）、および検出信号Ｂ２７０（ｔ－１）を４位相測距演算部８３に供給する。
一方、動き検知部８２は、式（１６）の判定条件を満たされていない場合、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）に基づいて取得されるデプスフレームには動被写体が映されていると判断する。この場合、動き検知部８２は、動被写体が映されていることを示す動被写体検出信号Ｍ（ｔ）＝１を出力し、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）を２位相測距演算部８４に供給する。
同様に、動き検知部８２は、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）が供給されるタイミングでは、次の式（１７）に示す判定条件に従った判断を行う。
Figure 0007030607000017
例えば、動き検知部８２は、式（１７）の判定条件が満たされている場合、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）に基づいて取得されるデプスフレームには動被写体が映されていないと判断する。この場合、動き検知部８２は、動被写体が映されていないことを示す動被写体検出信号Ｍ（ｔ）＝０を出力し、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）を４位相測距演算部８３に供給する。さらに、この場合、動き検知部８２は、検出信号格納部８１から供給される検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）を４位相測距演算部８３に供給する。
一方、動き検知部８２は、式（１７）の判定条件を満たされていない場合、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）に基づいて取得されるデプスフレームには動被写体が映されていると判断する。この場合、動き検知部８２は、動被写体が映されていることを示す動被写体検出信号Ｍ（ｔ）＝１を出力し、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）を２位相測距演算部８４に供給する。
４位相測距演算部８３は、動き検知部８２により動被写体が映されていないと判断された場合に、位相遅れ０°の照射光、位相遅れ９０°の照射光、位相遅れ１８０°の照射光、および位相遅れ２７０°の照射光により検出される８つの検出信号を用いた演算により測距する処理（以下、４位相測距演算処理と称する）を行う。
例えば、この場合、動き検知部８２から４位相測距演算部８３に、検出信号Ａ１８０（ｔ－１）、検出信号Ｂ１８０（ｔ－１）、検出信号Ａ２７０（ｔ－１）、検出信号Ｂ２７０（ｔ－１）、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、および検出信号Ｂ９０（ｔ）が供給される。
従って、４位相測距演算部８３は、次の式（１８）に従った演算を行うことにより、デプスｄ（ｔ）および信頼度ｃ（ｔ）を求め、測距結果格納部８５および結果合成部８６に供給する。
Figure 0007030607000018
同様に、４位相測距演算部８３は、検出信号Ａ０（ｔ）、検出信号Ｂ０（ｔ）、検出信号Ａ９０（ｔ）、検出信号Ｂ９０（ｔ）、検出信号Ａ１８０（ｔ＋１）、検出信号Ｂ１８０（ｔ＋１）、検出信号Ａ２７０（ｔ＋１）、および検出信号Ｂ２７０（ｔ＋１）を用いて、デプスｄ（ｔ＋１）および信頼度ｃ（ｔ＋１）を求めることができる。
２位相測距演算部８４は、図１２の測距演算処理部１５と同一の機能を備えており、図１２に示した補正パラメータ算出部５１および測距部５２を有している。
即ち、２位相測距演算部８４は、動き検知部８２により動被写体が映されていると判断された場合に、位相遅れ０°の照射光および位相遅れ９０°の照射光により検出される４つの検出信号、または、位相遅れ１８０°の照射光および位相遅れ２７０°の照射光により検出される４つの検出信号を用いた演算により測距する処理（以下、２位相測距演算処理と称する）を行う。そして、２位相測距演算部８４は、２位相測距演算処理を行って求めたデプスｄおよび信頼度ｃを、測距結果格納部８５および結果合成部８６に供給する。
測距結果格納部８５および結果合成部８６は、図１４の測距結果格納部７３および結果合成部７４と同一の機能を備えている。即ち、測距結果格納部８５は、１フレーム前の測距結果を結果合成部７４に供給し、結果合成部８６は、現在のフレームの測距結果と１フレーム前の測距結果との合成することができる。
このように構成される測距演算処理部１５Ｂは、図２３に示すように、フレームごとに動き検知の結果に従って、連続する２つのデプスフレームを合成して、１デプスフレームとして出力することができる。
例えば、測距演算処理部１５Ｂは、フレーム番号ｔのデプスフレームを出力するタイミングで、測距結果が合成される前のフレーム番号ｔ－１の測距結果との動き検知の結果、動被写体が映されている場合には、フレーム番号ｔの測距結果をそのままデプスフレームとして出力する。一方、測距演算処理部１５Ｂは、フレーム番号ｔのデプスフレームを出力するタイミングで、測距結果が合成される前のフレーム番号ｔ－１のデプスフレームとの動き検知の結果、動被写体が映されていない場合には、そのフレーム番号ｔ－１の測距結果との合成を行った合成測距結果をフレーム番号ｔのデプスフレームとして出力する。なお、このようにフレームごとに４位相測距演算部８３と２位相測距演算部８４との処理を切り替える他、動き検知部８２は、画素ごとに動き検知を行い、４位相測距演算部８３と２位相測距演算部８４との処理の切り替えを画素ごとに行ってもよい。
以上のように、測距演算処理部１５Ｂは、動き検知の結果に従って、４位相測距演算処理と２位相測距演算処理とを切り替えることができる。従って、測距演算処理部１５Ｂは、例えば、動被写体が映されている場合には２位相測距演算処理を行うことで、より高フレームレートにデプスフレームを求めることで、動被写体に対する測定精度を向上させることができる。これにより、測距演算処理部１５Ｂは、動被写体に対しするロバスト性を向上させることができる。また、測距演算処理部１５Ｂは、動被写体が映されていない場合には４位相測距演算処理を行うことで、より低ノイズ化を図ることができる。なお、動き検知部８２は、検出信号から求められる明るさに基づいて条件判断を行ったり、１フレーム前の信頼度に基づいて条件判断を行ったりして、４位相測距演算部８３と２位相測距演算部８４との処理を切り替えてもよい。
＜測距演算処理の第３の処理例＞
図２４は、測距演算処理部１５Ｂにおいて実行される測距演算処理の第３の処理例を説明するフローチャートである。
ステップＳ４１において、図１３のステップＳ１１と同様の処理が行われ、測距演算処理部１５Ｂは、位相遅れの異なる２つの照射光それぞれで、２つの検出信号を取得する。
ステップＳ４２において、動き検知部８２は、検出信号が検出信号格納部８１に格納済みであるか否かを判定する。
ステップＳ４２において、動き検知部８２が、検出信号が検出信号格納部８１に格納済みでないと判定した場合、処理はステップＳ４１に戻る。即ち、この場合、検出信号格納部８１には１フレーム前の検出信号が格納されておらず、動き検知部８２は、動きを検出する処理を行わない。
一方、ステップＳ４２において、動き検知部８２が、検出信号が検出信号格納部８１に格納済みであると判定した場合、処理はステップＳ４３に進む。ステップＳ４３において、動き検知部８２は、上述した式（１６）または式（１７）に示す判定条件に従って、動被写体が映されているか否かを判定する。
ステップＳ４３において、動き検知部８２が、動被写体が映されていないと判定した場合、処理はステップＳ４４に進む。ステップＳ４４において、４位相測距演算部８３は、上述したような４位相測距演算処理を行うことによりデプスおよび信頼度を求めて、測距結果として測距結果格納部８５および結果合成部８６に供給し、処理はステップＳ４６に進む。
一方、ステップＳ４３において、動き検知部８２が、動被写体が映されていると判定した場合、処理はステップＳ４５に進む。ステップＳ４５において、２位相測距演算部８４は、上述したような２位相測距演算処理を行うことによりデプスおよび信頼度を求めて、測距結果として測距結果格納部８５および結果合成部８６に供給し、処理はステップＳ４６に進む。
ステップＳ４６乃至Ｓ４８において、図１７のステップＳ２８乃至Ｓ３０と同様の処理が行われ、ステップＳ４８において、測距を継続しないと判定された場合、測距演算処理は終了される。
以上のように、測距演算処理部１５Ｂは、動き検知の結果に従って、４位相測距演算処理と２位相測距演算処理とを切り替えることで、動被写体に対応して適切な測距を行うことができる。
なお、本技術は、Indirect ToF方式の中でもContinuous-Wave方式と称する、物体へ投光する光を振幅変調する方式に適用することができる。また、受光部１４のフォトダイオード３１の構造としては、CAPD（Current Assisted Photonic Demodulator）構造の深度センサに限定されることはなく、２つのタップ３２Ａおよびタップ３２Ｂに電荷を振り分ける構造の深度センサに適用することができる。
また、測距モジュール１１から物体に照射される照射光は、上述したような９０°ごとに位相が遅れた４通りの照射光以外を用いてよく、それらの照射光に応じて、測距に用いられる検出信号の個数も４つ以外の任意の個数とすることができる。また、補正演算に用いるパラメータも、タップ３２Ａとタップ３２Ｂとの特性のズレによる影響をキャンセルすることができれば、オフセットパラメータおよびゲインパラメータ以外を採用してもよい。
＜電子機器の構成例＞
上述したような測距モジュール１１は、例えば、スマートフォンなどの電子機器に搭載することができる。
図２５は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
図２５に示すように、電子機器１０１は、測距モジュール１０２、撮像装置１０３、ディスプレイ１０４、スピーカ１０５、マイクロフォン１０６、通信モジュール１０７、センサユニット１０８、タッチパネル１０９、および制御ユニット１１０が、バス１１１を介して接続されて構成される。また、制御ユニット１１０では、CPUがプログラムを実行することによって、アプリケーション処理部１２１およびオペレーションシステム処理部１２２としての機能を備える。
測距モジュール１０２には、図１の測距モジュール１１が適用される。例えば、測距モジュール１０２は、電子機器１０１の前面に配置され、電子機器１０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプスを測距結果として出力することができる。
撮像装置１０３は、電子機器１０１の前面に配置され、電子機器１０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、電子機器１０１の背面にも撮像装置１０３が配置された構成としてもよい。
ディスプレイ１０４は、アプリケーション処理部１２１およびオペレーションシステム処理部１２２による処理を行うための操作画面や、撮像装置１０３が撮像した画像などを表示する。スピーカ１０５およびマイクロフォン１０６は、例えば、電子機器１０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
通信モジュール１０７は、通信ネットワークを介した通信を行う。センサユニット１０８は、速度や加速度、近接などをセンシングし、タッチパネル１０９は、ディスプレイ１０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
アプリケーション処理部１２１は、電子機器１０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部１２１は、測距モジュール１０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ１０４に表示する処理を行うことができる。また、アプリケーション処理部１２１は、測距モジュール１０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
オペレーションシステム処理部１２２は、電子機器１０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部１２２は、測距モジュール１０２から供給されるデプスに基づいて、ユーザの顔を認証し、電子機器１０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部１２２は、測距モジュール１０２から供給されるデプスに基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
このように構成されている電子機器１０１では、上述した測距モジュール１１を適用することで、例えば、フレームレートの向上や、消費電力の低減、データ転送帯域の削減を実現することができる。これにより、電子機器１０１は、より滑らかに動く顔をコンピュータグラフィックスで作成したり、高精度に顔認証を行ったり、バッテリの消費を抑制したり、データ転送を狭帯域で行うことができる。
＜コンピュータの構成例＞
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）２０４は、バス２０５により相互に接続されている。バス２０５には、さらに、入出力インタフェース２０６が接続されており、入出力インタフェース２０６が外部に接続される。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、ROM２０２およびEEPROM２０４に記憶されているプログラムを、バス２０５を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU２０１）が実行するプログラムは、ROM２０２に予め書き込んでおく他、入出力インタフェース２０６を介して外部からEEPROM２０４にインストールしたり、更新したりすることができる。
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０６を介して、外部へ出力することができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２８は、撮像部１２０３１の設置位置の例を示す図である。
図２８では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車内情報検出ユニット１２０４０に適用され得る。具体的には、測距モジュール１１による測距を利用することで、より正確に運転者の状態を検出することができる。また、測距モジュール１１による測距を利用して、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を実行するようにしてもよい。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算部と、
前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算部と、
前記検出信号に基づいた条件判断を行い、前記第１の測距演算部および前記第２の測距演算部を切り替えて用いる条件判断部と
を備える測距処理装置。
（２）
第１の位相の照射光の前記反射光が受光される第１の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第１の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第２の検出信号とが検出され、
第２の位相の照射光の前記反射光が受光される第２の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第３の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第４の検出信号とが検出される
第３の位相の照射光の前記反射光が受光される第３の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第５の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第６の検出信号とが検出され、
第４の位相の照射光の前記反射光が受光される第４の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第７の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第８の検出信号とが検出される
上記（１）に記載の測距処理装置。
（３）
前記第１の測距演算部は、前記第１の検出信号と前記第２の検出信号との差分、前記第３の検出信号と前記第４の検出信号との差分、前記第５の検出信号と前記第６の検出信号との差分、および前記第７の検出信号と前記第８の検出信号との差分を用いて、前記第１のタップと前記第２のタップとの特性のズレによる影響をキャンセルさせて前記デプスを求める
上記（２）に記載の測距処理装置。
（４）
前記第２の測距演算部は、
前記第１乃至第４の検出信号を用いて前記第１のタップと前記第２のタップとの特性のズレを補正する補正パラメータを算出し、前記第１乃至第４の検出信号と前記補正パラメータに基づいて前記デプスを求めることと、
前記第５乃至第８の検出信号を用いて前記第１のタップと前記第２のタップとの特性のズレを補正する補正パラメータを算出し、前記第５乃至第８の検出信号と前記補正パラメータに基づいて前記デプスを求めることと
を交互に行う
上記（３）に記載の測距処理装置。
（５）
前記第１の測距演算部または前記第２の測距演算部により求められた前記デプスを格納する測距結果格納部と、
前記測距結果格納部に格納された１フレーム前の前記デプスと、現在のフレームの前記デプスとを合成して出力する結果合成部と
をさらに備える上記（１）から（４）までのいずれかに記載の測距処理装置。
（６）
前記第１の測距演算部および前記第２の測距演算部は、前記デプスとともに、前記デプスに対する信頼度を求め、
前記測距結果格納部には、前記デプスとともに前記信頼度が格納され、
前記結果合成部は、前記信頼度に応じた重み付け加算を行うことにより、１フレーム前の前記デプスと、現在のフレームの前記デプスとを合成する
上記（５）に記載の測距処理装置。
（７）
前記結果合成部は、前記第１の測距演算部により前記所定数の前記検出信号を全て用いて求められた１フレーム前の前記デプスと、前記第１の測距演算部により前記所定数の前記検出信号を全て用いて求められた現在のフレームの前記デプスとを合成する
上記（５）または（６）に記載の測距処理装置。
（８）
前記結果合成部は、前記第２の測距演算部により前記前段半分の照射光に基づく前記所定数の前記検出信号を用いて求められたデプスと、前記第２の測距演算部により前記後段半分の照射光に基づく前記所定数の前記検出信号を用いて求められたデプスとのうちの、一方を１フレーム前とし、他方を現在のフレームとして、前記デプスの合成を行う
上記（５）または（６）に記載の測距処理装置。
（９）
前記条件判断部は、前記反射光を受光する受光部の画素ごとに条件判断を行って、前記第１の測距演算部および前記第２の測距演算部により前記デプスを求める演算を前記画素ごとに切り替える
上記（１）から（８）までのいずれかに記載の測距処理装置。
（１０）
前記条件判断部は、
前記第１の位相の照射光および前記第２の位相の照射光に基づく４つの前記検出信号と、前記第３の位相の照射光および前記第４の位相の照射光に基づく４つの前記検出信号とを比較することで検知される前記物体の動きに基づいて前記条件判断を行い、
前記物体に動きがあることが検知された場合には、前記第２の測距演算部により前記デプスを求める演算を行い
前記物体に動きがないことが検知された場合には、前記第１の測距演算部により前記デプスを求める演算を行う
上記（２）から（９）までのいずれかに記載の測距処理装置。
（１１）
前記条件判断部は、
前記第１の位相の照射光および前記第２の位相の照射光に基づく４つの前記検出信号から求められる明るさと、前記第３の位相の照射光および前記第４の位相の照射光に基づく４つの前記検出信号から求められる明るさとに基づいて前記条件判断を行い、
前記明るさに応じて、前記第１の測距演算部および前記第２の測距演算部を切り替える
上記（２）から（９）までのいずれかに記載の測距処理装置。
（１２）
前記４位相測距演算部および前記２位相測距演算部は、前記デプスとともに、前記デプスに対する信頼度を求め、
前記条件判断部は、１フレーム前に求められた前記信頼度に基づいて前記条件判断を行い、前記信頼度に応じて、前記４位相測距演算部および前記２位相測距演算部を切り替える
上記（２）から（９）までのいずれかに記載の測距処理装置。
（１３）
前記第１の検出期間、前記第２の検出期間、前記第３の検出期間、前記第４の検出期間が略等間隔に設定される
上記（２）から（１２）までのいずれかに記載の測距処理装置。
（１４）
所定数の位相の異なる照射光を物体に照射する発光部と、
前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の位相の照射光について２つずつ検出される前記所定数の２倍の検出信号を出力する受光部と、
前記所定数の２倍の前記検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算部と、
前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算部と、
前記検出信号に基づいた条件判断を行い、前記第１の測距演算部および前記第２の測距演算部を切り替えて用いる条件判断部と
を備える測距モジュール。
（１５）
測距処理を行う測距処理装置が、
所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算処理を行うことと、
前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演処理を行うことと、
前記検出信号に基づいた条件判断を行い、前記第１の測距演算処理および前記第２の測距演算処理を切り替えて用いることと
を含む測距処理方法。
（１６）
測距処理を行う測距処理装置のコンピュータに、
所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算処理を行うことと、
前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演処理を行うことと、
前記検出信号に基づいた条件判断を行い、前記第１の測距演算処理および前記第２の測距演算処理を切り替えて用いることと
を含む測距処理を実行させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ 測距モジュール， １２ 発光部， １３ 発光制御部， １４ 受光部， １５ 測距演算処理部， ２１ 画素回路， ２２ 画素アレイ部， ２３ 駆動制御回路， ３１ フォトダイオード， ３２Ａおよび３２Ｂ タップ， ３３Ａおよび３３Ｂ 信号線， ４１Ａおよび４１Ｂ 転送トランジスタ， ４２Ａおよび４２Ｂ ＦＤ部， ４３Ａおよび４３Ｂ 選択トランジスタ， ４４Ａおよび４４Ｂ リセットトランジスタ， ５１ 補正パラメータ算出部， ５２ 測距部， ６１ ズレ補正パラメータ計算部， ６２ ズレ補正パラメータ格納部， ７１ 補正演算部， ７２ 測距演算部， ７３ 測距結果格納部， ７４ 結果合成部， ８１ 検出信号格納部， ８２ 動き検知部， ８３ ４位相測距演算部， ８４ ２位相測距演算部， ８５ 測距結果格納部， ８６ 結果合成部

Claims (16)

  1. 所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算部と、
    前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算部と、
    前記検出信号に基づいた条件判断を行い、前記第１の測距演算部および前記第２の測距演算部を切り替えて用いる条件判断部と
    を備える測距処理装置。
  2. 第１の位相の照射光の前記反射光が受光される第１の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第１の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第２の検出信号とが検出され、
    第２の位相の照射光の前記反射光が受光される第２の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第３の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第４の検出信号とが検出される
    第３の位相の照射光の前記反射光が受光される第３の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第５の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第６の検出信号とが検出され、
    第４の位相の照射光の前記反射光が受光される第４の検出期間において、前記第１のタップと前記第２のタップとに交互に電荷が複数振り分けられ、前記第１のタップに振り分けられて蓄積した電荷に応じた第７の検出信号と、前記第２のタップに振り分けられて蓄積した電荷に応じた第８の検出信号とが検出される
    請求項１に記載の測距処理装置。
  3. 前記第１の測距演算部は、前記第１の検出信号と前記第２の検出信号との差分、前記第３の検出信号と前記第４の検出信号との差分、前記第５の検出信号と前記第６の検出信号との差分、および前記第７の検出信号と前記第８の検出信号との差分を用いて、前記第１のタップと前記第２のタップとの特性のズレによる影響をキャンセルさせて前記デプスを求める
    請求項２に記載の測距処理装置。
  4. 前記第２の測距演算部は、
    前記第１乃至第４の検出信号を用いて前記第１のタップと前記第２のタップとの特性のズレを補正する補正パラメータを算出し、前記第１乃至第４の検出信号と前記補正パラメータに基づいて前記デプスを求めることと、
    前記第５乃至第８の検出信号を用いて前記第１のタップと前記第２のタップとの特性のズレを補正する補正パラメータを算出し、前記第５乃至第８の検出信号と前記補正パラメータに基づいて前記デプスを求めることと
    を交互に行う
    請求項２に記載の測距処理装置。
  5. 前記第１の測距演算部または前記第２の測距演算部により求められた前記デプスを格納する測距結果格納部と、
    前記測距結果格納部に格納された１フレーム前の前記デプスと、現在のフレームの前記デプスとを合成して出力する結果合成部と
    をさらに備える請求項１に記載の測距処理装置。
  6. 前記第１の測距演算部および前記第２の測距演算部は、前記デプスとともに、前記デプスに対する信頼度を求め、
    前記測距結果格納部には、前記デプスとともに前記信頼度が格納され、
    前記結果合成部は、前記信頼度に応じた重み付け加算を行うことにより、１フレーム前の前記デプスと、現在のフレームの前記デプスとを合成する
    請求項５に記載の測距処理装置。
  7. 前記結果合成部は、前記第１の測距演算部により前記所定数の前記検出信号を全て用いて求められた１フレーム前の前記デプスと、前記第１の測距演算部により前記所定数の前記検出信号を全て用いて求められた現在のフレームの前記デプスとを合成する
    請求項５に記載の測距処理装置。
  8. 前記結果合成部は、前記第２の測距演算部により前記前段半分の照射光に基づく前記所定数の前記検出信号を用いて求められたデプスと、前記第２の測距演算部により前記後段半分の照射光に基づく前記所定数の前記検出信号を用いて求められたデプスとのうちの、一方を１フレーム前とし、他方を現在のフレームとして、前記デプスの合成を行う
    請求項５に記載の測距処理装置。
  9. 前記条件判断部は、前記反射光を受光する受光部の画素ごとに条件判断を行って、前記第１の測距演算部および前記第２の測距演算部により前記デプスを求める演算を前記画素ごとに切り替える
    請求項１に記載の測距処理装置。
  10. 前記条件判断部は、
    前記第１の位相の照射光および前記第２の位相の照射光に基づく４つの前記検出信号と、前記第３の位相の照射光および前記第４の位相の照射光に基づく４つの前記検出信号とを比較することで検知される前記物体の動きに基づいて前記条件判断を行い、
    前記物体に動きがあることが検知された場合には、前記第２の測距演算部により前記デプスを求める演算を行い
    前記物体に動きがないことが検知された場合には、前記第１の測距演算部により前記デプスを求める演算を行う
    請求項２に記載の測距処理装置。
  11. 前記条件判断部は、
    前記第１の位相の照射光および前記第２の位相の照射光に基づく４つの前記検出信号から求められる明るさと、前記第３の位相の照射光および前記第４の位相の照射光に基づく４つの前記検出信号から求められる明るさとに基づいて前記条件判断を行い、
    前記明るさに応じて、前記第１の測距演算部および前記第２の測距演算部を切り替える
    請求項２に記載の測距処理装置。
  12. 前記第１の測距演算部および前記第２の測距演算部は、前記デプスとともに、前記デプスに対する信頼度を求め、
    前記条件判断部は、１フレーム前に求められた前記信頼度に基づいて前記条件判断を行い、前記信頼度に応じて、前記第１の測距演算部および前記第２の測距演算部を切り替える
    請求項２に記載の測距処理装置。
  13. 前記第１の検出期間、前記第２の検出期間、前記第３の検出期間、前記第４の検出期間が略等間隔に設定される
    請求項２に記載の測距処理装置。
  14. 所定数の位相の異なる照射光を物体に照射する発光部と、
    前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の位相の照射光について２つずつ検出される前記所定数の２倍の検出信号を出力する受光部と、
    前記所定数の２倍の前記検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算部と、
    前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算部と、
    前記検出信号に基づいた条件判断を行い、前記第１の測距演算部および前記第２の測距演算部を切り替えて用いる条件判断部と
    を備える測距モジュール。
  15. 測距処理を行う測距処理装置が、
    所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算処理を行うことと、
    前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算処理を行うことと、
    前記検出信号に基づいた条件判断を行い、前記第１の測距演算処理および前記第２の測距演算処理を切り替えて用いることと
    を含む測距処理方法。
  16. 測距処理を行う測距処理装置のコンピュータに、
    所定数の位相の異なる照射光を物体に照射して、前記物体で反射した反射光を受光することにより発生する電荷が、前記物体までの距離に応じて第１のタップと第２のタップとに振り分けられ、前記所定数の照射光について２つずつ検出される前記所定数の２倍の検出信号を全て用いて、前記物体までの距離を表すデプスを求める演算を行う第１の測距演算処理を行うことと、
    前記所定数の２倍の前記検出信号のうち、前段半分の照射光に基づく前記所定数の前記検出信号と、後段半分の照射光に基づく前記所定数の前記検出信号とを交互に用いて、前記物体までの距離を表すデプスを求める演算を行う第２の測距演算処理を行うことと、
    前記検出信号に基づいた条件判断を行い、前記第１の測距演算処理および前記第２の測距演算処理を切り替えて用いることと
    を含む測距処理を実行させるためのプログラム。
JP2018087513A 2018-04-27 2018-04-27 測距処理装置、測距モジュール、測距処理方法、およびプログラム Active JP7030607B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018087513A JP7030607B2 (ja) 2018-04-27 2018-04-27 測距処理装置、測距モジュール、測距処理方法、およびプログラム
CN201910248398.3A CN110412598A (zh) 2018-04-27 2019-03-29 测距处理装置、测距模块、测距处理方法和程序
TW108111643A TWI798408B (zh) 2018-04-27 2019-04-02 測距處理裝置，測距模組，測距處理方法及程式
US16/375,896 US11561303B2 (en) 2018-04-27 2019-04-05 Ranging processing device, ranging module, ranging processing method, and program
KR1020190040503A KR20190125171A (ko) 2018-04-27 2019-04-07 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램
EP19170343.8A EP3561544A1 (en) 2018-04-27 2019-04-18 Ranging processing device, ranging module, ranging processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018087513A JP7030607B2 (ja) 2018-04-27 2018-04-27 測距処理装置、測距モジュール、測距処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2019191119A JP2019191119A (ja) 2019-10-31
JP2019191119A5 JP2019191119A5 (ja) 2021-04-30
JP7030607B2 true JP7030607B2 (ja) 2022-03-07

Family

ID=66239947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018087513A Active JP7030607B2 (ja) 2018-04-27 2018-04-27 測距処理装置、測距モジュール、測距処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US11561303B2 (ja)
EP (1) EP3561544A1 (ja)
JP (1) JP7030607B2 (ja)
KR (1) KR20190125171A (ja)
CN (1) CN110412598A (ja)
TW (1) TWI798408B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11561085B2 (en) 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
WO2021177045A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 信号処理装置、信号処理方法、および、測距モジュール
US11563873B2 (en) * 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062705A1 (en) 2010-09-03 2012-03-15 Ilia Ovsiannikov Overlapping charge accumulation depth sensors and methods of operating the same
JP2016050832A (ja) 2014-08-29 2016-04-11 株式会社デンソー 光飛行型測距装置
JP2017032342A (ja) 2015-07-30 2017-02-09 株式会社デンソー 光飛行型測距装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005006080T2 (de) * 2004-09-17 2009-05-07 Matsushita Electric Works, Ltd., Kadoma Reichweitenbildsensor
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
DE102011081567B4 (de) * 2011-08-25 2023-08-31 pmdtechnologies ag Empfänger für einen optischen Entfernungsmesser
KR102194233B1 (ko) 2014-05-19 2020-12-22 삼성전자주식회사 깊이 영상 생성 장치 및 방법
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP7214363B2 (ja) 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062705A1 (en) 2010-09-03 2012-03-15 Ilia Ovsiannikov Overlapping charge accumulation depth sensors and methods of operating the same
JP2016050832A (ja) 2014-08-29 2016-04-11 株式会社デンソー 光飛行型測距装置
JP2017032342A (ja) 2015-07-30 2017-02-09 株式会社デンソー 光飛行型測距装置

Also Published As

Publication number Publication date
KR20190125171A (ko) 2019-11-06
JP2019191119A (ja) 2019-10-31
US11561303B2 (en) 2023-01-24
CN110412598A (zh) 2019-11-05
EP3561544A1 (en) 2019-10-30
TWI798408B (zh) 2023-04-11
TW201945758A (zh) 2019-12-01
US20200025924A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
CN110832346A (zh) 电子装置和电子装置的控制方法
WO2020241294A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2017195459A1 (ja) 撮像装置、および撮像方法
JP2020134463A (ja) 測距装置、測距方法、並びにプログラム
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP2020134464A (ja) 測距装置、測距方法、並びにプログラム
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021177045A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2020203331A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2022004441A1 (ja) 測距装置および測距方法
CN114424084A (zh) 照明设备、照明设备控制方法以及距离测量模块
JP2021085822A (ja) 測距センサ、測距システム、および、電子機器
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021124918A1 (ja) 信号処理装置、信号処理方法、および、測距装置
WO2022190848A1 (ja) 測距装置、測距システム及び測距方法
JP2023009480A (ja) 測距装置及び測距方法
JP2021099271A (ja) 測距装置およびその制御方法、並びに、電子機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220222

R150 Certificate of patent or registration of utility model

Ref document number: 7030607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150