JP6529487B2 - 飛行時間システムを駆動するための方法 - Google Patents

飛行時間システムを駆動するための方法 Download PDF

Info

Publication number
JP6529487B2
JP6529487B2 JP2016518541A JP2016518541A JP6529487B2 JP 6529487 B2 JP6529487 B2 JP 6529487B2 JP 2016518541 A JP2016518541 A JP 2016518541A JP 2016518541 A JP2016518541 A JP 2016518541A JP 6529487 B2 JP6529487 B2 JP 6529487B2
Authority
JP
Japan
Prior art keywords
taps
signal
tap
pixel
drive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016518541A
Other languages
English (en)
Other versions
JP2016527482A (ja
Inventor
デル テンペル,ワード ヴァン
デル テンペル,ワード ヴァン
フィナトゥ,トーマス
コリナ フォトポウロウ,キリアキ
コリナ フォトポウロウ,キリアキ
Original Assignee
ソニー デプスセンシング ソリューションズ エスエー エヌブイ
ソニー デプスセンシング ソリューションズ エスエー エヌブイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー デプスセンシング ソリューションズ エスエー エヌブイ, ソニー デプスセンシング ソリューションズ エスエー エヌブイ filed Critical ソニー デプスセンシング ソリューションズ エスエー エヌブイ
Publication of JP2016527482A publication Critical patent/JP2016527482A/ja
Application granted granted Critical
Publication of JP6529487B2 publication Critical patent/JP6529487B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers

Description

本発明は飛行時間システムに関し、さらに詳しくは、飛行時間システムを駆動するための方法に関する。
コンピュータビジョンは、画像を取得し、処理し、解析し、かつ理解するための方法を含む成長中の研究分野である。この分野における主な推進的思想は、シーンの画像を電子的に知覚しかつ理解することによって、人間の視覚の能力を複製することである。特に、コンピュータビジョンの研究の1つの主題は、奥行感覚あるいは換言すると立体(3D)視である。
カメラおよびデータ処理手段を含む飛行時間(ToF)システムは最近登場したものであり、光源から物体への光の飛行時間を解析することによって、シーン(環境、領域、scene)の3D画像を取得することができる。そのようなカメラシステムは、定点からの奥行または距離情報が要求される多くの用途で使用される。
図1に示すToFシステム3の基本的動作原理は、パルスのような変調光16によりシーン15を照明することである。変調光16はシーン15内の物体から反射して戻り、レンズは反射した光17を集め、シーンにおける物体の像を撮像センサ35上に、特にセンサのセンサ面上に形成する。カメラからの物体の距離に応じて、変調光、例えばパルスの出射と、カメラにおけるそれらの反射の受光との間に遅延が経験される。例えば、カメラから2.5m離れた物体は16.66nsの時間遅延を生じさせる。この遅延を解析することによって、特に相関計算を実施することによって、前記物体のカメラからの距離を引き出すことができる。
物体のカメラからの距離を次のように算出することができる。分かり易くするために、信号の例を図2に掲げる。変調信号16(S)は物体に向けて送られる。物体で反射した後、信号17(Sφ)は光検出器によって検出される。この信号Sφは、伝搬時間のため、原信号Sと比較して位相φだけ位相シフトされる。
φは、カメラからの物体の距離を測定するための主要パラメータである。このパラメータを測定するために、光検出信号Sφは通常、S
Figure 0006529487
、S
および
Figure 0006529487
という電気基準信号と相関される。S
Figure 0006529487
、S
および
Figure 0006529487
は、図2に示すように、原光信号Sと比較してそれぞれ0°、180°、90°、および270°位相シフトした電気基準信号である。得られた相関信号は次のように定義される。
Figure 0006529487
次いで、2つのパラメータIおよびQは次のように計算される。
Figure 0006529487
およびαはそれぞれ光検出信号Sφの振幅変化および相関効率である。
φの抽出は変調信号Sの波形に依存する。例えばSが正弦波である場合、次のようになる。
Figure 0006529487
ひとたび位相φが分かると、次の公式により、カメラからの物体の距離Dφを引き出すことができる。
Figure 0006529487
式中、fmodは変調周波数であり、nはNの整数である。
方程式1〜4から、理論的に、それぞれSφ,I
Figure 0006529487
、Sφ,Q、および
Figure 0006529487
を得るために基準信号S
Figure 0006529487
、S、および
Figure 0006529487
と相関されるのは同一信号Sφでなければならないことに気付くことができる。
実際には、ToFの測定は一般的に、ToF画素のアレイを含むToFセンサによって実行される。先行技術では、これらの画素の各々は一般的に1つまたは2つの「タップ」を含む。「タップ」は、Sφのような光信号にさらされたときに電荷を光生成するために使用される制御ノードおよび検出領域を含む構成要素である。画素当たり1つまたは2つのタップしか持たないということは、実際にはSφの測度が時系列であることを含む。例えば、1つのタップだけを含む画素は、I、Q、および次いでDφを算出するために、4つの異なる信号Sφ1‐4を連続的に測定しなければならない。これらの構成では、数回の露光が発生し、各露光の間に物体が移動すると、奥行データDφは破損される。
画素当たり1つまたは2つのタップしか使用しないことは、奥行計算の一貫性の点で問題であるが、それだけではない。それは設計上の理由からも問題である。実際、幾つかの異なる信号Sφiが測定される場合、計算ステップの前に信号Sφiを保存するために、センサレベルまたはシステムレベルで画素にメモリを追加しなければならない。そうするとToFシステムのサイズは劇的に増大する。
最終的に、幾つかのタップが単一の画素に含まれる場合、それらを駆動するために使用される駆動信号は、要求される帯域幅が高すぎるため、往々にして最適ではない。他のタップに対して正電位がタップに印加されると、そのタップは起動され、検出能が高くなる。すなわち、起動されたタップの検出領域は、画素における光生成された少数キャリアの大部分を受け取る。4タップ画素のアーキテクチャでは、単刀直入な手法は、図3に示すように、4つのタップの各々を変調周期の25%ずつ使用可能にすることである。周波数が50MHzの送信変調信号の場合、4タップデバイスのタップは、各タップの25%のデューティサイクルのため、100MHzと同等の応答時間を必要とする。
先行技術で提示されてきたことにも関わらず、ToFシステムのサイズおよびタップに要求される帯域幅の両方を低減しながら、ToFシステムからの物体の非バイアス距離を測定するための方法およびシステムはまだ提案されていない。
本発明は、最初に、シーンを変調信号により照明するように適応された照明システム用の飛行時間システムを駆動するための方法に関し、ToFシステムは少なくとも1つの画素を含む撮像センサを有し、前記画素は、シーンから反射した変調信号を検出するために駆動信号によって駆動されるタップを含み、該方法は、各画素に対し、少なくとも第1組および第2組のタップを決定するステップと、各タップの組を駆動して、変調信号の所定数N周期中に反射変調信号を検出するステップとを含む。
本発明の利点は、各タップの組を変調信号のN周期の時間中に50%のデューティサイクルで作動することであり、それは、タップに要求される帯域幅を低減することを可能にする。
本発明のさらなる利点は、相関測定を決定するときに、信号Sφiが略同時に測定されるので、移動頑健性が改善されることである。
さらに別の利点は、個々のSφiデータを最初に保存するためのメモリをもはや必要とせず、それによりToFシステムのサイズを低減することが可能になることである。
本発明はまた、シーンを変調信号により照明するように適応された照明システム用の飛行時間システムに関し、飛行時間システムは、少なくとも2つの画素を含む撮像センサであって、各画素にタップが含まれる撮像センサと、前記タップを駆動するための駆動信号を発生するための信号発生器と、信号発生器から駆動信号を受信し、かつそれらをタップに送信するように適応されたタップドライバとを備え、各画素が少なくとも2組のタップを含み、各画素の前記2組のタップがそれぞれ異なるドライバに接続され、かつ各ドライバが各画素の1つのタップに接続され、前記各ドライバに接続された撮像センサの画素のタップが1組のタップを形成することを特徴とする。
本事例の方法およびシステムは、好ましくは変調信号の所定数N周期中にタップの組を駆動するという、明らかに同一発明概念によって結び付けられる。
本発明のシステムの利点は、各画素が4つのタップを含み、それにより4つの相関測定、すなわちSφ,I
Figure 0006529487

φ,Q、および
Figure 0006529487
を略同時に決定することが可能になることである。
本発明のさらなる利点は、各画素が複数の対称軸を画定するように空間的に編成され、より正確な測定値を得ることが可能になることである。
さらに別の利点は、各画素が八角形の形状であり、よりいっそう正確な測定値を得ながら、複数の画素間で回路構成を共有することが可能になることである。
本発明は、以下の説明および添付の図面を踏まえてよりよく理解される。
ToFシステムの基本的動作原理を示す。 ToFシステムの相関測定を決定するために使用される信号の例を示す。 各タップが変調周期の25%だけ使用可能になる、一般的に使用される4タップ駆動モードを示す。 本発明の実施形態に係るToFシステムを示す。 複数のタップドライバ、複数のマルチプレクサ、および信号発生器を含む駆動部を示す。 本発明の実施形態に係る画素の4タップトポロジーを示す。 図6に示した4タップ画素の破線に沿った断面を示す。 本発明の別の実施形態に係る画素の4タップトポロジーを示す。 本発明のさらなる実施形態に係る画素の4タップトポロジーを示す。 本発明の実施形態に係る駆動信号の例を示す。
本発明の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考慮することにより、さらに明瞭になるであろう。
本発明を4タップ画素に関して説明するが、本発明はこれに限定されない。本発明は、複数のタップ、好ましくは少なくとも3つのタップ、およびさらにいっそう好ましくは4つのタップを含む画素により実現することができる。
図4は本発明の第1実施形態に係る飛行時間システム3を示す。ToFシステム3は、数周期から成る変調光16でシーンを照明するように適応された照明システム18と共に使用するためのものである。照明部18は、変調光16を出射するための1つ以上の光源を含むことができる。変調光16は周期光とすることができる。周期光は波もしくはパルスまたはその両方の組合せの形を取ることができる。光はスペクトルの可視領域または非可視領域、例えば好ましくは、センサシステムが効率的に働き、人間の目に見えず、かつLED、レーザ等のような適切な光源が利用可能である範囲になるように、赤外線領域に存在することができる。
ToFシステム3は画素35aのアレイを含む撮像センサ35を備え、前記画素の各々は4つのタップを含む。撮像センサ35は、シーンから反射した変調信号17を検出するために使用される。各画素は、本明細書で以下、それぞれ上タップ、左タップ、下タップ、および右タップと表す4つのタップを含む。4タップ画素の基本的な設計および動作を後で説明する。
ToFシステム3はさらに、駆動信号を発生するための信号発生器30を含む。各組当たりの駆動信号バーストは、変調信号の所定数N周期分とすることができる。数字Nを潜在的に動作中に調整することはできるが、一時的に異なるタップの組のドライバの数Nに等しいことが好ましい。信号発生器501は、照明部によって送信された変調信号と比較して位相シフトした信号である駆動信号を、タップに提供するように適応することができる。駆動信号は、タップの動作を制御する信号、すなわちタップが作動するか、それとも作動しないかを制御するための信号である。タップが作動する場合、それは、信号、すなわちシーンから反射した変調信号17を検出することができることを意味する。信号発生器は、ベースクロックまたは周波数から異なるタップ信号を生成するブロックとすることができる。それはPLLもしくはDLL、または何らかのグルーロジックと同様のものとすることができる。
ToFシステム3はさらに、4つのタップドライバ31a、31b、32a、32bを含み、各タップドライバは、信号発生器30から駆動信号を受信し、かつデータライン33a、33b、34a、34bを介してそれらをタップに送信するように適応される。各タップドライバは信号発生器30からデジタル信号を受信し、かつデータラインを介して、それを正しい電圧レベルおよび電流密度で所定組のタップに送信する。
ToFシステムは、各画素が少なくとも2組のタップを含み、各画素の前記2組のタップがそれぞれ異なるドライバに接続され、かつ各ドライバが各画素の1つのタップに接続され、前記各ドライバに接続された撮像センサの画素のタップが1組のタップを形成することを特徴とする。
好ましくは、タップドライバの数は少なくとも、1画素当たりのタップの数に等しい。
例えば、図4では、データライン31a、32b、31b、および32aは、タップドライバを所定組のタップと接続するために使用される。例えば、図4では、タップドライバ32aはデータライン34aを介して画素35aの左タップに関連付けられ、タップドライバ31aはデータライン33aを介して画素35aの上タップに関連付けられ、タップドライバ32bはデータライン34bを介して画素35aの右タップに関連付けられ、タップドライバ31bはデータライン33bを介して画素35aの下タップに関連付けられる。この編成は、所定組のタップの各タップが関連付けられたタップドライバから同一駆動信号を受信すること、およびタップの組がシーンから反射した同一変調信号を同時に検出することが可能になることを意味する。
図5は本発明の別の実施形態を示す。ToFシステム3はさらに、タップドライバに関連付けられた少なくとも1つのマルチプレクサを備えることができる。図5は、4つのタップドライバ502、503、504、および505と、2つのマルチプレクサ506および507と、信号発生器501と、4つのデータライン508、509、501、および511とを備えた駆動部500を示す。マルチプレクサ506および507はタップドライバの前および/または後に接続される。マルチプレクサは、駆動信号で発生可能なオフセットおよびミスマッチを除去することを可能にする。それらはまた、タップドライバの入力信号および出力信号の両方を並べ替えることをも可能にすることができる。
図6は画素の4タップトポロジーを示す。画素は4つの復調ノードまたはタップを含む。各タップはそれぞれ制御ノード(すなわち基板コンタクト)1、3、5、および7、ならびに検出領域2、4、6、および8から構成される。画素はまた、タップに関連付けられた回路構成9、10をも含む。
図7は、図6に示された4タップ画素の破線に沿った断面を示す。各タップは制御ノード325によって囲まれた検出領域326から構成される。各検出領域326は空乏領域327に関連付けることができる。要素321および324は回路構成要素である。回路構成要素321、324および制御ノード325は高ドープ領域pとすることができ、検出領域326はn型領域とすることができる。
欧州特許第1513202号公報に、同様の装置が提示されおり、画素は1つだけのタップを含む。ここで4タップ画素がどのように機能するかを説明するために、同じ物理的原理が適用可能である。要するに、回路構成321(または324)と制御ノード325との間に印加される電位を制御することによって、関連付けられるタップの検出能を制御することが可能である。光子を画素の感光領域内に入射すると、特定の位置に電子正孔e/h対が生成される。電子正孔対は、存在しかつ流れる多数電流に関連付けられる電界によって分離される。この電界は、光生成される少数キャリアを、流れている多数電流とは反対の方向に、すなわち領域325の方向にドリフトさせる。拡散によって、最終的に少数キャリアは検出領域326に到達する。
基本的に、画素が幾つかのタップを含む場合、かつ他のタップに対して正電位が1つのタップに印加されると、そのタップは起動され、検出能が高くなる。すなわち、起動されたタップの検出領域は、画素における光生成された少数キャリアの大部分を受け取る。タップに印加される駆動信号すなわち電位信号は、どのタップをいつ起動させるかを制御するので、きわめて重要である。
図8は本発明の実施形態に係る画素の4タップトポロジーを示す。タップを複数の対称軸を画定するように空間的に編成することができる。タップを距離101〜102が略等しくなるように、画素の内部に空間的に編成することができる。これらの距離は、コンポーネント間に利用可能な光学領域によって画定することができる。例えば、タップの検出領域間の距離103、106、109、および112は略等しくすることができる。さらに、検出領域と最近接周囲回路構成との間の距離102、104、105、107、108、110、111、101、および102もまた、略等しくすることができる。画素の内部に複数の対称軸を画定するようにタップを空間的に編成することは好都合である。実際、タップは光学領域の均等面に関連付けられ、周囲回路構成から同等の影響を受ける。この空間編成は、シーンから反射する略等しい変調信号を測定することを可能にする。換言すると、この空間編成は、Sφに略等しい4つの信号Sφ1〜Sφ4を測定することを可能にする。
図9は本発明のさらなる実施形態に係る画素の4タップトポロジーを示す。ToFシステムの撮像センサは八角形の画素を含むことができる。各画素は、回路構成605、606、607、および608によって囲まれた4つのタップ601、602、603、および604を含むことができる。画素の八角形の形状は好都合となりうる。この特定の形状は、使用される基板の表面および画素の光学領域を最適化しながら、幾つかの画素およびタップの間で回路構成を共有することを可能にする。八角形の形状はまた、画素の内部に幾つかの対称軸を画定することをも可能にし、それは、シーンから反射した変調信号をより正確に測定するのを助ける。
本発明はまた、少なくとも1つの画素を含む撮像センサを有する飛行時間システムを駆動するための方法に関し、前記画素が駆動信号によって駆動される複数のタップを含み、飛行時間システムが、変調信号によりシーンを照明するように適応された照明システムと共に使用するためのものであり、前記方法は、各画素に対し、少なくとも第1の組および第2の組のタップを決定するステップと、各組のタップを駆動して、変調信号の所定数N周期中にシーンから反射される変調信号を検出するステップとを含む。
例証のために、該方法について、タップ1〜タップ4で表される4つのタップを含む4タップ画素に関連して説明するが、該方法はそれに限定されない。
図10は、該方法の第2ステップ中にタップを駆動するために使用される駆動信号の例を示し、ここでNは2に等しい。この図では、変調信号16は、「光」と呼ばれる信号によって表される。
方法の第1ステップに従って、第1の組および第2の組のタップは、それぞれ(タップ1、タップ2)および(タップ3、タップ4)と決定される。
方法の第2ステップに従って、第1の組および第2の組のタップ、すなわちそれぞれ(タップ1、タップ2)および(タップ3、タップ4)は、変調信号の2周期中にシーンから反射する変調信号17を検出するように駆動される。
好ましくは、1組のうちの第1タップは第1駆動信号によって駆動され、この組のうちの第2タップは、第1駆動信号の反転信号である第2駆動信号によって駆動される。これは図10によって示され、ここでタップ1およびタップ2(それぞれタップ3およびタップ4)の駆動信号は反転している。すなわち、第2駆動信号は第1駆動信号と比較して180°位相シフトしている。
さらにいっそう好ましくは、第1の組のタップの第1駆動信号は、照明部によって送信された変調信号16のN周期分に対応し、第2の組のタップの第1駆動信号は、照明部によって送信された変調信号16と比較して90°位相シフトした信号のN周期分に対応する。
この実施形態もまた図10によって示される。実際、タップ1の駆動信号は変調信号16(または「光」)の2周期分に対応し、タップ3の駆動信号は、変調信号16と比較して90°位相シフトした信号の2周期分に対応する。
この特定の実施例では、タップ1、タップ2、タップ3、およびタップ4に送信された駆動信号は、照明部によって送信された変調信号と比較してそれぞれ0°、180°、90°、および270°位相シフトした信号の2周期分に対応する。
1画素当たりY個のタップの組の場合、yを0から(Y−1)までの範囲として、組(対)「y」の駆動信号と照明部によって送信された変調信号との間の位相シフトは、その次の各組に対し、例えばy*180°/Yとすることができる。
この特定の例では、第1の1組のタップは、それらのそれぞれの駆動信号後に2周期中の反射変調光17を検出することができ、次いで、順次、第2の1組のタップはそれらのそれぞれの駆動信号後の2周期中の反射変調光17を検出することができる。タップを1組ずつ駆動することは、駆動信号間の重複を回避することを可能にする。これは、1つの画素内で一度に作動するタップは1つだけであり、その間、他のタップは作動しないことを意味する。これは図10によって明瞭に示される。この方法のおかげで、タップに要求される帯域幅を低減し、かつ駆動信号のデューティサイクルの低減を回避することが可能である。
さらなる実施形態では、飛行時間システムはさらに、基準信号とシーンからの反射変調信号17との間の相関測定を決定するように適応することができる。該方法はさらに、決定された各タップの組に対し、シーンからの反射変調信号17とそれぞれ第1および第2基準信号との間で第1および第2相関測定を決定するステップを含むことができる。
第1の1組のタップについては、第1基準信号は、照明部によって送信された変調信号16に対応することができ、第2基準信号は第1基準信号の反転信号とすることができる。
第2の1組のタップについては、第1基準信号は、照明部によって送信された変調信号16と比較して90°位相シフトした信号に対応することができ、第2基準信号は第1基準信号の反転信号とすることができる。
先に導入した表記法を参照することによって、タップ1は、照明部によって送信された変調信号16の2周期分である駆動信号によって駆動されることができ、タップ2は、照明部によって送信された変調信号16と比較して180°位相シフトした信号の2周期分である駆動信号によって駆動されることができる。さらに、第1の組(対)のタップ(タップ1、タップ2)は、シーンから反射した変調信号17(すなわちSφ)と基準信号Sおよび
Figure 0006529487
との間の相関測定を決定して、相関測定値Sφ,Iおよび
Figure 0006529487
を得ることができる。タップ1はSφ,Iの測度に帰することができる一方、タップ2は
Figure 0006529487
の測度に帰することができる。
同様に、タップ3は、照明部によって送信された変調信号と比較して90°位相シフトした信号の2周期分である駆動信号によって駆動することができ、タップ4は、照明部によって送信された変調信号と比較して270°位相シフトした信号の2周期分である駆動信号によって駆動することができる。さらに、第2の組(対)のタップ(タップ3、タップ4)は、シーンから反射した変調信号17(すなわちSφ)と基準信号Sおよび
Figure 0006529487
との間の相関測定を決定して、相関測定値Sφ,Qおよび
Figure 0006529487
を得ることができる。タップ3はSφ,Qの測度に帰することができる一方、タップ4は
Figure 0006529487
の測度に帰することができる。
この方法は、4つのタップによってSφを略同時に測定することを可能にし、それは測度の精度および信頼性を高め、かつ移動頑健性を可能にする。好ましくは、高い移動頑健性を確実にするために、組(対)の各駆動間の時間間隔はできるだけ短くすべきであり、例えば変調光16の8周期分の期間未満とすべきである。好ましくは、駆動は交互に行うことができる。すなわち、第1の組のタップを最初に駆動することができ、次いで第2の組のタップを駆動することができ、次いで第1組のタップを再び駆動することができる。検出は、周期的に各組に対しN周期後に継続することができる。
撮像センサが図4に示すように幾つかの画素を含む場合、1組のタップに送信される駆動信号は同時であってよいことを理解されたい。例えばタップ1に送信される駆動信号は、前に定義したように上タップに送信される信号に対応することができ、タップ2に送信される駆動信号は、下タップに送信される信号に対応することができ、タップ3に送信される駆動信号は、右タップに送信される信号に対応することができ、タップ4に送信される駆動信号は、左タップに送信される信号に対応することができる。
さらに、第1の組のタップは(上タップ、下タップ)とすることができ、第2の組のタップは(右タップ、左タップ)とすることができる。好ましくは、1組のタップに含まれるタップは、画素における対向位置を有する。例えば、タップが画素に正方形を形成する場合、1組のタップに含まれるタップは、対角位置に配置されるタップとなる。1組のタップに属するタップは同一画素に属することができる。
上、下、右、および左という用語は制限的用語ではなく、明確を期すために使用するものであることを理解されたい。

Claims (15)

  1. 変調信号(16)でシーン(15)を照明するように適応された照明システム(18)用の飛行時間(ToF)システム(3)を駆動するための方法であって、
    前記ToFシステムが少なくとも1つの画素(35a)を含む撮像センサ(35)を有し、
    前記画素が、前記シーンから反射した変調信号(17)を検出するために駆動信号によって駆動されるタップを含み、
    前記ToFシステムは、
    前記駆動信号を受信し、かつそれらを前記タップに送信するように適応されたタップドライバ(31a、31b、32a、32b、502、503、504、505)と、
    前記タップドライバ(502、503、504、505)に関連付けられる少なくとも1つのマルチプレクサ(506、507)と、
    をさらに含み、
    各画素に対し、
    ・少なくとも第1の組、および第2の組のタップを決定するステップと、
    ・前記変調信号(16)の所定数N周期中に、前記第1の組のタップを駆動し、次いで、前記変調信号(16)の所定数N周期中に、前記第2の組のタップを駆動して、前記反射した変調信号(17)を検出するステップと、
    を含む方法。
  2. 前記タップの組は順次駆動される、請求項1に記載の方法。
  3. 前記少なくとも第1の組、および第2の組のタップのうちの、少なくとも一つの組のタップの第1タップは第1駆動信号によって駆動され、かつ当該タップの第2タップは前記第1駆動信号の反転信号である第2駆動信号によって駆動される、請求項1または2に記載の方法。
  4. 前記第1の組のタップの第1駆動信号は、前記照明システムによって送信された前記変調信号(16)のN周期分に対応する、請求項3に記載の方法。
  5. 前記第2の組のタップの第1駆動信号は、前記照明システムによって送信された前記変調信号(16)と比較して90°位相がシフトした信号のN周期分に対応する、請求項3または4に記載の方法。
  6. 前記飛行時間システムはさらに、基準信号と前記シーンから反射した変調信号(17)との間の相関の測定を決定するように適応され、前記方法はさらに、
    ‐決定された各タップの組に対し、前記シーンから反射した変調信号(17)とそれぞれ第1および第2基準信号との間の第1および第2相関の測定を決定するステップを含む、請求項1〜5のいずれか一項に記載の方法。
  7. ・前記第1の組のタップの場合、前記第1基準信号は前記照明システムによって送信された前記変調信号(16)に対応し、かつ前記第2基準信号は前記第1基準信号の反転信号であり、
    ・前記第2の組のタップの場合、前記第1基準信号は、前記照明システムによって送信された前記変調信号(16)と比較して90°位相がシフトした信号に対応し、前記第2基準信号は前記第1基準信号の反転信号である、
    請求項6に記載の方法。
  8. 各画素は4つのタップを含む、請求項1〜7のいずれか一項に記載の方法。
  9. 変調信号(16)でシーン(15)を照明するように適応された照明システム(18)用の飛行時間システム(3)であって、
    ・少なくとも2つの画素(35a)を含み、各画素にタップが含まれる、撮像センサ(35)と、
    ・前記タップを駆動するために駆動信号を発生するための信号発生器(30、501)と、
    ・前記信号発生器(501、30)から前記駆動信号を受信し、かつそれらを前記タップに送信するように適応されたタップドライバ(31a、31b、32a、32b、502、503、504、505)とを備え、
    ・各画素が少なくとも2組のタップを含むこと、
    ・各画素の前記2組のタップがそれぞれ異なるドライバに接続されること、および
    ・各ドライバが各画素の1つのタップに接続され、前記各ドライバに接続された前記撮像センサの前記画素のタップが1組のタップを形成すること、
    ・前記変調信号(16)の所定数N周期中に、第1の組のタップを駆動し、次いで、前記変調信号(16)の所定数N周期中に、第2の組のタップを駆動して、前記シーン(15)から反射した変調信号(17)を検出し、
    前記タップドライバ(502、503、504、505)に関連付けられる少なくとも1つのマルチプレクサ(506、507)をさらに含むこと、
    を特徴とする、飛行時間システム(3)。
  10. 前記信号発生器(30、501)は、前記照明システム(18)によって送信された前記変調信号(16)と比較して位相シフトした駆動信号を前記タップに提供するように適応された、請求項9に記載の飛行時間システム。
  11. 前記タップドライバは、各組のタップを順次駆動して、前記変調信号(16)の所定数N周期中に前記シーンから反射した変調信号(17)を検出するように適応された、請求項9または10に記載の飛行時間システム。
  12. 各画素は4つのタップを含む、請求項9〜1のいずれか一項に記載の飛行時間システム。
  13. 各画素は複数の対称軸を画定するように空間的に編成される、請求項9〜1のいずれか一項に記載の飛行時間システム。
  14. 各画素は八角形の形状である、請求項1に記載の飛行時間システム。
  15. 前記タップドライバの数は1画素当たりのタップの数に少なくとも等しい、請求項9〜1のいずれか一項に記載の飛行時間システム。
JP2016518541A 2014-01-13 2015-01-08 飛行時間システムを駆動するための方法 Active JP6529487B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14150922.4A EP2894492B1 (en) 2014-01-13 2014-01-13 A method for driving a time-of-flight system
EP14150922.4 2014-01-13
PCT/EP2015/050195 WO2015104307A1 (en) 2014-01-13 2015-01-08 A method for driving a time-of-flight system

Publications (2)

Publication Number Publication Date
JP2016527482A JP2016527482A (ja) 2016-09-08
JP6529487B2 true JP6529487B2 (ja) 2019-06-12

Family

ID=49955917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518541A Active JP6529487B2 (ja) 2014-01-13 2015-01-08 飛行時間システムを駆動するための方法

Country Status (7)

Country Link
US (1) US10509126B2 (ja)
EP (2) EP2894492B1 (ja)
JP (1) JP6529487B2 (ja)
KR (1) KR20160032014A (ja)
CN (1) CN105518485B (ja)
BE (1) BE1022490B1 (ja)
WO (1) WO2015104307A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI694604B (zh) 2015-07-23 2020-05-21 光澄科技股份有限公司 光偵測器
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
EP3332426B1 (en) 2015-08-04 2019-10-09 Artilux Inc. Germanium-silicon light sensing apparatus
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
CN115824395B (zh) 2015-08-27 2023-08-15 光程研创股份有限公司 宽频谱光学传感器
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
EP3193369B1 (en) * 2016-01-15 2021-11-17 Sony Depthsensing Solutions N.V. A detector device with majority current and isolation means
CN107851656B (zh) 2016-03-04 2022-12-16 索尼公司 摄像装置和测距系统
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
WO2018100082A1 (en) 2016-11-30 2018-06-07 Sony Semiconductor Solutions Corporation Apparatus and method
WO2018104464A1 (en) * 2016-12-07 2018-06-14 Sony Semiconductor Solutions Corporation Apparatus and method
CN109729759B (zh) * 2017-08-30 2021-09-17 索尼半导体解决方案公司 成像元件和成像装置
US11592536B2 (en) 2018-01-10 2023-02-28 Sony Semiconductor Solutions Corporation Control of image capture
US11482553B2 (en) 2018-02-23 2022-10-25 Artilux, Inc. Photo-detecting apparatus with subpixels
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
JP6975341B2 (ja) 2018-02-23 2021-12-01 アーティラックス・インコーポレイテッド 光検出装置およびその光検出方法
CN114335030A (zh) 2018-04-08 2022-04-12 奥特逻科公司 光探测装置
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
KR102606240B1 (ko) * 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
KR102534247B1 (ko) 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
KR20200039402A (ko) 2018-10-05 2020-04-16 삼성전자주식회사 복조 대비 성능을 향상시키기 위한 픽셀 구조를 포함하는 이미지 센서 및 이미지 처리 시스템
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
US11506763B2 (en) 2018-10-31 2022-11-22 Infineon Technologies Ag Image sensor with interleaved hold for single-readout depth measurement
US11574942B2 (en) 2018-12-12 2023-02-07 Artilux, Inc. Semiconductor device with low dark noise
US11798960B2 (en) * 2019-03-13 2023-10-24 Sony Semiconductor Solutions Corporation Processing circuit and method for time-of-flight image sensor
WO2020193161A1 (en) * 2019-03-25 2020-10-01 Sony Semiconductor Solutions Corporation Time-of-flight apparatus and method
JPWO2020241151A1 (ja) * 2019-05-24 2020-12-03
CN110361751B (zh) * 2019-06-14 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及单频调制解调的降低噪声的距离测量方法
CN110320528B (zh) * 2019-06-14 2021-04-30 奥比中光科技集团股份有限公司 时间深度相机及多频调制解调的降低噪声的距离测量方法
TW202120956A (zh) * 2019-08-21 2021-06-01 荷蘭商露明控股公司 紅外線成像組件
JP7310010B2 (ja) 2019-08-28 2023-07-18 アーティラックス・インコーポレイテッド 低暗電流による光検出装置
DE102019131988A1 (de) 2019-11-26 2021-05-27 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US11205279B2 (en) * 2019-12-13 2021-12-21 Sony Semiconductor Solutions Corporation Imaging devices and decoding methods thereof
KR20210151497A (ko) * 2020-06-05 2021-12-14 에스케이하이닉스 주식회사 이미지 센싱 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2206748T3 (es) 1996-09-05 2004-05-16 Rudolf Schwarte Procedimiento y dispositivo para la determinacion de la informacion sobre fases y/o amplitudes de una onda electromagnetica.
DK1513202T3 (da) 2003-09-02 2010-05-10 Univ Bruxelles Detektor til elektromagnetisk stråling ved hjælp af en majoritetsstrøm
WO2008047640A1 (fr) * 2006-10-18 2008-04-24 Panasonic Electric Works Co., Ltd. Dispositif de détection d'informations spatiales
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
US20090051984A1 (en) 2007-08-23 2009-02-26 O'brien Michele Image sensor having checkerboard pattern
EP2283383B1 (en) 2008-04-11 2013-07-17 École Polytechnique Fédérale de Lausanne (EPFL) Time-of-flight based imaging system using a display as illumination source
JP5431810B2 (ja) * 2009-07-03 2014-03-05 株式会社豊田中央研究所 画像センサとその画像センサに用いられる受光装置
JP5629134B2 (ja) * 2010-06-14 2014-11-19 パナソニック株式会社 電荷結合素子の駆動装置、空間情報検出装置
CN105026955B (zh) * 2012-12-28 2018-12-18 诺基亚技术有限公司 用于对来自距离感应相机的数据进行降噪的方法和装置

Also Published As

Publication number Publication date
EP3792662A1 (en) 2021-03-17
JP2016527482A (ja) 2016-09-08
EP2894492B1 (en) 2020-10-28
WO2015104307A1 (en) 2015-07-16
BE1022490B1 (fr) 2016-05-04
KR20160032014A (ko) 2016-03-23
US20160306045A1 (en) 2016-10-20
CN105518485B (zh) 2018-11-13
EP2894492A1 (en) 2015-07-15
CN105518485A (zh) 2016-04-20
US10509126B2 (en) 2019-12-17

Similar Documents

Publication Publication Date Title
JP6529487B2 (ja) 飛行時間システムを駆動するための方法
US10101453B2 (en) Time of flight apparatuses and an illumination source
US11448757B2 (en) Distance measuring device
US11408983B2 (en) Lidar 2D receiver array architecture
US11067675B2 (en) Time of flight imaging apparatuses and a method for adjusting a reference frequency
KR102136850B1 (ko) 깊이 센서, 및 이의 동작 방법
EP2594959A1 (en) System and method for multi TOF camera operation using phase hopping
TWI221730B (en) Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same
US20160112696A1 (en) Imaging apparatuses and a time of flight imaging method
KR101020999B1 (ko) 촬영 장치 및 이의 영상 제어방법
US20150310622A1 (en) Depth Image Generation Utilizing Pseudoframes Each Comprising Multiple Phase Images
US20230108515A1 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
JP2017201760A (ja) 撮像装置および測距装置
US9714848B2 (en) Angle detection device and survey instrument including the same
US20220252730A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
KR20210031710A (ko) 전자 디바이스 및 방법
JP2015232452A (ja) 測距装置
Leroux et al. Event-based structured light for depth reconstruction using frequency tagged light patterns
US9131176B2 (en) Driving device and spatial information detecting device using the same
TW202122823A (zh) 飛行時間感測系統和其中使用的圖像感測器
JP2023001122A (ja) 撮像装置
US20200309956A1 (en) Imaging portion, time-of-flight device and method
JP2022165344A (ja) 測距装置及び測距システム
WO2020165401A1 (en) Time of flight device and method
KR20100081195A (ko) 촬영 장치 및 이의 영상 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170421

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170710

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20181212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R150 Certificate of patent or registration of utility model

Ref document number: 6529487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190530