JP7431552B2 - センサ、センサシステム、および撮像方法 - Google Patents

センサ、センサシステム、および撮像方法 Download PDF

Info

Publication number
JP7431552B2
JP7431552B2 JP2019186634A JP2019186634A JP7431552B2 JP 7431552 B2 JP7431552 B2 JP 7431552B2 JP 2019186634 A JP2019186634 A JP 2019186634A JP 2019186634 A JP2019186634 A JP 2019186634A JP 7431552 B2 JP7431552 B2 JP 7431552B2
Authority
JP
Japan
Prior art keywords
tof
imaging
pixel
passive
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019186634A
Other languages
English (en)
Other versions
JP2020060568A (ja
Inventor
アンジェロ ウィーナーズ ジョン
Original Assignee
センサーズ・アンリミテッド・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by センサーズ・アンリミテッド・インコーポレーテッド filed Critical センサーズ・アンリミテッド・インコーポレーテッド
Publication of JP2020060568A publication Critical patent/JP2020060568A/ja
Application granted granted Critical
Publication of JP7431552B2 publication Critical patent/JP7431552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、撮像に関し、より詳細には、三次元撮像装置などの受動撮像及び飛行時間撮像に関する。
いくつかの撮像処理アプリケーションでは、シーン及び飛行時間（ＴＯＦ）深度感知に関する値及び／または色情報を提供するための受動撮像も必要である。例えば、スマートカーのアプリケーションでは、スマートカーは標識がどれだけ離れているかに関する情報を必要とし得る。ＴＯＦセンサシステムはその情報を提供できる。スマートカーアプリケーションはまた、標識の内容を認識する必要があり得るが、これは、受動撮像を使用して標識を撮影するカメラによって提供することができる。従来のシステムでは、ＴＯＦ撮像及び受動撮像にはそれぞれ別個のセンサが必要である。これに対する解決策の１つは、構造化照明などの代替タイプの深度感知を使用することである。
従来技術は、それらの意図された目的に十分であると考えられてきた。しかし、ＴＯＦ撮像及び受動撮像の改善の必要性は常に存在する。本開示は、この必要性に対する解決策を提供する。
センサはセンサアレイを含む。センサアレイは、複数の受動撮像画素及び複数の飛行時間（ＴＯＦ）撮像画素を含む。
受動撮像画素は、センサアレイ上のＴＯＦ撮像画素と交互パターンで配置できる。交互パターンは、センサアレイ全体に受動撮像画素の列及びＴＯＦ撮像画素の列を交互に含むことができる。受動撮像画素及びＴＯＦ撮像画素は、センサアレイ内の半導体の共通層内にあり得る。受動撮像画素は、それぞれＰＩＮフォトダイオードを含むことができる。ＴＯＦ撮像画素は、それぞれアバランシェフォトダイオードを含むことができる。受動撮像画素及びＴＯＦ画素はすべて、ＳＷＩＲ照明に対して感度を有し得る。
各ＴＯＦ撮像画素は、第１のノードに電気的に接続された定電流源を含むことができる。積分コンデンサは、第１のノードと接地の間に電気的に接続できる。サンプリングトランジスタは、第１のノードと第２のノードとの間に電気的に接続できる。フォトダイオードは、フォトダイオードに入射する放射に応答してサンプリングトランジスタを介して電気的な接続性を切り替えるために、サンプリングトランジスタのベース端子と接地との間に電気的に接続できる。各ＴＯＦ画素は、そのＴＯＦ画素と視野内の一点との間の距離を表す画素値を生成するように構成できる。
センサシステムは、上述のセンサアレイ及び、センサアレイに動作可能に接続される読み出し専用集積回路（ＲＯＩＣ）を含む。ＲＯＩＣは、受動撮像画素から撮像データを示す電気信号を受信するために各受動撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素を含む。ＲＯＩＣは、ＴＯＦ撮像画素からＴＯＦを示す電気信号を受信するために各ＴＯＦ撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素も含む。
サポートモジュールをＲＯＩＣに動作可能に接続して、ＲＯＩＣから受動撮像データ及びＴＯＦ撮像データを受信できる。サポートモジュールは、受動撮像データ及びＴＯＦ撮像データを含む混合画像を出力するように構成できる。サポートモジュールは、受動撮像データ及びＴＯＦ撮像データをＲＯＩＣから分離して、受動撮像及びＴＯＦ撮像の別個の画像を出力するように構成できる。
ＴＯＦ撮像画素が、照明のパルスの飛行時間（ＴＯＦ）を示す信号を出力するように、システムには、照明源と、照明源及びセンサアレイに動作可能に接続されてＴＯＦ撮像画素積分を開始するコントローラとを含めることができる。コントローラは、照明源を使用してシーンをフラッシュし、照明源を使用してシーンをフラッシュしながら、受動撮像画素からの受動撮像データを収集するように構成できる。
撮像の方法は、センサアレイからの受動撮像データを収集すること、及びセンサアレイからの飛行時間（ＴＯＦ）撮像データを収集することを含む。受動撮像データを収集すること、及びＴＯＦ撮像データを収集することは、少なくとも部分的に同時に視差のない単一の光軸に沿って実行できる。
主題の開示のシステム及び方法のこれら及び他の特徴は、図面と併せて好ましい実施形態の以下の詳細な説明から当業者により容易に明らかになるであろう。
主題の開示が関係する当業者が、過度の実験なしに主題の開示のデバイス及び方法を作成し使用する方法を容易に理解するように、その好ましい実施形態は、以下の特定の図を参照して本明細書に詳細に記載されている。
本開示に従って構築された、センサアレイ及びサポート回路を示すシステムの例示的な実施形態の概略図である。 飛行時間（ＴＯＦ）画素の１つの回路アーキテクチャを示す、図１のシステムの一部を示す概略図である。 受動撮像画素及びＴＯＦ画素の交互パターンを示す、図１のセンサアレイの概略平面図である。
次に、同様の参照番号が、主題の開示の類似の構造的特徴または態様を識別する図面を参照する。説明及び例示のために、限定ではなく、本開示によるシステムの例示的な実施形態の部分図が図１に示され、一般に参照文字１００によって示される。説明するように、本開示によるシステムの他の実施形態、またはその態様は、図２～図３に提供される。本明細書に説明されているシステム及び方法は、各画素値が、その画素と視野内の一点との間の距離を表す、ＴＯＦ撮像の形成及び、各画素値が、単一のセンサを使用して、視野の一部の色または値を表す、受動撮像を形成するために使用できる。
例えば、複合ＴＯＦ撮像及び受動撮像カメラ用のセンサシステム１００は、センサ画素１１０、１１１のセンサアレイ１０２を有するセンサを含む。システム１００は、センサ画素１１０、１１１からの信号を画像データに変換するために、センサアレイ１０２に動作可能に接続されるサポート回路１０４を含む。
図３を参照すると、センサアレイ１０２は、複数の受動撮像画素１１１及び複数の飛行時間（ＴＯＦ）撮像画素１１０を含む。受動撮像画素１１１は、センサアレイ１０２上のＴＯＦ撮像画素１１０と交互パターンで配置される。交互パターンは、センサアレイ１０２全体に受動撮像画素１１１の列１１３及びＴＯＦ撮像画素１１３の列を交互に含む。本開示の範囲から逸脱することなく、任意の他の適切なパターンを使用できることを、当業者ならば容易に理解するであろう。図３の右方向及び下方向の省略は、任意の適切な数の画素１１１及び１１０をセンサアレイ１０２に含めることができることを示す。受動撮像画素１１１及びＴＯＦ撮像画素１１０は、例えば、受動撮像画素１１１の下のセンサアレイ内のＴＯＦ撮像画素１１０をより深くするのではなく、センサアレイ１０２内の半導体の共通層に並んでいる。受動撮像画素１１１は、それぞれＰＩＮフォトダイオードを含むことができる。ＴＯＦ撮像画素１１０は、それぞれアバランシェフォトダイオードを含むことができる。受動撮像画素１１１及びＴＯＦ画素１１０はすべて、ＳＷＩＲ照明、または任意の他の適切な照明帯域に対して感度を有し得る。
ＴＯＦ撮像画素１１０が、照明のパルスの飛行時間（ＴＯＦ）を示す信号を出力できるように、システム１００には、照明源１０６と、照明源１０６及びセンサアレイ１０２に動作可能に接続されて画素積分及び照明源１０６からの照明パルスを開始するコントローラ１０８とが含まれる。光学系１１２は、シーン１１４からＴＯＦ撮像画素１１０への照明、例えば、照明源１０６からの照明のパルスの戻りを収束させるために、センサ画素１１０のアレイ１０２に光学的に接続される。光学系１１２は、受動撮像画素１１１による受動撮像のために、シーン１１４の画像をセンサアレイ１１２上に集束させることもできる。サポート回路１０４は、コントローラ１０８及び、センサ画素１１０からの出力のデータ調整のためにアレイ１０２に動作可能に接続された読み出し専用集積回路（ＲＯＩＣ）１１６を含む。コントローラ１０８は、照明源１０６を使用してシーン１１４をフラッシュし、照明源を使用してシーンをフラッシュしながら、受動撮像画素１１１からの受動撮像データを収集するように構成することもできる。
ここで図２を参照すると、定電流源１１８は、電力レール１１９を各画素１１０の第１のノード１２０に電気的に接続する。単一の電流源１１８は、アレイ１０２内のすべての画素１１０によって共有することができるか、または画素１１０の各列は、例えば、それ自体の電流源１１８を有することができる。積分コンデンサ１２２は、第１のノード１２０と接地１２４、例えば、実際の接地、共有負ノードなどのローカル接地などとの間に電気的に接続される。サンプリングトランジスタ１２６、例えば、ＰＭＯＳトランジスタは、第１のノード１２０と第２のノード１２８との間に電気的に接続される。フォトダイオード１３０は、フォトダイオード１３０に入射する放射に応答してサンプリングトランジスタ１２６を介して第１のノード１２０及び第２のノード１２８の電気的な接続性を切り替えるために、サンプリングトランジスタ１２６のベース端子１３２と接地１２４との間に電気的に接続される。レジスタ１２７または他の適切なインピーダンス素子は、トランジスタ１２６のベース端子１３２と電力レール１２９との間を電気的に接続する。電力レール１２９は、電力レール１１９と同じであっても異なっていてもよい。
サンプリングコンデンサ１３４は、サンプリングトランジスタ１２６が、積分コンデンサ１２２をサンプリングコンデンサ１３４に電気的に接続するように切り替えたときに、積分コンデンサ１２２に蓄積されるサンプリング電圧のために、第２のノード１２８と接地１２４との間に電気的に接続される。増幅器１３６は、第２のノード１２８に電気的に接続され、サンプリングコンデンサ１３４からＲＯＩＣ１１６（図１に示す）への電気信号を増幅する。アレイ１０２（図１に示す）の各感知画素１１０の増幅器１３６は、アレイ１０２からの出力のデータ調整のために増幅電気信号をＲＯＩＣ１１６に出力するように接続できる。各画素１１０は、それ自体の増幅器１３６を含み、リセットトランジスタ１３８、例えば、ＮＭＯＳトランジスタは、第１のノード１２０からリセットトランジスタ１３８を介して電気的な接続性を切り替えるために、第１のノード１２０と接地１２４との間に電気的に接続され、リセットトランジスタ１３８のベース端子１４０で受信されたコントローラ１０８（図１に示す）からのリセット信号に応答して、接地１２４への積分コンデンサ１２２の電圧をゼロにし、積分コンデンサ１２２の電圧をリセットして積分を開始する。
再び、図１を参照すると、読み出し専用集積回路（ＲＯＩＣ）１１６は、センサアレイ１０２に動作可能に接続されている。ＲＯＩＣ１１６は、受動撮像画素１１１から撮像データを示す電気信号を受信するために、各受動撮像画素１１１に動作可能に接続される、（図１のＲＯＩＣ１１６のテクスチャによって概略的に示される）それぞれのＲＯＩＣ画素を含む。ＲＯＩＣ１１６は、ＴＯＦ撮像画素１１０からＴＯＦを示す電気信号を受信するために、各ＴＯＦ撮像画素１１０に動作可能に接続される、（図１のＲＯＩＣ１１６のテクスチャによって概略的に示される）それぞれのＲＯＩＣ画素も含む。
例えば、コントローラ１０８の一部である、サポートモジュール１０９は、ＲＯＩＣ１１６に動作可能に接続され、ＲＯＩＣ１１６からの受動撮像データ及びＴＯＦ撮像データを受信する。すなわち、ＲＯＩＣ１１６は、センサアレイ１０２からの生の値を調整し、調整されたデータをサポートモジュール１０９に出力する。サポートモジュール１０９は、受動撮像データ及びＴＯＦ撮像データを含む混合画像を出力するように構成できる。混合された出力は、例えば、ＴＯＦサーフェス上にオーバーレイされたＳＷＩＲ画像とすることができる。サポートモジュール１０９は、受動撮像データ及びＴＯＦ撮像データをＲＯＩＣ１１６から分離して、受動撮像及びＴＯＦ撮像の別個の画像を出力するように構成できる。
撮像の方法は、センサアレイ、例えば、センサアレイ１０２からの受動撮像データを収集すること、及びセンサアレイからの飛行時間（ＴＯＦ）撮像データを収集することを含む。ＴＯＦ撮像画素及び受動撮像画素１１１は、同じセンサアレイ、例えば、センサアレイ１０２に散在していると考えると、受動撮像データを収集すること、及びＴＯＦ撮像データを収集することは、少なくとも部分的に同時に視差のない単一の光軸Ａに沿って実行できる。
本明細書で開示されるシステム及び方法は、長距離感知または明るい環境／屋外環境など、構造化された光深度感知が十分でないシナリオにおける単一センサの解決策を可能にすることができる。従来のシステムに優る追加の利点には、単一のセンサを使用した同時の受動撮像及び飛行時間撮像、２つの別個のセンサから画像を受信するのと比べてカメラエレクトロニクスのコストが低くなること、及び画素が焦点面アレイ上の同一場所に配置できるため視差エラーがなくなることがある。
本開示の方法及びシステムは、上述のように、図面に示されるように、ＴＯＦ撮像及び受動撮像に、両方に単一のセンサを使用すること及び、それに伴うコスト及び複雑性を節減することを含む優れた特性を提供する。主題の開示の装置及び方法は、好ましい実施形態を参照して示され説明されているが、主題の開示の範囲から逸脱することなく、それらに対して変更及び／または修正がなされ得ることを当業者ならば容易に理解するであろう。

Claims (13)

  1. 複数の受動撮像画素、及び
    複数の飛行時間（ＴＯＦ）撮像画素
    を含む、センサアレイ
    を備え、
    前記受動撮像画素及び前記ＴＯＦ撮像画素がすべて、ＳＷＩＲ照明に対して感度を有し、
    前記受動撮像画素が、前記センサアレイ上の前記ＴＯＦ撮像画素と交互のパターンで配置され、
    前記交互のパターンが、前記センサアレイ全体に受動撮像画素の列及びＴＯＦ撮像画素の列を交互に含み、
    前記受動撮像画素が、それぞれＰＩＮフォトダイオードを含んでおり、
    前記ＴＯＦ撮像画素が、それぞれアバランシェフォトダイオードを含む、センサ。
  2. 前記受動撮像画素及び前記ＴＯＦ撮像画素が、前記センサアレイ内の半導体の共通層にある、請求項１に記載のセンサ。
  3. 各ＴＯＦ撮像画素が、
    第１のノードに電気的に接続された定電流源と、
    前記第１のノードと接地との間に電気的に接続される積分コンデンサと、
    前記第１のノードと第２のノードとの間に電気的に接続されるサンプリングトランジスタと、
    フォトダイオードであって、そのフォトダイオードに入射する放射に応答して前記サンプリングトランジスタを介して電気的な接続性を切り替えるために、前記サンプリングトランジスタのベース端子と前記接地との間に電気的に接続される、フォトダイオードと、
    を含む、請求項１に記載のセンサ。
  4. 各ＴＯＦ画素が、そのＴＯＦ画素と視野内の一点との間の距離を表す画素値を生成するように構成される、請求項１に記載のセンサ。
  5. 複数の受動撮像画素、及び複数の飛行時間（ＴＯＦ）撮像画素を含む、センサアレイを備えた、請求項１に記載のセンサと、
    前記センサアレイに動作可能に接続される読み出し専用集積回路（ＲＯＩＣ）と、
    を備える、センサシステムであって、
    前記ＲＯＩＣが、
    前記受動撮像画素から撮像データを示す電気信号を受信するように各受動撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素と、
    前記ＴＯＦ撮像画素からＴＯＦを示す電気信号を受信するように各ＴＯＦ撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素と、
    を含み、
    前記受動撮像画素及び前記ＴＯＦ撮像画素がすべて、ＳＷＩＲ照明に対して感度を有する、センサシステム。
  6. 前記ＲＯＩＣから受動撮像データ及びＴＯＦ撮像データを受信するように、前記ＲＯＩＣに動作可能に接続されたサポートモジュールをさらに備える、請求項５に記載のシステム。
  7. 前記サポートモジュールが、受動撮像データ及びＴＯＦ撮像データを含む混合画像を出力するように構成される、請求項６に記載のシステム。
  8. 前記サポートモジュールが、受動撮像データ及びＴＯＦ撮像データを前記ＲＯＩＣから分離し、受動撮像及びＴＯＦ撮像のための別個の画像を出力するように構成される、請求項７に記載のシステム。
  9. 照明源と、前記照明源及び前記センサアレイに動作可能に接続されてＴＯＦ撮像画素積分及び前記照明のパルスを開始するコントローラと、をさらに備え、
    前記ＴＯＦ撮像画素が、前記照明のパルスの飛行時間（ＴＯＦ）を示す信号を出力する、請求項５に記載のシステム。
  10. 前記コントローラが、前記照明源を使用してシーンをフラッシュし、前記照明源を使用して前記シーンをフラッシュしながら、前記受動撮像画素からの受動撮像データを収集するように構成される、請求項９に記載のシステム。
  11. 各ＴＯＦ画素が、そのＴＯＦ画素と視野内の一点との間の距離を表す画素値を生成するように構成される、請求項５に記載のシステム。
  12. 撮像の方法であって、
    請求項１～４のいずれかに記載のセンサにおけるセンサアレイからの受動撮像データを収集することと、
    前記センサアレイからの飛行時間（ＴＯＦ）撮像データを収集することと、
    を備える、方法。
  13. 受動撮像データを収集すること及びＴＯＦ撮像データを収集することが、少なくとも部分的に同時に視差のない単一の光軸に沿って実行される、請求項１２に記載の方法。
JP2019186634A 2018-10-10 2019-10-10 センサ、センサシステム、および撮像方法 Active JP7431552B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/156,392 US10985203B2 (en) 2018-10-10 2018-10-10 Sensors for simultaneous passive imaging and range finding
US16/156,392 2018-10-10

Publications (2)

Publication Number Publication Date
JP2020060568A JP2020060568A (ja) 2020-04-16
JP7431552B2 true JP7431552B2 (ja) 2024-02-15

Family

ID=68280759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019186634A Active JP7431552B2 (ja) 2018-10-10 2019-10-10 センサ、センサシステム、および撮像方法

Country Status (4)

Country Link
US (2) US10985203B2 (ja)
EP (1) EP3637133B1 (ja)
JP (1) JP7431552B2 (ja)
IL (1) IL269841B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201859A1 (en) 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
WO2012137434A1 (ja) 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
JP2014514733A (ja) 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
JP2015007615A (ja) 2013-05-24 2015-01-15 アドヴァンスド サイエンティフィック コンセプツ，インコーポレイテッドＡｄｖａｎｃｅｄ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｎｃｅｐｔｓ，Ｉｎｃ． 自動車補助レーダセンサ
US20180059224A1 (en) 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Time-of-flight (tof) image sensor using amplitude modulation for range measurement
WO2018101049A1 (ja) 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 固体撮像装置及び測距撮像装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459450B2 (en) * 1998-06-24 2002-10-01 Intel Corporation Infrared filterless pixel structure
GB2367945B (en) * 2000-08-16 2004-10-20 Secr Defence Photodetector circuit
WO2005072358A2 (en) * 2004-01-28 2005-08-11 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7560679B1 (en) * 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7608823B2 (en) * 2005-10-03 2009-10-27 Teledyne Scientific & Imaging, Llc Multimode focal plane array with electrically isolated commons for independent sub-array biasing
US7760334B1 (en) 2007-02-27 2010-07-20 Lockheed Martin Corporation Optical multi-discriminant LADAR
JP2008268112A (ja) * 2007-04-24 2008-11-06 Sanyo Electric Co Ltd センサ
FR2940463B1 (fr) 2008-12-23 2012-07-27 Thales Sa Systeme d'imagerie passive equipe d'un telemetre
KR101648201B1 (ko) * 2009-11-04 2016-08-12 삼성전자주식회사 영상 센서 및 이의 제조 방법.
US9052381B2 (en) 2010-05-07 2015-06-09 Flir Systems, Inc. Detector array for high speed sampling of an optical pulse
US8648702B2 (en) 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
KR101736330B1 (ko) * 2010-09-03 2017-05-30 삼성전자주식회사 픽셀, 이미지 센서, 및 이를 포함하는 이미지 처리 장치들
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
IL212289A (en) 2011-04-13 2016-08-31 Semi-Conductor Devices - An Elbit Systems - Rafael Partnership Circuit and method for reading image signals
WO2013104718A2 (en) * 2012-01-10 2013-07-18 Softkinetic Sensors Nv Color and non-visible light e.g. ir sensor, namely a multispectral sensor
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9348019B2 (en) * 2012-11-20 2016-05-24 Visera Technologies Company Limited Hybrid image-sensing apparatus having filters permitting incident light in infrared region to be passed to time-of-flight pixel
KR20160025729A (ko) * 2014-08-28 2016-03-09 에스케이하이닉스 주식회사 깊이 검출 픽셀을 구비한 이미지 센서 및 이를 이용한 깊이 정보 생성 방법
US9871065B2 (en) * 2014-12-22 2018-01-16 Google Inc. RGBZ pixel unit cell with first and second Z transfer gates
US9741755B2 (en) * 2014-12-22 2017-08-22 Google Inc. Physical layout and structure of RGBZ pixel cell unit for RGBZ image sensor
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
US9608027B2 (en) * 2015-02-17 2017-03-28 Omnivision Technologies, Inc. Stacked embedded SPAD image sensor for attached 3D information
US20160295133A1 (en) * 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
US9628735B2 (en) * 2015-06-22 2017-04-18 Omnivision Technologies, Inc. Imaging systems with single-photon-avalanche-diodes and sensor translation, and associated methods
US10861888B2 (en) * 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
WO2017024121A1 (en) * 2015-08-04 2017-02-09 Artilux Corporation Germanium-silicon light sensing apparatus
US10151838B2 (en) * 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
US10394237B2 (en) * 2016-09-08 2019-08-27 Ford Global Technologies, Llc Perceiving roadway conditions from fused sensor data
US10404925B2 (en) 2016-09-29 2019-09-03 Honeywell International Inc. Chip scale multispectral imaging and ranging
US10484623B2 (en) * 2016-12-20 2019-11-19 Microsoft Technology Licensing, Llc Sensor with alternating visible and infrared sensitive pixels
US10007001B1 (en) * 2017-03-28 2018-06-26 Luminar Technologies, Inc. Active short-wave infrared four-dimensional camera
US10312275B2 (en) * 2017-04-25 2019-06-04 Semiconductor Components Industries, Llc Single-photon avalanche diode image sensor with photon counting and time-of-flight detection capabilities
US11233076B2 (en) * 2017-06-07 2022-01-25 Argo AI, LLC Geiger-mode focal plane array with monolithically integrated resistors
FR3075462B1 (fr) * 2017-12-19 2020-03-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif d'acquisition d'une image 2d et d'une image de profondeur d'une scene

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201859A1 (en) 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
JP2014514733A (ja) 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
WO2012137434A1 (ja) 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
JP2015007615A (ja) 2013-05-24 2015-01-15 アドヴァンスド サイエンティフィック コンセプツ，インコーポレイテッドＡｄｖａｎｃｅｄ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｎｃｅｐｔｓ，Ｉｎｃ． 自動車補助レーダセンサ
US20180059224A1 (en) 2016-08-26 2018-03-01 Samsung Electronics Co., Ltd. Time-of-flight (tof) image sensor using amplitude modulation for range measurement
WO2018101049A1 (ja) 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 固体撮像装置及び測距撮像装置

Also Published As

Publication number Publication date
US20200119079A1 (en) 2020-04-16
US10985203B2 (en) 2021-04-20
EP3637133A1 (en) 2020-04-15
EP3637133B1 (en) 2023-04-26
US20210225925A1 (en) 2021-07-22
JP2020060568A (ja) 2020-04-16
IL269841B2 (en) 2023-11-01
IL269841A (en) 2020-04-30
US11876111B2 (en) 2024-01-16
IL269841B1 (en) 2023-07-01

Similar Documents

Publication Publication Date Title
US11863734B2 (en) Time-of-flight camera system
US9608027B2 (en) Stacked embedded SPAD image sensor for attached 3D information
US9445018B2 (en) Imaging systems with phase detection pixels
CN103477186B (zh) 立体摄像装置
CN111727602B (zh) 单芯片rgb-d相机
US9729806B2 (en) Imaging systems with phase detection pixels
US10574872B2 (en) Methods and apparatus for single-chip multispectral object detection
US11404454B2 (en) Image sensing device
JP7344076B2 (ja) 画素、飛行時間型センサシステム、および飛行時間型撮像の方法
JP2018201196A (ja) 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
US11437425B2 (en) Image sensing device
CN114424522B (zh) 图像处理装置、电子设备、图像处理方法与程序
JP7431552B2 (ja) センサ、センサシステム、および撮像方法
CN109584278B (zh) 一种目标识别装置及方法
Choi et al. CMOS image sensor for extracting depth information using pixel aperture technique
KR102258772B1 (ko) 독출 회로 어레이 및 이를 포함하는 영상 장치
JP2015192341A (ja) 撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240202

R150 Certificate of patent or registration of utility model

Ref document number: 7431552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150