JP7108308B2 - 3次元イメージングシステム - Google Patents

3次元イメージングシステム Download PDF

Info

Publication number
JP7108308B2
JP7108308B2 JP2018557022A JP2018557022A JP7108308B2 JP 7108308 B2 JP7108308 B2 JP 7108308B2 JP 2018557022 A JP2018557022 A JP 2018557022A JP 2018557022 A JP2018557022 A JP 2018557022A JP 7108308 B2 JP7108308 B2 JP 7108308B2
Authority
JP
Japan
Prior art keywords
laser
laser source
platform
photodetector
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018557022A
Other languages
English (en)
Other versions
JP2019521314A (ja
Inventor
ペイ,ジュン
マッコード,マーク
イエ,ジュン
クイ,ユペン
ハン,リーチュイン
リャオ,トンイ
Original Assignee
セプトン テクノロジーズ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セプトン テクノロジーズ,インコーポレイテッド filed Critical セプトン テクノロジーズ,インコーポレイテッド
Publication of JP2019521314A publication Critical patent/JP2019521314A/ja
Priority to JP2022110808A priority Critical patent/JP7332210B2/ja
Application granted granted Critical
Publication of JP7108308B2 publication Critical patent/JP7108308B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

関連出願の相互参照
[0001]本出願は、2016年4月26日に出願された米国特許仮出願第62/327447号の利益および優先権を主張する、2016年9月16日に出願された米国特許出願第15/267558号、2016年10月7日に出願された米国特許出願第15/288206号、および2016年12月22日に出願された米国特許出願第15/389368号の利益および優先権を主張する。上記特許出願の全内容は、あらゆる目的のために参照により本明細書に組み込まれる。
[0002]3次元センサは、自律車両、無人機、および他の用途にとって重要である。3次元センサは、例えば、自律車両において、障害物検出のために使用され得る。長距離レーダは、低コストで信頼性が高いため、ハイエンドの自動車の一般的なオプションとなってきた。(例えば、72GHzのWバンドで動作する)ミリメートル波レーダの角度分解能は、2度より良好であり得るが、このような角度分解能は、自律車両を高速で誘導するには不十分である。例えば、毎時120km(すなわち、約33m/sまたは75mph)で走行する自動車には、通常、200mの感知範囲が必要と考えられる。200m離れた物体に対して0.7mの空間分解能を達成するためには、0.2度以下の角度分解能が必要であると計算することができる。この空間分解能は、少なくとも1つの画素による、通常のサイズの車両の検出を確実にする。一方、ライダ(lidar)に基づく現在市販されている3次元センサは、消費者向け自動車の平均販売価格と比較すると非常に高価である。
[0003]本発明の一実施形態によれば、物体の3次元イメージングのためのライダシステムが、射出面内の複数の射出場所を通って平行移動されるように構成されたレーザ源を備えることができる。レーザ源は、複数のレーザパルスを射出するように構成され、複数のレーザパルスのそれぞれは、複数の射出場所のそれぞれ1つで射出される。ライダシステムは、複数のレーザパルスを物体に向けてコリメートし、かつ誘導するように構成された射出レンズをさらに備えることができる。複数のレーザパルスのそれぞれの部分は、物体から反射され得る。ライダシステムは、物体から反射された複数のレーザパルスのそれぞれの部分を受光し、検出面内の複数の対応する検出場所に集束させるように構成された受光レンズをさらに備えることができる。複数の対応する検出場所のそれぞれが、複数の射出場所のそれぞれ1つと共役である。ライダシステムは、検出面内の複数の対応する検出場所を通って平行移動するように構成された光検出器をさらに備えることができる。光検出器は、物体から反射された複数のレーザパルスのそれぞれの部分を受光し、検出するように構成される。ライダシステムは、レーザ源および光検出器に結合されたプロセッサをさらに備えることができる。プロセッサは、射出から検出までの複数のレーザパルスのそれぞれの飛行時間を決定し、複数のレーザパルスのそれぞれについて決定された飛行時間に基づいて、物体の3次元画像を構築するように構成されてもよい。
[0004]別の実施形態では、3次元イメージングの方法は、射出面内の複数の射出場所のそれぞれにレーザ源を平行移動させるステップと、レーザ源を使用して、複数のレーザパルスを射出するステップと、を含むことができる。複数のレーザパルスのそれぞれは、複数の射出場所のそれぞれ1つで射出される。本方法は、射出レンズを使用して、複数のレーザパルスを物体に向けてコリメートし、かつ誘導するステップをさらに含むことができる。複数のレーザパルスのそれぞれの部分は、物体から反射され得る。本方法は、受光レンズを使用して、物体から反射された複数のレーザパルスのそれぞれの部分を受光し、検出面内の複数の対応する検出場所に集束させるステップをさらに含むことができる。各対応する検出場所が、それぞれの射出場所と共役である。本方法は、検出面内の複数の対応する検出場所のそれぞれに光検出器を平行移動させるステップと、光検出器を使用して、複数の検出場所のそれぞれにおける複数のレーザパルスのそれぞれの部分を検出するステップと、をさらに含むことができる。本方法は、プロセッサを使用して、射出から検出までの複数のレーザパルスのそれぞれの飛行時間を決定するステップと、複数のレーザパルスのそれぞれについて決定された飛行時間に基づいて、物体の3次元画像を構築するステップと、をさらに含むことができる。
[0005]さらなる実施形態によれば、物体の3次元イメージングのためのライダシステムが、射出面内の第1の複数の射出場所を通って平行移動されるように構成された第1のレーザ源を備えることができる。第1のレーザ源は、第1の複数の射出場所で第1の複数のレーザパルスをそれぞれ射出するように構成される。ライダシステムは、射出面内の第2の複数の射出場所を通って平行移動されるように構成された第2のレーザ源をさらに備えることができる。第2のレーザ源は、第2の複数の射出場所で第2の複数のレーザパルスをそれぞれ射出するように構成される。ライダシステムは、第1の複数のレーザパルスおよび第2の複数のレーザパルスを物体に向けてコリメートし、かつ誘導するように構成された射出レンズをさらに備えることができる。第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの部分は、物体から反射され得る。ライダシステムは、物体から反射された第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの部分を受光し、検出面内の第1の複数の対応する検出場所および第2の複数の対応する検出場所に集束させるように構成された受光レンズをさらに備えることができる。第1の複数の対応する検出場所のそれぞれが、第1の複数の射出場所のそれぞれ1つと共役であり、第2の複数の対応する検出場所のそれぞれが、第2の複数の射出場所のそれぞれ1つと共役である。ライダシステムは、検出面内の第1の複数の対応する検出場所を通って平行移動するように構成された第1の光検出器をさらに備えることができる。第1の光検出器は、物体から反射された第1の複数のレーザパルスのそれぞれの部分を受光し、検出するように動作する。ライダシステムは、検出面内の第2の複数の対応する検出場所を通って平行移動するように構成された第2の光検出器をさらに備えることができる。第2の光検出器は、物体から反射された第2の複数のレーザパルスのそれぞれの部分を受光し、検出するように動作する。ライダシステムは、第1のレーザ源、第2のレーザ源、第1の光検出器、および第2の光検出器に結合されたプロセッサをさらに備えることができる。プロセッサは、射出から検出までの第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの飛行時間を決定し、第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれについて決定された飛行時間に基づいて、物体の3次元画像を構築するように構成されてもよい。
[0006]本発明の別の実施形態によれば、3次元イメージングの方法は、射出面内の第1の複数の射出場所のそれぞれに第1のレーザ源を平行移動させるステップと、第1のレーザ源を使用して、第1の複数のレーザパルスを射出するステップと、を含む。第1の複数のレーザパルスのそれぞれは、第1の複数の射出場所のそれぞれ1つで射出される。本方法は、射出面内の第2の複数の射出場所のそれぞれに第2のレーザ源を平行移動させるステップと、第2のレーザ源を使用して、第2の複数のレーザパルスを射出するステップと、をさらに含む。第2の複数のレーザパルスのそれぞれは、第2の複数の射出場所のそれぞれ1つで射出される。本方法は、射出レンズを使用して、(i)第1の複数のレーザパルスを、第1の視野範囲内の第1の複数の視野角にあるシーンに向けて、また(ii)第2の複数のレーザパルスを、第2の視野範囲内の第2の複数の視野角にあるシーンに向けて、コリメートし、かつ誘導するステップをさらに含む。第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの部分は、シーン内の1つ以上の物体から反射される。本方法は、受光レンズを使用して、1つ以上の物体から反射された第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの部分を受光し、検出面内の第1の複数の対応する検出場所および第2の複数の対応する検出場所に集束させる、ステップをさらに含む。第1の複数の対応する検出場所のそれぞれ1つが、第1の複数の射出場所のそれぞれ1つと共役であり、第2の複数の対応する検出場所のそれぞれ1つが、第2の複数の射出場所のそれぞれ1つと共役である。本方法は、検出面内の第1の複数の対応する検出場所のそれぞれに第1の光検出器を平行移動させるステップと、第1の光検出器を使用して、第1の複数の検出場所のそれぞれにおける第1の複数のレーザパルスのそれぞれの部分を検出するステップと、をさらに含む。本方法は、検出面内の第2の複数の対応する検出場所のそれぞれに第2の光検出器を平行移動させるステップと、第2の光検出器を使用して、第2の複数の検出場所のそれぞれにおける第2の複数のレーザパルスのそれぞれの部分を検出するステップと、をさらに含む。本方法は、プロセッサを使用して、射出から検出までの第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの飛行時間を決定するステップと、第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれについて決定された飛行時間に基づいて、1つ以上の物体の3次元画像を構築するステップと、をさらに含む。
[0007]本発明の一実施形態によれば、シーンの3次元イメージングを実行するためのシステムが、シーンに向かって第1の角度に向けられた第1の光軸を有する第1のライダセンサを備える。第1のライダセンサは、第1の複数のレーザパルスを射出するように構成された第1のレーザ源と、シーン内の1つ以上の第1の物体に向かって、第1の複数のレーザパルスを第1の光軸に関して第1の複数の対応する入射角でコリメートし、誘導するように構成された第1の射出光学要素と、を備える。第1の複数のレーザパルスのそれぞれの部分は、1つ以上の第1の物体から反射され得る。第1のライダセンサは、1つ以上の第1の物体から反射された第1の複数のレーザパルスのそれぞれの部分を受光し、集束させるように構成された第1の受光光学要素と、第1の受光光学要素によって集束された第1の複数のレーザパルスのそれぞれの一部を受光し、検出するように構成された第1の光検出器と、をさらに備える。本システムは、シーンに向かって第2の角度に向けられた第2の光軸を有する第2のライダセンサをさらに備える。第2のライダセンサは、第2の複数のレーザパルスを射出するように構成された第2のレーザ源と、シーン内の1つ以上の第2の物体に向かって、第2の複数のレーザパルスを第2の光軸に関して第2の複数の対応する入射角でコリメートし、誘導するように構成された第2の射出光学要素と、を備える。第2の複数のレーザパルスのそれぞれの部分は、1つ以上の第2の物体から反射され得る。第2のライダセンサは、1つ以上の第2の物体から反射された第2の複数のレーザパルスのそれぞれの部分を受光し、集束させるように構成された第2の受光光学要素と、第2の受光光学要素によって集束された第2の複数のレーザパルスのそれぞれの一部を受光し、検出するように構成された第2の光検出器と、をさらに備える。本システムは、第1のライダセンサおよび第2のライダセンサに結合された1つ以上の処理ユニットを含むプロセッサをさらに備える。プロセッサは、射出から検出までの第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの飛行時間を決定し、第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれについて決定された飛行時間、第1の光軸の第1の角度、第1の複数の入射角度、第2の光軸の第2の角度、および第2の複数の入射角度に基づいて、シーンの3次元画像を構築するように構成されてもよい。
[0008]本発明の別の実施形態によれば、3次元イメージングシステムが、シーンに向かって第1の角度に向けられた第1の光軸を有する第1の3次元センサを備える。第1の3次元センサは、複数のレーザパルスを射出するように構成されたレーザ源と、シーン内の1つ以上の第1の物体に向かって、複数のレーザパルスを第1の光軸に関して複数の対応する入射角でコリメートし、誘導するように構成された射出光学要素と、を備える。複数のレーザパルスのそれぞれの部分は、1つ以上の第1の物体から反射され得る。第1の3次元センサは、1つ以上の第1の物体から反射された複数のレーザパルスのそれぞれの部分を受光し、集束させるように構成された受光光学要素と、受光光学要素によって集束された複数のレーザパルスのそれぞれの一部を受光し、検出するように構成された光検出器と、レーザ源および光検出器に結合された1つ以上の処理ユニットを含むプロセッサと、をさらに備える。プロセッサは、複数のレーザパルスのそれぞれの飛行時間を決定し、複数のレーザパルスのそれぞれについて決定された飛行時間、第1の光軸の第1の角度、および複数の入射角に基づいて、1つ以上の第1の物体の3次元画像を構築するように構成される。第1の3次元センサは、第1の角度視野を特徴とする。3次元イメージングシステムは、シーン内の1つ以上の第2の物体の3次元画像を構築するように構成された第2の3次元センサをさらに備え、第2の3次元センサは、第2の角度視野を特徴とする。プロセッサは、第2の3次元センサに結合され、1つ以上の第1の物体の3次元画像および1つ以上の第2の物体の3次元画像に基づいて、シーンの3次元画像を構築するように構成される。
[0009]本発明のさらなる実施形態によれば、自律車両のための3次元感知の方法が、レーザ源と、光検出器と、射出光学要素と、受光光学要素と、レーザ源および光検出器に結合された1つ以上の処理ユニットを含むプロセッサと、を備えたライダセンサを使用して、前方方向に1つ以上の第1の物体を感知するステップを含む。1つ以上の第1の物体を感知するステップは、レーザ源を使用して、複数のレーザパルスを射出するステップと、射出光学要素を使用して、1つ以上の第1の物体に向かって、複数の対応する入射角で複数のレーザパルスをコリメートし、前方方向に誘導する、ステップと、によって実行される。複数のレーザパルスのそれぞれの部分は、1つ以上の第1の物体から反射され得る。1つ以上の第1の物体を感知するステップは、受光光学要素を使用して、1つ以上の第1の物体から反射された複数のレーザパルスのそれぞれの部分を受光するステップと、光検出器を使用して、受光光学要素によって集束された複数のレーザパルスのそれぞれの部分を検出するステップと、プロセッサを使用して、射出から検出まで、複数のレーザパルスのそれぞれについて飛行時間を決定するステップと、プロセッサを使用して、複数のレーザパルスのそれぞれについての決定された飛行時間と、複数の入射角とに基づいて、1つ以上の第1の物体の3次元画像を構築するステップと、によってされに実行される。本方法は、光学3次元センサを使用して、1つ以上の第2の物体の3次元画像を取得するために、左または右への方向に1つ以上の第2の物体を感知するステップと、プロセッサを使用して、1つ以上の第1の物体の3次元画像および1つ以上の第2の物体の3次元画像を組み合わせるステップと、をさらに含む。
[0010]本発明の一実施形態によれば、3次元イメージングシステムは、視野内の物体に向けて第1の扇形の光を投影するように構成された第1の照明源を備える。第1の扇形の光は、第1の扇形の光が物体に当たるとき、第1の照明ラインを生成することができる。3次元イメージングシステムは、第1の扇形の光と実質的に平行であり、かつ離間した第2の扇形の光を投影するように構成された第2の照明源をさらに備える。第2の扇形の光は、第2の扇形の光が物体に当たるとき、第2の照明ラインを生成することができる。第1の照明源および第2の照明源は、第1の扇形の光および第2の扇形の光を同期し、物体を横方向に横断して走査するようにさらに構成される。3次元イメージングシステムは、第1の扇形の光および第2の扇形の光が物体の複数の領域の上を走査するとき、視野の複数の画像フレームを取り込むように構成されたカメラをさらに備える。各画像フレームは、第1の扇形の光および第2の扇形の光が物体のそれぞれの領域に当たるとき、第1の照明ラインおよび第2の照明ラインの画像を含む。3次元イメージングシステムは、カメラに結合され、複数の画像フレームに基づいて、物体の3次元画像を構築するように構成されたプロセッサをさらに備える。
[0011]本発明の別の実施形態によれば、3次元イメージングシステムは、視野内の物体に向けて扇形の光を投影するように構成された照明源を備える。扇形の光は、扇形の光が物体に当たるとき、照明ラインを生成することができる。照明源は、扇形の光を、視野を横方向に横断して走査するようにさらに構成される。3次元イメージングシステムは、照明源から第1のベースライン距離だけ横方向に離れて配置された第1のカメラをさらに備える。第1のカメラは、扇形の光が物体の複数の領域の上を走査するとき、視野の複数の第1の画像フレームを取り込むように構成される。各第1の画像フレームは、扇形の光が物体のそれぞれの領域に当たるときの照明ラインの画像を含む。3次元イメージングシステムは、第1のカメラに結合されたプロセッサをさらに備える。プロセッサは、複数の第1の画像フレームのそれぞれについて、それぞれの第1の画像フレームにおける照明ラインの位置を決定し、3次元イメージングシステムから、決定された位置に基づいて、それぞれの第1の画像フレームに対応する物体のそれぞれの領域までの距離を決定するように構成される。プロセッサは、カメラから、複数の第1の画像フレームから決定された物体の複数の領域までの複数の距離に基づいて、物体の3次元画像を構築するようにさらに構成される。
[0012]本発明のさらなる実施形態によれば、3次元イメージングシステムは、視野内の物体に向けて第1の構造化照明を投影するように構成された第1の照明源を備える。第1の構造化照明は、物体に第1の構造化照明が当たると、第1の歪んだ照明パターンを生成することができる。3次元イメージングシステムは、視野内の物体に向けて第2の構造化照明を投影するように構成された第2の照明源をさらに備える。第2の構造化照明は、物体に第2の構造化照明が当たると、第2の歪んだ照明パターンを生成することができる。3次元イメージングシステムは、第1の照明源から第1のベースライン距離だけ、また第2の照明源から第2のベースライン距離だけ横方向に離れて配置されたカメラをさらに備える。カメラは、視野の画像フレームを取り込むように構成され、画像フレームは、第1の歪んだ照明パターンの画像および第2の歪んだ照明パターンの画像のうちの少なくとも1つを含む。3次元イメージングシステムは、カメラに結合され、第1の歪んだ照明パターンの画像および第2の歪んだ照明パターンの画像のうちの少なくとも1つに基づいて、物体の3次元画像を構築するように構成されたプロセッサをさらに備える。
[0013]一部の実施形態では、第1のベースライン距離は、所定の距離分解能に対して選択されてもよく、第2のベースライン距離は、所定の距離検出範囲に対して選択されてもよい。一実施形態では、プロセッサは、第1の歪んだ照明パターンの画像に基づいて、物体の第1の3次元画像を構築し、第2の歪んだ照明パターンの画像に基づいて、物体の第2の3次元画像を構築し、物体の3次元画像を取得するために、物体の第2の3次元画像を使用して、物体の第1の3次元画像を較正するようにさらに構成される。一実施形態では、第1の照明源は、第1のレーザビームを射出するように構成された第1のレーザ源と、第1のレーザビームを第1の構造化照明に変換するように構成された第1の回折光学要素と、を備え、第2の照明源は、第2のレーザビームを射出するように構成された第2のレーザ源と、第2のレーザビームを第2の構造化照明に変換するように構成された第2の回折光学要素と、を備える。一実施形態では、第1の構造化照明は第1のパターンを有し、第2の構造化照明は第1のパターンとは異なる第2のパターンを有する。一実施形態では、第1の照明源は、所定の周波数で第1の照明パターンを変調するように構成され、第2の照明源は、第1の照明パターンに対して位相をずらした所定の周波数で第2の照明パターンを変調するように構成される。
[0014]本発明の一実施形態によれば、車両の速さを決定するためのセンサが、車両が走行している地面を照らすように構成された光源と、実質的に下向きに地面を向き、所定のフレームレートで光源によって照らされた地面の複数の画像フレームを取り込むように構成されたカメラと、カメラに結合されたプロセッサと、を備える。プロセッサは、複数の画像フレーム内の地面の1つ以上の形体を検出し、地面の1つ以上の形体をフレームごとに追跡することによって、車両の速さを決定するように構成されてもよい。
[0015]本発明の別の実施形態によれば、車両の速さを判定する方法が、車両に搭載された光源を使用して、車両が走行している地面を照らすステップと、車両に搭載されたカメラを使用して、所定のフレームレートで光源によって照らされた地面の複数の画像フレームを取り込むステップと、カメラに結合された1つ以上のプロセッサを使用して、複数の画像フレーム内の地面の1つ以上の形体を検出するステップと、1つ以上のプロセッサを使用して、1つ以上の形体をフレームごとに追跡することによって、車両の速さを決定するステップと、を含む。
[0016]以下の文章および添付の図面と併せて、本発明のこれらおよび他の実施形態を、その利点および特徴の多くと共に詳細に説明する。
本発明の一実施形態による3次元イメージングのためのライダシステムを概略的に示す。 本発明の一実施形態によるライダシステムにおける1つ以上のレーザ源および1つ以上の光検出器を走査するためのフレクシャ機構を概略的に示す。 本発明の別の実施形態によるライダシステムにおける1つ以上のレーザ源および1つ以上の光検出器を走査するためのフレクシャ機構を概略的に示す。 本発明の別の実施形態によるライダシステムにおける1つ以上のレーザ源および1つ以上の光検出器を2次元で走査するためのフレクシャ機構を概略的に示す。 本発明の一実施形態によるライダシステムにおける複数のレーザ源および複数の光検出器を走査するためのフレクシャ機構を概略的に示す。 本発明の別の実施形態によるライダシステムにおける1つ以上のレーザ源および1つ以上の光検出器を走査するためのフレクシャ機構を概略的に示す。 本発明のさらに別の実施形態によるライダシステムにおける1つ以上のレーザ源および1つ以上の光検出器を走査するためのフレクシャ機構を概略的に示す。 本発明の一実施形態によるライダシステムにおける複数のレーザ源および複数の光検出器を走査するためのフレクシャ機構を概略的に示す。 本発明の一実施形態によるライダシステムを使用した3次元イメージングの方法を説明する簡略化した流れ図を示す。 本発明の一実施形態による、時間の関数としてのレーザ源の位置が正弦波形に従う例示的な画素パターンを示す。 本発明の一実施形態による、1つのサブフィールドが隣接するサブフィールドとぶつかるフィールド構成を示す。 本発明の一実施形態による、1つのサブフィールドが隣接するサブフィールドと部分的に重なるフィールド構成を示す。 本発明の一実施形態による3次元イメージングの方法を説明する簡略化した流れ図を示す。 本発明の一実施形態による3つのライダセンサを備えた3次元イメージングシステムを概略的に示す。 本発明の別の実施形態による3つのライダセンサを備えた3次元イメージングシステムを概略的に示す。 本発明の一実施形態による2つの3次元センサを備えた3次元イメージングシステムを概略的に示す。 本発明の一実施形態による3次元感知の方法を説明する簡略化した流れ図を示す。 本発明の一実施形態による較正が実行され得る3次元イメージングシステムを概略的に示す。 本発明の一実施形態による距離較正を実行する方法を説明する簡略化した流れ図を示す。 従来の3次元イメージングシステムを概略的に示す。 本発明の一実施形態による3次元イメージングシステムを概略的に示す。 本発明の別の実施形態による3次元イメージングシステムを示す。 本発明の一実施形態による、図3に示す3次元イメージングシステムのカメラによって取り込まれ得る物体(例えば、家)の画像を概略的に示す。 本発明の一実施形態による、フレーム番号の関数としてのイメージセンサの画素における光の強度の概略的なプロットを示す。 本発明の一実施形態による走査ミラーを使用した3次元イメージングシステムを概略的に示す。 本発明の別の実施形態による走査ミラーを使用した3次元イメージングシステムを概略的に示す。 本発明の別の実施形態による3次元イメージングシステムを示す。 本発明の別の実施形態による3次元イメージングシステムを示す。 本発明のさらに別の実施形態による3次元イメージングシステムを示す。 本発明の別の実施形態による3次元イメージングシステムを示す。 本発明の一実施形態による走査フィルタを備えた3次元イメージングシステムを示す。 本発明の一実施形態による構造化照明を使用した3次元イメージングシステムを概略的に示す。 本発明の別の実施形態による構造化照明を使用した3次元イメージングシステムを示す。 本発明の一実施形態による、障害物検出のための自律車両または半自律車両に搭載された1つ以上の3次元イメージングシステムを概略的に示す。 車両の速さを決定するためのセンサが搭載された車両を概略的に示す。 本発明の一部の実施形態による車両の速さを決定するためのセンサを示す概略図である。 本発明の一実施形態による、2つの連続する画像フレームにおいて、図34に示すセンサのカメラによって取り込まれ得る舗装道路の例示的な画像を示す。 本発明の一実施形態による、2つの連続する画像フレームにおいて、図34に示すセンサのカメラによって取り込まれ得る舗装道路の例示的な画像を示す。 本発明の一実施形態による、2つの連続する画像フレームにおいて、図34に示すセンサのカメラによって取り込まれ得る舗装道路の例示的な画像を示す。 本発明の一実施形態による、2つの連続する画像フレームにおいて、図34に示すセンサのカメラによって取り込まれ得る舗装道路の例示的な画像を示す。 本発明の一実施形態による車両の速さを決定する方法を説明する簡略化した流れ図を示す。
[0056]本開示は、概して、車両の位置を決定するための3次元イメージングシステムおよびセンサに関する。
I.3次元感知のための走査ライダシステム
[0057]本開示の一部の実施形態は、概して、3次元イメージングのためのライダシステムに関する。より具体的には、本開示の実施形態は、自律車両、無人機、および他の用途に適した安価なフレクシャを使用する、走査ライダシステムおよび3次元イメージングの方法を提供する。
[0058]図1は、本発明の一実施形態による3次元イメージングのためのライダシステム100を概略的に示す。ライダシステム100は、両方とも固定された射出レンズ130と受光レンズ140とを備える。ライダシステム100は、射出レンズ130の後焦点面に実質的に配置されたレーザ源110aを備える。レーザ源110aは、射出レンズ130の後焦点面内のそれぞれの射出場所からレーザパルス120を射出するように動作する。射出レンズ130は、ライダシステム100の前方に位置する物体150に向けてレーザパルス120をコリメートし、かつ誘導するように構成される。レーザ源110aの所与の射出場所に対して、コリメートされたレーザパルス120’は、物体150に向かって対応する角度に誘導される。
[0059]レーザパルス120の部分122は、物体150から受光レンズ140に向かって反射される。受光レンズ140は、物体150から反射されたレーザパルス120の部分122を、受光レンズ140の焦点面内の対応する検出場所に集束させるように構成される。ライダシステム100は、受光レンズ140の焦点面に実質的に配置された光検出器160aをさらに備える。光検出器160aは、対応する検出場所で、物体から反射されたレーザパルス120の部分122を受光し、検出するように構成される。光検出器160aの対応する検出場所は、レーザ源110aのそれぞれの射出場所と共役である。
[0060]レーザパルス120は、短い持続時間、例えば100nsのパルス幅とすることができる。ライダシステム100は、レーザ源110aおよび光検出器160aに結合されたプロセッサ190をさらに備える。プロセッサ190は、射出から検出までのレーザパルス120の飛行時間(time of flight,TOF)を決定するように構成される。レーザパルス120は光の速さで伝播するため、ライダシステム100と物体150との間の距離は、決定された飛行時間に基づいて決定されてもよい。
[0061]一部の実施形態によれば、レーザ源120aは、射出レンズ130の後方焦点面内の複数の射出場所に対してラスタ走査され、複数の射出場所で複数のレーザパルスを射出するように構成される。それぞれの射出場所で射出された各レーザパルスは、射出レンズ130によってコリメートされ、物体150に向かってそれぞれの角度で誘導され、物体150の表面上の対応する点に入射する。よって、レーザ源120aが射出レンズ130の後側焦点面内の特定の領域内でラスタ走査されると、物体150上の対応する物体領域が走査される。光検出器160aは、受光レンズ140の焦点面内の複数の対応する検出場所に対してラスタ走査される。光検出器160aの走査は、レーザ源110aの走査と同期して行われるので、光検出器160aとレーザ源110aとは、常に互いに共役である。
[0062]それぞれの射出場所で射出される各レーザパルスの飛行時間を決定することによって、ライダシステム100から物体150の表面上の対応する各点までの距離を決定することができる。一部の実施形態では、プロセッサ190は、各射出場所におけるレーザ源110aの位置を検出する位置エンコーダと結合される。射出場所に基づいて、コリメートされたレーザパルス120’の角度を決定することができる。物体150の表面上の対応する点のXY座標は、ライダシステム100に対する角度および距離に基づいて決定されてもよい。よって、物体150の3次元画像が、ライダシステム100から物体150の表面上の様々な点までの測定された距離に基づいて構築されてもよい。一部の実施形態では、3次元画像は、点群、すなわち、物体150の表面上の点のX、Y、およびZ座標の組として表すことができる。
[0063]一部の実施形態では、検出器の飽和を防止する、目の安全性を高める、または全体的な電力消費を低減するために、戻りレーザパルスの強度が測定され、同じ射出点からの後続のレーザパルスの出力を調整するために使用される。レーザパルスの出力は、レーザパルスの持続時間、レーザに印加される電圧もしくは電流、またはレーザに給電するために使用されるキャパシタに蓄積された電荷を変えることによって変えることができる。後者の場合、キャパシタに蓄えられた電荷は、キャパシタへの充電時間、充電電圧、または充電電流を変えることによって変えることができる。一部の実施形態では、強度を使用して、画像に別の次元を追加することもできる。例えば、画像は、X、Y、およびZ座標、ならびに反射率(または輝度)を含むことができる。
[0064]ライダシステム100の角度視野(AFOV)は、レーザ源110aの走査範囲および射出レンズ130の焦点距離に基づいて次式で推定することができる。
Figure 0007108308000001

ここで、hは、特定の方向に沿ったレーザ源110aの走査範囲であり、fは、射出レンズ130の焦点距離である。所与の走査範囲hに対して、より短い焦点距離はより広いAFOVを生じる。所与の焦点距離fに対して、より広い走査範囲はより広いAFOVを生じる。一部の実施形態では、ライダシステム100は、射出レンズ130の後焦点面にアレイとして配置された複数のレーザ源を備えることができ、その結果、各個々のレーザ源の走査範囲を比較的小さく保ちながら、より大きな総AFOVを達成できる。これに応じて、ライダシステム100は、受光レンズ140の焦点面にアレイとして配置された複数の光検出器を備えることができ、各光検出器は、それぞれのレーザ源と共役である。例えば、ライダシステム100は、図1に示すように、第2のレーザ源110bと第2の光検出器160bとを備えることができる。他の実施形態では、ライダシステム100は、4つのレーザ源と4つの光検出器とを備えることができる、または8つのレーザ源と8つの光検出器とを備えることができる。一実施形態では、ライダシステム100は、4×2アレイとして配置された8つのレーザ源と、4×2アレイとして配置された8つの光検出器と、を備えることができ、その結果、ライダシステム100のは、水平方向のAFOVを、垂直方向のAFOVより幅広にできる。様々な実施形態によれば、ライダシステム100の総AFOVは、射出レンズの焦点距離、各レーザ源の走査範囲、およびレーザ源の数に応じて、約5度から約15度、または約15度から約45度、または約45度から約90度の範囲であり得る。
[0065]レーザ源110aは、紫外線、可視光線、または近赤外線の波長範囲のレーザパルスを射出するように構成されてもよい。各レーザパルスのエネルギーは、通常、「アイセーフ(eye-safe)」であると考えられるマイクロジュールのオーダーであり得る。約1500nmより長い波長で動作するレーザ源の場合、目がそれらの波長で焦点を合わせないので、エネルギーレベルはより高くなり得る。光検出器160aは、シリコンアバランシェフォトダイオード、光電子増倍管、PINダイオード、または他の半導体センサを含むことができる。
[0066]ライダシステム100の角度分解能は、事実上回折限界になり得、これは、次のように推定できる。
θ=1.22λ/D
ここで、λは、レーザパルスの波長であり、Dは、レンズ口径である。様々な実施形態によれば、ライダシステム100の角度分解能は、レンズの種類に応じて、約1mradから約20mrad(約0.05から1.0度)の範囲であり得る。
[0067]一部の実施形態では、レーザ源および光検出器は、以下で説明するように、比較的廉価なフレクシャ機構を使用して走査されてもよい。
[0068]図2は、本発明の一実施形態による、図1に示すライダシステム100の1つ以上のレーザ源110aおよび110bならびに1つ以上の光検出器160aおよび160bを走査するために使用され得るフレクシャ機構200を概略的に示す。フレクシャ機構200は、固定ベース210と、第1のフレクシャ220と、第2のフレクシャ222と、を備える。第1のフレクシャ220および第2のフレクシャ222のそれぞれのベース側の端部は、ベース210に取り付けられている。第1のプラットフォーム230が、1つ以上のレーザ源110aおよび110bを上部に搭載するために、第1のフレクシャ220の自由端に取り付けられる。第2のプラットフォーム232が、1つ以上の光検出器160aおよび160bを上部に搭載するために、第2のフレクシャ222の自由端に取り付けられる。
[0069]第1のフレクシャ220は、その自由端が作動されると横方向にたわみ、それによって、実質的に射出レンズ130の後焦点面内で、1つ以上のレーザ源110aおよび110bを平行移動させるように構成される。同様に、第2のフレクシャ222は、その自由端が作動されると横方向にたわみ、それによって、実質的に受光レンズ140の焦点面内で、1つ以上の光検出器160aおよび160bを平行移動させるように構成される。一実施形態では、第1のフレクシャ220の自由端と第2のフレクシャ222の自由端とは、タイバー240を介して互いに機械的に連結され、その結果、各光検出器160aまたは160bと対応するレーザ源110aまたは110bとの間の距離は、それらが走査されているとき、一定のままである。これは、射出レンズ130および受光レンズ140に対するレンズ処方が基本的に同一であることを条件として、各光検出器160aまたは160bが、対応するレーザ源110aまたは110bと常に共役であることを確実にする。
[0070]第1のフレクシャ220と第2のフレクシャ222とがタイバー240によって機械的に連結されるこの実施形態では、第1のフレクシャ220および第2のフレクシャ222は、単一のアクチュエータによって作動させることができる。例えば、それらは、図2に示すように、ボイスコイル260および262と永久磁石250および252とによって同時に作動されてもよい。ボイスコイル260および262が励磁されると、第1のフレクシャ220および第2のフレクシャ222は、磁気力によって所望の方向にたわまされ得る。ボイスコイル260および262は、直流(DC)からフレクシャアセンブリの共振周波数よりもかなり高い周波数まで動作させることができる。一実施形態では、それらは共振周波数で動作させることができる。この場合、大きな振幅が最も高い効率で生じる。別の実施形態では、磁石250および252は、コイル260および262が移動する間、固定された状態に保持される。他の実施形態では、第1のフレクシャ220および第2のフレクシャ222は、圧電アクチュエータおよび電気モータによって駆動されるカムなどの他のタイプのアクチュエータによって作動されてもよい。当業者であれば、多くの変形形態、代替形態および改変形態を認識するであろう。
[0071]一部の実施形態では、ライダシステム100は、第2のプラットフォーム232の背後に位置する位置エンコーダ270を備えることができる。位置エンコーダ270は、基準位置に対する光検出器160aの位置を検出するように構成することができる。位置エンコーダ270は、光検出器160aの位置をプロセッサ190に入力することができる。レーザ源110aの位置と光検出器160aの位置とが互いに常に共役であるので、プロセッサ190は、光検出器160aの位置に基づいて、レーザ源110aの位置を決定することができる。プロセッサ190は、レーザ源110aの位置を使用して、物体150の3次元画像を構築することができる。別の実施形態では、位置エンコーダ270は、第1のプラットフォーム230の背後に配置され、基準位置に対するレーザ源110aの位置を検出するように構成され、レーザ源110aの位置をプロセッサ190に入力することができる。位置エンコーダ270は、磁気エンコーダ、光学エンコーダ、容量センサ、ホールセンサ、または当業者に知られている他の任意のエンコーダタイプであってもよい。
[0072]図3は、本発明の別の実施形態による、図1に示すライダシステム100のレーザ源110aおよび110bならびに光検出器160aおよび160bを走査するために使用され得るフレクシャ機構300を概略的に示す。フレクシャ機構200と同様に、フレクシャ機構300は、固定ベース310と、第1のフレクシャ320と、第2のフレクシャ322と、を備える。第1のフレクシャ320のベース側の端部および第2のフレクシャ322のベース側の端部のそれぞれが、ベース310に取り付けられている。第1のプラットフォーム330が、1つ以上のレーザ源110aおよび110bを上部に搭載するために、第1のフレクシャ320の自由端に取り付けられる。第2のプラットフォーム332が、1つ以上の光検出器160aおよび160bを上部に搭載するために、第2のフレクシャ322の自由端に取り付けられる。ここで、図2に示したフレクシャ機構200とは異なり、第1のフレクシャ320の自由端と第2のフレクシャ322の自由端とは機械的に連結されておらず、別々のアクチュエータによって作動される。一実施形態では、図3に示すように、第1のフレクシャ320は、ボイスコイル360および362、ならびに永久磁石350によって作動させることができ、第2のフレクシャ322は、ボイスコイル364および366、ならびに永久磁石352によって作動させることができる。他の実施形態では、圧電アクチュエータおよび電気モータによって駆動されるカムなどの他のタイプのアクチュエータが使用されてもよい。
[0073]第1のフレクシャ320および第2のフレクシャ322は、各光検出器160aまたは160bの位置が、対応するレーザ源110aまたは110bの位置と常に共役になるように、電子制御回路を使用して、同期して作動させることができる。一実施形態では、ライダシステム100は、基準位置に対するレーザ源110aの位置を検出するための、第1のプラットフォーム330の背後に位置する第1の位置エンコーダ370と、基準位置に対する光検出器160aの位置を検出するための、第2のプラットフォーム332の背後に位置する第2の位置エンコーダ372と、をさらに備える。第1の位置エンコーダ370および第2の位置エンコーダ372は、プロセッサ190に結合されてもよい。プロセッサ190は、レーザ源110aの位置と光検出器160aの位置との間の比較に基づいて、電子フィードバック信号を生成することができ、電子フィードバック信号を使用して、第1のフレクシャ320の作動と第2のフレクシャ322の作動とを同期させ、その結果、レーザ源110aの位置と光検出器160aの位置とが互いに常に共役になる。
[0074]図2に示すフレクシャ機構200、または図3に示すフレクシャ機構300は、レーザ源110aおよび光検出器160aを2次元で走査するように構成されてもよい。図4は、フレクシャ機構300の斜視図を概略的に示す。第1のフレクシャ320および第2のフレクシャ322は、基本的に、そのベース側の端部がベース310に固定されたカンチレバーである。第1のフレクシャ320の自由端および第2のフレクシャ322の自由端のそれぞれは、図4の矢印によって示されるように、垂直方向および水平方向にたわませることができる。一部の実施形態では、第1のフレクシャ320および第2のフレクシャ322は、第1の速さで水平方向にラスタ走査され、第1の速さ未満である第2の速さで垂直方向にラスタ走査され得る。互いに直交する方向の共振周波数を互いにかなり離して選択することによって、ラスタ走査の作動および制御を達成することができる。図4では単一のレーザ源110aと単一の光検出器160aとが示されているが、第1のフレクシャ320に取り付けられたプラットフォーム330上に複数のレーザ源を搭載し、第2のフレクシャ322に取り付けられたプラットフォーム332上に複数の光検出器を搭載してもよいことを理解されたい。
[0075]図2~図4に示すようなカンチレバータイプのフレクシャが高周波数で作動されると、運動の先端部での高い加速度のために振動がもたらされる可能性がある。本発明の一部の実施形態によれば、振動を低減するために、釣り合わせるためのフレクシャ対を使用することができる。図5は、本発明の一実施形態による釣り合わせるためのフレクシャ機構500を概略的に示す。フレクシャ機構500は、ベース510と、並べて配置された第1のフレクシャ520aおよび第2のフレクシャ520bと、並べて配置された第3のフレクシャ522aおよび第4のフレクシャ522bと、を備える。フレクシャ520a、520b、522a、および522bのそれぞれのベース側の端部は、ベース510に取り付けられている。1つ以上のレーザ源110aが第1のフレクシャ520aの自由端に取り付けられ、1つ以上のレーザ源110bが第2のフレクシャ520bの自由端に取り付けられる。1つ以上の光検出器160aが第3のフレクシャ522aの自由端に取り付けられ、1つ以上の光検出器160bが第4のフレクシャ522bの自由端に取り付けられる。一実施形態では、第1のフレクシャ520aおよび第3のフレクシャ522aは、第2のフレクシャ520bおよび第4のフレクシャ522bに対して、左右方向および前後方向の両方で、互いに反対方向に動く。すなわち、図5に示すように、常に、第1のフレクシャ520aおよび第3のフレクシャ522aは、左かつ前に動くことができると同時に、第2のフレクシャ520bおよび第4のフレクシャ522bは、右かつ後に動くことができる。このようにして、第1のフレクシャ520aの動きと、第2のフレクシャ520bの動きとが釣り合うことができ、第3のフレクシャ522aの動きと、第4のフレクシャ522bの動きとが釣り合うことができ、それによって、振動の大部分を打ち消すことができる。一部の実施形態では、第1のフレクシャ520aの動きと第3のフレクシャ522aの動きとは、レーザ源110aの位置と光検出器160aの位置とが互いに常に共役になるように同期される。同様に、第2のフレクシャ520bの動きと第4のフレクシャ522bの動きとは、レーザ源110bの位置と光検出器160bの位置とが互いに常に共役になるように同期される。フレクシャ520a、520b、522a、および522bの釣り合いをとるための動きは、プロセッサ190からの電気制御信号を使用することによって達成することができる。代替的な実施形態では、振動を打ち消すためにダミーフレクシャを使用することができる。
[0076]図6は、本発明の別の実施形態による、図1に示すライダシステム100の1つ以上のレーザ源110a~110dならびに1つ以上の光検出器160a~160dを走査するために使用され得るフレクシャ機構600を概略的に示す。この例では、4つのレーザ源110a~110dと4つの光検出器160a~160dとが同じ硬質プラットフォーム630に取り付けられている。レーザ源110a~110dおよび光検出器160a~160dの位置は、各レーザ源110a、110b、110c、または110dが、対応する光検出器160a、160b、160c、または160dと空間的に共役になるように配置される。プラットフォーム630は、2つのフレクシャ要素620aおよび620bを含む第1のフレクシャによって、第1のベースプレート610に結合される。フレクシャ要素620aおよび620bは、図6に示すようなボイスコイル650および永久磁石660などの単一のアクチュエータを使用することによって、または圧電アクチュエータなどによって、左または右にたわむことができる。一実施形態では、第1のベースプレート610は、2つのフレクシャ要素670aおよび670bを含む第2のフレクシャによって、第2のベースプレート612に結合されてもよい。フレクシャ要素670aおよび670bは、図6に示すようなボイスコイル652および永久磁石662などの単一のアクチュエータを使用することによって、または圧電アクチュエータなどによって、前方または後方にたわむことができる。
[0077]よって、レーザ源110a~110dおよび光検出器160a~160dは、それぞれ、フレクシャ要素620aおよび620bの左右方向の動きによって、およびフレクシャ要素670aおよび670bの前後方向の動きによって、射出レンズ130および受光レンズ140の焦点面内で、2次元で走査され得る。レーザ源110a~110dおよび光検出器160a~160dは同じ硬質プラットフォーム630に取り付けられているので、射出レンズ130および受光レンズ140に対するレンズ処方が基本的に同一であることを条件として、各レーザ光検出器対間の共役の空間的関係は、走査されるときに維持される。図6には、4つのレーザ源110a~110dおよび4つの光検出器160a~160dが一例として示されているが、より少ないまたはより多くのレーザ源およびより少ないまたはより多くの光検出器を単一のプラットフォーム630に取り付けてもよいことを理解されたい。例えば、本発明の様々な実施形態によれば、1つのレーザ源および1つの光検出器、または2つのレーザ源および2つの光検出器、または8つのレーザ源および8つの光検出器を単一のプラットフォーム630に取り付けることができる。一実施形態では、8つのレーザ源を4×2アレイとして配置することができ、8つの光検出器を4×2アレイとして配置することができ、すべて同じ硬質プラットフォーム630上に搭載される。
[0078]一部の実施形態では、第1の位置エンコーダ640は、レーザ源110a~110dの左右方向の座標(すなわち、x座標)を検出するために、プラットフォーム630に隣接して配置され、第2の位置エンコーダ642は、レーザ源110a~110dの前後方向の座標(すなわち、y座標)を検出するために、第1のベースプレート610に隣接して配置されてもよい。第1の位置エンコーダ640および第2の位置エンコーダ642は、レーザ源110a~110dのXY座標をプロセッサ190に入力して、物体150の3次元画像を構築するために使用することができる。
[0079]図7は、本発明のさらに別の実施形態による、図1に示すライダシステム100の1つ以上のレーザ源110a~110dならびに1つ以上の光検出器160a~160dを走査するために使用され得るフレクシャ機構700を概略的に示す。図6と同様に、レーザ源110a~110dと光検出器160a~160dとが同じ硬質プラットフォーム630に取り付けられている。ここで、プラットフォーム630は、4つのフレクシャ要素720a~720dを含むフレクシャによって、固定ベース610に結合される。4つのフレクシャ要素720a~720dは、左右方向および前後方向の両方で、横方向にたわまされ、それによって、レーザ源110a~110dおよび光検出器160a~160dが2次元で走査されることを可能にし得る。図6に示すフレクシャ機構600と同様に、レーザ源110a~110dおよび光検出器160a~160dは同じ硬質プラットフォーム630に取り付けられているので、各レーザ光検出器対間の共役の空間的関係は、走査されるときに維持される。
[0080]図8は、本発明のさらなる実施形態による、図1に示すライダシステム100の複数のレーザ源110a~110hならびに複数の光検出器160a~160hを走査するために使用され得るフレクシャ機構800を概略的に示す。この例では、4つのレーザ源110a~110dおよび4つの光検出器160a~160dが第1の硬質プラットフォーム630に取り付けられ、別の4つのレーザ源110e~110hおよび別の4つの光検出器160e~160hが第2の硬質プラットフォーム632に取り付けられる。第1の硬質プラットフォーム630は、4つのフレクシャ要素720a~720dを含む第1のフレクシャによって、固定ベース610に結合される。第2の硬質プラットフォーム632は、4つのフレクシャ要素722a~722dを含む第2のフレクシャによって、固定ベース610に結合される。一実施形態によれば、第1のプラットフォーム630と第2のプラットフォーム632とは、反対方向に動くように構成されているので、振動の大部分が打ち消され得る。例えば、図8に示すように、第1のプラットフォーム630は、第2のプラットフォーム632が右に動くと、左に動くことができる。同様に、第1のプラットフォーム630は、第2のプラットフォーム632が後方に動くと、前方に動くことができる。この例では、2つのプラットフォーム630および632のみが示されているが、追加のレーザ源および光検出器のためのより多くのプラットフォーム対を使用してもよいことを理解されたい。当業者であれば、多くの変形形態、代替形態および改変形態を認識するであろう。
[0081]一態様では、本発明の実施形態は、ライダシステムを使用した3次元イメージングを実行する方法を提供する。図9は、本発明の一実施形態による、図1に示すライダシステム100などのライダシステムを使用する、3次元イメージングの方法900を説明する簡略化した流れ図を示す。方法900は、902において、射出面内の複数の射出場所のそれぞれにレーザ源を平行移動させるステップと、904において、レーザ源を使用して、複数のレーザパルスを射出するステップと、を含むことができる。複数のレーザパルスのそれぞれは、複数の射出場所のそれぞれ1つで射出される。方法900は、906において、複数のレーザパルスをライダシステムの前方の物体に向かってコリメートし、誘導するために、射出レンズを使用するステップをさらに含むことができる。複数のレーザパルスのそれぞれの部分は、物体から反射され得る。方法900は、908において、物体から反射された複数のレーザパルスのそれぞれの部分を受光し、検出面内の複数の対応する検出場所に集束させるために、受光レンズを使用するステップをさらに含むことができる。各対応する検出場所が、それぞれの射出場所と共役である。方法900は、910において、検出面内の複数の対応する検出場所のそれぞれに光検出器を平行移動させるステップと、912において、光検出器を使用して、複数の検出場所のそれぞれにおける複数のレーザパルスのそれぞれの部分を検出するステップと、をさらに含むことができる。方法900は、914において、プロセッサを使用して、射出から検出までの複数のレーザパルスのそれぞれの飛行時間を決定するステップと、916において、複数のレーザパルスのそれぞれについて決定された飛行時間に基づいて、物体の3次元画像を構築するステップと、をさらに含むことができる。
[0082]図9に示す特定のステップは、本発明の一実施形態によるライダシステムを使用した3次元イメージングを実行する特定の方法を提供することを理解されたい。別の実施形態による、他の一連のステップを実行することもできる。例えば、本発明の代替的な実施形態は、上に概説したステップを異なる順序で実行することができる。さらに、図9に示す個々のステップは、個々のステップに応じて様々な順番で実行され得る複数のサブステップを含み得る。さらに、特定のアプリケーションに応じて、追加のステップを追加し、いくつかのステップを削除することができる。当業者であれば、多くの変形形態、改変形態、および代替形態を認識するであろう。
[0083]一部の実施形態では、検出面内の複数の対応する検出場所のそれぞれに光検出器を平行移動させるステップが、射出面内の複数の射出場所のそれぞれにレーザ源を平行移動させるステップと同期して実行されて、光検出器の位置が、レーザ源の位置と常に共役であるようにする。一実施形態では、レーザ源と光検出器とは同じプラットフォーム上に搭載され、レーザ源の平行移動および光検出器の平行移動は、プラットフォームを平行移動することによって実行される。
[0084]一部の実施形態では、射出面内で複数の射出場所を介してレーザ源を平行移動させることは、射出面内でレーザ源をラスタ走査することを含み、検出面内で複数の対応する検出場所を介して光検出器を平行移動することは、検出面内で光検出器をラスタ走査することを含む。一部の実施形態では、射出面および検出面は、ライダシステムの光軸に対して実質的に垂直である。レーザ源のラスタ走査は、射出面内において2次元で実行されてもよく、検出器のラスタ走査は、検出面内において2次元で実行されてもよい。一部の実施形態では、第1の方向における、レーザ源のラスタ走査および光検出器のラスタ走査が、第1の速さで実行されてもよく、第1の方向に直交する第2の方向における、レーザ源のラスタ走査および光検出器のラスタ走査が、第1の速さ未満の第2の速さで実行されてもよい。
[0085]様々な実施形態では、レーザ源のラスタ走査は、正弦波形、三角波形、または鋸波形などに従う時間の関数としてのレーザ源の位置をもたらすことができる。一部の実施形態では、第1の方向におけるレーザ源のラスタ走査は、第1の波形に従う時間の関数としての第1の方向におけるレーザ源の位置をもたらすことができ、第2の方向におけるレーザ源のラスタ走査は、第1の波形とは異なる第2の波形に従う時間の関数としての第2の方向におけるレーザ源の位置をもたらすことができる。当業者であれば、多くの変形形態、代替形態および改変形態を認識するであろう。
[0086]一部の実施形態では、各戻りレーザパルスの強度が測定され、同じ射出点からの後続のレーザパルスの出力を調整するために使用される。レーザパルスの出力は、レーザパルスの持続時間、レーザに印加される電圧もしくは電流、またはレーザに給電するために使用されるキャパシタに蓄積された電荷を変えることによって変えることができる。後者の場合、キャパシタに蓄えられた電荷は、キャパシタへの充電時間、充電電圧、または充電電流を変えることによって変えることができる。一部の実施形態では、強度を使用して、画像に別の次元を追加することもできる。例えば、画像は、X、Y、およびZ座標、ならびに反射率(または輝度)を含むことができる。
[0087]様々な実施形態によれば、各レーザ源は、例えば10kHzなどの一定の繰り返しレートの一定の時間間隔で、レーザパルスを射出するように構成することができる。本発明の様々な実施形態によれば、複数のレーザ源を含むライダシステムの場合、複数のレーザ源は、同じ時間間隔で同時にレーザパルスを射出するように構成されてもよいし、ずらした時間間隔でレーザパルスを射出するように構成されてもよい。例えば、一実施形態では、第1のレーザ源は、連続パルス間の時間間隔ΔT=100μsに対応する10kHzのパルス繰り返しレートでレーザパルスを射出するように構成されてもよい。第2のレーザ源もまた10kHzのパルス繰り返しレートでレーザパルスを射出するように構成されてもよいが、連続するパルス間の時間間隔ΔT未満の時間遅延Δtで第1のレーザ源のものに対してずらされている。例えば、第2のレーザ源の発射と第1のレーザ源の発射との間の遅延時間は、Δt=10μsであってもよい。
[0088]一実施形態では、第1のレーザ源および第2のレーザ源が、ずらした時間間隔でレーザパルスを射出するように構成されている場合、第1の光検出器および第2の光検出器によって生成された電気信号は、飛行時間がレーザパルス間の時間よりも常に短い限り、第1のレーザ源と第2のレーザ源との両方によって射出されたパルスの列の飛行時間を測定するためのプロセッサ内の単一のアナログデジタル変換器(ADC)に入力され得る。他の実施形態では、第1の光検出器および第2の光検出器によって生成された電気信号は、別々のADCに入力され得る。
[0089]レーザ源のラスタ走査が、三角波形または鋸波形以外の波形に従う時間の関数としてのレーザ源の位置をもたらす一実施形態では、走査速さは、レーザ源の位置によって変わり得る。例えば、正弦波形の場合、走査の速さは、他の位置よりも動きの一番端の方が遅くてもよい。そのような場合、レーザ源が一定レートでレーザパルスを射出するように構成されている場合、画像化された視野にわたる画素の密度は変わり得る。
[0090]図10Aは、時間の関数としてのレーザ源の位置が正弦波形に従う例示的な画素パターンを示す。横軸は、任意単位の時間であり、縦軸は、任意単位の走査方向(例えば、縦または横)に沿った画素位置である。図示のように、画素密度は、走査の動きが停止し、向きを変える画像化フィールドの一番端(例えば上端と下端)で高く、走査速さがより速い画像化フィールドの中間範囲においてより低い。
[0091]一部の実施形態では、レーザ源は、走査レートの不均一性を補償するために一定ではない速さでレーザパルスを射出するように構成されてもよく、その結果、実質的に均一な画素密度が達成される。他の実施形態では、レーザ源は、走査運動の波形にかかわらず、一定レートでレーザパルスを射出するように構成することができる。そのような場合、位置エンコーダは、一連のレーザパルスが射出されるレーザ源の位置を測定することができる。次いで、プロセッサは、レーザ源の位置に基づいて、一連のレーザパルスの対応する画素位置を決定することができる。
[0092]図8に示すライダシステムなどのライダシステムが、2つ以上のレーザ源と2つ以上の光検出器とを備える実施形態では、各レーザ源を走査して、画像化されたフィールドの一部(すなわち、サブフィールド)をカバーすることができる。複数のサブフィールドを構成する1つの方法は、隣接するサブフィールドを突き合わせることである。図10Bは、一実施形態による、1つのサブフィールドが隣接するサブフィールドとぶつかるフィールド構成を示す。図10Bに示すように、時間の関数としての各レーザ源の位置が正弦波形に従う場合、この手法は、2つのサブフィールドが突き合わされる領域(例えば、領域1010)における画素密度を高くすることができ、各サブフィールドの中間範囲の画素密度を低くする。
[0093]図10Cは、本発明の一実施形態による、1つのサブフィールドが隣接するサブフィールドと部分的に重なる代替的なフィールド構成を示す。隣接する2つのサブフィールドを部分的に重ねることにより、あるサブフィールドの一番端のより密集した画素は、他のサブフィールドの中間範囲のより密な画素と並置され得る。このようにして、より均一な全体的な画素密度を達成することができる。一部の実施形態では、隣接するサブフィールド間の重なりは、50%程度であってもよい、すなわち、一方のサブフィールドの一番端が他方のサブフィールドの中点と実質的に一致するようにする。垂直(または水平)方向に3つ以上のサブフィールドが存在する場合、1つのサブフィールドの下端が2サブフィールド下の別のサブフィールドの上端に近すぎないように、重なりが50%未満となるように選択することができる。この手法は、水平方向および垂直方向の両方に複数のサブフィールドがある場合に拡張することができる。図10Cに示すフィールド構成は、いくつかのさらなる利点をもたらすことができる。例えば、着目する物体がより発生しやすい視野の中央付近で、比較的一様な高密度画素を有する領域(例えば、領域1020)を提供することができる。また、非常に高い画素密度の領域を最小化することにより、ライダシステムの目の安全性を向上させることができる。
[0094]図11は、本発明の一実施形態による3次元イメージングの方法1100を示す簡略化した流れ図である。方法1100は、1102において、射出面内の第1の複数の射出場所のそれぞれに第1のレーザ源を平行移動させるステップと、1104において、第1のレーザ源を使用して、第1の複数のレーザパルスを射出するステップと、を含む。第1の複数のレーザパルスのそれぞれは、第1の複数の射出場所のそれぞれ1つで射出される。方法1100は、1106において、射出面内の第2の複数の射出場所のそれぞれに第2のレーザ源を平行移動させるステップと、1108において、第2のレーザ源を使用して、第2の複数のレーザパルスを射出するステップと、をさらに含む。第2の複数のレーザパルスのそれぞれは、第2の複数の射出場所のそれぞれ1つで射出される。方法1100は、1110において、射出レンズを使用して、(i)第1の複数のレーザパルスを、第1の視野範囲内の第1の複数の視野角にあるシーンに向けて、また(ii)第2の複数のレーザパルスを、第2の視野範囲内の第2の複数の視野角にあるシーンに向けて、コリメートし、かつ誘導するステップをさらに含む。第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの部分は、シーン内の1つ以上の物体から反射される。方法1100は、1112において、受光レンズを使用して、1つ以上の物体から反射された第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの部分を受光し、検出面内の第1の複数の対応する検出場所および第2の複数の対応する検出場所に集束させる、ステップをさらに含むことができる。第1の複数の対応する検出場所のそれぞれ1つが、第1の複数の射出場所のそれぞれ1つと共役であり、第2の複数の対応する検出場所のそれぞれ1つが、第2の複数の射出場所のそれぞれ1つと共役である。方法1100は、1114において、検出面内の第1の複数の対応する検出場所のそれぞれに第1の光検出器を平行移動させるステップと、1116において、第1の光検出器を使用して、第1の複数の検出場所のそれぞれにおける第1の複数のレーザパルスのそれぞれの部分を検出するステップと、をさらに含むことができる。方法1100は、1118において、検出面内の第2の複数の対応する検出場所のそれぞれに第2の光検出器を平行移動させるステップと、1120において、第2の光検出器を使用して、第2の複数の検出場所のそれぞれにおける第2の複数のレーザパルスのそれぞれの部分を検出するステップと、をさらに含む。方法1100は、1122において、プロセッサを使用して、射出から検出までの第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれの飛行時間を決定するステップと、1124において、第1の複数のレーザパルスのそれぞれおよび第2の複数のレーザパルスのそれぞれについて決定された飛行時間に基づいて、1つ以上の物体の3次元画像を構築するステップと、をさらに含む。
[0095]一部の実施形態では、第1の複数の射出場所を通って射出面内において第1のレーザ源を平行移動させるステップは、射出面内において1次元で第1のレーザ源をラスタ走査するステップを含み、第1の複数の対応する検出場所を通って検出面内において第1の光検出器を平行移動させるステップは、検出面内において1次元で第1の光検出器をラスタ走査するステップを含み、第2の複数の射出場所を通って射出面内において第2のレーザ源を平行移動させるステップは、射出面内において1次元で第2のレーザ源をラスタ走査するステップを含み、第2の複数の対応する検出場所を通って検出面内において第2の光検出器を平行移動させるステップは、検出面内において1次元で第2の光検出器をラスタ走査するステップを含む。一部の実施形態では、射出面内において1次元で第1のレーザ源をラスタ走査するステップは、正弦波形に従い、射出面内において1次元で第2のレーザ源をラスタ走査するステップは、正弦波形に従う。一部の実施形態では、第1の視野範囲は、第2の視野範囲と部分的に重なる。第1の視野範囲と第2の視野範囲とは、約10%から約50%だけ重なってもよい。一部の実施形態では、第1の視野範囲と第2の視野範囲とは、約30%から約50%まで重なってもよい。
II.複数範囲3次元イメージングシステム
[0096]本開示の一部の他の実施形態によれば、3次元イメージングシステムは、走査ライダセンサと、別の光学3次元センサと、を備えることができる。ライダセンサおよび光学3次元センサは、異なる感知範囲および異なる角度視野を有してもよい。3次元イメージングのシステムおよび方法は、自律車両、無人機、および他の用途に適し得る。
[0097]図12は、本発明の一実施形態による3つのライダセンサを備えた3次元イメージングシステム1200を概略的に示す。3次元イメージングシステム1200は、自律または半自律車両における障害物検出、および他の用途に適用可能であり得る。例えば、図12に示すように、3次元イメージングシステム1200は、車1202のフロントバンパ上またはその近くに搭載されてもよい。3次元イメージングシステム1200はまた、車1202のリヤバンパ上もしくはその近くに、または車1202の頂部上に搭載されてもよい。
[0098]3次元イメージングシステム1200は、実質的に前方の方向に向けられた第1の光軸1212を有する第1のライダセンサ1210と、左に向けられた第2の光軸1222を有する第2のライダセンサ1220と、右に向けられた第3の光軸1232を有する第3のライダセンサ1230と、を備える。一実施形態では、第1のライダセンサ1210、第2のライダセンサ1220、および第3のライダセンサ1230のそれぞれは、図1に示すライダシステム100と同様であってもよい。他の実施形態では、第1のライダセンサ1210、第2のライダセンサ1220、および第3のライダセンサ1230のうちの1つ以上は、図1に示すライダシステム100とは異なる構造のライダセンサを備えてもよい。例えば、第1のライダセンサ1210、第2のライダセンサ1220、および第3のライダセンサ1230のうちの1つ以上は、コリメートさせるレンズ130および集束させるレンズ140の代わりに、コリメートさせるミラーおよび集束させるミラーを使用するライダセンサを備えてもよい。
[0099]第1のライダセンサ1210は、前方方向の第1の視野角1214を特徴とし得る。第2のライダセンサ1220は、左方向への第2の視野角1224を特徴とし得る。第3のライダセンサ1230は、右方向への第3の視野角1234を特徴とし得る。一実施形態では、3次元イメージングシステム1200は、図12に示すように、第1の角度視野1214、第2の角度視野1224、および第3の角度視野1234が互いに重ならないように構成されている。
[0100]3次元イメージングシステム1200が自律車両における障害物検出に使用される場合、左および右などへの他の方向よりも、車両が走行する方向に沿って長い感知範囲を有することが望ましい場合がある。ライダセンサのレーザ出力は、目に安全なレベルに制限され得る。所与のレーザ出力に対して、ライダセンサから距離Lにあるレーザ出力密度は、Lの逆2乗に比例し、角度視野の逆2乗に比例する。したがって、ライダセンサは、角度視野が狭くなるという犠牲を払って、より長い感知範囲を有するように構成されてもよい。逆に、ライダセンサは、感知範囲が短くなるという犠牲を払って、より広い角度視野を有するように構成されてもよい。
[0101]図12に示すように、前方方向に向けられた第1のライダセンサ1210が、より長い感知範囲とより狭い角度視野を有し、左および右にそれぞれ向けられた第2のライダセンサ1220および第3のライダセンサ1230が、より短い感知範囲を有するが、より広い角度視野を有するように3次元イメージングシステム1200を構成すると有利な場合がある。一部の実施形態では、第1の角度視野1214は、約5度から約30度の範囲であってよく、第2の角度視野1224および第3の角度視野1234のそれぞれは、約40度から約90度の範囲であってよい。一実施形態では、第1のライダセンサ1210、第2のライダセンサ1220、および第3のライダセンサ1230は、約110度から約180度の範囲の組み合わせられた角度視野を生じ得る。
[0102]上述したように、ライダセンサの角度視野は、レーザ源の横方向の走査範囲およびコリメートさせるレンズの焦点距離に依存し得る。所与の走査範囲に対して、より長い焦点距離のレンズは、より狭い角度視野をもたらし得、逆に、より短い焦点距離のレンズは、より広い角度視野をもたらし得る。一実施形態では、第1のライダセンサ1210は、より長い焦点距離を有する射出レンズを備えることができ、第2のライダセンサ1220および第3のライダセンサ1230のそれぞれは、より短い焦点距離を有する射出レンズを備えることができる。
[0103]図13は、本発明の別の実施形態による3つのライダセンサ1210、1220、および1230を備えた3次元イメージングシステム1200を概略的に示す。3つのライダセンサ1210、1220、および1230の配置は、第1のライダセンサ1210の第1の角度視野1214が、第2のライダセンサ1220の第2の角度視野1224と部分的に重なり、かつ第3のライダセンサ1230の第3の角度視野1234とも部分的に重なることを除いて、図12に示されるものと同様である。一部の実施形態では、3次元イメージングシステム1200は、以下に説明するように、第1のライダセンサ1210と第2のライダセンサ1220との間、および第1のライダセンサ1210と第3のライダセンサ1230との間の交差較正のために、重なる角度視野を使用してもよい。重なる角度視野はまた、プロセッサに冗長な情報を提供するために使用され、それによって、自律車両における衝突回避などの重要な用途におけるイメージングシステム1200の信頼性を高めてもよい。
[0104]一部の実施形態では、3つのライダセンサ1210、1220、および1230は、3つのライダセンサ間の干渉を避けるために、異なる波長で動作するレーザ源を利用してもよい。一実施形態では、3つのライダセンサ1210、1220、および1230のレーザ源は、例えば10kHzなどの一定の繰り返しレートの一定の時間間隔で、レーザパルスを射出するように構成することができる。一実施形態では、3つのライダセンサ1210、1220、および1230のレーザ源は、同じ時間間隔で同時にレーザパルスを射出するように構成することができる。別の実施形態では、3つのライダセンサ1210、1220、および1230のレーザ源は、3つのライダセンサ間の干渉を防止するために、ずらした時間間隔でレーザパルスを射出するように構成されてもよい。例えば、第1のライダセンサ1210のレーザ源は、連続パルス間の時間間隔ΔT=100μsに対応する10kHzのパルス繰り返しレートでレーザパルスを射出するように構成されてもよい。第2のライダセンサ1220のレーザ源もまた10kHzのパルス繰り返しレートでレーザパルスを射出するように構成されてもよいが、連続するパルス間の時間間隔ΔT未満の時間遅延Δtで第1のライダセンサ1210のレーザ源のものに対してずらされている。例えば、第2のライダセンサ1220のレーザ源の発射と第1のライダセンサ1210のレーザ源の発射との間の遅延時間は、Δt=10μsであってもよい。同様に、第3のライダセンサ1230のレーザ源もまた10kHzのパルス繰り返しレートでレーザパルスを射出するように構成されてもよいが、Δt=10μsなどの別の時間遅延Δtで第2のライダセンサ1220のレーザ源のものに対してずらされている。
[0105]図14は、本発明の一実施形態による第1の3次元センサ1410および第2の3次元センサ1420を備えた3次元イメージングシステム1400を概略的に示す。第1の3次元センサ1410は、第1の角度視野1412を有し、第2の3次元センサ1420は、第1の角度視野1412より広く、これを包含する第2の角度視野1422を有する。第1の3次元センサ1410は、図1に示すライダセンサ100と実質的に同様のライダセンサであってもよい。一実施形態では、第2の3次元センサ1420もまた、図1に示すライダシステム100と実質的に同様のライダセンサを含んでもよい。他の実施形態では、第2の3次元センサ1420は、ステレオカメラ、パターン照射方式カメラ、干渉計センサなどの異なるタイプの光学3次元センサを含むことができる。さらに他の実施形態では、第2の3次元センサ1420は、超音波センサ、レーダセンサなどを含むことができる。
[0106]3次元イメージングシステム1400は、自律または半自律車両における障害物検出、および他の用途に適用可能であり得る。図14に示すように、3次元イメージングシステム1400は、車両のフロントバンパ上またはその近くに搭載されてもよい。一実施形態では、図14に示すように、第1の3次元センサ1410と第2の3次元センサ1420との両方が前方方向に整列される。一部の実施形態では、第1の3次元センサ1410は、約5度から約20度の範囲の第1の角度視野1412を有するように構成されたライダセンサを備えてもよく、比較的長い感知範囲を有してもよい。第2の3次元センサ1420は、約90度から約180度の範囲の第2の角度視野1422を有するステレオカメラまたはパターン照射方式カメラを含んでもよく、図14に示すように、比較的短い感知範囲を有してもよい。一部の実施形態では、3次元イメージングシステム1400は、以下に説明するように、第1の3次元センサ1410を使用して、第2の3次元センサ1420を較正することができる、またはその逆もすることができる。
[0107]図15は、本発明の一実施形態による、自律車両のための3次元感知の方法1500を示す。本方法1500は、1502において、レーザ源と、光検出器と、射出光学要素と、受光光学要素と、レーザ源および光検出器に結合された1つ以上の処理ユニットを含むプロセッサと、を備えたライダセンサを使用して、前方方向に1つ以上の第1の物体を感知するステップを含む。一実施形態では、1つ以上の第1の物体を感知するステップは、レーザ源を使用して、複数のレーザパルスを射出するステップと、射出光学要素を使用して、1つ以上の第1の物体に向かって、前方の方向に対して、複数の対応する入射角で複数のレーザパルスをコリメートし、誘導するステップであって、複数のレーザパルスのそれぞれの部分は、1つ以上の第1の物体から反射される、ステップと、受光光学要素を使用して、1つ以上の第1の物体から反射された複数のレーザパルスのそれぞれの部分を受光するステップと、光検出器を使用して、受光光学要素によって集束された複数のレーザパルスのそれぞれの部分を検出するステップと、プロセッサを使用して、射出から検出まで、複数のレーザパルスのそれぞれについて飛行時間を決定するステップと、プロセッサを使用して、複数のレーザパルスのそれぞれについての決定された飛行時間と、複数の入射角とに基づいて、1つ以上の第1の物体の3次元画像を構築するステップと、を含むことができる。
[0108]方法1500は、1504において、光学3次元センサを使用して、1つ以上の第2の物体の3次元画像を取得するために、左または右への方向に1つ以上の第2の物体を感知するステップをさらに含む。一部の実施形態では、ライダセンサは、第1の角度視野を有し、光学3次元センサは、第1の角度視野より広い第2の角度視野を有する。一実施形態では、第2の角度視野は、第1の角度視野と少なくとも部分的に重なる。一部の実施形態では、ライダセンサは、第1の感知範囲を有し、光学3次元センサは、第1の感知範囲より小さい第2の感知範囲を有する。方法1500は、1506において、プロセッサを使用して、1つ以上の第1の物体の3次元画像および1つ以上の第2の物体の3次元画像を組み合わせるステップをさらに含むことができる。
[0109]図15に示す特定のステップは、本発明の一実施形態による3次元イメージングを実行する特定の方法を提供することを理解されたい。別の実施形態による、他の一連のステップを実行することもできる。例えば、本発明の代替的な実施形態は、上に概説したステップを異なる順序で実行することができる。さらに、図15に示す個々のステップは、個々のステップに応じて様々な順番で実行され得る複数のサブステップを含み得る。さらに、特定のアプリケーションに応じて、追加のステップを追加し、いくつかのステップを削除することができる。当業者であれば、多くの変形形態、改変形態、および代替形態を認識するであろう。
[0110]より廉価な光学センサは、より良い品質の構成要素または技術を使用する光学センサよりも低い性能仕様を有することが予期され得る。これは、ライダ3次元センサ、および他の光学的3次元センサに当てはまり得る。より高性能の3次元センサを使用して、特定の構成にある、より低い性能の3次元センサを較正することが可能であり得る。
[0111]図16は、本発明の一実施形態による較正が実行され得る3次元イメージングシステム1600を概略的に示す。3次元イメージングシステム1600は、第1の角度に向けられた第1の光軸1612を有する第1の3次元センサ1610と、第2の角度に向けられた第2の光軸1622を有する第2の3次元センサ1620と、を備える。第1の3次元センサ1610は、第1の角度視野1614を特徴とすることができ、第2の3次元センサ1620は、第2の角度視野1624を特徴とすることができる。図16に示すように、第1の角度視野1614は、重なり角度視野1630において、第2の角度視野1624と重なる。この構成では、重なり角度視野1630を利用して、第1の3次元センサ1610を使用して、第2の3次元センサ1620を較正することができる、またはその逆もすることができる。一実施形態では、第1の3次元センサ1610は、より狭い角度視野およびより高い精度を有するライダセンサを備えることができ、第2の3次元センサ1620は、より広い角度視野およびより低い精度を有するライダセンサを備えることができる。別の実施形態では、第1の3次元センサ1610は、ライダセンサを備えることができ、第2の3次元センサ1620は、ステレオカメラ、パターン照射方式カメラなどの別のタイプの光学3次元センサを備えることができる。
[0112]較正は、いくつかの形態をとることができる。一実施形態では、乗算スケール補正、オフセット補正、またはその両方の組み合わせのいずれかによる距離較正を含むことができる。距離のスケール補正については、補正された距離dは、測定された距離dに定数cを乗じたものとして、d=c×dで与えられ得る。距離のオフセット補正については、d=d+cとして、測定された距離にオフセットcを加算または減算できる。スケーリングとオフセットとの両方による距離補正については、補正された距離dは、d=c×d+cで与えられ得る。
[0113]別の実施形態では、水平方向または垂直方向のいずれか、またはその両方の角度較正を含むことができる。角度較正は、スケール補正、オフセット補正、またはその両方の組み合わせのいずれかであり得る。角度のスケール補正については、補正された角度Aは、測定された角度Aに定数cを乗じたものとして、A=c×Aで与えられ得る。角度のオフセット補正については、A=A+cとして、測定された角度にオフセットcを加算または減算できる。スケーリングとオフセットとの両方による角度補正については、補正された角度Aは、A=c×A+cで与えられ得る。
[0114]さらに別の実施形態では、歪みなどのより複雑な補正を行うことができる。場合によっては、ライダセンサなどの第1の3次元センサが、異なるタイプの第2の光学3次元センサより優れた距離精度を有することがある一方で、第2の3次元センサが、第1の3次元センサより優れた角度精度を有することがある。そのような場合、第2のセンサの距離較正のために第1の3次元センサを使用し、第1の3次元センサの角度較正のために第2の3次元センサを使用することが可能であり得る。
[0115]図17は、本発明の一実施形態による、図16に示す3次元イメージングシステムを使用して、距離較正を実行する方法1700を説明する簡略化した流れ図を示す。方法1700では、第1の3次元センサ1610が、第2の3次元センサ1620よりも高い精度を有し、第2の3次元センサ1620を較正するために使用されると仮定する。方法1700は、図16に示すように、1702において、重なり角度視野1630内に人などの物体1640を配置するステップを含む。方法1700は、1704において、第1の3次元センサ1610を使用して、物体1640の第1の3次元画像を形成するステップと、1706において、第2の3次元センサ1620を使用して、物体1640の第2の3次元画像を形成するステップと、をさらに含む。
[0116]方法1700は、1708において、第1の3次元画像のXY座標(または代替的に垂直および水平角度)と、第2の3次元画像のXY座標(または代替的に垂直および水平角度)とを、適切な画像処理アルゴリズムを使用して、整列させるステップをさらに含み得る。方法1700は、1710において、第1の3次元画像のZ座標と第2の3次元画像のZ座標を整列させるために、第2の3次元センサによって測定された距離に適用される1つ以上のスケーリング定数および/または1つ以上のオフセットを決定するステップをさらに含む。方法1700は、1712において、1つ以上のスケーリング定数および/または1つ以上のオフセットを使用して、第2の3次元センサ1620のための較正ファイルをコンパイルするステップをさらに含み得る。較正ファイルは、将来の画像における第2の3次元センサ1620の距離補正に使用されてもよい。方法1700は、角度較正、歪み補正などに適合させることができる。
[0117]図17に示す特定のステップは、本発明の一実施形態による3次元イメージングシステムにおける距離較正を実行する特定の方法を提供することを理解されたい。別の実施形態による、他の一連のステップを実行することもできる。例えば、本発明の代替的な実施形態は、上に概説したステップを異なる順序で実行することができる。さらに、図17に示す個々のステップは、個々のステップに応じて様々な順番で実行され得る複数のサブステップを含み得る。さらに、特定のアプリケーションに応じて、追加のステップを追加し、いくつかのステップを削除することができる。当業者であれば、多くの変形形態、改変形態、および代替形態を認識するであろう。
III.走査照明付き3次元イメージングシステム
[0118]従来の3次元イメージングシステムは、ベース距離だけ離れた2台のカメラを含むことができる。2台のカメラによって取り込まれた物体の画像は、横方向の視差のために異なる座標で表示される。3次元イメージングシステムからの物体の距離は、画像差を用いて算出することができる。しかしながら、従来の3次元イメージングシステムには多くの限界がある。例えば、物体に識別可能な特徴がない場合、対応する場所の識別を行うことができない。また、照明が不十分であるか、またはカメラのダイナミックレンジを超えるほど強すぎる場合、奥行きの測定値は信頼性できなくなる可能性がある。さらに、物体がベースライン距離と比較して、3次元イメージングシステムから比較的遠くに位置する場合、測定精度は、画質およびベースライン距離の安定性に大きく依存することがあり、これらの両方とも、特に自動車環境では、制御が困難であり得る。したがって、改善された3次元イメージングシステムが望まれている。
[0119]図18は、ベースライン距離Dで互いに横方向に離れた第1のカメラ1802と第2のカメラ1804とを含む従来の3次元イメージングシステム1800を概略的に示す。第1のカメラ1802および第2のカメラ1804を使用して、シーン1830の第1の画像1842および第2の画像1844をそれぞれ取得できる。シーン内の物体1832、例えば家は、人間の両眼視に類似して、視差のために、2つの画像1842および1844において異なる画像座標に現れる。これらの2つの画像1842および1844を比較することにより、対応する画像点の水平座標の差を符号化する視差マップの形で相対的な奥行き情報を取得できる。この視差マップ内の値は、対応する画素位置におけるシーンの奥行きに反比例し得る。よって、視差マップから、3次元イメージングシステム1800に対する物体1832に関する奥行き情報を決定することができる。
[0120]しかしながら、図18に示す従来の3次元イメージングシステム1800には多くの限界がある。例えば、物体に識別可能な特徴がない場合(すなわち、テクスチャなし、または特徴なし)、対応する場所の識別を行うことができない。その結果、物体に関する奥行き情報を画像から抽出することができない。別の例として、照明が不十分であるか、またはカメラのダイナミックレンジを超えるほど強すぎる場合、奥行きの測定値は信頼性できなくなる可能性がある。さらに、物体がベースライン距離Dと比較して、3次元イメージングシステム1800から比較的遠くに位置する場合、測定精度は、画質およびベースライン距離Dの安定性に大きく依存することがあり、これらの両方とも、特に自動車環境では、制御が困難であり得る。本発明の実施形態は、従来の3次元イメージングシステムの上記の限界のいくつかを克服することができる3次元イメージングシステムを提供する。
[0121]図19は、本発明の一実施形態による3次元(3D)感知のための3次元イメージングシステム1900を概略的に示す。3次元イメージングシステム1900は、互いに水平方向に離れた第1のカメラ1902と第2のカメラ1904とを備える。3次元イメージングシステム1900は、垂直な扇形の光1922を2台のカメラ1902および1904の前方にあるシーンに向けて投影するように構成された照明源1920をさらに備える。一部の実施形態では、照明源1920は、レーザビームを射出するように構成されたレーザ源と、レーザビームを垂直な扇形の光1922に変換するように構成された、円柱レンズなどの光学要素と、を備えることができる。垂直な扇形の光1922は、扇形の光が物体に当たるとき、物体上に照明ラインを形成することができる。2台のカメラ1902および1904に形成された、照明ラインの画像を比較することによって、3次元イメージングシステム1900からの物体の奥行き情報は、従来の3次元イメージングシステムと同じように決定され得る。従来の3次元イメージングシステムと比較して、3次元イメージングシステム1900の利点は、照明ラインが、照明とカメラが検出する特徴との両方として機能することであり、よって、物体が、特徴をもたず、不十分な自然照明の下にあっても、物体の3D感知を行うことができる。
[0122]照明源1920は、垂直な扇形の光1922を水平方向に走査するように構成された走査機構をさらに含むことができる。一部の実施形態では、走査機構は、走査ミラーまたは回転ミラーを備えてもよい。フレクシャベアリングまたは回転ベアリングを使用して、ミラーを走査することができる。フレクシャベアリングまたは回転ベアリングは、様々な実施形態により、圧電要素、ボイスコイルアクチュエータ、または電気モータによって駆動することができる。別の実施形態では、走査機構は、音響光学偏向器を備えることができる。
[0123]垂直な扇形の光1922が視野を横切って走査するにつれて、カメラ1902および1904は、適切なフレームレートで照明ラインのスナップショットを取り込み、その結果、視野内の物体に関する距離情報を取得することができる。カメラのフレームレートは、所望の水平空間分解能および所望の検出レートに対して設定されてもよい。例えば、フレームレートは約30フレーム/秒から約1,000フレーム/秒の範囲であってよく、照明走査レートは約1スイープ/秒から約20スイープ/秒の範囲であってもよい。完全な画像の水平分解能およびフレームレートは、照明の走査レートおよびカメラのフレームレートに依存する。例えば、カメラのフレームレートが1,000フレーム/秒であり、照明が画像の一方の側から他方の側へ5スイープ/秒のレートで走査する場合、各画像は、200の水平画素を有し、撮像レートは5画像/秒となる。一実施形態では、撮像レートを改善し、機械的走査要件を軽減するために、扇形の光1922が左から右に走査するにつれて1つの画像を撮ることができ、扇形の光1922が右から左に走査して戻るにつれて次の画像を撮ることができる。
[0124]別の実施形態によれば、3次元イメージングシステムは、図19に示すような2台のカメラの代わりに、1台のカメラのみを含むことができる。カメラの軸が、照明源の軸からベースライン距離だけ水平方向にオフセットされている限り、視野内の物体に関する奥行き情報は、既知の物体を用いた事前較正に基づいて、画像内の照明ラインの歪みから取得できる。
[0125]別の実施形態では、照明源は、カメラの前方にある物体に水平な扇形の光を投影するように構成することができる。水平な扇形の光は、物体を3D感知するために垂直方向に走査することができる。他の実施形態では、扇形の光は、水平または垂直とは異なる他の角度にあってもよい。当業者であれば、多くの変形形態、代替形態および改変形態を認識するであろう。
[0126]図20は、本発明の別の実施形態による3次元イメージングシステム2000を示す。3次元イメージングシステム2000は、1台のカメラ2002と、2つの照明源2010および2020と、を備える。2つの照明源2010および2020は、2つの垂直な扇形の光2012および2022を投影するように構成されている。2つの垂直な扇形の光2012および2022は、互いに平行となるように調整することができる。3次元イメージングシステム2000は、2つの垂直な扇形の光2012および2022を水平方向に同時にかつ同期して走査するように構成された走査機構をさらに備えることができる。走査機構は、本発明の様々な実施形態による、走査ミラーもしくは回転ミラー、または音響光学偏向器を備えることができる。
[0127]XY平面における空間分解能および奥行き精度(すなわち、z方向における精度)は、2つの垂直な扇形の光2012および2022の間の間隔に依存し得る。一般に、2つの扇形の光2012および2022が互いにより離れているほど、奥行き精度は良好になるが、XY平面の分解能が悪くなる。一部の実施形態では、2つの扇形の光2012および2022の間の間隔は、約2インチから約2フィートになるように構成されてもよい。一実施形態では、間隔は、好ましくは約18インチである。3次元イメージングシステム2000は、図19に示す3次元イメージングシステム1900と比較して、より高い奥行き精度を提供することができる。
[0128]図21は、3次元イメージングシステム2000のカメラ2002によって取り込まれ得る物体(例えば、家)の画像2140を概略的に示す。2つの垂直な扇形の光2012および2022は、物体上に2つの照明ライン2142および2144を投影することができる。画像2140における2つの照明ライン2142および2144の間の距離dは、物体からカメラ2002までの距離に依存し得る。一般に、画像2140における2つの照明ライン2142および2144の間の距離dは、物体からカメラ2002までの距離に反比例する。すなわち、2つの照明ライン2142および2144が画像2140内で互いに接近して見えるほど、物体はカメラ2002から遠くなる。画像2140内の2つの照明ライン2142および2144は、無限遠の物体については合わさり、これは、投影ジオメトリにおける消失点であり得る。よって、2つの垂直な扇形の光2012および2022が物体平面を横切って走査されるとき、物体の様々な点に関する奥行き情報が、物体の一連の画像から決定され得る。
[0129]代替的な実施形態では、奥行き情報は以下のようにして抽出することができる。2つの垂直な扇形の光2012および2022が水平方向に走査されるとき、画像2140内の単一画素の光の強度は、一連の連続するフレームで監視されてもよい。図22は、本発明の一実施形態による、フレーム番号の関数としての画素における光の強度の概略的なプロットを示す。2つの垂直な扇形の光2012および2022が、その画素に対応する物体点を横切って順次走査されるとき、2つの強度ピーク2202および2204が2つの異なるフレーム番号で強度プロットに現れる場合がある。等速走査の場合、2つの強度ピーク2202と2204との間の時間差は、その物体点からカメラ2002までの距離に反比例する。一実施形態では、時間差は、2つの強度ピーク2202および2204の間のフレームの数にカメラのフレームレートを乗算することによって決定することができる。
[0130]図20に示す3次元イメージングシステム2000は、従来の3次元イメージングシステムと比較していくつかの利点をもたらすことができる。図18に示す3次元イメージングシステムなどの、2台のカメラを必要とする従来の3次元イメージングシステムでは、2台のカメラ間のベースライン距離Dの変動は、特に温度変動が100℃以上に達し得る自動車環境では、誤差の主な原因となり得る。対照的に、図20に示す3次元イメージングシステム2000は、1台のカメラしか必要とせず、したがって、ベースライン距離Dの精度および安定性の要件が排除され得る。
[0131]3次元イメージングシステム2000では、2つの照明源2010および2020の間の距離、ならびに2つの照明源2010および2020のそれぞれとカメラ2002との間の距離は、2つの扇形の光2012および2022が、互いに平行に保たれる限り、必須ではない。2つの扇形の光2012および2022の平行度を制御することは、絶対ベースライン距離Dを制御するよりも容易であり得る。例えば、金属片またはガラス片の2つの所定の平行な表面は、本体のサイズが著しく変化し得るが、大きな温度変動において平行のままであり得る。加えて、ベースライン距離の変動とは異なり、リアルタイムでの補正のために、制御ソフトウェアにフィードバックを提供するために、平行度を現場で容易に測定することができる。したがって、3次元イメージングシステム2000は、従来の3次元イメージングシステムと比較して、長距離測定のためにより良い精度および安定性を提供することができる。
[0132]図23は、本発明の一実施形態による走査ミラーを使用した3次元イメージングシステム2300を概略的に示す。3次元イメージングシステム2300は、ハウジング2304内に取り付けられた、カメラ2302と、第1のレーザ源2310と、第2のレーザ源2330と、を備える。第1のレーザ源2310および第2のレーザ源2330は、第1のコリメートされたレーザビームおよび第2のコリメートされたレーザビームをそれぞれ射出するように構成されてもよい。3次元イメージングシステム2300は、第1の垂直な扇形の光2314を形成するように第1のレーザビームを垂直方向に拡大するように構成された、円柱レンズなどの第1の光学要素2312をさらに備える。3次元イメージングシステム2300は、第1の垂直な扇形の光2314をカメラ2302の前方にある物体に向けて反射するように構成された第1のミラー2320をさらに備える。3次元イメージングシステム2300は、第2の垂直な扇形の光2334を形成するように第2のレーザ源2330から射出された第2のレーザビームを拡大するように構成された、第2の光学要素2332と、第2の垂直な扇形の光2334をカメラ2302の前方にある物体に向けて反射するように構成された第2のミラー2340と、をさらに備える。
[0133]一部の実施形態では、第1のミラー2320は、矢印によって示されるように第1の扇形の光2314を水平方向に走査するように、旋回軸2322を中心に振動するようにさらに構成される。同様に、第2のミラー2340は、矢印によって示されるように第2の扇形の光2334を水平方向に走査するように、旋回軸2342を中心に振動するようにさらに構成される。一実施形態では、第1のミラー2320および第2のミラー2340は、それぞれ、第1のモータ2324および第2のモータ2344によって機械的に駆動されてもよい。一実施形態では、3次元イメージングシステム2300は、第1のミラー2320および第2のミラー2340の回転角度をそれぞれ測定するための第1のエンコーダ2326および第2のエンコーダ2346をさらに備えることができる。一部の実施形態では、第1のエンコーダ2326および第2のエンコーダ2346は、フィードバック信号をプロセッサに送信し、その結果、プロセッサは、第1のモータ2324および第2のモータ2344に制御信号を送信して、第1のミラー2320および第2のミラー2340が同期して走査されることを確実にすることができる。
[0134]一部の実施形態では、第1の扇形の光2314および第2の扇形の光の2334は、約100度/秒から約1,000度/秒の範囲の角速度で走査され得る。第1の扇形の光2314は、物体に当たったときに物体上に第1の照明ラインを生成し、第2の光線の扇形の2334は物体に当たったときに物体上に第2の照明ラインを生成することができる。カメラ2302は、約60フレーム/秒から約1,000フレーム/秒の範囲のフレームレートで、第1の照明ラインおよび第2の照明ラインの画像を取り込むように構成されてもよい。各画像は、第1の扇形の光2314および第2の扇形の光2334が物体の対応する領域に当たるときに、2つの第1の照明ラインおよび第2の照明ラインの「スナップショット」を取り込むことができる。カメラ2302から物体の対応する領域までの距離は、画像内の第1の照明ラインと第2の照明ラインとの間の距離から決定されてもよい。このようにして、第1の扇形の光2314および第2の扇形の光2334が物体を横切って走査されるときに、カメラ2302によって取り込まれた一連の「スナップショット」から、物体の3次元画像が構築され得る。あるいは、カメラ2302から物体の対応する領域までの距離は、図22に関連して上述したように、画像の対応する画素における第1の照明ラインの検出と第2の照明ラインの検出との間の時間遅延を測定することによって決定されてもよい。第1の扇形の光2314および第2の扇形の光2334が物体を横切って走査されるときに、画像内のすべての画素の時間遅延を測定することによって、物体の3次元画像を構築することができる。
[0135]本発明の一部の実施形態によれば、第1のモータ2324および第2のモータ2344のそれぞれは、ボイスコイルモータ、ステッパモータ、またはサーボモータを含むことができる。一実施形態では、第1のモータ2324および第2のモータ2344のそれぞれは、第1のミラー2320および第2のミラー2340のそれぞれに結合されたカムを駆動する回転モータを備えることができる。
[0136]別の実施形態では、3次元イメージングシステム2300は、振動するミラーを使用する代わりに、2つの音響光学偏向器を使用して、第1の垂直な扇形の光2314および第2の垂直な扇形の光2334を電子的に走査することができる。さらに別の実施形態では、3次元イメージングシステム2300は、2つの回転するポリゴンミラーを使用して、第1の垂直な扇形の光2314および第2の垂直な扇形の光2334を走査することができる。ポリゴンミラーのそれぞれは、様々な実施形態により、従来のモータ、サーボモータ、またはステッパモータによって駆動することができる。
[0137]さらなる実施形態では、第1のレーザ源2310および第2のレーザ源2330のそれぞれは、第1の光学要素2312および第2の光学要素2332とともに、水平方向に走査されるように構成されてもよい。一実施形態では、第1のミラー2320および第2のミラー2340は、光学系の構成に応じて、必要とされなくてもよい。別の実施形態では、第1のミラー2320および第2のミラー2340のそれぞれは、第1のレーザ源2310または第2のレーザ源2330によって射出されるレーザビームを垂直方向に拡大して、垂直な扇形の光を形成するように構成される円柱反射面を備えることができる。この場合、第1の光学要素2312および第2の光学要素2332を省略してもよい。別の実施形態では、3次元イメージングシステム2300は、2つの別個のレーザ源の代わりに単一のレーザ源を含むことができる。この場合、3次元イメージングシステム2300は、単一のレーザ源によって射出されたレーザビームを2つのレーザビームに分割するビームスプリッタをさらに備えることができる。
[0138]図24は、本発明の別の実施形態による走査ミラーを使用した3次元イメージングシステム2400を概略的に示す。図23に示される3次元イメージングシステム2300と同様に、3次元イメージングシステム2400もまた、カメラ2302と、第1のレーザビームおよび第2のレーザビームをそれぞれ射出するように構成された第1のレーザ源2310および第2のレーザ源2330と、第1のレーザビームおよび第2のレーザビームを第1の垂直な扇形の光2314および第2の垂直な扇形の光2334にそれぞれ拡大するように構成された第1の光学要素2312および第2の光学要素2332と、第1の垂直な扇形の光2314および第2の垂直な扇形の光2334を、カメラ2302の前方にあるシーンに向けてそれぞれ反射するように構成された第1のミラー2320および第2のミラー2340と、を備える。3次元イメージングシステム2400は、第1のミラー2320と第2のミラー2340とを機械的に連結する連結アセンブリ2350をさらに備える。一実施形態では、連結アセンブリ2350は、第1のミラー2320に取り付けられた第1のロッドと、第2のミラー2340に取り付けられた第2のロッドと、第1のロッドおよび第2のロッドに取り付けられたクロスバーと、を備える。3次元イメージングシステム2400は、2つのモータを有する代わりに、連結アセンブリを介して第1のミラー2320と第2のミラー2340との両方を駆動するように構成された単一のモータ2324を備えることができる。連結アセンブリ2350は、第1のミラー2320および第2のミラー2340が互いに適切に位置合わせされ、同期して走査されることを確実にする。3次元イメージングシステム2400は、第1のミラー2320の回転角または第2のミラー2340の回転角を測定するための単一のエンコーダ2326を備えることができる。
[0139]図25は、本発明の別の実施形態による3次元イメージングシステム2500を示す。3次元イメージングシステム2500は、2つの照明源が2つの別々のハウジング2304および606に配置されることを除いて、3次元イメージングシステム2300と同様である。すなわち、第1のレーザ源2310、第1の光学要素2312、第1のミラー2320、第1のモータ2324、および第1のエンコーダ2326は、第1のハウジング2304内に配置され、第2のレーザ源2330、第2の光学要素2332、第2のミラー2340、第2のモータ2344、および第2のエンコーダ2346は、第2のハウジング606内に配置される。一部の実施形態では、カメラ2302は、第1のハウジング2304または第2のハウジング606のいずれかに配置することができる。別の実施形態では、カメラ2302は、別の別個のハウジング内に配置されてもよい。2つの照明源を別々のハウジングに配置することにより、システム全体を再設計することなく、分解能と検出範囲との間に存在し得るトレードオフに関して、2つの扇形の光2314および2334の間の距離を変えることが容易になる。自律車両のバンパなどの空間的に制約された領域に3次元イメージングシステム2500を取り付けることも、より容易であり得る。
[0140]本発明の一部の実施形態によれば、2つの扇形の光が互いに正確に平行であるという要件は、物体の3Dターゲット画像に対して物体の3D画像を較正することによって緩和され得る。例えば、飛行時間型(TOF)ライダシステムを使用することによって、物体の3Dターゲット画像を取得することができる。次いで、図23~図25に示すような3次元イメージングシステム2300、2400、または2500によって取得された物体の3D画像を3Dターゲット画像と比較して、較正係数のセットを生成することができる。較正係数のセットは、3Dターゲット画像と一致するように3次元イメージングシステムによって取得された3D画像に適用可能な、例えば平行移動、回転、およびスケーリングの係数を含むことができる。一実施形態では、較正はリアルタイムで行うことができる。別の実施形態では、較正は事前に実行されてもよく、較正係数は制御ソフトウェアによって記憶され、使用されてもよい。平行度の要件を緩和することによって、取付システムの設計の柔軟性を高めることができる。例えば、各照明源は個別に取り付けられてもよく、カメラは照明源とは別個に取り付けられてもよい。例えば、自律車両における障害物検出のために適用される場合、2つの照明源は、車両のヘッドライト器具に取り付けられてもよい。
[0141]図26は、本発明の別の実施形態による3次元イメージングシステム2600を示す。3次元イメージングシステム2600は、レーザ源2310と、光学要素2312と、ミラー2320と、モータ2324と、エンコーダ2326と、を備え得る1つの照明源のみを備える。3次元イメージングシステム2600は、カメラ2302をさらに備える。照明源は、扇形の光2314をカメラの視野内の物体に向けて投影する。扇形の光2314は、扇形の光が物体に当たるとき、物体上に照明ラインを形成することができる。この構成では、物体距離は、既知の物体を用いた事前較正に基づいて、カメラ2302によって取り込まれた画像に見られる照明ラインの位置の歪みによって決定され得る。歪みの量は、カメラ2302の軸と照明軸との間のベースライン距離Dに依存してもよい。
[0142]一部の実施形態では、照明源は、約1スイープ/秒から約20スイープ/秒の範囲の速度で視野を横切って扇形の光2314を走査するように構成されて、3次元イメージングシステム2600が、約1画像/秒から約20画像/秒の範囲の撮像レートで動作するようにする。上述したように、横方向の分解能は、照明源の走査レートとカメラ2302のフレームレートとの両方に依存し得る。
[0143]図27は、本発明のさらに別の実施形態による3次元イメージングシステム2700を示す。3次元イメージングシステム2700は、照明源の第1のカメラ2302とは反対側に配置された第2のカメラ2308を備えることを除いて、図26に示す3次元イメージングシステム2600と同様である。比較的遠く離れた物体、または別の物体の後ろに部分的に隠れている物体に対しては、1つのカメラによる照明ラインの視界が遮られることがある。照明源の反対側に第2のカメラを追加することは、少なくとも1つのカメラが照射ラインの明確な見通し視認性を有することを確実にするのに役立ち得る。一実施形態では、第1のカメラの軸と照明軸との間の第1のベースライン距離Dは、一方のカメラが、近くの物体の最適な奥行き分解能のために最適化され、他方のカメラが、長距離検出に最適化されるように、第2のカメラの軸と照明軸との間の第2のベースライン距離Dとは異なるように選択することができる。
[0144]図28は、本発明の別の実施形態による3次元イメージングシステム2800を示す。3次元イメージングシステム2800は、3つのレーザ源2310a~2310cと、レーザ源2310a~2310cによって射出されるレーザビームを3つの垂直な扇形の光2314a~2314cにそれぞれ拡大するための3つの光学要素2312a~2312cと、を備えることを除いて、図26に示す3次元イメージングシステム2600と同様である。この構成では、ミラー2320の走査範囲は、各扇形の光について、特定の角度視野AFOVa、AFOVb、またはAFOVcを生じ得る。全角度視野TAFOVは、3つの個々の扇形の光AFOVa、AFOVb、およびAFOVcの角度視野の和であってもよい。例えば、個々の扇形の光の角度視野AFOVa、AFOVb、またはAFOVcは、約30度であり得、全角度視野TAFOVは、約90度であり得る。よって、ミラー2320の比較的小さな走査範囲は、比較的大きな全視野(例えば、90度以上)を生じ得る。様々な実施形態によれば、隣接する扇形の光の角度視野は、互いに当接してもよいし、互いに部分的に重なり合っていてもよい。
[0145]図28に示す3次元イメージングシステム2800は、いくつかの利点をもたらすことができる。例えば、ミラー2320の比較的小さい走査範囲は、機械設計を簡素化し、より良い信頼性を提供することができる。加えて、所与の機械走査速さに対してシステムの全体フレームレートを増加させることもできる。他の実施形態では、より少ないまたはより多いレーザ源、例えば2または4つのレーザ源を使用することができる。一部の代替的な実施形態では、複数のレーザ源を使用する代わりに、ビームスプリッタ、回折光学要素、複数のファセットを有するミラーなどを使用して、複数の扇形の光を生成することができる。この手法は、本発明の他の実施形態でも実施することができる。例えば、図23~図25に示す3次元イメージングシステム2300、2400、2500の場合、扇形の光の単一対の代わりに、扇形の光の複数の対を生成することができ、各対は、全体角度視野のそれぞれの部分をカバーする。図27に示す3次元イメージングシステム2700において実施することもできる。
[0146]一部の実施形態では、図23~図28に示す3次元イメージングシステム2300、2400、2500、2600、2700、および2800において使用されるレーザ源(複数可)は、赤外線(IR)波長範囲(例えば、0.75μm~1000μm)でレーザビームを射出するように構成されてもよい。一部の実施形態では、第1のレーザ源2310および第2のレーザ源2330は、近赤外線(NIR)波長範囲(例えば、0.75μm~1.4μm)、または短波長赤外線(例えば、1.4μm~3μm)、または中波長赤外線波長範囲(例えば、3μm~8μm)にあるレーザビームを射出するように構成され得る。約1.5μmより長い波長で動作するレーザ源の場合、目がそれらの波長で焦点を合わせないので、エネルギーレベルはより高くなり得る。
[0147]3次元イメージングシステムに関連する1つの性能問題は、環境光制御である。環境光、特に太陽光からの光汚染は、カメラを飽和させ得る。大部分の環境光を排斥し、ダイナミックレンジおよび信号雑音比を改善するために、レーザ源などの狭帯域光源と組み合わせてカメラの前方で狭帯域フィルタを使用することができる。例えば、多層薄膜フィルタは、レーザ源の赤外線波長範囲において狭い透過帯域を有し、他のすべての波長に対して高い反射率を有するように設計することができる。しかし、ほとんどの多層薄膜型狭帯域フィルタでは、透過帯域の中心波長は通常、入射角に影響される。よって、大きな角度視野から画像を撮るカメラの場合、フィルタの中心波長は、フィルタに光が異なる角度で入射するときシフトし得る。以下で説明する解決策は、この問題に対処し得る。
[0148]図29は、本発明の一実施形態による走査フィルタ1260を備えた3次元イメージングシステム2900を示す。3次元イメージングシステム2900は、図24に示す3次元イメージングシステム2400と同様であり、カメラ2302と、2つのレーザ源2310および2330と、2つのミラー2320および2340と、2つのミラー2320および2340を同期して走査するための、2つのミラー2320および2340を接続する走査アセンブリ2350と、を備える。3次元イメージングシステム2900は、カメラ2302の前方に配置された狭帯域フィルタ2960をさらに備える。狭帯域フィルタ2960は、レーザ光が常に一定の角度でフィルタ2960に入射するように、2つのミラー2320および2340の走査と同期して走査されるように構成することができる。これは、図23~図28に示す3次元イメージングシステム2300、2400、2500、2600、2700、および2800の場合のように、走査照明に対してのみ可能であることに留意されたい。視野全体が同時に照らされるような大域照明が使用される場合、フィルタ2960の走査は入射角の変動を除去しない。
[0149]フィルタ2960の走査とミラー2320および2340の走査との同期は、機械的または電子的に達成することができる。ミラー2320および2340が機械的に走査される場合、ミラー角度における1度の変化は、入射角度における2度の変化になるため、フィルタ2960の走査速さとミラーの走査速さとの比は約2:1になるはずである。一実施形態では、フィルタ2960は、機械的バー2970を介して走査アセンブリ2350に結合され、その結果、モータ2324がミラー2320および2340の走査ならびにフィルタ2960の走査を駆動してもよい。
[0150]本発明の別の実施形態によれば、環境光の排斥のためにロックイン検出技法を使用することができる。例えば、レーザ源2310および2330によって射出されるレーザビームは、特定の周波数で変調されてもよく、カメラ2302は、他の信号を排斥するために同じ周波数の光を検出するように構成されてもよい。一実施形態では、図23~図28に示すような3次元イメージングシステム2300、2400、2500、2600、2700、および2800において、カメラ2302は、照明信号の変調周波数に同期したトリガ信号で動作され得る。
[0151]さらに別の実施形態によれば、カメラ2302は、照明をオンにした1つの画像と、照明をオフにした別の画像とを撮像するように構成することができる。差分画像により、背景信号を除去することができる。
[0152]図30は、本発明の一実施形態による構造化照明を使用した3次元イメージングシステム3000を概略的に示す。3次元イメージングシステム3000は、カメラ3002と、第1のレーザ源3010と、第2のレーザ源3020と、を備える。3次元イメージングシステム3000は、第1の回折光学要素3030と、第2の回折光学要素3040と、をさらに備える。第1の回折光学要素3030は、第1のレーザ源3010の前方に配置され、第1のレーザ源3010によって射出されたレーザビームを、カメラ3002の前方にある視野に投影される第1の構造化(パターン付き)照明3050に変換するように構成される。第2の回折光学要素3040は、第2のレーザ源3020の前方に配置され、第2のレーザ源3020によって射出されたレーザビームを、第2の構造化照明3060に変換するように構成される。様々な実施形態によれば、第1の構造化照明3050および第2の構造化照明3060のそれぞれは、格子パターン、垂直線、水平線などであり得る。第1の構造化照明3050および第2の構造化照明3060は、異なる一意に識別可能なパターンを有することができる。このように、システムは、2つの異なる照明パターンに対してクロスキャリブレーションされ得る。
[0153]2つのレーザ源3010および3020は、一定のベースライン距離だけ離れていてもよい。カメラ3002は、2つのレーザ源3010および3020の間に最適に配置されてもよく、その結果、カメラ3002は、第1の固定ベースライン距離Dだけ第1のレーザ源3010から分離され、第2の固定ベースライン距離Dだけ第2のレーザ源3020から分離される。図23~図25に示す3次元イメージングシステム2300、2400、および2500と同様に、カメラ3002によって取り込まれた画像に見られるような、2つのレーザ源3010および3020からの照射点間の見かけ上の距離を使用して、視野内の物体の距離を決定できる。あるいは、パターンの歪みを使用して距離情報を決定できる。一部の実施形態では、DおよびDに対して異なるベースライン距離を選択することができる。例えば、1つのベースライン距離は、より近い物体について良好な距離分解能のために最適化することができ、他のベースライン距離は、長距離検出のために最適化することができる。
[0154]第1の構造化照明3050および第2の構造化照明3060は、いくつかの方法で区別可能にすることができる。例えば、一方は水平線であり、他方は垂直線であり得る。あるいは、両方ともグリッドパターンであってもよいが、一方のグリッドが他方のグリッドの間隙に入るようにパターンがオフセットされる。一実施形態では、2つのレーザ源3010および3020を変調させて、カメラフレームレートと同期して交互に点滅させて、高度の分離を提供し、背景排斥のためのロックイン検出を可能にすることができる。別の実施形態では、2つのレーザ源3010および3020は、異なる波長範囲で動作するように構成されてもよい。カメラ3002は、狭帯域フィルタを使用して、2つの照明波長範囲を区別することができる。
[0155]さらなる実施形態では、それぞれが異なる狭帯域フィルタを有する2つのカメラを使用することができる。例えば、一方のカメラのフィルタを第1のレーザ源3010の波長範囲に同調させ、他方のカメラのフィルタを第2のレーザ源3020の波長範囲に同調させることができる。一部の実施形態では、照明3050および3060は、固定されてもよいし、より大きな視野またはより精細な分解能を可能にするように走査されてもよい。2台のカメラを使用して、一方のカメラの性能を他方がチェックして較正をさらに向上させることができる。2台のカメラを使用することはまた、カメラのうちの一方のビューから物体の一部が隠れている場合に、データの損失を防ぐこともできる。
[0156]図31は、本発明の別の実施形態による構造化照明を使用した3次元イメージングシステム3100を示す。3次元イメージングシステム3100は、第1のカメラ3102および第2のカメラ3104と、単一のレーザ源3110と、レーザ源3110の前方に配置され、レーザ源3110によって射出されるレーザビームを、2台のカメラ3102および3104の視野において構造化照明3150へと変換するように構成された回折光学要素3130と、を備える。第1のカメラ3102と第2のカメラ3104とは、一定のベースライン距離で互いに分離されている。レーザ源3110は、好ましくは、第1のカメラ3102と第2のカメラ3104との間に配置され、第1のカメラ3102から第1のベースライン距離Dだけ分離され、第2のカメラ3104から第2のベースライン距離Dだけ分離される。
[0157]1台ではなく2台のカメラを使用すると、いくつかの点でよりロバストな性能が可能になる。第1に、単一のカメラでは、視差エラーによって光の一部が遮られることがある。例えば、1つの物体は、前方の別の物体によって視線内において部分的に隠される場合がある。2台のカメラでは、1つの物体が一方のカメラの視線から部分的に隠れる場合があるが、他方のカメラの視線から隠れていない場合がある。したがって、照明の一部が見えない機会が減る可能性がある。第2に、一方のカメラの画像を使用して他方のカメラの画像を較正することができ、したがって、距離精度および位置精度が向上する。一部の実施形態では、DではなくDに対して異なるベースライン距離を選択することができる。例えば、1つのベースライン距離は、より近い物体について良好な距離分解能のために最適化することができ、他のベースライン距離は、長距離検出のために最適化することができる。
[0158]図23~図31に示す3次元イメージングシステムなどの、上述した3次元イメージングシステムは、多くの用途に使用することができる。例えば、障害物検出のために自律車両や無人機で使用することができる。図32は、本発明の一実施形態による、障害物検出のための自律または半自律車両3202に搭載された1つ以上の3次元イメージングシステム3210a~3210dを概略的に示す。例えば、第1の3次元イメージングシステム3210aは、車両3202の前方の物体を検出するために、車両3202の前側(例えば、フロントバンパ)に取り付けられてもよく、第2の3次元イメージングシステム3210bおよび第3の3次元イメージングシステム3210cは、側面の物体を検出するために、車両3202の両側に取り付けられてもよく、第4の3次元イメージングシステム3210dは、車両3202の後方の物体を検出するために、車両3202の後部(例えば、リヤバンパ上)に取り付けられてもよい。一部の実施形態では、車両3202の前側に取り付けられた第1の3次元イメージングシステム3210aは、長距離検出のために構成され、第2の3次元イメージングシステム3210b、第3の3次元イメージングシステム3210c、および第4の3次元イメージングシステム3210dは、中距離または短距離の検出のために構成することができる。
IV.車両の位置特定
[0159]車両の位置特定、すなわち車両の位置の決定は、ライダ、前方視カメラ、側方視カメラ、および全地球測位システム(GNSS)受信機(例えば、GPS受光機)などの複数のセンサを使用して達成することができる。車両からの向けられたカメラの使用により、車両を取り囲む環境内の建物または道路標識などの、車両の位置を決定するために使用することができる特徴を認識できる。しかしながら、このような情報から車両の位置および速さを正確に決定することは、様々な理由により困難であり得る。例えば、斜角およびデータの3次元的性質は、正確な計算の達成を困難にし得る。
[0160]本発明の一部の実施形態によれば、車両に搭載され、舗装道路に向かって(すなわち、実質的に垂直に)直接見下ろすセンサを使用して、車両の速さを決定することができる。図33は、車両3310の速さを決定するためのセンサ3320が搭載された車両3310を概略的に示す。センサ3320は、車両3310の側面に取り付けられているように示されているが、センサ3320は、車両3310の下に取り付けるのによく適し得る。センサ3320は、車両が走行している地面3340に光3330を照らすように構成された光源(図示せず)を含むことができる。センサ3320はまた、実質的に下方に地面3340に向けられたカメラ(図示せず)を含むことができる。カメラは、特定のフレームレートで光源によって照射された地面3340の画像を取り込むことができる。センサは、レーンマーカ、舗装割れ、および砂利のテクスチャなどの画像内の特徴を検出し、検出された特徴のフレーム間の動きを追跡することによって、車両の速さを決定することができる。
[0161]図34は、本発明の一部の実施形態による車両の速さを決定するためのセンサ3320を示す概略図である。センサ3320は、光源3322とカメラ3324とを含むことができる。光源3322は、車両が走行している地面3340の領域3332に光を当てるように構成することができる。カメラ3324は、光源3322によって照明された地面3340の領域3332の複数の画像フレームを所定のフレームレートで取り込むように構成することができる。センサ3320は、カメラ3324に結合されたプロセッサ3326をさらに含むことができる。プロセッサ3326は、複数の画像フレーム内の地面3340の1つ以上の特徴を検出するように構成することができる。例えば、プロセッサ3326は、エッジ検出アルゴリズムおよび/または画像セグメンテーションアルゴリズムなどの特徴検出アルゴリズムを使用して、画像内の特徴を検出することができる。プロセッサ3326は、検出された特徴のフレーム間の動きを追跡することによって、車両の速さを決定することができる。
[0162]図35Aおよび図35Bは、本発明の一実施形態による、2つの連続する画像フレーム3510および3520において、センサ3320のカメラ3324によって取り込まれ得る舗装道路の例示的な画像を示す。図示されているように、画像は、いくつかの亀裂などの舗装道路の特定の特徴を含むことができる。移動している車両の場合、特徴は、フレーム間で画像内の異なる位置に表示され得る。例えば、亀裂3530の縁部は、第1の画像フレーム3510の第1の長手方向位置(例えば、車両の移動方向)3540に現れる場合があり、第2の画像フレーム3520の第2の長手方向位置3550に現れる場合がある。第1の長手方向位置3540と第2の長手方向位置3550との間の距離dを測定し、カメラ3324のフレームレートを把握することによって、プロセッサ3326は、車両の速さを決定することができる。
[0163]車両の速さは、様々なアルゴリズムを使用して決定することができる。画像相互相関アルゴリズムを使用してもよい。オプティカルフローアルゴリズムを含む、当業者に知られている様々な物体追跡アルゴリズムを使用してもよい。オプティカルフローまたはオプティックフローは、オブザーバ(目またはカメラ)とシーンとの間の相対的な動きによって生じる、視覚シーン内の物体、表面、およびエッジの見かけの動きのパターンである。順序付けられた画像のシーケンスにより、瞬間的な撮像速度または離散的な画像変位のいずれかとしての動きを推定可能にし得る。オプティカルフローを決定する方法は、位相相関法、ブロックベース法、差分法、Horn-Schunck法、Buxton-Buxton法、Black-Jepson法、一般的な変分法、離散最適化法などを含むことができる。
[0164]車両の速さを決定することに加えて、プロセッサ3326はまた、フレームごとに検出された特徴の角度変化を追跡することによって、車両の旋回レートを決定することもできる。図36Aおよび図36Bは、本発明の一実施形態による、2つの連続する画像フレーム3610および3620において、センサ3320のカメラ3324によって取り込まれ得る舗装道路の例示的な画像を示す。画像は、レーンマーカ3630を含む。図示のように、画像フレームの長手方向位置の変化に加えて、レーンマーカ3630の向きも、第1のフレーム3610から第2のフレーム3620に変化している。2つのフレーム間の角度変化を測定し、カメラ3324のフレームレートを把握することによって、車両の旋回速度を計算することができる。
[0165]一部の実施形態では、センサ3320によって決定される車両の旋回速度は、慣性測定ユニット(IMU)またはコンパスなどの他のセンサからの情報を置換または補足するために使用されてもよい。車両の速さおよび旋回レートから、車両の速度を決定することができる。車両の速度をGNSSデータおよびライダデータなどの他のセンサからのデータと組み合わせて、車両の位置を決定してもよい。
[0166]センサ3320が車両の前方(ステアリング)の車輪の近くに取り付けられている一部の実施形態では、プロセッサ3326はまた、フレームごとの検出された特徴の左右の動き(例えば、横方向の動き)を追跡することによって、車両のステアリングホイールの位置を決定できる。
[0167]上述の図34に示すセンサ3320は、車両位置特定のために従来使用されている側方に取り付けられた(例えば、水平に取り付けられた)カメラなどの他のタイプのセンサを上回るいくつかの利点をもたらし得る。例えば、カメラ3324は、地面に向かって実質的に垂直な向きで直接下方に向けることができるので、斜角の三角法計算が必要とされない場合がある。よって、センサ3320は改善された精度を有することができる。さらに、車両の下面から路面までの典型的な距離はわずか約0.3メートルであるため、夜間の照明要件は従来のセンサに比べて軽減することができる。そのような短い距離で見る際の照明電力は、数メートル離れている場合がある建物などの物体を見ることよりもはるかに少なくし得る。
[0168]車両はまた、雨や雪などの天気の要素への暴露からセンサ3320のための覆い(例えば、センサ3320が車両の下に取り付けられる場所)を提供することができ、したがって、悪天候におけるロバスト性を改善し得る。一部の実施形態では、センサ3320はまた、レンズまたはカメラ3324の窓部を清浄に保つために、(例えば、風防ワイパと同様の)ワイパシステム、液体スプレー、エアジェット、またはそれらの組み合わせを含むこともできる。
[0169]図34を参照すると、カメラ3324は、画像フレームを取り込むためのシャッタ3328を含むことができる。シャッタ3328は、様々な実施形態により、ローリングシャッタまたはグローバルシャッタとして動作することができる。ローリングシャッタは、シーン全体のスナップショットを1つの瞬間に撮影するのではなく、垂直方向または水平方向のいずれかに迅速にシーンを横断して走査することにより、静止画(スチルカメラの場合)またはビデオの各フレーム(ビデオカメラの場合)を取り込む、画像を取り込む方法である。換言すれば、シーンの画像のすべての部分がまったく同じ瞬間に記録されるわけではない。これにより、高速で動く物体や急激な光のちらつきの予測可能な歪みが生じることがある。これは、フレーム全体が同じ瞬間に取り込まれる「グローバルシャッタ」とは対照的である。ローリングシャッタが使用される一部の実施形態では、走査の方向は、車両の長手方向に対して垂直であってもよく(例えば、車両の走行方向に垂直な横方向)、その結果、画像の歪みを最小化できる。
[0170]一部の実施形態では、光源3322は、照明のために可視光を射出するように構成されてもよい。一部の他の実施形態では、光源3322は、周囲の他の車両の運転手の気を散らす可能性を低減するために、照明のために赤外線または紫外線を射出するように構成されてもよい。プロセッサ3336は、光源3322に結合され、光源3322の動作を制御するように構成されてもよい。
[0171]図37は、本発明の一実施形態による車両の速さを決定する方法3700を説明する簡略化した流れ図を示す。方法3700は、3702において、車両に搭載された光源を使用して、車両が走行している地面を照らすステップと、3704において、車両に搭載されたカメラを使用して、所定のフレームレートで光源によって照らされた地面の複数の画像フレームを取り込むステップと、3706において、カメラに結合された1つ以上のプロセッサを使用して、複数の画像フレーム内の地面の1つ以上の形体を検出するステップと、3708において、1つ以上のプロセッサを使用して、1つ以上の形体をフレームごとに追跡することによって、車両の速さを決定するステップと、を含む。
[0172]一部の実施形態では、方法3700はまた、1つ以上のプロセッサを使用して、1つ以上の特徴の向きの変化をフレームごとに追跡することによって、車両の旋回レートを決定するステップを含むこともできる。方法3700はまた、1つ以上のプロセッサを使用して、地面の1つ以上の特徴の横方向の移動をフレームごとに追跡することによって、車両のステアリングホイールの位置を決定するステップを含むこともできる。
[0173]一部の実施形態では、方法3700は、コンパス、ジャイロスコープ、慣性測定ユニット(IMU)、および全地球測位システム(GNSS)受信機のうちの少なくとも1つを使用して、車両が走行している方向を決定するステップと、車両の速さおよび車両の走行方向に基づいて、車両の速度を決定するステップと、を含む。方法3700は、GNSS信号が利用可能であるときにGNSSデータに基づいて、車両の位置を決定するステップと、GNSS信号が利用可能でないときに車両の速度に基づいて、車両の位置を決定するステップと、をさらに含み得る。
[0174]特定の実施形態の特定の詳細は、本発明の実施形態の趣旨および範囲から逸脱することなく、任意の適切な方法で組み合わせることができる。しかしながら、本発明の他の実施形態は、それぞれの個々の実施態様、またはこれらの個々の実施態様の特定の組み合わせに関する特定の実施形態に向けられ得る。
[0175]本発明の例示的な実施形態の上記説明は、例示および説明の目的で提示されたものである。網羅的であることを意図するものでもなく、本発明を記載された正確な形態に限定することも意図されておらず、上記の教示に照らして多くの修正および変形が可能である。実施形態は、本発明の原理およびその実際的な用途を説明し、それにより、当業者が、様々な実施形態において、また企図される特定の用途に適した様々な修正形態で本発明を利用できるように選択および記載した。
本発明に関する開示は以下の項目も提供する。
(項目1)
物体の3次元イメージングのためのライダシステムであって、前記ライダシステムが、
射出面内の複数の射出場所を通って平行移動されるように構成されたレーザ源であって、前記レーザ源が、複数のレーザパルスを射出するように構成され、前記複数のレーザパルスのそれぞれが、前記複数の射出場所のそれぞれ1つで射出される、レーザ源と、
前記複数のレーザパルスを前記物体に向けてコリメートし、かつ誘導するように構成された射出レンズであって、前記複数のレーザパルスのそれぞれの部分が、前記物体から反射される、射出レンズと、
前記物体から反射された前記複数のレーザパルスのそれぞれの前記部分を受光し、検出面内の複数の対応する検出場所に集束させるように構成された受光レンズであって、前記複数の対応する検出場所のそれぞれが、前記複数の射出場所のそれぞれ1つと共役である、受光レンズと、
前記検出面内の前記複数の対応する検出場所を通って平行移動するように構成され、前記物体から反射された前記複数のレーザパルスのそれぞれの前記部分を受光し、検出するように構成された光検出器と、
前記レーザ源および前記光検出器に結合されたプロセッサであって、前記プロセッサが、
射出から検出までの前記複数のレーザパルスのそれぞれの飛行時間を決定し、
前記複数のレーザパルスのそれぞれについて前記決定された飛行時間に基づいて、前記物体の3次元画像を構築するように構成されるプロセッサと、
を備える、ライダシステム。
(項目2)
プラットフォームをさらに備え、前記レーザ源および前記光検出器が、前記プラットフォーム上に搭載され、前記プラットフォームが、前記複数の射出場所を通って前記レーザ源を平行移動させ、かつ前記複数の検出場所を通って前記光検出器を平行移動させるように、平行移動されるように構成され、前記レーザ源と前記光検出器との間の距離が、前記プラットフォームが平行移動されるときに、前記レーザ源と前記光検出器が互いに常に空間的に共役であるようになされる、項目1に記載のライダシステム。
(項目3)
前記プラットフォームに結合され、前記プラットフォームを平行移動させるように構成されたフレクシャをさらに備える、項目2に記載のライダシステム。
(項目4)
前記プラットフォームが、ボイスコイルモータ、圧電トランスデューサ、トーションモータ、または回転モータを使用して前記フレクシャを作動させることによって平行移動される、項目3に記載のライダシステム。
(項目5)
第1のプラットフォームであって、前記レーザ源が前記第1のプラットフォーム上に搭載され、前記第1のプラットフォームが、前記レーザ源を前記複数の射出場所を通って平行移動させるように、平行移動されるように構成される、第1のプラットフォームと、
第2のプラットフォームであって、前記光検出器が前記第2のプラットフォーム上に搭載され、前記第2のプラットフォームが、前記複数の検出場所を通って前記光検出器を平行移動させるように、平行移動するように構成され、
前記第1のプラットフォームの平行移動は、前記第1のプラットフォームおよび前記第2のプラットフォームが平行移動されるときに、前記レーザ源および前記光検出器が互いに常に空間的に共役になるように、前記第2のプラットフォームの平行移動と同期して実行される、第2のプラットフォームと、
をさらに備える、項目1に記載のライダシステム。
(項目6)
前記第1のプラットフォームに結合され、前記第1のプラットフォームを平行移動させるように構成された第1のフレクシャと、
前記第2のプラットフォームに結合され、前記第2のプラットフォームを平行移動させるように構成された第2のフレクシャと、
をさらに備える、項目5に記載のライダシステム。
(項目7)
前記射出レンズの焦点距離は、前記複数の射出場所を通る前記射出面における前記レーザ源の平行移動が、約5度から約15度まで、または約15度から約45度まで、または約45度から約90度までの範囲の前記ライダシステムからの角度に対する物体サイズ上で、前記物体を横切る前記複数のレーザパルスの走査をもたらすように選択される、項目1に記載のライダシステム。
(項目8)
前記射出面内で前記複数の射出場所を通って前記レーザ源を平行移動させることは、前記射出面内において1次元で前記レーザ源をラスタ走査することを含み、
前記検出面内で前記複数の対応する検出場所を通って前記光検出器を平行移動することは、前記検出面内において1次元で前記光検出器をラスタ走査することを含む、項目1に記載のライダシステム。
(項目9)
前記射出面内で前記複数の射出場所を通って前記レーザ源を平行移動させることは、前記射出面内において2次元で前記レーザ源をラスタ走査することを含み、
前記検出面内で前記複数の対応する検出場所を通って前記光検出器を平行移動することは、前記検出面内において2次元で前記光検出器をラスタ走査することを含む、項目1に記載のライダシステム。
(項目10)
第1の方向における、前記レーザ源のラスタ走査が、第1の速さで行われ、
前記第1の方向に垂直な第2の方向における、前記レーザ源のラスタ走査が、前記第1の速さとは異なる第2の速さで行われ、
前記第1の方向における前記検出器のラスタ走査が、前記第1の速さで行われ、
前記第2の方向における前記検出器のラスタ走査が、前記第2の速さで行われる、
項目9に記載のライダシステム。
(項目11)
前記レーザ源の基準位置に対する前記レーザ源の位置を決定するための位置エンコーダであって、前記位置エンコーダが前記プロセッサに結合され、前記プロセッサが前記複数のレーザパルスのそれぞれについての前記決定された飛行時間と前記レーザ源の前記位置に基づいて、前記物体の3次元画像を構築するように構成される、位置エンコーダをさらに備える、項目1に記載のライダシステム。
(項目12)
3次元イメージングの方法であって、前記方法が、
射出面内の複数の射出場所のそれぞれにレーザ源を平行移動させるステップと、
前記レーザ源を使用して、複数のレーザパルスを射出するステップであって、前記複数のレーザパルスのそれぞれが、前記複数の射出場所のそれぞれ1つで射出される、ステップと、
射出レンズを使用して、前記複数のレーザパルスを物体に向けてコリメートし、かつ誘導するステップであって、前記複数のレーザパルスのそれぞれの部分は、前記物体から反射される、ステップと、
受光レンズを使用して、前記物体から反射された前記複数のレーザパルスのそれぞれの前記部分を受光し、検出面内の複数の対応する検出場所に集束させる、ステップであって、各対応する検出場所が、それぞれの射出場所と共役である、ステップと、
前記検出面内の前記複数の対応する検出場所のそれぞれに光検出器を平行移動させるステップと、
前記光検出器を使用して、前記複数の検出場所のそれぞれにおける前記複数のレーザパルスのそれぞれの前記部分を検出するステップと、
プロセッサを使用して、射出から検出までの前記複数のレーザパルスのそれぞれの飛行時間を決定するステップと、
前記複数のレーザパルスのそれぞれについて前記決定された飛行時間に基づいて、前記物体の3次元画像を構築するステップと、
を含む、方法。
(項目13)
前記検出面内の前記複数の対応する検出場所のそれぞれに前記光検出器を平行移動させる前記ステップが、前記射出面内の前記複数の射出場所のそれぞれに前記レーザ源を平行移動させる前記ステップと同期して実行されて、前記光検出器の位置が前記レーザ源の位置と常に共役であるようにする、項目12に記載の方法。
(項目14)
前記レーザ源と前記光検出器とは同じプラットフォーム上に搭載され、前記レーザ源を平行移動させるステップおよび前記光検出器を平行移動させるステップは、前記プラットフォームを平行移動させるステップを含む、項目13に記載の方法。
(項目15)
前記レーザ源が第1のプラットフォーム上に搭載され、前記光検出器が第2のプラットフォーム上に搭載され、前記レーザ源を平行移動させるステップが前記第1のプラットフォームを平行移動させるステップを含み、前記光検出器を平行移動させるステップが前記第2のプラットフォームを平行移動させるステップを含む、項目13に記載の方法。
(項目16)
前記射出面内で前記複数の射出場所を通って前記レーザ源を平行移動させるステップは、前記射出面内において1次元で前記レーザ源をラスタ走査するステップを含み、
前記検出面内で前記複数の対応する検出場所を通って前記光検出器を平行移動するステップは、前記検出面内において1次元で前記光検出器をラスタ走査するステップを含む、
項目13に記載の方法。
(項目17)
前記射出面内で前記複数の射出場所を通って前記レーザ源を平行移動させるステップは、前記射出面内において2次元で前記レーザ源をラスタ走査するステップを含み、
前記検出面内で前記複数の対応する検出場所を通って前記光検出器を平行移動するステップは、前記検出面内において2次元で前記光検出器をラスタ走査するステップを含む、
項目13に記載の方法。
(項目18)
物体の3次元イメージングのためのライダシステムであって、前記ライダシステムが、
射出面内の第1の複数の射出場所を通って平行移動されるように構成された第1のレーザ源であって、前記第1のレーザ源が前記第1の複数の射出場所で第1の複数のレーザパルスをそれぞれ射出するように構成される、第1のレーザ源と、
前記射出面内の第2の複数の射出場所を通って平行移動されるように構成された第2のレーザ源であって、前記第2のレーザ源が、前記第2の複数の射出場所で第2の複数のレーザパルスをそれぞれ射出するように構成される、第2のレーザ源と、
前記第1の複数のレーザパルスおよび前記第2の複数のレーザパルスを物体に向けてコリメートし、かつ誘導するように構成された射出レンズであって、前記第1の複数のレーザパルスのそれぞれおよび前記第2の複数のレーザパルスのそれぞれの部分は、前記物体から反射される、射出レンズと、
前記物体から反射された前記第1の複数のレーザパルスのそれぞれおよび前記第2の複数のレーザパルスのそれぞれの前記部分を受光し、検出面内の第1の複数の対応する検出場所および第2の複数の対応する検出場所に集束させるように構成された受光レンズであって、前記第1の複数の対応する検出場所のそれぞれが前記第1の複数の射出場所のそれぞれ1つと共役であり、前記第2の複数の対応する検出場所のそれぞれが前記第2の複数の射出場所のそれぞれ1つと共役である、受光レンズと、
前記検出面内の前記第1の複数の対応する検出場所を通って平行移動するように構成され、前記物体から反射された前記第1の複数のレーザパルスのそれぞれの前記部分を受光し、検出するように動作する、第1の光検出器と、
前記検出面内の前記第2の複数の対応する検出場所を通って平行移動するように構成され、前記物体から反射された前記第2の複数のレーザパルスのそれぞれの前記部分を受光し、検出するように動作する、第2の光検出器と、
前記第1のレーザ源、前記第2のレーザ源、前記第1の光検出器、および前記第2の光検出器に結合されたプロセッサであって、前記プロセッサが、
射出から検出までの前記第1の複数のレーザパルスのそれぞれおよび前記第2の複数のレーザパルスのそれぞれの飛行時間を決定し、
前記第1の複数のレーザパルスのそれぞれおよび前記第2の複数のレーザパルスのそれぞれについて前記決定された飛行時間に基づいて、前記物体の3次元画像を構築する
ように構成される、プロセッサと、
を備える、ライダシステム。
(項目19)
プラットフォームをさらに備え、
前記第1のレーザ源と、前記第2のレーザ源と、前記第1の光検出器と、前記第2の光検出器と、が前記プラットフォームに搭載され、前記プラットフォームが、前記第1の複数の射出場所を通って前記第1のレーザ源を平行移動させ、前記第2の複数の射出場所を通って前記第2のレーザ源を平行移動させ、前記第1の複数の検出場所を通って前記第1の光検出器を平行移動させ、前記第2の複数の検出場所を通って前記第2の光検出器を移動させるために、平行移動されるように構成され、
前記第1のレーザ源、前記第2のレーザ源、前記第1の光検出器、および前記第2の光検出器は、前記プラットフォームが平行移動されるときに前記第1のレーザ源と前記第1の光検出器が互いに常に空間的に共役であるように、かつ前記プラットフォームが平行移動されるときに前記第2のレーザ源と前記第2の光検出器が互いに常に空間的に共役であるように、前記プラットフォームに配置される、
プラットフォームをさらに備えた項目18に記載のライダシステム。
(項目20)
前記プラットフォームに結合され、前記プラットフォームを平行移動させるように構成されたフレクシャをさらに備える、項目19に記載のライダシステム。
(項目21)
第1のプラットフォームであって、前記第1のレーザ源および前記第1の光検出器が前記第1のプラットフォーム上に搭載され、前記第1のプラットフォームが、前記前記第1のレーザ源を前記第1の複数の射出場所を通って平行移動させるように、かつ前記第1の光検出器を前記第1の複数の検出場所を通って平行移動させるように、平行移動されるように構成され、前記第1のレーザ源と前記第1の光検出器との間の距離が、前記第1のプラットフォームが平行移動されるときに、前記第1のレーザ源と前記第1の光検出器とが互いに常に空間的に共役であるようになされる、第1のプラットフォームと、
第2のプラットフォームであって、前記第2のレーザ源および前記第2の光検出器が前記第2のプラットフォーム上に搭載され、前記第2のプラットフォームが、前記第2のレーザ源を前記第2の複数の射出場所を通って平行移動させるように、かつ前記第2の光検出器を前記第2の複数の検出場所を通って平行移動させるように、平行移動されるように構成され、前記第2のレーザ源と前記第2の光検出器との間の距離が、前記第2のプラットフォームが平行移動されるときに、前記第2のレーザ源と前記第2の光検出器とが互いに常に空間的に共役であるようになされる、第2のプラットフォームと、
をさらに備える、項目18に記載のライダシステム。
(項目22)
前記第1のプラットフォームに結合され、前記第1のプラットフォームを平行移動させるように構成された第1のフレクシャと、
前記第2のプラットフォームに結合され、前記第2のプラットフォームを平行移動させるように構成された第2のフレクシャと、
をさらに備える、項目21に記載のライダシステム。
(項目23)
前記第1のフレクシャおよび前記第2のフレクシャが、それぞれ、前記第1のプラットフォームおよび第2のプラットフォームを、互いに反対方向に平行移動させるように構成される、項目22に記載のライダシステム。

Claims (10)

  1. 物体の3次元イメージングのためのライダシステムであって、前記ライダシステムが、
    ベースと、
    前記ベースに対して固定された射出レンズおよび受光レンズと、
    プラットフォームと、
    前記プラットフォームを前記ベースに結合するフレクシャと、
    前記プラットフォームに取り付けられたレーザ源および光検出器であって、
    前記レーザ源は複数のレーザパルスを射出するように構成され、前記複数のレーザパルスの各レーザパルスは、前記射出レンズによってコリメートされ、物体に向けられるように、前記プラットフォームが平行移動するとき、前記射出レンズの焦点面における複数の射出場所のそれぞれの1つで射出され、前記複数のレーザパルスの各レーザパルスの部分が前記物体から反射され、
    前記光検出器は、前記物体から反射された前記複数のレーザパルスの各レーザパルスの前記部分を受光および検出し、前記プラットフォームが平行移動するとき、前記光検出器が、前記レーザ源と光学的に共役のままであるように、前記レーザ源から距離を離して配置される、レーザ源および光検出器と、
    前記レーザ源および前記光検出器に結合されたプロセッサであって、前記プロセッサが、
    射出から検出までの前記複数のレーザパルスの各レーザパルスの飛行時間を決定し、
    前記複数のレーザパルスの各レーザパルスについて前記決定された飛行時間に基づいて、前記物体の3次元画像を構築するように構成されるプロセッサと、
    を備え
    前記プラットフォームは、前記レーザ源が前記射出レンズの焦点面にあり、前記光検出器が前記受光レンズの焦点面にあるように、前記射出レンズおよび前記受光レンズから離されており、
    前記フレクシャは、前記プラットフォームを前記射出レンズおよび前記受光レンズに対して平行移動させるように横方向にたわむように構成される 、ライダシステム。
  2. 前記プラットフォームが、ボイスコイルモータ、圧電トランスデューサ、トーションモータ、または回転モータを使用して前記フレクシャを作動させることによって平行移動される、請求項1に記載のライダシステム。
  3. 前記射出レンズの焦点距離は、前記プラットフォームの平行移動が、約5度から約15度まで、または約15度から約45度まで、または約45度から約90度までの範囲の前記ライダシステムからの角度に対する物体サイズにわたって、前記物体を横切る前記複数のレーザパルスの走査をもたらすように選択される、請求項1に記載のライダシステム。
  4. 前記プラットフォームの平行移動が、前記射出レンズの前記焦点面内において1次元で前記レーザ源をラスタ走査することと、前記受光レンズの前記焦点面内において1次元で前記光検出器をラスタ走査することをもたらす、請求項1に記載のライダシステム。
  5. 前記プラットフォームの平行移動が、前記射出レンズの前記焦点面内において2次元で前記レーザ源をラスタ走査することと、前記受光レンズの前記焦点面内において2次元で前記光検出器をラスタ走査することをもたらす、請求項1に記載のライダシステム。
  6. 第1の方向における、前記プラットフォームの平行移動が、第1の速さで行われ、
    前記第1の方向に直交する第2の方向における、前記プラットフォームの平行移動が、前記第1の速さとは異なる第2の速さで行われる、
    請求項5に記載のライダシステム。
  7. 前記レーザ源の基準位置に対する前記レーザ源の位置を決定するための位置エンコーダであって、前記位置エンコーダが前記プロセッサに結合され、前記プロセッサが前記複数のレーザパルスの各レーザパルスについての前記決定された飛行時間と前記レーザ源の前記位置に基づいて、前記物体の3次元画像を構築するように構成される、位置エンコーダをさらに備える、請求項1に記載のライダシステム。
  8. ライダシステムを用いた3次元イメージングの方法であって、前記方法が、
    プラットフォームをベースに結合するフレクシャをたわませることにより、前記プラットフォームを前記ベースに対して平行移動させるステップであって、前記ライダシステムは、
    前記ベースに対して固定された射出レンズおよび受光レンズと、
    前記プラットフォームに取り付けられたレーザ源および光検出器であって、前記光検出器は、前記プラットフォームが平行移動するとき、前記光検出器が、前記レーザ源と光学的に共役のままであるように、前記レーザ源から距離を離して配置される、レーザ源および光検出器を備え
    前記プラットフォームは、前記レーザ源が前記射出レンズの焦点面にあり、前記光検出器が前記受光レンズの焦点面にあるように、前記射出レンズおよび前記受光レンズから離されている 、ステップと、
    前記レーザ源を使用して、複数のレーザパルスを射出するステップであって、前記複数のレーザパルスの各レーザパルスが、前記プラットフォームが平行移動するとき、前記射出レンズの焦点面における複数の射出場所のそれぞれ1つで射出される、ステップと、
    前記射出レンズを使用して、前記複数のレーザパルスを物体に向けてコリメートし、かつ誘導するステップであって、前記複数のレーザパルスの各レーザパルスの部分が前記物体から反射される、ステップと、
    前記受光レンズを使用して、前記物体から反射された前記複数のレーザパルスの各レーザパルスの前記部分を受光し、集束させる、ステップと、
    前記光検出器を使用して、前記複数のレーザパルスの各レーザパルスの前記部分を検出するステップと、
    プロセッサを使用して、射出から検出までの前記複数のレーザパルスの各レーザパルスの飛行時間を決定するステップと、
    前記複数のレーザパルスの各レーザパルスについて前記決定された飛行時間に基づいて、前記物体の3次元画像を構築するステップと、
    を含む、方法。
  9. 前記プラットフォームを平行移動させるステップが、前記射出レンズの前記焦点面内において1次元で前記レーザ源をラスタ走査するステップと、前記受光レンズの前記焦点面内において1次元で前記光検出器をラスタ走査するステップをもたらす、請求項8に記載の方法。
  10. 前記プラットフォームを平行移動させるステップが、前記射出レンズの前記焦点面内において2次元で前記レーザ源をラスタ走査するステップと、前記受光レンズの前記焦点面内において2次元で前記光検出器をラスタ走査するステップをもたらす、請求項8に記載の方法。
JP2018557022A 2016-04-26 2017-04-03 3次元イメージングシステム Active JP7108308B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022110808A JP7332210B2 (ja) 2016-04-26 2022-07-08 3次元イメージングシステム

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662327447P 2016-04-26 2016-04-26
US62/327,447 2016-04-26
US15/267,558 US10451740B2 (en) 2016-04-26 2016-09-16 Scanning lidar systems for three-dimensional sensing
US15/267,558 2016-09-16
US15/288,206 2016-10-07
US15/288,206 US10481266B2 (en) 2016-04-26 2016-10-07 Multi-range three-dimensional imaging systems
US15/389,368 US10754036B2 (en) 2016-04-26 2016-12-22 Scanning illuminated three-dimensional imaging systems
US15/389,368 2016-12-22
PCT/US2017/025785 WO2017189185A1 (en) 2016-04-26 2017-04-03 Three-dimensional imaging systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022110808A Division JP7332210B2 (ja) 2016-04-26 2022-07-08 3次元イメージングシステム

Publications (2)

Publication Number Publication Date
JP2019521314A JP2019521314A (ja) 2019-07-25
JP7108308B2 true JP7108308B2 (ja) 2022-07-28

Family

ID=60088474

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018557022A Active JP7108308B2 (ja) 2016-04-26 2017-04-03 3次元イメージングシステム
JP2022110808A Active JP7332210B2 (ja) 2016-04-26 2022-07-08 3次元イメージングシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022110808A Active JP7332210B2 (ja) 2016-04-26 2022-07-08 3次元イメージングシステム

Country Status (5)

Country Link
US (4) US10451740B2 (ja)
EP (1) EP3449274A4 (ja)
JP (2) JP7108308B2 (ja)
CN (1) CN109416399B (ja)
WO (1) WO2017189185A1 (ja)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747135B2 (en) 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US10451740B2 (en) 2016-04-26 2019-10-22 Cepton Technologies, Inc. Scanning lidar systems for three-dimensional sensing
USD832845S1 (en) * 2016-08-01 2018-11-06 Hand Held Products, Inc. Optical scanner
DE102016220504A1 (de) * 2016-10-19 2018-04-19 Robert Bosch Gmbh 3D-LIDAR-Sensor
DE102016220468A1 (de) * 2016-10-19 2018-04-19 Robert Bosch Gmbh Lidar-Sensor zur Erfassung eines Objektes
US10684358B2 (en) * 2016-11-11 2020-06-16 Raytheon Company Situational awareness sensor using a fixed configuration of optical phased arrays (OPAs)
IT201700021559A1 (it) * 2017-02-27 2018-08-27 St Microelectronics Srl Procedimento per il controllo di raggi laser, dispositivo, apparecchiatura e prodotto informatico corrispondenti
KR102592139B1 (ko) 2017-03-13 2023-10-23 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
US10114111B2 (en) 2017-03-28 2018-10-30 Luminar Technologies, Inc. Method for dynamically controlling laser power
US20180284246A1 (en) * 2017-03-31 2018-10-04 Luminar Technologies, Inc. Using Acoustic Signals to Modify Operation of a Lidar System
US10677897B2 (en) 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
JP6865492B2 (ja) 2017-07-28 2021-04-28 オプシス テック リミテッド 小角度発散を伴うvcselアレイlidar送信機
US10346994B2 (en) * 2017-07-29 2019-07-09 Verizon Patent And Licensing Inc. Systems and methods for inward-looking depth scanning of a real-world scene
US10317905B2 (en) * 2017-08-10 2019-06-11 RavenOPS, Inc. Autonomous robotic technologies for industrial inspection
US11460550B2 (en) 2017-09-19 2022-10-04 Veoneer Us, Llc Direct detection LiDAR system and method with synthetic doppler processing
EP3460518B1 (en) * 2017-09-22 2024-03-13 Leica Geosystems AG Hybrid lidar-imaging device for aerial surveying
JP7117092B2 (ja) * 2017-09-25 2022-08-12 株式会社トプコン レーザ測定方法及びレーザ測定装置
US11194022B2 (en) 2017-09-29 2021-12-07 Veoneer Us, Inc. Detection system with reflection member and offset detection array
US10921431B2 (en) 2017-10-19 2021-02-16 Cepton Technologies Inc. Apparatuses for scanning a lidar system in two dimensions
USD848429S1 (en) * 2017-11-08 2019-05-14 Lee Seng Fook Hand held 3D scanning device with feedback system
USD848428S1 (en) * 2017-11-08 2019-05-14 Lee Seng Fook Hand held 3D scanning device
KR102589319B1 (ko) 2017-11-15 2023-10-16 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
US11585901B2 (en) 2017-11-15 2023-02-21 Veoneer Us, Llc Scanning lidar system and method with spatial filtering for reduction of ambient light
US10816666B2 (en) * 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US11585902B2 (en) 2017-11-30 2023-02-21 Cepton Technologies, Inc. Optical designs using cylindrical lenses for improved resolution in lidar systems
DE102017221797A1 (de) * 2017-12-04 2019-06-06 Osram Gmbh Lidar-System zur Umfelderfassung und Verfahren zum Betreiben eines Lidar-Systems
CN109884656B (zh) * 2017-12-06 2021-05-28 北京万集科技股份有限公司 用于实现扫描视场分区的激光雷达及测距方法
CN109313822B (zh) * 2017-12-13 2020-04-10 广州艾若博机器人科技有限公司 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
US11662433B2 (en) 2017-12-22 2023-05-30 Denso Corporation Distance measuring apparatus, recognizing apparatus, and distance measuring method
CN108254736B (zh) * 2017-12-31 2022-05-13 天津木牛流马科技发展股份有限公司 亚毫米级激光雷达
CN108241146A (zh) * 2018-01-15 2018-07-03 深圳市速腾聚创科技有限公司 激光雷达及提高激光雷达发射点频的方法
WO2019140792A1 (zh) 2018-01-17 2019-07-25 上海禾赛光电科技有限公司 一种探测设备及其参数调整方法
DE102018201508B4 (de) * 2018-02-01 2021-03-18 Robert Bosch Gmbh Verwendung in einem LiDAR-System eines Verfahrens zum Betrieb eines LiDAR-Systems durch Aussenden von Laserlicht in Form von Laserpulsen
US10771690B2 (en) * 2018-02-10 2020-09-08 Goodrich Corporation Distributed aperture systems for obstacle avoidance
US11592527B2 (en) 2018-02-16 2023-02-28 Cepton Technologies, Inc. Systems for incorporating LiDAR sensors in a headlamp module of a vehicle
US20190285734A1 (en) * 2018-03-14 2019-09-19 Infineon Technologies Ag Detection system with configurable range and field of view
CN111919137A (zh) 2018-04-01 2020-11-10 欧普赛斯技术有限公司 噪声自适应固态lidar系统
CN112204486A (zh) * 2018-04-03 2021-01-08 尚科宁家运营有限公司 机器人导航的飞行时间传感器布置及用其定位的方法
US10694168B2 (en) * 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR102466555B1 (ko) * 2018-06-14 2022-11-14 현대모비스 주식회사 라이다 센서 및 그 제어 방법
CN109116331B (zh) * 2018-06-27 2020-04-24 上海禾赛光电科技有限公司 一种编码激光收发装置、测距装置以及激光雷达系统
US10466342B1 (en) 2018-09-30 2019-11-05 Hesai Photonics Technology Co., Ltd. Adaptive coding for lidar systems
US11822020B2 (en) 2018-07-10 2023-11-21 Cepton Technologies, Inc. Scanning lidar systems with moving lens assembly
US20200019192A1 (en) 2018-07-13 2020-01-16 Caterpillar Paving Products Inc. Object detection and implement position detection system
US10627516B2 (en) 2018-07-19 2020-04-21 Luminar Technologies, Inc. Adjustable pulse characteristics for ground detection in lidar systems
DE102018118584A1 (de) 2018-07-31 2020-02-06 Blickfeld GmbH Fahrzeugscheinwerfer mit LIDAR-Modul
CN110850859B (zh) * 2018-08-01 2023-03-07 深圳市优必选科技有限公司 一种机器人及其避障方法和避障系统
EP3627175B1 (de) 2018-09-19 2020-07-22 Sick Ag Optoelektronischer sensor und verfahren zur ablenkung eines lichtstrahls
JP7242234B2 (ja) * 2018-09-28 2023-03-20 キヤノン株式会社 光検出装置、光検出システム
DE102018216707A1 (de) * 2018-09-28 2020-04-02 Ibeo Automotive Systems GmbH Umfelderkennungssystem sowie Verfahren für ein Umfelderkennungssystem
US20200103504A1 (en) * 2018-10-02 2020-04-02 GM Global Technology Operations LLC Multiple photonic chip lidar system architecture
US11269065B2 (en) * 2018-11-19 2022-03-08 Infineon Technologies Ag Muilti-detector with interleaved photodetector arrays and analog readout circuits for lidar receiver
DE102018220227A1 (de) * 2018-11-26 2020-05-28 Robert Bosch Gmbh LIDAR-Sensor und Verfahren zur optischen Erfassung eines Sichtfeldes
KR20200066947A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 라이다 장치 및 이의 구동 방법
US11423572B2 (en) 2018-12-12 2022-08-23 Analog Devices, Inc. Built-in calibration of time-of-flight depth imaging systems
US11374041B2 (en) * 2019-01-25 2022-06-28 Cepton Technologies, Inc. Systems and methods for imaging using mechanical scanning mechanisms
CN114942454A (zh) * 2019-03-08 2022-08-26 欧司朗股份有限公司 用于lidar传感器系统的光学封装以及lidar传感器系统
JP2020153796A (ja) * 2019-03-19 2020-09-24 株式会社リコー 測距装置、及び測距方法
JP2020153798A (ja) * 2019-03-19 2020-09-24 株式会社リコー 光学装置、測距光学系ユニット、測距装置及び測距システム
US11467270B2 (en) * 2019-03-27 2022-10-11 Asmpt Singapore Pte. Ltd. Apparatus and method for calibrating or testing an imaging device
WO2020210176A1 (en) 2019-04-09 2020-10-15 OPSYS Tech Ltd. Solid-state lidar transmitter with laser control
CN109991588A (zh) * 2019-04-29 2019-07-09 北京握奇数据股份有限公司 一种激光雷达扫描装置
CN110244318B (zh) * 2019-04-30 2021-08-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像方法
US11480685B2 (en) * 2019-05-05 2022-10-25 Apple Inc. Compact optical packaging of LiDAR systems using diffractive structures behind angled interfaces
JP2020187079A (ja) * 2019-05-17 2020-11-19 三菱重工業株式会社 レーザレーダ装置及び走行体
CN110764099A (zh) * 2019-05-24 2020-02-07 Oppo广东移动通信有限公司 一种飞行时间传感器及计算机可读存储介质
CN113906316A (zh) 2019-05-30 2022-01-07 欧普赛斯技术有限公司 使用致动器的眼睛安全的长范围lidar系统
US11796643B2 (en) 2019-05-30 2023-10-24 Microvision, Inc. Adaptive LIDAR scanning methods
US11828881B2 (en) 2019-05-30 2023-11-28 Microvision, Inc. Steered LIDAR system with arrayed receiver
US11754682B2 (en) * 2019-05-30 2023-09-12 Microvision, Inc. LIDAR system with spatial beam combining
JP7438564B2 (ja) 2019-06-10 2024-02-27 オプシス テック リミテッド 眼に安全な長距離固体lidarシステム
US10955241B2 (en) * 2019-06-26 2021-03-23 Aurora Flight Sciences Corporation Aircraft imaging system using projected patterns on featureless surfaces
KR20210003003A (ko) 2019-07-01 2021-01-11 삼성전자주식회사 라이다 장치 및 그 제어 방법
US11579257B2 (en) 2019-07-15 2023-02-14 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11474218B2 (en) 2019-07-15 2022-10-18 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN110673114B (zh) * 2019-08-27 2023-04-18 三赢科技(深圳)有限公司 校准三维相机深度的方法、装置、计算机装置及存储介质
US11808858B2 (en) 2019-09-04 2023-11-07 Pony Ai Inc. Systems and methods for constructing and utilizing field-of-view (FOV) information
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11450083B2 (en) * 2019-09-27 2022-09-20 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11150348B2 (en) 2019-10-02 2021-10-19 Cepton Technologies, Inc. Techniques for detecting cross-talk interferences in lidar imaging sensors
US11644303B2 (en) 2019-12-16 2023-05-09 Faro Technologies, Inc. Three-dimensional coordinate measuring instrument coupled to a camera having a diffractive optical element
WO2021126082A1 (en) * 2019-12-20 2021-06-24 Ams Sensors Asia Pte. Ltd. Eye-safe operation of lidar scanner
EP4078218A1 (en) * 2019-12-20 2022-10-26 AMS Sensors Asia Pte. Ltd. Lidar with multi-range channels
US20210199778A1 (en) * 2019-12-30 2021-07-01 Cepton Technologies, Inc Half and quarter lissajous scan patterns for lidar
CN111103297A (zh) * 2020-01-20 2020-05-05 无锡市建筑工程质量检测中心 一种建筑外墙面层质量的非接触式检测方法及其检测系统
KR102550678B1 (ko) * 2020-01-22 2023-07-04 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
JP2021148746A (ja) * 2020-03-23 2021-09-27 株式会社リコー 測距装置及び測距方法
DE102020110142A1 (de) * 2020-04-14 2021-10-14 Scantinel Photonics GmbH Vorrichtung und Verfahren zur scannenden Messung des Abstands zu einem Objekt
CN111766949B (zh) * 2020-07-16 2021-08-03 腾讯科技(深圳)有限公司 三维图像显示设备、显示方法、电子设备以及存储介质
CN114594486A (zh) * 2020-12-04 2022-06-07 上海禾赛科技有限公司 滤除雷达点云中的拖点的方法、处理器以及激光雷达系统
CN112684456B (zh) * 2020-12-22 2024-05-17 安徽配隆天环保科技有限公司 一种无人机超声立体成像模型系统
KR20230150978A (ko) * 2021-02-23 2023-10-31 뉴럴 프로펄전 시스템즈, 인크. 눈 안전이 개선된 라이다 시스템들 및 방법들
US11326758B1 (en) 2021-03-12 2022-05-10 Veoneer Us, Inc. Spotlight illumination system using optical element
CN113109789A (zh) * 2021-04-09 2021-07-13 深圳煜炜光学科技有限公司 一种多线扫描激光雷达装置及控制方法
US11922799B2 (en) * 2021-04-17 2024-03-05 Charles R. Crittenden Apparatus and method for a warning system
EP4321897A4 (en) * 2021-04-29 2024-06-05 Huawei Tech Co Ltd LASER DETECTION DEVICE AND CONTROL METHOD AND CONTROL DEVICE THEREFOR AND TERMINAL DEVICE
CN113189609A (zh) * 2021-05-31 2021-07-30 阿波罗智联(北京)科技有限公司 基座、路侧传感设备以及智能交通系统
US11732858B2 (en) 2021-06-18 2023-08-22 Veoneer Us, Llc Headlight illumination system using optical element
CN113534191B (zh) * 2021-07-26 2022-11-29 重庆连芯光电技术研究院有限公司 单光子激光雷达的3d图像扫描和修复方法、装置和设备
DE102021208089A1 (de) 2021-07-27 2023-02-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben einer LiDAR-Einrichtung
CN115407478A (zh) * 2022-08-25 2022-11-29 苏州立创致恒电子科技有限公司 一种自适应检测距离的三维成像系统及方法
CN115862336B (zh) * 2023-02-27 2023-06-02 云南省交通规划设计研究院有限公司 一种基于双激光传感器的车辆行驶参数检测装置
CN116973347B (zh) * 2023-07-19 2024-02-09 哈尔滨工业大学 一种基于slipi-3dlif的激发测量装置及应用

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002181533A (ja) 2000-12-18 2002-06-26 Hitachi Ltd レーザ測距装置
JP2004085225A (ja) 2002-08-23 2004-03-18 Honda Motor Co Ltd 物体検知装置
JP2007214564A (ja) 2006-02-06 2007-08-23 Avago Technologies General Ip (Singapore) Private Ltd 面発光レーザ(vcsel)アレイ・レーザスキャナ
JP2008506115A (ja) 2004-07-06 2008-02-28 ディムズデール エンジニアリング,エルエルシー 3次元画像システムにおける範囲または距離またはレインジ(range)の決定
JP2009288099A (ja) 2008-05-29 2009-12-10 Omron Corp 対象物検出装置
JP2010164463A (ja) 2009-01-16 2010-07-29 Mitsubishi Electric Corp レーザ3次元画像計測装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288857A (ja) * 1992-04-13 1993-11-05 Nec Corp レーザレーダ装置
JPH0675047A (ja) * 1992-08-25 1994-03-18 Furukawa Electric Co Ltd:The 障害物探知光レーダ
US6629641B2 (en) * 2000-06-07 2003-10-07 Metrologic Instruments, Inc. Method of and system for producing images of objects using planar laser illumination beams and image detection arrays
US5852492A (en) * 1996-06-07 1998-12-22 Lockheed Martin Vought Systems Corp. Fused lasar range/intensity image display for a human interpretation of lasar data
JP3169074B2 (ja) 1998-09-25 2001-05-21 日本電気株式会社 レーザレーダ装置
WO2002010681A1 (de) * 2000-08-01 2002-02-07 Mirko Essling Messanordnung und messverfahren zur entfernungs- und/oder positionsbestimmung
JP4488170B2 (ja) * 2001-08-06 2010-06-23 シーメンス アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置
US6556282B2 (en) * 2001-09-04 2003-04-29 Rosemount Aerospace, Inc. Combined LOAS and LIDAR system
US7095488B2 (en) * 2003-01-21 2006-08-22 Rosemount Aerospace Inc. System for profiling objects on terrain forward and below an aircraft utilizing a cross-track laser altimeter
US8085388B2 (en) 2005-02-01 2011-12-27 Laser Projection Technologies, Inc. Laser radar projection with object feature detection and ranging
DE102005034729B3 (de) * 2005-07-21 2007-02-08 Eads Deutschland Gmbh Verfahren und Lidar-System zur Messung von Luftturbulenzen an Bord von Luftfahrzeugen sowie für Flughäfen und Windfarmen
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8493445B2 (en) * 2006-05-31 2013-07-23 Sigma Space Corp Scanner/optical system for three-dimensional lidar imaging and polarimetry
DE102007010236B4 (de) * 2007-03-02 2008-11-20 Toposys Topographische Systemdaten Gmbh Vorrichtung und Verfahren zur Entfernungsbestimmung mittels Lichtpulsen
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
US8119971B2 (en) * 2008-01-17 2012-02-21 Ball Corporation Pulse data recorder in which a value held by a bit of a memory is determined by a state of a switch
JP5288857B2 (ja) 2008-03-28 2013-09-11 熱産ヒート株式会社 誘導加熱装置
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
DE102008031681A1 (de) * 2008-07-04 2010-01-14 Eads Deutschland Gmbh LIDAR-Verfahren zur Messung von Geschwindigkeiten und LIDAR-Vorrichtung mit zeitgesteuerter Detektion
US8471895B2 (en) 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
CN101419711B (zh) * 2008-12-15 2012-05-30 东软集团股份有限公司 一种估计车辆自运动参数的方法和装置
WO2011014712A2 (en) * 2009-07-29 2011-02-03 Michigan Aerospace Corporation Atmospheric measurement system
US8797550B2 (en) * 2009-04-21 2014-08-05 Michigan Aerospace Corporation Atmospheric measurement system
US8810796B2 (en) * 2009-04-21 2014-08-19 Michigan Aerospace Corporation Light processing system and method
US8600606B2 (en) * 2010-02-11 2013-12-03 GM Global Technology Operations LLC Vehicle safety systems and methods
US8655513B2 (en) * 2010-03-12 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Methods of real time image enhancement of flash LIDAR data and navigating a vehicle using flash LIDAR data
US8494687B2 (en) * 2010-03-12 2013-07-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method for enhancing a three dimensional image from a plurality of frames of flash LIDAR data
US9086488B2 (en) * 2010-04-20 2015-07-21 Michigan Aerospace Corporation Atmospheric measurement system and method
US8558993B2 (en) * 2010-05-21 2013-10-15 The National Institute of Standards and Technology, as Presented by the Secretary of Commerce Optical frequency comb-based coherent LIDAR
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US11313678B2 (en) * 2011-06-30 2022-04-26 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
KR101908304B1 (ko) * 2012-08-10 2018-12-18 엘지전자 주식회사 거리 검출 장치, 및 이를 구비하는 영상처리장치
WO2014060564A1 (en) 2012-10-17 2014-04-24 Cathx Research Ltd Improvements in and relating to gathering range and dimensional information underwater surveys
US9304203B1 (en) * 2013-03-13 2016-04-05 Google Inc. Methods, devices, and systems for improving dynamic range of signal receiver
US9609858B2 (en) * 2013-09-13 2017-04-04 Palo Alto Research Center Incorporated Unwanted plant removal system having variable optics
US9778363B2 (en) * 2013-10-24 2017-10-03 Massachusetts Institute Of Technology Methods and apparatus for coded time-of-flight camera
JP2015111090A (ja) * 2013-11-05 2015-06-18 株式会社リコー 物体検出装置
JP6338242B2 (ja) * 2014-04-11 2018-06-06 国立大学法人 東京大学 距離画像生成装置
CN104459183B (zh) * 2014-12-24 2017-07-07 四川大学 一种基于物联网的单相机车辆测速系统及方法
US10495281B2 (en) * 2015-11-09 2019-12-03 Mitsubishi Electric Corporation Projection optical instrument and headlight device
US10451740B2 (en) 2016-04-26 2019-10-22 Cepton Technologies, Inc. Scanning lidar systems for three-dimensional sensing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002181533A (ja) 2000-12-18 2002-06-26 Hitachi Ltd レーザ測距装置
JP2004085225A (ja) 2002-08-23 2004-03-18 Honda Motor Co Ltd 物体検知装置
JP2008506115A (ja) 2004-07-06 2008-02-28 ディムズデール エンジニアリング,エルエルシー 3次元画像システムにおける範囲または距離またはレインジ(range)の決定
JP2007214564A (ja) 2006-02-06 2007-08-23 Avago Technologies General Ip (Singapore) Private Ltd 面発光レーザ(vcsel)アレイ・レーザスキャナ
JP2009288099A (ja) 2008-05-29 2009-12-10 Omron Corp 対象物検出装置
JP2010164463A (ja) 2009-01-16 2010-07-29 Mitsubishi Electric Corp レーザ3次元画像計測装置

Also Published As

Publication number Publication date
US20170307759A1 (en) 2017-10-26
US10481266B2 (en) 2019-11-19
US20170310948A1 (en) 2017-10-26
EP3449274A1 (en) 2019-03-06
CN109416399B (zh) 2023-07-04
US20200096642A1 (en) 2020-03-26
US10754036B2 (en) 2020-08-25
JP7332210B2 (ja) 2023-08-23
JP2022153439A (ja) 2022-10-12
US10451740B2 (en) 2019-10-22
WO2017189185A1 (en) 2017-11-02
EP3449274A4 (en) 2019-12-25
US20170307758A1 (en) 2017-10-26
CN109416399A (zh) 2019-03-01
US11300684B2 (en) 2022-04-12
JP2019521314A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
JP7332210B2 (ja) 3次元イメージングシステム
CA3125716C (en) Systems and methods for wide-angle lidar using non-uniform magnification optics
US10281262B2 (en) Range-finder apparatus, methods, and applications
JP4405154B2 (ja) イメージングシステムおよび物体の画像を取得する方法
US9285477B1 (en) 3D depth point cloud from timing flight of 2D scanned light beam pulses
US9234964B2 (en) Laser radar system and method for acquiring 3-D image of target
CN102947726B (zh) 扫描3d成像仪
US7538864B2 (en) Vehicle wheel alignment system scanned beam imaging sensor
KR20160029845A (ko) 주위 감지 시스템
EP2824418A1 (en) Surround sensing system
KR102650443B1 (ko) 완전 파형 다중-펄스 광학 레인지 파인더 기기
IL266025A (en) Vehicle environment modulation system
US11252359B1 (en) Image compensation for sensor array having bad pixels
US11828881B2 (en) Steered LIDAR system with arrayed receiver
US11796643B2 (en) Adaptive LIDAR scanning methods
US20220179075A1 (en) Lidar assembly with modularized components

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220708

R150 Certificate of patent or registration of utility model

Ref document number: 7108308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150