JP6830936B2 - ダイクロイックミラーを使用する、自律走行車のための3d−lidarシステム - Google Patents
ダイクロイックミラーを使用する、自律走行車のための3d−lidarシステム Download PDFInfo
- Publication number
- JP6830936B2 JP6830936B2 JP2018188878A JP2018188878A JP6830936B2 JP 6830936 B2 JP6830936 B2 JP 6830936B2 JP 2018188878 A JP2018188878 A JP 2018188878A JP 2018188878 A JP2018188878 A JP 2018188878A JP 6830936 B2 JP6830936 B2 JP 6830936B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- photodetector
- camera
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 32
- 230000004907 flux Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 2
- 230000015654 memory Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/001—Constructional or mechanical details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Optics & Photonics (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Navigation (AREA)
Description
Claims (21)
- 自律走行車のための三次元光検出及び測距装置であって、
ターゲットに関連する物理的な範囲を検知するように光束を発射する光源と、
前記ターゲットから反射された前記光束の少なくとも一部を受光する光検出器と、
第1のカメラと、
前記ターゲットと前記光検出器の間に位置し、前記ターゲットから反射された前記光束を前記光検出器に案内して、前記光検出器と前記ターゲットとの間の距離を表す距離情報を含む垂直次元となる一次元の第1の画像を生成するように配置されているダイクロイックミラーであって、前記ターゲットから反射された可視光を前記第1のカメラに案内して、前記ターゲットに関連する色情報を含む水平次元となる二次元の第2の画像を生成するようにさらに配置されている、ダイクロイックミラーと、
前記光検出器と前記第1のカメラに接続し、前記第1の画像と前記第2の画像を組み合わせて、前記自律走行車周辺の走行環境を感知するための、前記距離情報及び前記色情報を含む三次元画像を生成する画像処理ロジックと、を含む
ことを特徴とする、自律走行車のための三次元光検出及び測距装置。 - 前記三次元画像は、前記第1の画像における1つ又は複数の画素を前記第2の画像における1つ又は複数の画素に直接的にマッピングして生成されるものであり、前記第1の画像の画素密度カウント(pixel density count)は、前記第2の画像の画素密度カウントと異なる
ことを特徴とする請求項1に記載の装置。 - 前記三次元画像は、
前記第2の画像に意味分割アルゴリズム(semantic segmentation algorithm)を応用し、前記第2の画像で感知された対象を分類することと、
感知された対象に基づいて、前記第1の画像の1つ又は複数の画素を前記第2の画像の1つ又は複数の画素に間接にマッピングすることと、により生成される
ことを特徴とする請求項1に記載の装置。 - 前記ターゲットと前記ダイクロイックミラーの間に位置し、前記光検出器で感知された視野を拡大または縮小するズームレンズをさらに含む
ことを特徴とする請求項1に記載の装置。 - 前記ターゲットと前記ダイクロイックミラーの間に位置し、前記第1の画像の画素密度カウントを増大する走査部をさらに含む
ことを特徴とする請求項1に記載の装置。 - ステレオカメラペアを形成するように前記第1のカメラに対して位置決めし、前記第2の画像との視差を感知するための第3画像を生成する第2のカメラをさらに含む
ことを特徴とする請求項1に記載の装置。 - 前記視差は、前記第2の画像と前記第3画像にステレオ分割アルゴリズム(stereo segmentation algorithm)を応用することによって感知される
ことを特徴とする請求項6に記載の装置。 - 自律走行車の三次元光検出及び測距装置を操作するための機械実施方法であって、
ターゲットに関連する物理的な範囲を検知するように光源により光束を発射するステップと、
前記ターゲットと光検出器の間に位置するダイクロイックミラーにより、前記ターゲットから反射された前記光束を前記光検出器に案内して、前記光検出器と前記ターゲットとの間の距離を表す距離情報を含む垂直次元となる一次元の第1の画像を生成するステップと、
前記ダイクロイックミラーにより、前記ターゲットから反射された可視光を第1のカメラに案内して、前記ターゲットに関連する色情報を含む水平次元となる二次元の第2の画像を生成するステップと、
前記第1の画像と前記第2の画像に基づいて、前記自律走行車周辺の走行環境を感知するための、前記距離情報及び前記色情報を含む三次元画像を生成するステップと、
含むことを特徴とする自律走行車の三次元光検出及び測距装置を操作するための機械実施方法。 - 前記三次元画像は、前記第1の画像における1つ又は複数の画素を前記第2の画像における1つ又は複数の画素に直接的にマッピングして生成されるものであり、前記第1の画像の画素密度カウントは、前記第2の画像の画素密度カウントと異なる
ことを特徴とする請求項8に記載の方法。 - 前記三次元画像は、
前記第2の画像に意味分割アルゴリズムを応用し、前記第2の画像で感知された対象を分類することと、
感知された対象に基づいて、前記第1の画像の1つ又は複数の画素を前記第2の画像の1つ又は複数の画素に間接にマッピングすることと、
により生成される
ことを特徴とする請求項8に記載の方法。 - 前記ターゲットと前記ダイクロイックミラーの間に位置するズームレンズを介して、前記光検出器で感知された視野を拡大または縮小するステップをさらに含む
ことを特徴とする請求項8に記載の方法。 - 前記ターゲットと前記ダイクロイックミラーの間に位置する走査部を介して、前記第1の画像の画素密度カウントを増大するステップをさらに含む
ことを特徴とする請求項8に記載の方法。 - 前記第1のカメラと第2のカメラによりステレオカメラペアを形成し、前記第2の画像と前記第2のカメラにより生成された第3画像との視差を感知するステップをさらに含む
ことを特徴とする請求項8に記載の方法。 - 前記視差は、前記第2の画像と前記第3画像にステレオ分割アルゴリズムを応用することにより感知される
ことを特徴とする請求項13に記載の方法。 - 自律走行車であって、
ターゲットに関連する物理的な範囲を検知するように光束を発射する光源と、
前記ターゲットから反射された前記光束の少なくとも一部を受光する光検出器と、
第1のカメラと、
前記ターゲットと前記光検出器の間に位置し、前記ターゲットから反射された前記光束を前記光検出器に案内して、前記光検出器と前記ターゲットとの間の距離を表す距離情報を含む一次元の第1の画像を生成するように配置されているダイクロイックミラーであって、前記ターゲットから反射された可視光を前記第1のカメラに案内して、前記ターゲットに関連する色情報を含む二次元の第2の画像を生成するようにさらに配置されているダイクロイックミラーと、を含む光検出及び測距装置と、
前記光検出器と前記第1のカメラに接続し、前記第1の画像と前記第2の画像を組み合わせて、前記自律走行車周辺の走行環境を感知するための、前記距離情報及び前記色情報を含む三次元画像を生成する画像処理ロジックと、
前記光検出及び測距装置と前記画像処理ロジックに接続して、前記自律走行車周辺の走行環境を感知し、また、前記走行環境をナビゲートし通過するように前記自律走行車を制御する感知及び計画システムと、を含む
ことを特徴とする自律走行車。 - 前記三次元画像は、前記第1の画像における1つ又は複数の画素を前記第2の画像における1つ又は複数の画素に直接的にマッピングして生成されるものであり、前記第1の画像の画素密度カウントは、前記第2の画像の画素密度カウントと異なる
ことを特徴とする請求項15に記載の自律走行車。 - 前記三次元画像は、
前記第2の画像に意味分割アルゴリズムを応用し、前記第2の画像で感知された対象を分類することと、
感知された対象に基づいて、前記第1の画像の1つ又は複数の画素を前記第2の画像の1つ又は複数の画素に間接にマッピングすることと、
により生成される
ことを特徴とする請求項15に記載の自律走行車。 - 前記光検出及び測距装置は、
前記ターゲットと前記ダイクロイックミラーの間に位置し、前記光検出器で感知された視野を拡大または縮小するズームレンズをさらに含む
ことを特徴とする請求項15に記載の自律走行車。 - 前記光検出及び測距装置は、
前記ターゲットと前記ダイクロイックミラーの間に位置し、前記第1の画像の画素密度カウントを増大する走査部をさらに含む
ことを特徴とする請求項15に記載の自律走行車。 - 前記光検出及び測距装置は、
ステレオカメラペアを形成するように前記第1のカメラに対して位置決めし、前記第2の画像との視差を感知するための第3画像を生成する第2のカメラをさらに含む
ことを特徴とする請求項15に記載の自律走行車。 - 前記視差は、前記第2の画像と前記第3画像にステレオ分割アルゴリズムを応用することによって感知される ことを特徴とする請求項20に記載の自律走行車。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/796,546 US11758111B2 (en) | 2017-10-27 | 2017-10-27 | 3D lidar system using a dichroic mirror for autonomous driving vehicles |
US15/796,546 | 2017-10-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019109219A JP2019109219A (ja) | 2019-07-04 |
JP6830936B2 true JP6830936B2 (ja) | 2021-02-17 |
Family
ID=63637683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018188878A Active JP6830936B2 (ja) | 2017-10-27 | 2018-10-04 | ダイクロイックミラーを使用する、自律走行車のための3d−lidarシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11758111B2 (ja) |
EP (1) | EP3477338A1 (ja) |
JP (1) | JP6830936B2 (ja) |
KR (1) | KR102100051B1 (ja) |
CN (1) | CN109725634B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11946761B2 (en) | 2018-06-04 | 2024-04-02 | The Research Foundation For The State University Of New York | System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11758111B2 (en) | 2017-10-27 | 2023-09-12 | Baidu Usa Llc | 3D lidar system using a dichroic mirror for autonomous driving vehicles |
CN110378184A (zh) * | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
US10679369B2 (en) * | 2018-06-12 | 2020-06-09 | Chiral Software, Inc. | System and method for object recognition using depth mapping |
US11199413B2 (en) * | 2018-07-19 | 2021-12-14 | Qualcomm Incorporated | Navigation techniques for autonomous and semi-autonomous vehicles |
US11699207B2 (en) * | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
US11227409B1 (en) | 2018-08-20 | 2022-01-18 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
US11079492B1 (en) * | 2018-09-28 | 2021-08-03 | Zoox, Inc. | Condition dependent parameters for large-scale localization and/or mapping |
US10627512B1 (en) * | 2018-11-29 | 2020-04-21 | Luminar Technologies, Inc. | Early fusion of lidar return data with camera information |
JP7298350B2 (ja) * | 2019-07-08 | 2023-06-27 | 株式会社リコー | 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム |
KR102297836B1 (ko) * | 2019-11-07 | 2021-09-03 | 네이버랩스 주식회사 | 딥 러닝 기반 가상 환경 점 군 데이터의 반사도 정보 검출 방법 및 그를 수행하는 전자 장치 |
US11763433B2 (en) * | 2019-11-14 | 2023-09-19 | Samsung Electronics Co., Ltd. | Depth image generation method and device |
US11567173B2 (en) | 2020-03-04 | 2023-01-31 | Caterpillar Paving Products Inc. | Systems and methods for increasing lidar sensor coverage |
US11598878B2 (en) * | 2020-04-07 | 2023-03-07 | Teledyne Scientific & Imaging, Llc | Vision-cued random-access lidar system and method for localization and navigation |
US20220018940A1 (en) * | 2020-07-16 | 2022-01-20 | Comotomo Corporation | Vision first light detection and ranging system |
KR102239594B1 (ko) * | 2020-09-04 | 2021-04-13 | (주)딥인사이트 | 굴곡 표현 이미지를 생성하기 위한 전자 장치 및 방법 |
CN114578380A (zh) * | 2020-12-02 | 2022-06-03 | 华为技术有限公司 | 探测装置及其控制方法、控制装置、激光雷达系统和终端 |
KR20220079100A (ko) | 2020-12-04 | 2022-06-13 | (주)에이지광학 | 차량용 라이다에 적용하기 위한 고굴절율 렌즈의 제조방법. |
KR102654614B1 (ko) * | 2020-12-11 | 2024-04-05 | 재단법인대구경북과학기술원 | 깊이 이미지 생성 장치 및 그 동작 방법 |
CN112766135B (zh) * | 2021-01-14 | 2024-03-19 | 北京航空航天大学杭州创新研究院 | 目标检测方法、装置、电子设备和存储介质 |
GB2603774A (en) * | 2021-02-11 | 2022-08-17 | Wind Farm Analytics Ltd | A Turbine Provided with Data for Parameter Improvement |
WO2022093303A1 (en) * | 2021-02-17 | 2022-05-05 | Futurewei Technologies, Inc. | Unisource multi-modal perception in autonomous vehicles |
JP2022143489A (ja) * | 2021-03-17 | 2022-10-03 | 京セラ株式会社 | 電磁波検出装置 |
DE102021120807A1 (de) * | 2021-08-10 | 2023-02-16 | OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung | Lidar-sensorvorrichtung und messverfahren |
KR20230097572A (ko) | 2021-12-24 | 2023-07-03 | (주)에이지광학 | 차량용 라이다에 적용하기 위한 고굴절율 렌즈의 제조방법. |
JP2023137090A (ja) * | 2022-03-17 | 2023-09-29 | 株式会社東芝 | 測距装置及び測距方法 |
WO2024049500A2 (en) * | 2022-03-25 | 2024-03-07 | Innovusion, Inc. | Multimodal detection with integrated sensors |
US11871130B2 (en) | 2022-03-25 | 2024-01-09 | Innovusion, Inc. | Compact perception device |
WO2024013142A1 (en) * | 2022-07-15 | 2024-01-18 | Lightcode Photonics Oü | Image capture device with wavelength separation device |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4931288B2 (ja) | 2001-06-08 | 2012-05-16 | ペンタックスリコーイメージング株式会社 | 画像検出装置と絞り装置 |
JP4006577B2 (ja) | 2002-03-13 | 2007-11-14 | オムロン株式会社 | 監視装置 |
JP4032843B2 (ja) | 2002-06-25 | 2008-01-16 | 富士重工業株式会社 | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 |
JP2005332404A (ja) | 2002-09-24 | 2005-12-02 | Motoi Soken:Kk | コンテンツ提供システム |
US6847728B2 (en) | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
JP4445763B2 (ja) | 2004-01-30 | 2010-04-07 | セコム株式会社 | 画像生成装置及び侵入者監視装置 |
JP5072195B2 (ja) | 2005-05-13 | 2012-11-14 | 三菱重工業株式会社 | 監視装置 |
JP2006323693A (ja) | 2005-05-19 | 2006-11-30 | Olympus Corp | 処理装置、画像処理方法および画像処理プログラム |
US9041915B2 (en) * | 2008-05-09 | 2015-05-26 | Ball Aerospace & Technologies Corp. | Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR |
KR101467509B1 (ko) | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서 동작 방법 |
JP5584603B2 (ja) | 2010-12-06 | 2014-09-03 | 富士通テン株式会社 | 情報提供システムおよび情報提供装置 |
DE102010055865A1 (de) | 2010-12-22 | 2011-07-28 | Daimler AG, 70327 | Kameravorrichtung für einen Kraftwagen |
US10848731B2 (en) * | 2012-02-24 | 2020-11-24 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
US9091748B2 (en) | 2012-04-18 | 2015-07-28 | Raytheon Company | Methods and apparatus for 3D UV imaging |
US20130342657A1 (en) * | 2012-06-15 | 2013-12-26 | Nikon Corporation | Stereo vision camera for laser radar |
KR101976463B1 (ko) | 2012-08-29 | 2019-05-09 | 엘지전자 주식회사 | 3차원 영상 생성 장치 및 방법 |
JP2014072586A (ja) | 2012-09-27 | 2014-04-21 | Sharp Corp | 表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体 |
JP2014203207A (ja) | 2013-04-03 | 2014-10-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US9215510B2 (en) | 2013-12-06 | 2015-12-15 | Rovi Guides, Inc. | Systems and methods for automatically tagging a media asset based on verbal input and playback adjustments |
KR101545971B1 (ko) | 2013-12-11 | 2015-08-24 | 한국생산기술연구원 | 복합 영상 센싱 시스템 |
CN104899855A (zh) * | 2014-03-06 | 2015-09-09 | 株式会社日立制作所 | 三维障碍物检测方法和装置 |
WO2016002406A1 (ja) | 2014-07-04 | 2016-01-07 | クラリオン株式会社 | 車載対話型システム、及び車載情報機器 |
US9369689B1 (en) * | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
US10126411B2 (en) * | 2015-03-13 | 2018-11-13 | Continental Advanced Lidar Solutions Us, Llc. | Beam steering LADAR sensor |
US20160291154A1 (en) * | 2015-04-01 | 2016-10-06 | Vayavision, Ltd. | Apparatus for acquiring 3-dimensional maps of a scene |
US10282591B2 (en) | 2015-08-24 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for depth map sampling |
JP6637711B2 (ja) | 2015-10-09 | 2020-01-29 | キヤノン株式会社 | 符号化装置及びその制御方法、プログラム並びに記憶媒体 |
US9598076B1 (en) | 2015-10-22 | 2017-03-21 | Ford Global Technologies, Llc | Detection of lane-splitting motorcycles |
CN106080397B (zh) * | 2016-08-25 | 2019-11-26 | 北京奇虎科技有限公司 | 自适应巡航系统及车载设备 |
US10379540B2 (en) * | 2016-10-17 | 2019-08-13 | Waymo Llc | Light detection and ranging (LIDAR) device having multiple receivers |
US10737695B2 (en) * | 2017-07-01 | 2020-08-11 | Tusimple, Inc. | System and method for adaptive cruise control for low speed following |
US10447973B2 (en) * | 2017-08-08 | 2019-10-15 | Waymo Llc | Rotating LIDAR with co-aligned imager |
US11758111B2 (en) | 2017-10-27 | 2023-09-12 | Baidu Usa Llc | 3D lidar system using a dichroic mirror for autonomous driving vehicles |
US10222474B1 (en) | 2017-12-13 | 2019-03-05 | Soraa Laser Diode, Inc. | Lidar systems including a gallium and nitrogen containing laser light source |
US11372090B2 (en) * | 2018-12-10 | 2022-06-28 | Baidu Usa Llc | Light detection and range (LIDAR) device with SPAD and APD sensors for autonomous driving vehicles |
CN111366940A (zh) | 2020-04-01 | 2020-07-03 | 温州职业技术学院 | 一种便于移动的室内设计用测量装置 |
-
2017
- 2017-10-27 US US15/796,546 patent/US11758111B2/en active Active
-
2018
- 2018-08-27 CN CN201810980801.7A patent/CN109725634B/zh active Active
- 2018-09-17 EP EP18194712.8A patent/EP3477338A1/en active Pending
- 2018-09-18 KR KR1020180111845A patent/KR102100051B1/ko active IP Right Grant
- 2018-10-04 JP JP2018188878A patent/JP6830936B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11946761B2 (en) | 2018-06-04 | 2024-04-02 | The Research Foundation For The State University Of New York | System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device |
Also Published As
Publication number | Publication date |
---|---|
US11758111B2 (en) | 2023-09-12 |
CN109725634A (zh) | 2019-05-07 |
US20190132572A1 (en) | 2019-05-02 |
KR20190047595A (ko) | 2019-05-08 |
CN109725634B (zh) | 2023-04-28 |
JP2019109219A (ja) | 2019-07-04 |
EP3477338A1 (en) | 2019-05-01 |
KR102100051B1 (ko) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6830936B2 (ja) | ダイクロイックミラーを使用する、自律走行車のための3d−lidarシステム | |
KR102223270B1 (ko) | 여분의 초음파 radar를 구비한 자율 주행 차량 | |
JP6684345B2 (ja) | 自律走行車の走行を決定するための周辺環境を構築する方法及びシステム | |
JP7050025B2 (ja) | 自動運転車両のための計画運転感知システム | |
CN110386142B (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
US10943485B2 (en) | Perception assistant for autonomous driving vehicles (ADVs) | |
CN111328411B (zh) | 用于自动驾驶车辆的行人概率预测系统 | |
KR20200037736A (ko) | 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템 | |
JP6761854B2 (ja) | 自律走行車のための車両の位置点の配信方法 | |
KR20190100856A (ko) | 곡선 투영을 가속화하기 위한 시스템 및 방법 | |
WO2018232681A1 (en) | TRAFFIC PREDICTION BASED ON CARD IMAGES FOR AUTONOMOUS DRIVING | |
JP6757442B2 (ja) | 自動運転車における車線後処理 | |
CN111044992A (zh) | 用于自动驾驶的基于交叉验证的自动lidar校准 | |
US11591019B2 (en) | Control dominated three-point turn planning for autonomous driving vehicles | |
WO2020132945A1 (en) | Method and system for generating reference lines for autonomous driving vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200916 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6830936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |