KR102614323B1 - 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성 - Google Patents

수동 및 능동 측정을 이용한 장면의 3차원 지도 생성 Download PDF

Info

Publication number
KR102614323B1
KR102614323B1 KR1020177031544A KR20177031544A KR102614323B1 KR 102614323 B1 KR102614323 B1 KR 102614323B1 KR 1020177031544 A KR1020177031544 A KR 1020177031544A KR 20177031544 A KR20177031544 A KR 20177031544A KR 102614323 B1 KR102614323 B1 KR 102614323B1
Authority
KR
South Korea
Prior art keywords
objects
distance
map
image
measurements
Prior art date
Application number
KR1020177031544A
Other languages
English (en)
Other versions
KR20170132860A (ko
Inventor
유발 네흐마디
사무엘 우르
로니 코헨
Original Assignee
바야비전 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바야비전 리미티드 filed Critical 바야비전 리미티드
Publication of KR20170132860A publication Critical patent/KR20170132860A/ko
Application granted granted Critical
Publication of KR102614323B1 publication Critical patent/KR102614323B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10198—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves setting parameters for the interrogator, e.g. programming parameters and operating modes
    • G06K7/10217—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves setting parameters for the interrogator, e.g. programming parameters and operating modes parameter settings controlling the transmission power of the interrogator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10554—Moving beam scanning
    • G06K7/10564—Light sources
    • G06K7/10584—Source control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Toxicology (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optics & Photonics (AREA)

Abstract

3차원(3D) 지도를 획득하기 위한 3D 지도를 생성하는 방법 및 장치가 제시된다. 상기 방법은 수동 센서에 의해 획득된 적어도 하나의 이미지 내의 복수의 대상체를 분류하기 위해 상기 적어도 하나의 이미지를 분석하는 단계; 상기 복수의 대상체들을 분류하는 단계; 상기 분류에 기초하여 상기 복수의 대상체들의 각 대상체까지의 거리를 수동적으로 측정할지의 여부를 결정하는 단계; 상기 결정에 기초하여 상기 복수의 대상체들 중 적어도 하나의 대상체까지의 상기 거리를 수동적으로 측정하는 단계; 상기 복수의 대상체들 중 일부의 대상체까지의 거리를 능동적으로 측정하는 단계 - 상기 대상체까지의 상기 거리가 수동적으로 측정될 수 없을 때 상기 복수의 대상체들 중 상기 동일한 일부의 대상체 중 하나의 대상체까지의 상기 거리를 능동적으로 측정함 -; 및 상기 복수의 대상체들 각각에 대해 측정된 상기 거리에 기초하여 장면의 3D 지도를 생성하는 단계를 포함한다.

Description

수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
[관련 출원과의 상호 참조]
본 출원은 2015년 4월 1일자로 출원된 미국 예비출원 제62/141,296호 및 2015년 5월 13일자로 출원된 미국 예비출원 제62/160,988호의 우선권을 주장하며, 그 내용은 본 명세서에 참고로 포함된다.
자율 주행 자동차(무인 자동차, 셀프 주행 자동차 또는 로봇 차라고도 함)는 인간의 조정 없이 주행하는 차량이다. 자율 주행 차량은 레이더, 라이다(Lidar), GPS, 주행 거리계 또는 컴퓨터 비전을 사용하여 주변을 검출하기 위해 환경을 감지한다. 첨단 제어 시스템은 감각 정보를 해석하여 장애물 및 관련 표지판은 물론 적절한 탐색 경로를 식별한다. 자율 주행 자동차는 도로상의 다른 자동차나 장애물을 구별하기 위해 감각 데이터를 분석하기 위한 제어 시스템을 갖추고 있다. 현재, 무인 자동차 기술은 Google®, Tesla®, 및 Audi®, BMW®, Nissan® 등과 같은 일부 차량 제조업체에서 개발되고 있다.
예를 들어, Mobileye®와 같은 다른 회사들은 시장에서 핸즈프리 구동 기술에 대한 솔루션을 제공하려고 하고 있다. 이 기술의 사용은 전형적으로 고속도로 또는 국도와 같은 특정 주행 인프라에 제한된다. 이러한 핸즈프리 운전 및 자율 주행 차량 기술의 핵심은 이동중이나 이동 바로 직전 어느 순간에 장면의 3차원 지도를 렌더링하고 생성하는 데에 있다. 이러한 지도는 운전자가 보는 바와 같은 장면을 모방하려고 한다.
이러한 3D 지도의 렌더링은 전형적으로 3D 공간 내의 많은 지점에 대한 거리를 측정하여 대상체의 존재 및 차량과의 각각의 거리를 결정하는 것으로 달성된다. 렌더링된 3D 지도는 차량에 의해 주행 결정을 내리기 위해 결합되고 처리될 수 있다. 상세한 3D 지도를 렌더링하기 위한 기존 솔루션은 라이다 (또는 LADAR) 시스템을 기반으로 한다. 라이다 시스템은 하나의 레이저 빔 또는 여러 개의 레이저 빔을 사용하여 여러 타겟(공간 내의 지점)을 조명하여 대상체까지의 거리를 측정한다. 이러한 기존 솔루션은 전체 배경(장면)을 스캔하도록 라이다 시스템을 구성한다. 단일 3D 지도를 렌더링하려면 많은 수의 레이저 측정을 필요로 한다.
예를 들어, 도 1은 3D 지도가 생성되는 장면의 이미지(100)를 도시한다. 핸즈프리 및 자율 주행 기술에 의해 구현된 일부 기존 솔루션은 이미지(100) 내의 각 지점(110)까지의 거리를 측정한다. 따라서, 레이저 빔은 3D 지도를 렌더링하기 위해 각각의 지점을 조명한다. 많은 예에서, 라이다 시스템은 장면에 대한 사전 지식, 예를 들어 장면의 사진을 갖고 있지 않다. 이를 위해서 이 기술은 매우 복잡하고 값비싼 장비를 기반으로 해야 한다. 예를 들어 Google®에서 만든 로봇 자동차에는 약 7만 달러 가치의 라이다 시스템을 갖춘 장비를 포함한다. 라이다 시스템은 64개의 빔 레이저를 포함한다. 3D 지도를 렌더링하기 위한 하드웨어의 비용이 많이 들어가기 때문에 자율 주행 차량의 대량 생산은 현실적으로 불가능하다. 단지 간략화를 위해 도 1에는 소수 개의 지점(110)만이 구체적으로 표시되고 있음에 유의해야 한다
또한, 기존의 라이다 시스템을 사용하는 자율 차량의 광범위한 생산은 각 차량으로부터 송신되어 시선 내에 있는 사람에 부딪힐 가능성이 있는 많은 수의 레이저 빔으로 인해 보행자, 운전자 및/또는 승객에게 위험한 조건을 야기할 수 있다. 또한, 기존 라이다 솔루션은 사용 가능한 한 가장 높은 에너지 수준에서 레이저 빔을 전송하도록 구성된다. 이것은 라이다 시스템의 최대 범위에서 일 지점을 측정하기 위해 수행된다.
또한, 전체 장면을 스캐닝함으로써 3D 지도를 생성하게 되면 크로스토크(crosstalk)가 증가하게 된다. 이는 이러한 스캐닝 시스템이 장착된 자율 주행 차량에 의해 많은 수의 레이저 빔이 전송되기 때문이다. 결과적으로 전체 장면을 스캔하여 생성된 3D 지도의 최종 해상도가 제한될 수 있다.
따라서, 종래 기술의 결점을 극복할 수 있는 3D 지도를 생성하는 솔루션을 제공하는 것이 바람직하다.
본 개시의 몇몇 예시적인 실시 형태의 요약이 뒤이어진다. 이 요약은 독자가 실시예에 대한 기본적인 이해를 제공할 수 있도록 편의상 제공된 것으로, 본 개시의 범위를 완전히 규정하는 것은 아니다. 이 요약은 모든 고려된 실시예에 대한 광범위한 개론이 아니며, 모든 실시예의 주요 요소 또는 중요한 요소를 식별하거나 또는 임의의 또는 모든 양태의 범위를 기술하려고 하는 것도 아니다. 유일한 목적은 후술되는 더욱 상세한 설명의 서두로서 간략화된 형태로 하나 이상의 실시예의 일부 개념을 제시하는 것이다. 편의상, "일부 실시예"라는 용어는 본 개시의 단일 실시예 또는 다수의 실시예를 나타내기 위해 사용될 수 있다.
본 명세서에 개시된 특정 실시예는 3차원(3D) 지도를 획득하기 위한 방법을 포함한다. 이 방법은 수동 센서에 의해 획득된 적어도 하나의 이미지 내의 복수의 대상체들을 식별하기 위해 상기 적어도 하나의 이미지를 분석하는 단계; 상기 복수의 대상체들을 분류하는 단계; 상기 분류에 기초하여, 정지 상태의 대상체로 분류된 상기 복수의 대상체들 중 적어도 하나의 대상체까지의 각각의 거리를 수동적으로 측정하는 단계; 비정지 상태의 대상체로 분류된 상기 복수의 대상체들 중 일부의 대상체까지의 각각의 거리를 능동적으로 측정하는 단계; 상기 수동적으로 측정된 각각의 거리와 상기 능동적으로 측정된 각각의 거리를 융합하여, 복수의 대상체들에 대한 융합된 거리 측정치를 얻는 단계; 및 상기 융합된 거리 측정치를 기초로 장면의 3D 지도를 생성하는 단계를 포함한다.
본 명세서에 기재된 특정 실시예는 3차원(3D) 지도를 획득하기 위한 장치를 포함한다. 이 장치는 3차원(3D) 지도를 획득하기 위한 장치에 있어서, 장면의 이미지를 획득하기 위한 수동 센서; 처리 시스템으로서, 수동 센서에 의해 획득된 적어도 하나의 이미지 내의 복수의 대상체들을 식별하기 위해 상기 적어도 하나의 이미지를 분석하고, 상기 복수의 대상체들을 분류하도록 구성된 처리 시스템; 및 비정지 상태의 대상체로 분류된 복수의 대상체들 중 일부의 대상체까지의 각각의 거리를 능동적으로 측정하도록 구성된 능동 센서를 포함하고, 상기 처리 시스템은 상기 수동적으로 측정된 각각의 거리와 상기 능동적으로 측정된 각각의 거리를 융합하여, 복수의 대상체들에 대한 융합된 거리 측정치를 얻고, 상기 융합된 거리 측정치를 기초로 장면의 3D 지도를 생성하도록 더 구성된록 구성된다.
본 명세서에 기재된 특정 실시예는 또한 3차원(3D) 지도를 획득하기 위한 방법을 포함한다. 이 방법은 수동 센서에 의해 적어도 하나의 이미지를 획득하는 단계; 세분화 지도를 렌더링하기 위해 상기 적어도 하나의 이미지를 세분화하는 단계; 상기 세분화 지도에서 식별된 각 세그멘트 내의 제1 개수의 픽셀의 각 픽셀에 대한 거리 값을 능동적으로 측정하는 단계 - 상기 제1 개수의 픽셀은 각 세그먼트 내의 상기 픽셀의 수보다 작음 -; 상기 제1 개수의 픽셀 내의 픽셀의 상기 거리를 사용하여 상기 세그먼트 내의 각 픽셀에 대한 거리 값을 계산하는 단계; 및 상기 측정 및 계산된 거리 값에 기초하여 장면의 3D 지도를 생성하는 단계를 포함한다.
본 명세서에 개시된 요지는 명세서의 결론 청구 범위에서 특히 지적되며 명백하게 청구된다. 개시된 실시예의 상기 및 다른 목적, 특징 및 이점은 첨부된 도면과 관련하여 취해진 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 종래의 접근법을 사용하여 3D 지도가 생성된 장면의 사진이다.
도 2는 일 실시예에 따라 차량으로부터 3D 지도를 생성하도록 구성된 장치의 블록도이다.
도 3a 및 도 3b는 일 실시예에 따라 이미지 내의 대상체들의 식별을 나타내는 도면이다.
도 4는 일 실시예에 따른 장면의 3D 지도를 생성하는 방법을 도시하는 흐름도이다.
도 5는 일 실시예에 따른 수동 측정을 수행하는 방법을 나타내는 흐름도이다.
도 6은 알려진 대상체 크기에 기초한 수동 측정을 나타내는 이미지이다.
도 7은 다른 실시예에 따른 수동 측정을 수행하는 방법을 나타내는 흐름도이다.
도 8은 프레임들간의 거리 변화에 기초하여 대상체가 정지 상태인지를 결정하는 것을 설명하기 위해 이용된 스크린 샷이다.
여기에 개시된 실시예는 본 명세서의 혁신적인 기술의 많은 유리한 사용예에 불과하다는 것을 주목하는 것이 중요하다. 일반적으로, 본원의 상세한 설명에서 이루어진 설명은 청구된 실시예들을 반드시 제한하는 것은 아니다. 또한, 일부 진술은 다른 특성이 아니라 본 발명의 특성에 적용될 수 있다. 일반적으로, 달리 명시하지 않는 한, 단수 요소는 일반성의 손실 없이 복수일 수 있고, 또는 그 반대일 수 있다. 도면에서, 동일한 참조 번호는 몇 도면에 걸쳐 동일한 부분을 지칭한다.
개시된 실시예에 따르면, 3D 지도는 능동 측정, 수동 측정 및/또는 그러한 측정과 관련된 정보의 분석에 기초하여 렌더링되거나 그렇지 않으면 생성된다. 일부 실시예에서, 3D 지도는 차량으로부터 캡쳐된 측정치에 기초할 수 있다. 일 실시예에서, 능동 측정은 레이저 측정이지만, 수동 측정은 이미지 처리에 의해 달성된다. 따라서, 개시된 실시예는 적은 수의 저 에너지 레이저 빔을 사용하면서 장면의 완전한 3D 지도를 제공할 수 있게 한다. 장면은 3D 지도를 생성하게 하는 장치에 의해 캡쳐된 시야일 수 있다. 특정 구성에서, 개시된 실시예는 전체 장면에 대해 능동 측정을 수행하지 않고 특정 구간의 환경의 고해상도 3D 지도를 생성하는 데 이용될 수 있다. 능동 측정을 적게 사용하게 되면 사람이 레이저 광선에 노출될 위험이 줄어든다.
도 2는 일 실시예에 따라 차량으로부터 3D 지도를 생성하도록 구성된 장치(200)의 예시적인 블록도를 도시한다. 장치(200)는 처리 시스템(210)에 연결된 메모리(215), 능동 센서(220), 및 수동 센서(230)를 포함한다. 특정 구성에서, 장치(200)는 처리 시스템(210)에 연결된 저장 장치(240), 하나 이상의 모션 센서(250), 및 네트워크 인터페이스(260)를 더 포함한다.
장치(200)는 예를 들어, 차량에 장착되거나 차량에 일체화될 수 있다. 이러한 차량은 예를 들어 자동차, 트럭, 버스, 드론, 로봇 등을 포함할 수 있다. 장치(200)는 차량의 조작자(예를 들어, 운전자)에 의해 관찰되는 바와 같은 장면의 3D 지도를 생성하는데 이용될 수 있다. 일 실시예에서, 장치(200)는 생성된 3D 지도의 분석에 기초하여 차량의 동작의 일부 또는 전부를 제어하도록 구성된다. 따라서, 장치(200)는 자율 주행 차량, 핸즈프리 주행 시스템, 운전자 보조 시스템 등과 관련된 응용에 사용될 수 있다.
수동 센서(230)는 수동적으로 이미지를 획득하도록 구성된 이미지 센서(예를 들어, 카메라)일 수 있다. 획득된 이미지는 처리 시스템(210)에 의해 또는 이미지 처리 기술을 사용하는 수동 센서(230)에 의해 처리될 수 있다.
능동 센서(220)는 장면 내 대상체로부터의 거리를 결정하기 위해 특정 방향으로 능동 측정을 수행하도록 구성된다. 일 실시예에서, 능동 측정은 레이저 측정이다. 또 다른 실시예에서, 능동 센서(220) (예를 들어, 처리 시스템(210)에 의해 결정되는) 특정 방향에서 광선을 조명하고 장면 내 대상체로부터 반사된 광선을 검출하도록 구성된다. 대상체로부터의 거리는 각각의 반사된 광선의 에너지 및 반사 각도에 기초하여 계산될 수 있다. 능동 센서(220)는 능동 스테레오 비젼(stereovision), 구조화된 광(structured light), 타임-오브-플라이트(time-of-flight; TOF) 등으로 구현될 수 있지만, 이에 한정되는 것은 아니다.
처리 시스템(210)은 전체 환경이나 환경 내의 특정 대상체의 3D 지도를 생성하기 위해 데이터(예를 들어, 방출 및 반사된 빔의 에너지 레벨, 방향, 반사각)를 처리하도록 구성된다. 후술되는 바와 같이, 능동 측정의 수는 수동 센서(230)에 의해 획득된 이미지 또는 이미지를 사용하여 초기 스캐닝이 수행될 때 공간 내의 특정 지점 및/또는 표면으로 제한된다. 실시예에서, 이전에 획득된 이미지 또는 이전에 생성된 3D 지도와 같은 3D 지도 추가 정보를 생성하기 위해서, 이전에 결정된 능동 측정 및/또는 모션 센서(250)로부터 수집된 감각 정보가 이용될 수 있다. 모션 센서(250)는 글로벌 위치 확인 시스템(GPS), 가속도계, 근접 센서, 주행계 등을 포함할 수 있지만, 이에 한정되는 것은 아니다. 능동/수동 측정과 함께 부가 정보는 처리 시스템(210)에 의해 이용되어 각 대상체의 크기, 그 속도 및 차량에 대한 그 방향을 결정할 수 있다.
특정 실시예에 따르면, 처리 시스템(210)은 3D 지도를 생성하도록 구성된다. 이를 위해, 처리 시스템(210)은 능동 및 수동 측정들을 융합하고; 정지 또는 거의 정지 상태인 대상체를 결정하고; 움직이는 대상체로부터의 거리만을 능동적으로 측정하고; 대상체의 최고 가능 속도 및/또는 수동 측정치를 이용하여 대상체로부터의 거리를 추정하도록 구성된다.
능동 및 수동 측정의 융합은 수동 센서(230)가 신뢰성 있는 측정을 제공하지 않는 영역에서 대상체를 측정하기 위해 능동 센서(220)를 이용하는 것을 포함할 수 있다. 수동 센서(230)가 대상체에 대해 신뢰성 있는 측정을 제공할 수 있는지는 대상체의 분류, 화상 내의 대상체의 가시성 등에 기초하지만, 이에 한정되는 것은 아니다. 일 실시예에서, 신뢰할 수 있는 수동 측정이 달성될 수 있다면, 능동 센서(220)를 이용하지 않는다. 따라서, 개시된 실시예는 능동 센서(220)에 의해 수행되는 능동 측정의 수를 상당히 감소시킬 수 있다.
이와 같이, 더 적은 레이저 빔이나 그 외 소스가 이용될 수 있고, 그에 의해 더 높은 해상도를 달성할 뿐만 아니라 에너지 소비, 크로스토크 및 위험한 조건을 감소시킬 수 있다. 일 실시예에서, 장치(200)는 능동 센서(220)를 사용하여 의심 상태 대상체만을 능동적으로 측정하도록 구성될 수 있다. 의심 상태 대상체는 그에 기초한 지도를 정확하게 생성하기 위해 능동 측정을 필요로 하는 임의의 대상체일 수 있다. 대상체의 분류는 아래에서 설명한다. 대상체는 예를 들어, 대상체가 비정지 상태(즉, 이동중) 및/또는 장치(200)에 최근접 상태인 경우 의심 상태가 될 수 있다. 일 예로, 장치(200)가 자동차에 장착되면, 보행자는 의심 상태 대상체로 인식되는 반면 배경의 나무는 그렇지 않다.
일 실시예에서, 처리 시스템(210)은 수동 센서(230)에 의해 제공된 이미지에 기초하여 어떤 대상체가 정지 상태에 있는지 또는 거의 정지 상태에 있는지를 결정하도록 구성된다. 예를 들어, 이미지 인식을 사용하여, 처리 시스템(210)은 예를 들어, 집, 나무, 기둥 등과 같은 정지 상태의 대상체를 결정하도록 구성될 수 있다. 다른 실시예에서, 수동 센서(230)가 고정될 때, 처리 시스템(210)은 2개의 연속적인 이미지를 비교하고, 이 비교에 기초하여 어떤 대상체가 정지된 대상체를 기준으로 이동되었는지 결정함으로써 대상체가 정지 상태인지를 결정하도록 구성될 수 있다. 일 예로, 수동 센서가 환경 내의 건물의 측면에 고정되면, 연속 이미지를 비교하여 장면의 어떤 대상체가 고정된 대상체를 기준으로 이동되었는지 여부를 결정할 수 있다.
또 다른 실시예에서, 대상체가 정지 상태인지의 여부를 결정하는 것은 수동 센서(230)에 의해 캡쳐된 프레임(예를 들어, 이미지)의 비교에 기초할 수 있다. 비교는 프레임 내 지점의 세트들 간의 거리 변화를 결정하는 것을 포함할 수 있지만, 이에만 제한하는 것은 아니다. 예시의 실시예에서, 두 지점 간의 각각의 거리 변화는 제1 프레임에서 보여지는 지점들 간의 3D 거리와 제2 프레임에서 보여지는 지점들 간의 3D 거리 간의 차이와 동일할 수 있다. 이동한 것으로 판단되는 대상체는 비정지 상태인 대상체와 연관될 수 있다. 일 실시예에서, 예를 들어, 대상체와 관련된 모든 거리 변화의 합이 사전 정의된 임계값 이상인 경우, 대상체는 이동한 것으로 결정될 수 있다. 다른 실시예에서, 지점과 관련된 거리 변경의 합이 미리 정의된 임계치를 초과하는 다른 대상체 각각에 관련된 거리 변경의 합보다 큰 경우, 대상체는 이동한 것으로 결정될 수 있다. 또 다른 실시예에서, 후속 프레임의 대상체와 관련된 거리 변화가 사전 정의된 임계치를 초과하는 이전 프레임의 대상체와 관련된 거리 변경보다 큰 경우, 대상체는 이동한 것으로 결정될 수 있다.
도 8은 대상체가 정지 상태인지의 여부를 결정하기 위해 프레임들 간의 거리 변화를 사용하여 기술하기 위해 사용된 예시적인 다이어그램(800)이다. 예시적인 스크린 샷(800)에서, 각각의 프레임(810 내지 830)은 (대상체를 나타낼 수 있는) 이미지 내의 지점들(1, 2, 3 및 4)의 위치 및 각 쌍의 지점들(1, 2, 3 및 4) 간의 거리를 나타낸다. 중첩된 프레임(830)은 프레임(810)의 상부에 프레임(820)이 중첩된 것을 나타낸다. 프레임(830)에서 나타낸 바와 같이, 지점(1, 2, 및 4)은 프레임(810 및 820) 각각에서와 대략 동일한 위치에 있다. 그러나 지점(3)은 프레임(810)에서는 프레임(820)에서와 다른 위치에 있다. 지점(3)에 관련된 거리 변화의 합은 지점의 쌍들(1 및 3), (2 및 3) 및 (4 및 3)에 대해 프레임(810 및 820) 간의 거리 변경의 합일 수 있다. 결과적으로, 지점(3)과 관련된 거리 변화의 합은 프레임들(810 및 820) 사이에서 0보다 커질 것이며, 미리 정의된 임계값 이상일 수 있다. 또한, 지점(3)에 관련된 거리 변화의 합은 지점(1, 2, 및 4) 각각에 관련된 거리 변화의 합보다 더 크게 된다. 따라서 지점(3)과 연관된 대상체가 프레임들(810 및 820) 사이에서 이동했다고 결정될 수 있다.
다른 실시예에서, 이미지 내의 대상체가 정지 상태인지 여부를 결정하는 것은 이미지 내 대상체의 예측된 위치에 기초할 수 있다. 예측 이미지는 현재 획득된 이미지의 프레임 또는 생성된 3D 지도에 기초하여 생성될 수 있다. 예측 이미지는 현재 이미지를 획득하거나 현재 3D 지도를 생성하는데 사용되는 정보를 제공하는 센서의 움직임에 더욱 기초할 수 있다. 현재 프레임 및/또는 센서의 임의의 새로운 위치 또는 방위에 기초하여, 후속 시간(대상체가 이동하지 않는다고 가정)에서 대상체의 예측된 위치를 나타내는 예측 프레임이 생성된다. 예측 프레임은 후속 시간에 센서 판독 값에 기초한 후속 프레임과 비교되어 대상체의 위치들 간에 임의의 차이가 있는지를 결정할 수 있다. 일 실시예에서, 예측 프레임과 대응하는 후속 프레임 사이의 대상체의 위치의 차이가 소정의 임계치를 초과하는 경우, 대상체가 이동했다고 결정될 수 있다.
일 실시예에서, 수동 센서(230)가 움직일 때, 정지된 대상체들로부터의 거리는 GPS 및 자동차의 속도를 사용하여 측정될 수 있다. 다른 실시예에서, 정지된 대상체들로부터의 거리는 수동 센서 정보 및/또는 3D 맵핑 정보의 프레임들(예를 들어, 획득된 이미지들)을 비교함으로써 GPS를 사용하지 않고 측정될 수 있다. 추가 실시예에서, 임의의 2개의 프레임들 간의 거리 및/또는 각도 변화를 발견하는 것은 가중된 스코어에 기초하여 프레임들 내의 대응하는 지점들의 각 쌍에 대해 결정될 수 있다. 이를 위해, 일 실시예에서, 두 프레임들 간의 거리 또는 각도 변화를 발견하는 단계는 프레임들 내의 일치하거나 아니면 대응하는 지점들을 결정하는 단계를 더 포함할 수 있다. 또 다른 실시예에서, 가중된 스코어는, 예를 들어 노이즈에 기초한 에러와 같이, 각 프레임 내의 지점의 거리와 관련된 에러의 정도에 기초하지만, 이에 한정되는 것은 아니다.
또 다른 실시예에서, 예측 프레임은 3D 또는 2D 맵핑 정보뿐만 아니라 센서의 위치 및 방위에 기초하여 생성될 수 있다. 예측 프레임은 3D 맵핑 정보에 포함된 정지된(즉, 움직이지 않는) 대상체들의 예상 위치를 나타내는 3D 이미지일 수 있다. 그러한 정지 대상체는 나무, 간판, 표지판, 건물 및 기타 영구적 또는 반영구적 아이템이나 고정물을 포함할 수 있지만, 이에 국한되는 것은 아니다. 예측 프레임은 예를 들어, 이전 프레임의 노출된 갭을 채우기 위해 이용될 수 있다(예를 들어, 대상체가 움직일 때, 예측 프레임은 움직인 대상체의 이전 위치 뒤에 있는 아이템에 대한 예측을 설명하기 위해 이용될 수 있다).
다른 실시예에서, 수동 측정은 비정지 및 비의심 상태 분류된 대상체의 움직임에 기초하여 수행될 수 있다. 이를 위해, 거리를 수동적으로 측정하는 것은 대상체의 경계 속도 및 대상체의 이동 방향을 결정하는 것을 포함할 수 있지만, 이에 한정되는 것은 아니다. 경계 속도는 대상체의 경계(즉, 외표면)가 이동하는 속도이다. 결정된 경계 속도 및 방향에 기초하여, 대상체까지의 거리가 추정될 수 있다. 일 실시예에서, 추정된 거리는 대상체에 대한 이전에 알려진 거리 및/또는 대상체를 포함하는 이전에 생성된 3D 지도에 더욱 기초할 수 있다.
또 다른 실시예에서, 처리 시스템(210)은 그러한 대상체들의 최대 및/또는 최소 가능 속도를 사용하여 비정지 대상체들로부터의 거리를 추정하도록 구성된다. 대상체의 가능한 최대 또는 최소 속도가 경계 속도로 활용될 수 있다. 예를 들어, 보행자로부터의 거리가 먼저 측정되면, 주어진 시간에서 그 보행자의 가능한 거리를 나타내는 거리 범위(예를 들어, 0과 2 미터 사이)가 사람의 소정의 최대 속도에 기초하여 결정될 수 있다.
보행자가 임의의 조치를 요구하지 않는 범위(예를 들어, 차량으로부터 길 건너 보도에서의 보행) 내에 위치하는 경우, 처리 시스템(210)은 보행자에 대한 다른 능동 측정을 트리거하지 않는다. 일 조치는 예를 들어, 차량을 조정하는 것을 포함할 수 있다. 조치가 필요한지는 미리 정의된 안전 거리 임계치를 기반으로 할 수 있다. 안전 거리 임계치는 차량 및/또는 대상체의 속도, 대상체의 장치(200)로부터의 거리, 대상체의 유형, 이들의 조합 등을 포함할 수 있지만, 이에 한정되는 것은 아니다. 또 다른 실시예에서, (예를 들어, 경계 속도 및 대상체의 방향에 기초하는) 움직이는 대상체에 대한 추정된 거리가 안전 거리 임계치를 만족하지 않을 때, 능동 측정이 수행될 수 있다. 일 조치는 예를 들어, 핸즈프리 또는 자율 차량을 제어하는 것을 포함될 수 있다.
일 실시예에서, 처리 시스템(210)은 수동 측정을 사용하여 비정지 및 정지 상태의 대상체로부터 처리 시스템(210)의 거리를 추정하도록 구성된다. 특히, 거리는 대상체의 대략적인 크기 및 수동 센서(230)에 의해 획득된 이미지에서 피사체가 차지하는 픽셀의 양에 기초하여 추정될 수 있다. 이러한 추정은 피사체가 차량에 근접하는지의 여부를 결정하는 것을 더 포함할 수 있다. 근거리에 있지 않은 일부 대상체의 경우, 능동 센서(220)에 의한 능동 측정이 요구되지 않는다. 근거리 근접은 미리 정의된 임계치에 기초하여 설정될 수 있다(예를 들어, 100 미터 미만의 거리가 근접으로 결정될 수 있음).
특정(예를 들어, 의심 상태) 대상체를 고려하는 것으로 능동 센서(220)에 의한 능동 측정의 수를 감소시킬 수 있다. 도 3a 및 도 3b는 본 발명의 일 실시예에 따라 3D 지도가 생성된 장면의 예시 영상을 도시한 도면이다. 먼저, 주변 환경의 이미지(300)가 수동 센서(230)에 의해 획득된다. 이미지(300)는 대상체(310)를 식별하도록 세분화된다. 대상체의 세분화 및 식별은 종래의 이미지 처리 기술을 사용하여 수행될 수 있다. 예를 들어, 도로, 보행자, 자동차, 밴, 트럭, 충돌 장벽 및 노이즈 장벽이 대상체(310)로 식별된다. 그런 다음, 대상체 분류 및 수동 측정이 수행된다. 대상체 분류에 기초하여, 어떤 능동 측정이 이루어져야 하는지, 즉 능동 센서(220)에 의해 방출된 레이저 광선을 어디로 향하게 할지가 결정된다. 대상체의 분류는 어떤 대상체가 정지 상태이고, 비정지 상태이고, 의심 상태인지를 결정할 수 있다. 예를 들어, 보행자, 자동차, 밴 및 트럭은 비정지 및 의심 상태 대상체로 분류되고, 이와 같이 많은 여러 방향에서의 능동 측정은 부분적으로 대상체 분류에 기초하는 위치(320)에서 트리거된다. 도로, 충돌 장벽, 하늘, 도로 및 음향 장벽은 정지 및 비의심 상태의 대상체로 분류되므로 더 적은 수의 능동 측정이 수행된다.
도 3b에 의해 입증된 바와 같이, 이미지(300)에서 획득된 장면의 일부만이 능동 센서(220)로 스캐닝된다. 위치 능동 측정은 320으로 라벨링된다. 제한된 수의 대상체에 대해 더 많은 수의 능동 측정을 실행하게 되면 이들 대상체와 관련하여 더 높은 해상도를 제공한다. 이로써 세부 인식이 필요한 특정 영역에서 더 높은 해상도를 제공할 수 있다.
또한, 도 3a 및 도 3b는 단지 예시적인 것으로 다양한 개시된 실시예를 제한하는 것은 아니다. 특히, 본 발명의 범위를 벗어나지 않으면서 보다 많거나, 보다 적은 또는 상이한 대상체(310 및/또는 320)가 이미지로 식별될 수 있다.
일단 모든 측정이 완료되면, 장면의 3D 지도가 생성될 수 있다. 구체적으로, 3D 지도는 획득된 이미지 내의 임의의 픽셀로부터의 장치의 거리를 계산함으로써 생성된다. 즉, 각 픽셀은 3D 지도를 생성하기 위해 거리 값과 연관되어야 한다. 거리 값은 수동 측정 및 능동 측정에서 파생될 수 있다. 일 실시예에서, 일련의 거리 측정만 수행된다(예를 들어, 픽셀 수보다 적은 측정). 거리 값은 평면 방정식 또는 기타 등가의 기법을 사용하여 계산하거나 외삽할 수 있다.
도 2로 돌아가서, 처리 시스템(210)은 메모리(215)에 결합된 프로세서(미도시) 또는 프로세서의 어레이를 포함할 수 있거나 그 구성 부품일 수 있다. 메모리(215)는 처리 시스템(210)에 의해 실행될 수 있는 명령을 포함한다. 이 명령은 처리 시스템(210)에 의해 실행될 때, 처리 시스템(215)이 본 명세서에서 설명된 다양한 기능을 수행하게 한다. 하나 이상의 프로세서는 범용 마이크로 프로세서, 멀티 코어 프로세서, 마이크로 컨트롤러, 디지털 신호 프로세서(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 프로그래머블 로직 디바이스(PLD), 컨트롤러, 상태 머신, 게이트 로직(gated logic), 이산 하드웨어 콤포턴트, 전용 하드웨어 유한 상태 머신, 또는 정보의 계산이나 그 외 조작을 수행할 수 있는 임의의 다른 적절한 엔티티의 임의의 조합으로 구현될 수 있다.
또한, 처리 시스템(210)은 소프트웨어를 저장하기 위한 기계 판독 가능 매체를 포함할 수 있다. 소프트웨어는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어 등으로 언급되는 것에 관계없이 모든 종류의 명령어를 의미하는 것으로 광범위하게 해석된다. 명령어들은 코드(예를 들어, 소스 코드 포맷, 이진 코드 포맷, 실행 가능한 코드 포맷, 또는 임의의 다른 적절한 포맷의 코드)를 포함할 수 있다. 상기 명령들은 하나 이상의 프로세서에 의해 실행될 때, 처리 시스템으로 하여금 여기에 설명된 다양한 기능을 수행할 수 있게 한다.
저장 장치(240)는 자기 저장 장치, 광학 저장 장치 등일 수 있으며, 예를 들어, 원하는 정보를 저장하는데 사용될 수 있는 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(Digital Versatile Disks) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 임의의 다른 매체로 실현될 수 있다.
일 구성에서, 본 명세서에서 개시된 임의의 실시예를 구현하기 위한 컴퓨터 판독 가능 명령이 저장 장치(240)에 저장될 수 있다. 저장 장치(240)는 또한 운영 시스템, 응용 프로그램 등을 구현하기 위해 다른 컴퓨터 판독 가능 명령을 저장할 수 있다. 컴퓨터 판독 가능 명령들은 처리 시스템(210)에 의해 실행하기 위해 메모리(215)에 저장될 수 있다. 저장 장치(240)는 또한 예를 들어, 이미지, 생성된 3D 지도, 맵핑 서비스(예를 들어, 거리 레벨의 지도)에 의해 제공된 3D 또는 2D 지도를 저장하도록 구성될 수 있다.
상기 네트워크 인터페이스(260)는 상기 장치(200)가 이에만 제한하는 것은 아니지만, 차량의 제어기(미도시), 중앙 제어기(미도시), 및 클라우드 저장 장치 표시(미도시)와 같은 다른 장치와 통신할 수 있게 한다. 예를 들어, 네트워크 인터페이스(260)는 장치(200)가 차량의 제어기와 통신하여 네트워크(도시되지 않음)를 통해 작동 명령(예를 들어, 정지, 우회전 등)을 제공하도록 구성될 수 있다. 일 실시예에서, 네트워크 인터페이스(340)는 예컨대 구성, 새로운 지도의 로딩 등의 목적으로 장치(200)에 대한 원격 액세스를 허용한다. 네트워크 인터페이스(260)는 유선 접속 또는 무선 접속을 포함할 수 있다. 네트워크 인터페이스(260)는 통신 매체를 송신 및/또는 수신할 수 있다. 예를 들어, 네트워크 인터페이스(260)는 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송수신기, 적외선 포트, USB 연결 등을 포함할 수 있다.
도 4는 일 실시예에 따른 장면의 3D 지도를 생성하는 방법을 나타내는 예시의 흐름도(400)이다. 일 실시 예에서, 이 방법은 차량에서 작동 가능한 장치(예를 들어, 장치(200))에 의해 수행될 수 있고, 생성된 3D 지도는 차량의 조작자가 보게 되는 장면으로 되어 있다. 3D 지도는 수동 및 능동 측정의 융합을 기반으로 생성될 수 있다.
단계 S410에서, 수동 센서에 의해 하나 이상의 이미지가 획득된다. 일 실시예에서, 획득된 이미지는 획득 순서에 따라 메모리에 저장된다. 다른 실시예에서, 획득된 이미지는 연속적으로 기록되는 비디오의 프레임을 포함할 수 있다.
선택적인 단계 S420에서, 이미지는 세분화 지도를 생성하도록 세분화될 수 있다. 세분화 지도는 복수의 세그먼트를 포함하며, 각각의 세그먼트는 동일한 컬러 또는 실질적으로 유사한 컬러를 갖는 균질한 픽셀을 특징으로 한다.
단계 S430에서, 이미지 또는 세분화 지도 내의 대상체들이 식별된다. 일 실시예에서, 대상체는 예를 들어 이미지 인식에 기초하여 식별될 수 있다. 대상체는 여러 세그먼트를 포함할 수 있다. 예를 들어, 두 가지 다른 색상으로 채색된 트럭은 두 개의 세그먼트로 세분화될 수 있지만 하나의 대상체로 식별할 수 있다.
단계 S440에서, 식별된 대상체가 분류된다. 일 실시예에서, 대상체는 다음 카테고리 중 하나 이상으로 분류될 수 있다: 비정지 상태(즉, 이동중이거나 이동할 가능성 있음), 정지 상태(즉, 움직이지 않음), 의심 상태 또는 비의심 상태. 일 실시예에서, 대상체가 비정지 상태인지 또는 정지 상태인지 여부는 (예를 들어, 이미지 인식을 사용하여) 대상체를 식별하는 것으로 결정될 수 있으며 그 유형에 기초할 수 있다. 예를 들어, 건물을 나타내는 대상체는 비정지 상태로 분류될 수 있다. 다른 실시예에서, 대상체의 비정지 또는 정지 상태 카테고리는 미리 정의된 시간 간격 동안 촬영된 두 개의 연속적인 이미지를 비교하여 결정됨으로써 대상체의 위치가 변경되었는지를 결정한다. 대상체의 위치가 동일하게 유지되면 대상체는 정지된 것으로 분류된다; 그렇지 않으면 대상체가 비정지 상태로 분류될 수 있다. 다른 실시예에서, 식별된 대상체들의 일부에 대한 대상체 분류는 식별된 대상체의 크기에 기초할 수 있다. 비한정적인 예로서, 소정의 임계치 이상의 크기를 갖는 대상체 (예를 들어, 차량이 대상체 주위를 탐색할 필요가 있을 만큼 큰 대상체)가 의심 상태로 분류될 수 있지만, 미리 정의된 임계치 이하의 크기를 갖는 대상체 (예를 들어, 차량이 안전하게 대상체 위를 달릴 만큼 작은 대상체)는 비의심 상태로 분류될 수 있다.
일 실시예에서, 이미지 비교에 기초한 분류는 수동 센서의 움직임 (또는 움직임 없음) 및/또는 위치 결정에 더 기초할 수 있다. 구체적으로, 수동 센서가 움직이지 않고 (예를 들어, 차량이 교통 신호로 정지함), 두 개의 연속적인 이미지가 동일한 각도로부터 취해질 때, 비교는 다른 대상체를 기준으로 움직이는 대상체의 위치의 변화를 나타낼 수 있다. 수동 센서 자체가 움직일 때 두 개의 연속 이미지가 다른 각도에서 촬영된다. 정확한 비교를 가능하게 하기 위해, 일 실시예에서, 제2 이미지 (예를 들어, 이후에 촬영된 이미지)는 제1 이미지 (예를 들어, 이전에 촬영된 이미지)의 각도와 일치하도록 변형될 수 있어, 두 이미지를 동일한 각도로 배치할 수 있다. 이미지 변환은 가상 카메라 기술을 사용하여 수행할 수 있다. 하나의 장면에서, 대상체는 정지 상태로 분류될 수 있는 반면, 다음 장면에서는 대상체가 비정지 상태 (예를 들어, 주차된 자동차)로 분류될 수 있다는 점에 유의해야 한다. 일 실시예에서, 정지된 대상체의 분류는 맵핑 서비스가 제공된다면 3D, 2D, 스트리트 뷰 및/또는 위성 지도와 같은 지리적 지도에 부분적으로 기초하여 수행될 수 있다. 이것은 알려진 위치에 기초하여 건물 등을 식별할 수 있게 한다.
일 실시예에서, 의심 상태 대상체들의 분류는 미리 결정된 의심 상태 대상체의 리스트에 기초한다. 예를 들어, 의심 상태로 미리 결정된 대상체는 도로상의 다른 차량, 보행자, 동물, 도로의 파편 등일 수 있지만, 이에 한정되는 것은 아니다. 리스트를 동적으로 업데이트할 수 있다. 일반적으로 차량에 근접하여 위험하거나 위험할 수 있는 대상체는 의심 상태로 분류된다. 대상체는 "의심 및 정지 상태" 또는 "의심 및 비정지 상태"로 분류될 수 있음에 유의해야 한다. 대상체 분류에 대한 다양한 실시예가 상술되어 있다.
단계 S445에서, 정지 상태로 분류된 각 대상체에 대해, 정지 상태로 분류된 대상체까지의 거리가 알려져 있는지 확인된다. 그렇다면, 실행은 S447로 계속된다; 그렇지 않으면, 실행은 S450으로 계속된다. S447에서, 정지된 대상체까지의 거리가 이전의 계산들로부터 검색된다. 이 거리 정보는 이전에 생성된 3D 지도에서 파생될 수 있다. 정지된 대상체는 이전에 생성된 3D 지도를 기준으로 정지된 것으로 결정될 수 있다. 일 예로서, 수동 센서가 이동하지 않고, 대상체가 정지되어 있고, 이전에 결정된 수동 측정 및/또는 능동 측정 거리가 그 수동 센서로부터 대상체에 대해 이용 가능한 경우, 대상체에 대한 현재 수동 측정은 이전에 결정된 거리가 되도록 결정될 수 있다.
단계 S450에서, 획득된 이미지에 기초하여 수동 측정이 수행된다. 수동 측정은 분류된 대상체들 중 적어도 하나, 일부 또는 모두로부터 적어도 거리를 측정하는 것을 포함한다. 전술한 바와 같이, 이런 측정은 정보가 이전에 생성된 3D 지도로부터 도출될 수 없는 경우 수행된다. 일 실시예에서, "정지 상태" 또는 "비의심 및 비정지 상태"로 분류된 각각의 대상체로부터의 거리는 수동 측정을 통해 결정된다. 전술한 바와 같이, 정지된 대상체의 거리가 이용 가능하지 않을 때, 정지된 대상체에 대해 거리가 수동적으로 측정된다. 일 실시예에서, 수동 측정은 대상체의 알려진 크기(예를 들어, 픽셀의 수), 유효 참조 지점, 소실점 및 소실 선으로부터의 거리, 장치나 차량의 이동 등을 이용하여 획득된 이미지 내 대상체까지의 거리를 결정하는 단계를 포함할 수 있다. 수동 측정을 수행하기 위한 다양한 실시예가 도 5 및 도 6을 참조하여 아래에서 보다 상세히 설명된다. 거리 측정은 메모리(예를 들어, 메모리(215))에 저장될 수 있다. 거리 측정은 대상체를 구성하는 모든 픽셀 또는 임의의 픽셀에 대한 것일 수 있음을 알아야 한다.
다른 실시예에서, 수동 측정은 비정지 및 비의심 상태 분류된 대상체의 이동에 기초하여 수행될 수 있다. 이를 위해, 거리를 수동적으로 측정하는 것은 대상체의 경계 속도 및 대상체의 이동 방향을 결정하는 것을 포함할 수 있지만, 이에 한정되는 것은 아니다. 경계 속도는 대상체의 경계(즉, 외부 표면)가 이동하고 있을 때의 속도이다. 결정된 경계 속도 및 방향에 기초하여, 대상체까지의 거리가 추정될 수 있다. 일 실시예에서, 추정된 거리는 대상체에 대한 이전에 알려진 거리 및/또는 대상체를 포함하는 이전에 생성된 3D 지도에 더욱 기초할 수 있다.
단계 S460에서, 능동 측정이 수행된다. 일 실시예에서, 능동 측정은 능동 센서(예를 들어, 능동 센서(220))를 사용하여 수행될 수 있다. 능동 측정을 수행하는 것은 분류된 대상체의 일부 또는 전부로부터의 거리를 측정하는 것을 포함할 수 있다. 일 실시예에서, 거리는 "의심 상태", "비정지 상태" 및/또는 "의심 및 비정지 상태"로 분류된 대상체로부터 능동적으로 측정된다. 다른 실시예에서, 신뢰성 있는 수동 측정이 달성될 수 없을 때, 거리는 능동적으로 측정된다. 신뢰할 수 있는 수동 측정은 획득된 이미지의 하나 이상의 대상체 및/또는 세부 사항이 여러 번 나타나는 경우; 이미지가 명확한 질감이 없는 일반 영역(예를 들어, 벽과 하늘)이 포함하는 경우; 이미지의 세부 사항(자동차 안의 핸들)이 다른 장면에서는 숨겨진 경우; (예를 들어, 수동 센서가 단지 하나의 카메라를 포함할 때) 고유의 각도로부터 하나의 이미지만이 수동 측정을 위해 이용 가능한 경우; 이미지가 하나 이상의 잡음이 많은 영역을 포함하는 경우 실행될 수 없다. 이러한 대상체를 다시 측정함으로써, 정확도가 높아져 허위 경보의 수가 현저히 줄어든다.
실시예에서, S460은 레이저 다이오드를 사용하여 레이저 빔(또는 광 펄스)을 방사하는 것을 포함한다. 레이저가 목표물에 도달하고 레이저 에너지의 일부는 능동 센서 쪽으로 다시 반사된다. 복귀 신호가 검출되고, 레이저로부터의 광 펄스의 방출과 복귀된 신호의 검출 사이의 경과 시간이 결정된다. 대상체까지의 거리의 거리 측정은 결정된 경과 시간에 기초하여 결정될 수 있다. 거리 측정은 이미지를 구성하는 픽셀의 일부 또는 전부에 대한 것일 수 있음에 유의해야 한다. 일 실시예에서, 다수의 능동 측정이 대상체마다 수행될 수 있으며, 각각의 이러한 측정에서 레이저 펄스는 다른 각도로 지향된다. 측정의 해상도는 각 대상체에 대해 수행된 측정의 수에 기초할 수 있다.
각각의 방출된 레이저 빔의 타이밍, 방향 및 에너지 레벨은 정확한 거리 측정을 달성하도록 제어될 수 있다. 일 실시예에서, 적어도 레이저 빔의 방향은 이미지가 수동 센서에 의해 획득된 시간과 능동 측정이 트리거될 때의 시간 사이의 시간 및 위치 차이에 기초하여 조정된다. 이것은 그 시간 동안 능동 센서 및/또는 목표 대상체의 움직임을 보상하기 위해 수행된다. 능동 센서를 가리키는 방향은 능동 센서의 현재 위치를 이미지를 획득했을 때의 그 위치를 기준으로 결정함으로써 가속도계 정보를 이용하여 추정될 수 있다.
단계 S460에서 수행되는 능동 측정은 레이더, 음향, 레이저 삼각 측량 등과 같은 다른 능동 송신 또는 방출에 기초할 수 있지만 이에 국한되지는 않는다는 점에 유의해야 한다. S450과 S460은 병렬로 수행될 수 있음을 주목해야 한다. 예를 들어, 수동 측정은 비정지 상태로 분류된 대상체 및/또는 수동적으로 측정할 수 없는 대상체에 대해 병렬로 수행될 수 있다.
특정 실시예에서, 방출된 레이저의 에너지 레벨은 차량 (또는 능동 센서)에 대한 대상체의 근접성에 기초하여 제어된다. 근접은 스캔되고 있는 영역에서의 이전의 능동 및/또는 수동 측정을 사용하여 결정할 수 있다. 에너지 레벨을 제어함으로써, 능동 센서의 에너지 소비는 가능한 한 가장 많은 양의 에너지를 갖는 레이저 빔을 항상 사용하는 것과 비교하여 감소될 수 있다. 또한, 에너지 레벨을 제어하게 되면 근접한 대상체가 상대적으로 낮은 에너지 레벨로 스캐닝될 때 레이저 빔에 의해 사람을 다치게 할 위험을 감소시킬 수 있다.
단계 S470에서, 3D 지도는 수동 및 능동 측정에 기초하여 생성된다. 장면의 3D 지도를 생성하려면, 획득된 이미지에서 픽셀의 거리 값을 사용할 수 있어야 한다. 일 실시예에서, 하나 이상의 거리 값이 세분화 지도의 각 세그멘트에 대해 3D 지도에 포함될 수 있다. 각 거리 값은 수동 또는 능동 측정 중 하나일 수 있다. 바람직한 실시예에서, 각 세그먼트의 적어도 3개의 픽셀에 대한 적어도 3개의 거리 값이 3D 지도에 포함되어야 한다.
전술한 바와 같이, 세그먼트는 대상체의 일부일 수도 있거나 전체 대상체일 수 있다. 세그먼트 내의 모든 픽셀의 거리 값은 적어도 3개의 거리 측정에 기초하여 계산되거나 외삽될 수 있다. 이를 위해, 일 실시예에서, 평면 방정식은 각각의 세그먼트에서 적어도 3개의 픽셀에 대해 적어도 3개의 거리 측정치에 기초하여 계산된다. 계산된 평면 방정식은 동일한 세그먼트 및/또는 동일한 표면상의 픽셀들의 모든 거리 값들을 결정하는데 이용될 수 있다. 본 발명의 범위를 벗어나지 않으면 서 세그먼트 내의 모든 픽셀의 거리 값을 계산하는 다른 기하학적 기술이 이용될 수 있다는 것을 알아야 한다. 일부 세그먼트의 경우, 모든 픽셀에 대한 거리 값은 능동 또는 수동 측정을 통해 이용 가능하므로, 이 세그먼트에 대해 평면 방정식을 풀 필요가 없다는 점에 더욱 유의해야 한다.
다른 실시예에서는, 모든 픽셀의 거리 값이 평면 방정식에 기초하여 추정될 수 없다면, 보다 능동적인 측정이 트리거될 것이다.
또 다른 실시예에서, 모든 픽셀의 모든 거리 값이 이전 프레임으로부터 이용 가능한 경우, 제한된 수의 능동 측정치 (예를 들어, 3개의 측정치) 및 거리 값의 나머지가 이전에 수행된 측정으로부터 조정된다.
각각의 세그먼트의 3D 표면의 렌더링은 식별된 대상체의 3D 표현의 렌더링을 가져 오고, 이로 인해 장면의 3D 지도가 결과된다. 결과의 3D 지도는, 예를 들어 차량의 작동을 제어하는 제어기에 주행 방향을 제공하기 위해 나중에 이용될 수 있다.
도 5는 일 실시예에 따라 획득된 이미지에 기초하여 수동 측정을 수행하기 위한 방법을 설명하는 예시의 흐름도(S450)이다. 일 실시예에서, 상기 방법은 수동 센서(예를 들어, 수동 센서(230))에 의해 수행될 수 있다. S510에서, 현재 획득된 이미지(예를 들어, Imagen+1) 및 이전에 획득된 이미지(예를 들어, Imagen)가 정지 상태로 분류된 대상체의 리스트와 함께 검색된다. S520에서, 현재 및 이전에 획득된 이미지가 비교되어 이미지 내 각 대상체에 대한 차이를 식별한다. 일 실시예에서, S520은 이미지들의 각도가 동일하도록 이미지들 중 하나를 변경하는 단계를 더 포함할 수 있다. 이 변경은 센서의 방위의 위치 변화를 기반으로 수행된다.
S530에서, 각각의 이미지들에 나타나게 되는 대상체들 사이에 임의의 변화가 있는지가 검사되고, 만약 그렇다면, 실행은 S540으로 계속된다; 그렇지 않으면, 실행이 종료된다. 변화는 예를 들어, 현재 이미지에서 식별된 새로운 정지된 대상체 (즉, 이전에 식별된 이미지에 나타나지 않는 대상체) 또는 이전에 식별된 대상체 (즉, 이전에 식별된 이미지에 나타난 대상체)의 새로운 위치에 기초할 수 있다. 변화가 검출되지 않으면, 이전에 결정된 거리가 현재 거리로서 사용하기에 적합할 수 있고, 이로써 현재 이미지 내 어떤 대상체의 거리도 계산하거나 재계산할 필요가 없다.
S540에서, 이미지들 간의 변화와 관련된 대상체가 선택된다. S550에서, 현재 및 이전에 식별된 이미지가 획득될 때 수동 센서가 움직이거나 움직였는지 여부가 체크된다. 그렇다면, 실행은 S560으로 계속된다; 그렇지 않으면, 실행은 S570에서 계속된다. 수동 센서가 움직이는지 여부를 결정하는 것은, 예를 들어 수동 센서에 연결된 하나 이상의 모션 센서(예를 들어, 가속도계, 글로벌 포지셔닝 시스템, 자이로스코프, 이들의 조합 등)로부터의 정보에 기초할 수 있다.
S560에서, 선택된 대상체까지의 거리가 결정된다. 거리는 예를 들어, 하나 이상의 모션 센서의 측정치에 기초하여 결정될 수 있다. 일 실시예에서, 모션 센서는 GPS이고 거리는 각각의 이미지가 촬영되었을 때 캡처된 GPS 좌표의 차이에 기초하여 계산된다. 또 다른 실시예에서, 정지된 대상체들로부터의 거리는 수동 센서 정보 및/또는 3D 맵핑 정보의 프레임들(예를 들어, 획득된 이미지들)을 비교함으로써 GPS를 사용하지 않고 측정될 수 있다. 이들 실시예는 상기에서 더 상세히 설명된다.
S570에서, 거리는 이미지 내의 픽셀에 기초하여 계산된다. 일 실시예에서, 거리는 대상체에 대한 픽셀의 수를 인식하고 알려진 기준 측정치와 픽셀 수를 비교함으로써 계산된다. 대상체의 폭과 높이가 알려진 경우, 알려진 폭과 높이에 관련하여 거리가 계산할 수 있다.
도 6은 대상체에 대한 픽셀의 수에 기초하여 거리를 계산하는 것을 기술하기 위해 사용되는 예시적인 이미지(600)이다. 예를 들어, 이미지(600) 내의 트럭(610)의 폭(620)이 100 픽셀로 구성되고 이미지(600)의 폭이 1미터의 길이를 나타내는 것으로 알려지고, 다음에 이미지(600) 내 트럭(610)까지의 거리(630)가 1000 픽셀을 포함한다면, 트럭까지의 거리가 10미터라고 결정될 수 있다. 기준 측정치는 미리 결정된 측정치, 알려진 대상체로부터의 거리, 이미지에 나타난 대상체의 알려진 크기(예를 들어, 높이, 폭 등)에 기초할 수 있다. 일 실시예에서, 거리는 이미지에서 소실점 및 소실 선을 계산함으로써 추정될 수 있다. 예를 들어, 건물의 지붕 선이 기준 측정치로 이용될 수 있다.
일 실시예에서, 거리는 측정의 정확성을 증가시키기 위해 상이한 기술을 사용하여 수동적으로 측정될 수 있음에 유의해야 한다. 위에서 언급했듯이 특정 수동 측정이 신뢰할 수 없는 경우, 능동 측정을 사용하여 결정된 거리의 정확성을 높일 수 있다.
S580에서, 거리가 (예를 들어, 메모리에) 저장된다. S590에서, 변화된 대상체에 대한 모든 필요한 거리가 결정되었는지 (즉, 모든 대상체가 처리되었는지) 체크된다. 그렇다면 실행이 종료되고; 그렇지 않으면, 실행은 S540으로 되돌아간다.
도 7은 다른 실시예에 따른 수동 측정을 수행하는 방법을 설명하는 예시의 흐름도(S450)를 도시한다. S710에서, 현재 이미지(imagen+1), 이전에 획득된 이미지(imagen) 및 비정지 상태로 분류된 대상체들의 리스트가 검색된다. 일 실시예에서, 각각의 비정지 상태의 대상체에 대해, 이전에 측정된 거리(예를 들어, 도 1에 대해) 및 미리 결정된 알려진 속도가 또한 검색될 수 있다. 알려진 속도는 최대, 최소 또는 평균 속도 중 하나를 포함한다.
S720에서, 현재 및 이전에 획득된 이미지는 비정지된 대상체의 이동 방향을 검출하기 위해 비교된다. 방향은 차량, 장치, 및/또는 수동 센서를 향하거나 멀어지는 것이지만, 이에만 제한하는 것은 아니다. 다른 실시예에서, 방향은 예를 들어, 수동 센서에 관련한 특정 각도일 수 있다.
S725에서, 비정지 상태의 대상체가 선택된다. S730에서, 선택된 비정지 대상체에 대한 현재 거리가 추정된다. 현재 거리는 현재 이미지 및 이전에 획득된 이미지의 캡처들 사이에 경과된 시간, 알려진 속도 및 이전에 측정된 거리에 기초하여 추정될 수 있다. 현재 거리는 결정된 방향에 기초하여 더욱 추정될 수 있다. 즉, 결정된 방향이 차량 쪽으로 향하는 경우, 현재 거리는 최대 알려진 속도를 사용하여 추정될 수 있다. 다른 한편으로, 결정된 방향이 차량으로부터 멀어지면, 거리는 최소의 알려진 속도를 사용하여 추정될 수 있다. 이것은 대상체의 차량으로부터의 거리와 관련하여 최악의 경우의 시나리오(즉, 거리가 적게 잡은 추정일 수 있음)를 커버하기 위해 수행된다. 이러한 최악의 시나리오 추정은, 예를 들어 자가 운전 차량, 드론 등이 움직이는 대상체에 충돌하는 것을 방지하는 것을 도울 수 있다.
추정된 거리에 기초하는 S740에서, 능동 측정이 필요한지가 결정된다. 그렇다면, 실행은 S750으로 계속된다; 그렇지 않으면 실행은 S760으로 계속된다. 일 실시예에서, 추정된 거리는 소정의 임계치와 비교되고, 임계치가 충족되지 않으면 능동 측정치가 요구된다. 대상체가 안전한 거리 내에 있지 않으면 능동 측정이 시작될 수 있다. 예를 들어, 사람이 차량을 향해 걷고 있고 예상 거리가 100미터라면, 사람은 안전한 거리 내에 있다. 그러나 차량을 향해 걷는 사람의 예상 거리가 1미터라면, 사람은 안전한 거리를 벗어나게 되므로 능동 측정이 트리거되어야 한다.
S750에서, 능동 측정이 필요하다고 결정하면, 대상체는 능동 측정으로 플래그된다. S760에서, 추정된 거리가 메모리에 저장된다. S770에서, 모든 대상체가 처리되었는지가 검사된다. 그렇다면, 실행이 종료된다. 그렇지 않으면, 실행은 S740으로 계속된다.
본 명세서에서 논의된 실시예는 단지 간략화의 목적으로 그리고 개시에 대해 제한하지 않고 레이저에 의한 능동 측정과 관련하여 설명된 것에 유의해야 한다. 개시된 실시예들의 범위를 벗어나지 않으면서 (예를 들어, 레이더, 사운드 등에 의한) 다른 능동 측정이 동일하게 이용될 수 있다.
본 명세서에 개시된 다양한 실시예는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로서 구현될 수 있다. 또한, 소프트웨어는 바람직하게는 부품, 또는 특정 장치 및/또는 장치들의 조합으로 구성된 프로그램 저장 유닛 또는 컴퓨터 판독 가능 매체에 유형으로 구현된 응용 프로그램으로서 구현된다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 기계에 업로드되어 실행될 수 있다. 바람직하게, 기계는 하나 이상의 중앙 처리 장치("CPU"), 메모리 및 입/출력 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼에 구현된다. 컴퓨터 플랫폼은 또한 운영 시스템 및 마이크로인스트럭션 코드를 포함할 수 있다. 본 명세서에서 설명된 다양한 프로세스 및 기능은 마이크로인스턱션 코드의 일부 또는 응용 프로그램의 일부이거나, 이들의 조합일 수 있으며, 이러한 컴퓨터 또는 프로세서가 명시적으로 표시되는지의 여부와 상관없이 CPU에 의해 실행될 수 있다. 또한, 추가의 데이터 저장 유닛 및 인쇄 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼에 접속될 수 있다. 또한, 비일시적 컴퓨터 판독 가능 매체는 일시적 전파 신호를 제외한 임의의 컴퓨터 판독 가능 매체이다.
본 명세서에 인용된 모든 예 및 조건부 언어는 개시된 실시 형태의 원리 및 발명자가 당해 분야를 장려하는 것에 기여하는 개념을 독자가 이해하도록 돕는 교육적 목적으로 의도한 것이며, 구체적으로 인용된 사례와 조건에 제한되지 않는다고 해석되어야 한다. 또한, 개시된 실시 형태의 원리, 양태 및 실시예 및 그의 특정 예를 기재한 본원의 모든 기재 내용은 그의 구조적 및 기능적 등가물을 모두 포함하고자 한다. 또한, 이러한 균등물은 현재 알려진 균등물뿐만 아니라 장래에 개발되는 균등물, 즉 구조와 상관없이 동일한 기능을 수행하는 임의의 개발 요소를 모두 포함하는 것으로 의도된다.

Claims (20)

  1. 3차원(3D) 지도를 획득하기 위한 방법에 있어서,
    수동 센서에 의해 획득된 적어도 하나의 이미지 내의 복수의 대상체들을 식별하기 위해 상기 적어도 하나의 이미지를 분석하는 단계;
    상기 복수의 대상체들을 분류하는 단계;
    상기 분류에 기초하여, 정지 상태의 대상체로 분류된 상기 복수의 대상체들 중 적어도 하나의 대상체까지의 각각의 거리를 수동적으로 측정하는 단계;
    비정지 상태의 대상체로 분류된 상기 복수의 대상체들 중 일부의 대상체까지의 각각의 거리를 능동적으로 측정하는 단계;
    상기 수동적으로 측정된 각각의 거리와 상기 능동적으로 측정된 각각의 거리를 융합하여, 복수의 대상체들에 대한 융합된 거리 측정치를 얻는 단계; 및
    상기 융합된 거리 측정치를 기초로 장면의 3D 지도를 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 이미지를 분석하는 단계는:
    세분화 지도를 렌더링하기 위해 상기 적어도 하나의 이미지를 세분화하는 단계; 및
    상기 세분화 지도에서 상기 복수의 대상체들을 식별하는 단계
    를 더 포함하는 방법.
  3. 제1항에 있어서, 상기 복수의 대상체들을 분류하는 단계는,
    상기 복수의 대상체들 각각의 유형을 식별하는 단계; 및
    상기 식별된 대상체의 유형에 기초하여 상기 복수의 대상체들 각각을 분류하는 단계
    를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 적어도 하나의 이미지를 이전에 획득된 이미지와 비교하는 단계; 및
    상기 비교에 기초하여 상기 복수의 대상체들 각각의 위치의 변화를 식별하는 단계
    를 더 포함하고,
    상기 복수의 대상체들 각각은 상기 대상체의 상기 위치의 상기 변화에 기초하여 분류되는 방법.
  5. 제1항에 있어서,
    상기 복수의 대상체들의 각 대상체에 대해, 상기 대상체가 적어도 하나의 지리적 지도에서 식별되는지의 여부를 결정하는 단계; 및
    상기 적어도 하나의 지리적 지도에서 식별된 각각의 대상체를 정지 상태의 대상체로서 분류하는 단계
    를 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 정지 상태의 대상체로 분류된 상기 복수의 대상체들 중 적어도 하나의 대상체까지의 이전 거리가 이용 가능하지 않는 것에 응답하여, 상기 복수의 대상체들 중 적어도 하나의 대상체까지의 각각의 거리를 수동적으로 측정하는 단계
    를 더 포함하는 방법.
  7. 제1항에 있어서, 상기 적어도 하나의 대상체까지의 각각의 거리를 수동적으로 측정하는 단계는:
    상기 수동 센서가 움직이는지를 결정하는 단계;
    상기 수동 센서가 움직일 때, 모션 센서를 사용하여 상기 적어도 하나의 대상체까지의 각각의 거리를 결정하는 단계; 및
    상기 수동 센서가 움직이지 않을 때, 상기 적어도 하나의 대상체에 대한 픽셀들의 개수 및 알려진 기준 측정치에 기초하여 상기 적어도 하나의 대상체까지의 각각의 거리를 결정하는 단계
    를 더 포함하는 방법.
  8. 제7항에 있어서, 상기 알려진 기준 측정치는 유효 기준 대상체로부터의 픽셀들의 개수 및 상기 대상체의 크기 중 적어도 하나인 방법.
  9. 제1항에 있어서, 상기 방법은,
    비정지 상태의 대상체 및 비의심 상태의 대상체로서 분류된 상기 복수의 대상체들 중 일부의 대상체들까지의 각각의 거리를 수동적으로 측정하는 단계로서,
    상기 복수의 대상체들 중 일부의 대상체들 각각에 대해, 상기 대상체의 경계 속도를 결정하는 것과,
    상기 대상체의 이동 방향을 결정하는 것과,
    상기 결정된 방향 및 상기 결정된 경계 속도에 기초하여 상기 대상체까지의 거리를 추정하는 것을 포함하는 단계
    를 더 포함하는 방법.
  10. 제1항에 있어서, 의심 상태의 대상체로 분류된 복수의 대상체들 중 일부의 대상체까지의 각각의 거리를 능동적으로 측정하는 단계
    를 더 포함하는 방법.
  11. 제1항에 있어서, 상기 복수의 대상체들 중 일부의 대상체들에 대한 신뢰 가능한 수동 측정치가 결정될 수 없을 때, 비정지 상태의 대상체로 분류된 복수의 대상체들 중 일부의 대상체까지의 각각의 거리를 능동적으로 측정하는 단계
    를 더 포함하는 방법.
  12. 제1항에 있어서, 상기 복수의 대상체들 중 일부의 대상체까지의 각각의 거리를 능동적으로 측정하는 단계는:
    상기 복수의 대상체들 중 일부의 대상체 각각에 대해 다수의 레이저 측정을 수행하는 단계를 더 포함하며, 상기 다수의 레이저 측정은 요구되는 해상도에 기초하여 결정되는 방법.
  13. 제12항에 있어서,
    상기 복수의 대상체들 중 일부의 대상체 각각에 대해, 상기 레이저 측정에 기초하여 상기 대상체의 각 지점까지의 거리를 계산하는 단계
    를 더 포함하는 방법.
  14. 제1항에 있어서, 상기 3D 지도를 생성하는 단계는:
    상기 융합된 거리 측정치를 사용하여 상기 복수의 대상체들 중에서의 각 대상체의 3D 표면을 렌더링하는 단계를 더 포함하는 방법.
  15. 제1항에 있어서, 상기 장면은 상기 3D 지도의 생성을 가능하게 하는 장치에 의해 캡쳐된 시야인 것을 특징으로하는 방법.
  16. 제1항에 따른 상기 방법을 실행하기 위한 명령이 저장되어 있는 비일시적인 컴퓨터 판독 가능 매체
  17. 3차원(3D) 지도를 획득하기 위한 장치에 있어서,
    장면의 이미지를 획득하기 위한 수동 센서;
    처리 시스템으로서,
    수동 센서에 의해 획득된 적어도 하나의 이미지 내의 복수의 대상체들을 식별하기 위해 상기 적어도 하나의 이미지를 분석하고,
    상기 복수의 대상체들을 분류하도록 구성된 처리 시스템; 및
    비정지 상태의 대상체로 분류된 복수의 대상체들 중 일부의 대상체까지의 각각의 거리를 능동적으로 측정하도록 구성된 능동 센서를 포함하고,
    상기 처리 시스템은
    수동적으로 측정된 각각의 거리와 상기 능동적으로 측정된 각각의 거리를 융합하여, 복수의 대상체들에 대한 융합된 거리 측정치를 얻고,
    상기 융합된 거리 측정치를 기초로 장면의 3D 지도를 생성하도록 더 구성된,
    장치.


  18. 삭제
  19. 삭제
  20. 삭제
KR1020177031544A 2015-04-01 2016-03-31 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성 KR102614323B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562141296P 2015-04-01 2015-04-01
US62/141,296 2015-04-01
US201562160988P 2015-05-13 2015-05-13
US62/160,988 2015-05-13
PCT/US2016/025252 WO2016161104A1 (en) 2015-04-01 2016-03-31 Generating 3-dimensional maps of a scene using passive and active measurements

Publications (2)

Publication Number Publication Date
KR20170132860A KR20170132860A (ko) 2017-12-04
KR102614323B1 true KR102614323B1 (ko) 2023-12-14

Family

ID=57006494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031544A KR102614323B1 (ko) 2015-04-01 2016-03-31 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성

Country Status (5)

Country Link
US (8) US10024965B2 (ko)
EP (2) EP4296721A3 (ko)
KR (1) KR102614323B1 (ko)
CN (2) CN112665556B (ko)
WO (1) WO2016161104A1 (ko)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
CN112665556B (zh) 2015-04-01 2023-09-05 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
US10012733B2 (en) * 2015-06-07 2018-07-03 Geoffrey Louis Barrows Localization method and apparatus
JP6499047B2 (ja) * 2015-09-17 2019-04-10 株式会社東芝 計測装置、方法及びプログラム
US9671785B1 (en) * 2016-03-29 2017-06-06 Delphi Technologies, Inc. V2X object-location verification system for automated vehicles
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
DE102016107211A1 (de) * 2016-04-19 2017-10-19 Voith Patent Gmbh Vorrichtung zur daten- und/oder signalübertragung
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10203696B2 (en) * 2016-07-26 2019-02-12 Waymo Llc Determining drivability of objects for autonomous vehicles
WO2018020853A1 (ja) * 2016-07-29 2018-02-01 Ｎｅｃソリューションイノベータ株式会社 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
US11467572B2 (en) 2016-07-29 2022-10-11 NEC Solution Innovations, Ltd. Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
DE102016122645A1 (de) * 2016-11-24 2018-05-24 Valeo Schalter Und Sensoren Gmbh Empfangseinrichtung für eine optische Detektionsvorrichtung, Detektionsvorrichtung und Fahrerassistenzsystem
CN111108342B (zh) 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准
DE102017102315A1 (de) 2017-02-07 2018-08-09 Sick Ag Verfahren zur Navigation eines Fahrzeugs
JP7031137B2 (ja) * 2017-04-10 2022-03-08 凸版印刷株式会社 レーザ走査装置
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) * 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
KR20220141927A (ko) 2017-04-27 2022-10-20 스냅 인코포레이티드 지도-기반 소셜 미디어 플랫폼들에 대한 위치 프라이버시 관리
EP3619681A4 (en) * 2017-05-02 2020-12-16 HRL Laboratories, LLC SYSTEM AND METHOD FOR DETECTION OF MOVING OBSTACLES BASED ON A SENSORIC PREDICTION FROM OWN MOVEMENT
US20180341821A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating and using a perception scene graph in motor vehicle applications
KR102565533B1 (ko) * 2017-06-14 2023-08-10 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬
US11300958B2 (en) * 2017-07-13 2022-04-12 Waymo Llc Sensor adjustment based on vehicle motion
DE102017116658A1 (de) * 2017-07-24 2019-01-24 Vorwerk & Co. Interholding Gmbh Selbsttätig im Außenbereich verfahrbares Gerät mit einem Überwachungsmodul
DE102017116661A1 (de) 2017-07-24 2019-01-24 Vorwerk & Co. Interholding Gmbh System zur Erfassung von dreidimensionalen Umgebungsdaten, insbesondere zur Pflanzenpflege sowie Sensormodul
EP3438776B1 (en) 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
WO2019041274A1 (en) * 2017-08-31 2019-03-07 Sz Dji Technology Co. , Ltd. SEMICONDUCTOR LIGHT DISTANCE LIDAR DETECTION AND ESTIMATING SYSTEM SYSTEM AND METHOD FOR IMPROVING SEMICONDUCTOR LIGHT DISTANCE DETECTION AND LODAR ESTIMATION ESTIMATION
US10872228B1 (en) 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
JP6759175B2 (ja) * 2017-10-27 2020-09-23 株式会社東芝 情報処理装置および情報処理システム
US11758111B2 (en) * 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
DE102017221465A1 (de) * 2017-11-29 2019-05-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Detektieren eines lichtaussendenden Objekts an einem Verkehrsknotenpunkt für ein Fahrzeug
US10594940B1 (en) * 2018-01-12 2020-03-17 Vulcan Inc. Reduction of temporal and spatial jitter in high-precision motion quantification systems
CN111788544A (zh) * 2018-02-19 2020-10-16 株式会社村上开明堂 操作检测装置和操作检测方法
US10872433B2 (en) 2018-04-18 2020-12-22 Mobileye Vision Technologies Ltd. Vehicle environment modeling with a camera
US11668830B1 (en) 2018-06-01 2023-06-06 Vayavision Sensing Ltd. System and method for performing active distance measurements
CN108919300B (zh) * 2018-07-17 2022-07-08 重庆大学 一种面向仓库通道场景的混合地图创建方法
DE102018214182A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh LIDAR-Vorrichtung mit einer beschleunigten Laufzeitanalyse
US11340355B2 (en) 2018-09-07 2022-05-24 Nvidia Corporation Validation of global navigation satellite system location data with other sensor data
US11100669B1 (en) 2018-09-14 2021-08-24 Apple Inc. Multimodal three-dimensional object detection
US11513196B2 (en) * 2018-09-28 2022-11-29 Waymo Llc Terrain adaptive pulse power in a scanning LIDAR
DE102018219602A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Verfahren zum Erkennen von Kartenfehlern
US11044404B1 (en) 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
US10872400B1 (en) 2018-11-28 2020-12-22 Vulcan Inc. Spectral selection and transformation of image frames
US10659751B1 (en) * 2018-12-14 2020-05-19 Lyft Inc. Multichannel, multi-polarization imaging for improved perception
CN111213153A (zh) * 2019-01-30 2020-05-29 深圳市大疆创新科技有限公司 目标物体运动状态检测方法、设备及存储介质
CN109878514B (zh) * 2019-03-13 2020-04-14 的卢技术有限公司 一种车辆周围环境的分项方法及其应用系统
KR20210150624A (ko) * 2019-05-03 2021-12-13 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
JP7268490B2 (ja) * 2019-06-13 2023-05-08 株式会社デンソー 物体認識装置、運転支援システム
US11669092B2 (en) * 2019-08-29 2023-06-06 Rockwell Automation Technologies, Inc. Time of flight system and method for safety-rated collision avoidance
CA3155591C (en) 2019-09-22 2023-04-18 Vayavision Sensing Ltd. Functional safety in autonomous driving
DE102019129986A1 (de) * 2019-11-07 2021-05-12 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten
WO2021092702A1 (en) * 2019-11-13 2021-05-20 Youval Nehmadi Autonomous vehicle environmental perception software architecture
US11699235B2 (en) * 2019-11-20 2023-07-11 Baidu Usa Llc Way to generate tight 2D bounding boxes for autonomous driving labeling
JP7401273B2 (ja) * 2019-11-26 2023-12-19 日立Astemo株式会社 移動体の制御装置及び方法
CN110967685B (zh) * 2019-12-09 2022-03-22 Oppo广东移动通信有限公司 评价干扰信号的方法及系统、电子装置和存储介质
KR20210076440A (ko) * 2019-12-16 2021-06-24 삼성전자주식회사 나무 맵의 재성성 및 예측을 위한 방법 및 장치
CN111249728B (zh) * 2020-01-22 2021-08-31 荣耀终端有限公司 一种图像处理方法、装置及存储介质
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
US11567179B2 (en) 2020-07-21 2023-01-31 Leddartech Inc. Beam-steering device particularly for LIDAR systems
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CA3194223A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
KR20220030007A (ko) 2020-09-02 2022-03-10 삼성전자주식회사 이미지 생성 장치 및 방법
US11797022B1 (en) * 2021-06-29 2023-10-24 Amazon Technologies, Inc. System for object detection by an autonomous mobile device
EP4258011A1 (en) * 2022-04-04 2023-10-11 Faro Technologies, Inc. Image-based scan pre-registration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002059796A (ja) * 2000-05-24 2002-02-26 Daimlerchrysler Ag カメラ画像に基づいて道路使用者および障害物を検出し、観察者との距離を求めてクラシフィケーションする方法および装置
US20100040285A1 (en) * 2008-08-14 2010-02-18 Xerox Corporation System and method for object class localization and semantic class based image segmentation

Family Cites Families (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1192483A (en) 1914-09-03 1916-07-25 Albert Harry Wheeler Mathematical model.
US5195144A (en) 1988-11-15 1993-03-16 Thomson-Csf Process for estimating the distance between a stationary object and a moving vehicle and device for using this process
US5128874A (en) 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP3183598B2 (ja) 1993-12-14 2001-07-09 三菱電機株式会社 障害物検知装置
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US7359782B2 (en) 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
JP3304687B2 (ja) 1995-05-24 2002-07-22 日産自動車株式会社 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
US7202776B2 (en) 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US5745806A (en) * 1995-06-15 1998-04-28 Fuji Photo Optical Co., Ltd. Distance measuring apparatus
US5887268A (en) 1995-10-31 1999-03-23 Honda Giken Kogyo Kabushiki Kaisha Automatically driven motor vehicle
US5870178A (en) * 1996-02-20 1999-02-09 Canon Kabushiki Kaisha Distance measuring apparatus
US5831719A (en) * 1996-04-12 1998-11-03 Holometrics, Inc. Laser scanning system
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5896103A (en) 1996-10-15 1999-04-20 Honeywell Inc. Method and aparatus for dynamically calibrating a radar receiver
US5923417A (en) 1997-09-26 1999-07-13 Northern Digital Incorporated System for determining the spatial position of a target
WO2000012960A1 (en) 1998-08-26 2000-03-09 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations Thin film strain sensors based on interferometric optical measurements
US6323941B1 (en) * 1999-08-06 2001-11-27 Lockheed Martin Corporation Sensor assembly for imaging passive infrared and active LADAR and method for same
JP2001311619A (ja) * 2000-05-01 2001-11-09 Asahi Optical Co Ltd 測距装置及び測距方法
US6502053B1 (en) 2000-06-12 2002-12-31 Larry Hardin Combination passive and active speed detection system
US6763292B1 (en) 2000-06-21 2004-07-13 International Business Machines Corporation Prediction and compensation for land vehicle dynamics based on feedforward road conditions
JP2002221655A (ja) * 2001-01-24 2002-08-09 Olympus Optical Co Ltd 測距装置
US7124072B1 (en) 2001-04-30 2006-10-17 Mips Technologies, Inc. Program counter and data tracing from a multi-issue processor
US7385626B2 (en) 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
DE10305861A1 (de) * 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
DE10361869A1 (de) 2003-12-29 2005-07-28 Iqsun Gmbh Vorrichtung und Verfahren zum optischen Abtasten und Vermessen einer Umgebung
JP2005257325A (ja) 2004-03-09 2005-09-22 Denso Corp 距離検出装置
DE102005027208B4 (de) 2004-11-16 2011-11-10 Zoller & Fröhlich GmbH Verfahren zur Ansteuerung eines Laserscanners
US7941006B2 (en) * 2005-02-25 2011-05-10 Panasonic Corporation Pixel interpolating method and device
US7430365B2 (en) 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
WO2006132686A2 (en) 2005-06-03 2006-12-14 Sarnoff Corporation Method and apparatus for designing iris biometric systems for use in minimally
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
US20070189455A1 (en) 2006-02-14 2007-08-16 Accuray Incorporated Adaptive x-ray control
WO2007125081A1 (en) 2006-04-27 2007-11-08 Metris N.V. Optical scanning probe
US7865299B2 (en) 2006-09-14 2011-01-04 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for predicting a future position of a vehicle using numerical integration
US7580547B2 (en) * 2006-10-24 2009-08-25 Iteris, Inc. Electronic traffic monitor
US7619754B2 (en) 2007-04-20 2009-11-17 Riel Ryan D Curved sensor array apparatus and methods
TWI355615B (en) 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
US7626538B2 (en) * 2007-10-24 2009-12-01 Northrop Grumman Systems Corporation Augmented passive tracking of moving emitter
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US20090140887A1 (en) 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
USRE46930E1 (en) 2007-12-21 2018-07-03 Leddartech Inc. Distance detection method and system
KR100914961B1 (ko) 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
WO2009115122A1 (en) 2008-03-20 2009-09-24 Trimble Ab Geodetic scanner with increased efficiency
KR100976682B1 (ko) 2008-04-04 2010-08-18 주식회사 하이닉스반도체 반도체 메모리 소자 및 그 제조 방법
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US9188980B2 (en) 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
WO2010048960A1 (en) 2008-10-28 2010-05-06 3Shape A/S Scanner with feedback control
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
EP2204670B1 (en) 2008-12-23 2014-06-11 Sony Corporation Adaptive sensing system
US8290208B2 (en) 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
US8439842B2 (en) 2009-01-29 2013-05-14 General Electric Company Method and device for controlling transmission power of an active transducer
US20100204974A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-Assisted Stero Imager
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
JP2011009514A (ja) 2009-06-26 2011-01-13 Renesas Electronics Corp 半導体装置の製造方法
US8547374B1 (en) 2009-07-24 2013-10-01 Lockheed Martin Corporation Detection and reconstruction of 3D objects with passive imaging sensors
US8441622B2 (en) * 2009-07-28 2013-05-14 Applied Concepts, Inc. Lidar measurement device for vehicular traffic surveillance and method for use of same
US8125622B2 (en) 2009-07-28 2012-02-28 Applied Concepts, Inc. Lidar measurement device with target tracking and method for use of same
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
JP5257700B2 (ja) 2009-10-30 2013-08-07 トヨタ自動車株式会社 リチウム二次電池
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
WO2011083476A1 (en) * 2010-01-07 2011-07-14 Shilat Optronics Ltd Three dimensional measurement system
US9303989B2 (en) 2010-02-23 2016-04-05 Ben-Gurion University Of The Negev System and method for providing 3D imaging
US8587686B1 (en) 2010-03-16 2013-11-19 University Of Central Florida Research Foundation, Inc. Hybrid differential optical sensing imager
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US9424468B2 (en) 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101190789B1 (ko) * 2010-12-30 2012-10-11 주식회사 와이즈오토모티브 차량의 거리 측정 장치 및 방법
US8908159B2 (en) 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
US8791851B2 (en) 2011-06-02 2014-07-29 International Business Machines Corporation Hybrid millimeter wave imaging system
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
KR101680186B1 (ko) * 2011-08-30 2016-11-28 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
US20130107065A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Inertial sensor aided stationary object detection in videos
WO2013081985A1 (en) 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
US8607169B2 (en) * 2011-12-28 2013-12-10 Elitetech Technology Co., Ltd. Intelligent defect diagnosis method
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
WO2013128427A1 (en) 2012-03-02 2013-09-06 Leddartech Inc. System and method for multipurpose traffic detection and characterization
KR20130137074A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 3차원 지도를 이용한 증강 정보 제공 장치 및 방법
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
CN102914262B (zh) * 2012-09-29 2015-02-11 北京控制工程研究所 一种基于附加视距的非合作目标贴近测量方法
US9625994B2 (en) 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
CN102944224B (zh) * 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
WO2014102828A2 (en) * 2012-12-31 2014-07-03 Muthukumar Prasad Ambient intelligence based environment safe interference free closed loop wireless energy transfering/receiving network with highly flexible active adaptive self steering multilevel multicast coherent energy power streams
GB201301281D0 (en) 2013-01-24 2013-03-06 Isis Innovation A Method of detecting structural parts of a scene
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
GB201303076D0 (en) * 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US8761594B1 (en) 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
US9063549B1 (en) * 2013-03-06 2015-06-23 Google Inc. Light detection and ranging device with oscillating mirror driven by magnetically interactive coil
WO2014138697A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
WO2014152254A2 (en) * 2013-03-15 2014-09-25 Carnegie Robotics Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US9551791B2 (en) 2013-07-09 2017-01-24 Xenomatix Nv Surround sensing system
US20150071541A1 (en) * 2013-08-14 2015-03-12 Rice University Automated method for measuring, classifying, and matching the dynamics and information passing of single objects within one or more images
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
KR101549929B1 (ko) 2014-02-13 2015-09-03 고려대학교 산학협력단 깊이 지도를 생성하는 방법 및 장치
US9390328B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Static occlusion handling using directional pixel replication in regularized motion environments
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
KR20230042386A (ko) * 2014-08-15 2023-03-28 에이아이, 아이엔씨. 레이더 전송을 위한 방법 및 시스템
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
CN104567917B (zh) 2014-12-18 2016-01-13 北京控制工程研究所 基于动力学特性的变步长再入飞行器位置速度预测方法
US9678210B2 (en) * 2014-12-19 2017-06-13 Caterpillar Inc. Error estimation in real-time visual odometry system
CN112665556B (zh) 2015-04-01 2023-09-05 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
CN104828664B (zh) * 2015-04-03 2020-05-22 奥的斯电梯公司 自动调试系统和方法
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
CN107301651A (zh) 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
WO2018011370A1 (en) * 2016-07-13 2018-01-18 Naked Labs Austria Gmbh Efficient volumetric reconstruction with depth sensors
EP3551967A2 (en) * 2016-12-09 2019-10-16 TomTom Global Content B.V. Method and system for video-based positioning and mapping
CN110494715A (zh) 2017-02-06 2019-11-22 瓦亚视觉感知有限公司 计算机辅助驾驶
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
JP6713946B2 (ja) * 2017-03-31 2020-06-24 株式会社Ｓｏｋｅｎ 車載レーダ装置
US11292483B2 (en) 2018-02-28 2022-04-05 VayaVision Sensing, Ltd. Managing a change in a physical property of a vehicle due to an external object
US11061406B2 (en) * 2018-10-22 2021-07-13 Waymo Llc Object action classification for autonomous vehicles
US10832438B2 (en) * 2018-12-19 2020-11-10 Murat Gozu Object distancing system for a vehicle
CN112105893B (zh) * 2019-01-30 2023-08-22 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的实时地图生成系统
KR102379295B1 (ko) * 2019-01-30 2022-03-25 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 rgb 포인트 클라우드 기반의 맵 생성 시스템
US11087494B1 (en) * 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
US11507789B2 (en) * 2019-05-31 2022-11-22 Lg Electronics Inc. Electronic device for vehicle and method of operating electronic device for vehicle
US11733353B2 (en) * 2019-11-14 2023-08-22 Nio Technology (Anhui) Co., Ltd. Object detection using local (ground-aware) adaptive region proposals on point clouds
US11606477B2 (en) 2020-01-20 2023-03-14 Instituto De Pesquisas Eldorado Multispectral camera
US11947359B2 (en) * 2020-02-14 2024-04-02 Micron Technology, Inc. Intelligent lidar sensors for autonomous vehicles
US11753006B2 (en) * 2020-06-08 2023-09-12 Robert Bosch Gmbh Representing objects in a surrounding environment of a vehicle using a frenet coordinate system
US11567179B2 (en) 2020-07-21 2023-01-31 Leddartech Inc. Beam-steering device particularly for LIDAR systems
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CA3194223A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
US20230128756A1 (en) * 2021-10-22 2023-04-27 Argo AI, LLC Validating an sfm map using lidar point clouds

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002059796A (ja) * 2000-05-24 2002-02-26 Daimlerchrysler Ag カメラ画像に基づいて道路使用者および障害物を検出し、観察者との距離を求めてクラシフィケーションする方法および装置
US20100040285A1 (en) * 2008-08-14 2010-02-18 Xerox Corporation System and method for object class localization and semantic class based image segmentation

Also Published As

Publication number Publication date
EP4296721A2 (en) 2023-12-27
EP3283843B1 (en) 2024-01-10
US20210080575A1 (en) 2021-03-18
EP3283843C0 (en) 2024-01-10
CN112665556A (zh) 2021-04-16
EP3283843A4 (en) 2019-02-27
US10444357B2 (en) 2019-10-15
CN108271408B (zh) 2020-12-04
WO2016161104A1 (en) 2016-10-06
US20160291155A1 (en) 2016-10-06
US10024965B2 (en) 2018-07-17
US20210293963A1 (en) 2021-09-23
CN108271408A (zh) 2018-07-10
US11604277B2 (en) 2023-03-14
US11725956B2 (en) 2023-08-15
US11226413B2 (en) 2022-01-18
EP4296721A3 (en) 2024-03-20
KR20170132860A (ko) 2017-12-04
US20220236411A1 (en) 2022-07-28
EP3283843A1 (en) 2018-02-21
US20160292905A1 (en) 2016-10-06
CN112665556B (zh) 2023-09-05
US20220137214A1 (en) 2022-05-05
US20160291154A1 (en) 2016-10-06
US20230408279A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
US10943355B2 (en) Systems and methods for detecting an object velocity
US10345447B1 (en) Dynamic vision sensor to direct lidar scanning
US10491885B1 (en) Post-processing by lidar system guided by camera information
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
US10664974B2 (en) System and method for object detection using edge characteristics
US20200404224A1 (en) Multispectrum, multi-polarization (msmp) filtering for improved perception of difficult to perceive colors
EP3825732A1 (en) Methods and systems for computer-based determining of presence of objects
WO2022125232A1 (en) Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3d maps
US20230237783A1 (en) Sensor fusion
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
US11668830B1 (en) System and method for performing active distance measurements
CN215495425U (zh) 复眼摄像系统及使用复眼摄像系统的车辆
US11914679B2 (en) Multispectral object-detection with thermal imaging
US20230408656A1 (en) Detecting phantom objects in ranging sensor data
WO2022217522A1 (zh) 目标感知方法、装置、探测系统、可移动平台及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant