KR20210116186A - 장애물 검출 방법, 장치, 전자 기기 및 저장 매체 - Google Patents

장애물 검출 방법, 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20210116186A
KR20210116186A KR1020200125093A KR20200125093A KR20210116186A KR 20210116186 A KR20210116186 A KR 20210116186A KR 1020200125093 A KR1020200125093 A KR 1020200125093A KR 20200125093 A KR20200125093 A KR 20200125093A KR 20210116186 A KR20210116186 A KR 20210116186A
Authority
KR
South Korea
Prior art keywords
point
obstacle
vehicle
detection result
location point
Prior art date
Application number
KR1020200125093A
Other languages
English (en)
Other versions
KR102407504B1 (ko
Inventor
지 왕
용 판
킹후이 자오
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210116186A publication Critical patent/KR20210116186A/ko
Application granted granted Critical
Publication of KR102407504B1 publication Critical patent/KR102407504B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

본원에는 장애물 검출 방법, 장치, 전자 기기 및 저장 매체가 제공되며, 이들은 자율 주행 기술 분야에 관한 것이다. 구체적인 실시 방안은 아래와 같다. 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출하고; 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며; 상기 차량이 위치한 도로의 좌우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하며; 각각의 위치점의 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출한다. 본원의 실시예는 차량 전방의 장애물을 보다 정확하게 검출할 수 있고, 밀리파 레이더가 높이 방향에서 장애물의 위치를 정확하게 결정하지 못하는 문제 및 단안 카메라가 장애물과 차량이 동일한 평면에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제를 극복한다.

Description

장애물 검출 방법, 장치, 전자 기기 및 저장 매체{METHOD AND APPARATUS FOR DETECTING OBSTACLE, ELECTRONIC DEVICE AND STORAGE MEDIUM}
본원은 지능형 자동차 분야, 나아가 자율 주행 기술에 관한 것이고, 특히 장애물 검출 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
환경감지는 지능형 주행기술의 기초이다. 차량에 센서 장치를 장착하여 주변 환경을 감지함으로써 지능화된 보조 운전을 구현한다. 그러나 차량 센서 장치는 위치가 고정되거나 시야각의 국한성 등의 요인으로 인해, 감지 범위가 제한되어 획득한 감지 정보로 지능형 주행의 요구를 만족시키기 어렵다. 특히 자율 주행에서 안전 주행을 확보하기 위해 전반적인 환경 정보에 대한 요구 수준이 더 높다. 자율 주행 방안에서 레이더 센서와 시각 센서는 관용적인 두 가지 감지 정보 소스이다. 따라서 종래의 환경 감지 방법에서는 보통 레이더 거리 측정 감지 모듈 또는 시각 거리 측정 감지 모듈로 차량 주변의 환경 정보를 감지한다.
레이더 거리 측정 감지 모듈에서 밀리파 레이더를 통해 무선파를 송출한 후 반송파를 수신하는데, 송수신 사이의 시간차에 따라 목표물의 위치 데이터를 측정한다. 밀리파 레이더는 거리 측정의 신뢰성과 원거리 감지 능력을 구비하지만, 높이 방향에서의 판별력을 저하되어; 육교, 광고판 등과 같은 레이더 반사점을 전방 장애물로 잘못 검출하여 순간 제동과 같은 동작으로 쉽게 이어질 수 있다. 시각 거리 측정 감지 모듈에서, 온라인 카메라 보정 기술을 이용하여, 차량의 주행 자세 변화를 실시간으로 모니터링하고, 도로 상황 변화로 인한 단안 측정 거리의 오차를 줄인다. 소위 카메라 보정은 이미지 측정 프로세스 및 머신 비전 애플리케이션에서, 공간 물체 표면상 한 지점의 3차원 기하학 위치와 이러한 지점의 이미지 상 대응되는 점 사이의 상호 관계를 결정하기 위해서는 반드시 설정해야 하는 카메라 이미징의 기하학적 모형을 가리키고, 이러한 기하학적 모형의 파라미터는 카메라 파라미터이다. 대다수의 경우 이러한 파라미터들은 반드시 실험 및 계산을 통해서만 획득될 수 있고, 파라미터(내부 파라미터, 외부 파라미터, 왜곡 파라미터)를 구하는 이러한 과정을 카메라 보정이라고 지칭하지만, 차량과 동일한 평면에 위치하지 않는 장애물의 경우, 지면점 단안 투영 거리 측정의 전제 조건을 충족시키지 못하므로, 거리 측정 결과 역시 정확치 않는 현상을 초래할 수 있다. 한편, 온라인 카메라 보정 기술은 차량 흔들림만 수정할 수 있고, 장애물과 차량이 동일한 평면에 위치하지 않은 상황을 변경할 수 없다.
이를 고려하여, 본원의 실시예는 차량 전방의 장애물을 더 정확하게 감지하고, 밀리파 레이더가 높이 방향에서 장애물의 위치를 정확하게 결정하지 못하는 문제 및단안 카메라가 장애물과 차량이 동일한 평면에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제를 극복할 수 있는 장애물 검출 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
제1 양태에 있어서, 본원의 실시예는 장애물 검출 방법을 제공하고, 상기 방법은,
밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출하는 단계;
카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하는 단계;
상기 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 상기 좌측 도로변 및 상기 우측 도로변 사이의 위치점을 추출하는 단계; 및
상기 좌측 도로변 및 상기 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 이미지 상 투영점을 통해, 상기 차량 전방의 목표 장애물을 검출하는 단계;를 포함한다.
상술한 실시예는 다음과 같은 장점 또는 유익한 효과를 구비한다. 본원은 좌측 도로변 및 우측 도로변을 통해 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하며; 각각의 위치점의 이미지 상 투영점을 통해 차량 전방의 목표 장애물을 검출함으로써, 차량 전방의 장애물을 더 정확하게 검출하는 목적을 달성한다. 한편 종래의 장애물 검출 방법에서는 일반적으로 밀리파 레이더 또는 단안 카메라를 사용하고 있으나, 밀리파 레이더는 높이 방향에서 장애물의 위치 결정이 정확하지 못한 문제가 있고; 단안 카메라는 장애물과 차량이 동일한 평면 상에 위치하지 않을 경우 거리를 정확하게 측정할 수 없는 문제가 있다. 본원은 레이더와 카메라를 서로 융합한 기술 수단을 사용함으로써, 종래 기술에서 밀리파 레이더가 높이 방향에서 장애물의 위치를 정확하게 결정하지 못하는 문제 및 단안 카메라가 장애물과 차량이 동일한 평면에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제를 극복하고, 나아가 차량 전방의 장애물을 더 정확하게 검출하는 기술 효과를 달성한다.
상술한 실시예에서, 각각의 위치점의 상기 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출하는 단계는,
상기 이미지 상에서 각각의 투영점에 대응되는 관심지점 ROI 영역을 획득하는 단계;
심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하는 단계 - 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함함 -; 및
각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 상기 차량 전방의 목표 장애물을 검출하는 단계;를 포함한다.
상술한 실시예는 다음과 같은 장점 또는 유익한 효과를 구비한다. 상술한 실시예는 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출함으로써, 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 상기 차량 전방의 목표 장애물을 정확하게 검출할 수 있다.
상기 실시예에서, 상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하는 단계는,
각각의 투영점에 대응되는 ROI 영역을 상기 심층 컨볼루션 신경망에 입력하는 단계;
각각의 투영점에 대응되는 ROI 영역에서 각각의 위치점의 감지 결과를 획득하고; 각각의 위치점의 감지 결과에 따라, 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 계산하는 단계; 및
상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 출력하는 단계;를 포함한다.
상술한 실시예는 다음과 같은 장점 또는 유익한 효과를 구비한다. 상술한 실시예는 각각의 위치점의 감지 결과에 따라, 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 계산할 수 있다. 각각의 ROI 영역 중 각각의 위치점의 감지 결과는 각각의 위치점에 대한 밀리파 레이더의 측정 값일 수 있고, 해당 측정 값을 통해 해당 위치점에 장애물이 있는지 여부를 표시함으로써, 전자 기기는 각각의 ROI 영역 중의 각각의 위치점의 측정 값에 따라 각각의 ROI 영역의 검출 결과를 정확하게 판단할 수 있다.
상술한 실시예에서, 상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출한 후, 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 상기 차량 전방의 목표 장애물을 검출하기 전에, 상기 방법은,
상기 레이더에 의해 오검출된 소정의 위치점에 따라, 상기 이미지 상에서 각각의 오검출된 위치점의 상기 이미지 상 투영점을 추출하는 단계;
상기 심층 컨볼루션 신경망을 통해 출력한 각각의 투영점에 대응되는 ROI 영역의 검출 결과에서, 각각의 오검출된 위치점의 투영점 및 각각의 오검출된 위치점의 투영점에 대응되는 ROI 영역의 검출 결과를 필터링하여 제거하는 단계; 및
필터링을 거친 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라, 차량 전방의 장애물을 확정하는 단계;를 더 포함한다.
상술한 실시예는 다음과 같은 장점 또는 유익한 효과를 구비한다. 상술한 실시예는 각각의 오검출된 위치점의 투영점 및 각각의 오검출된 위치점의투영점에 대응되는 ROI 영역의 검출 결과를 먼저 필터링하여 제거하고; 그런 다음, 필터링을 거친 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라, 차량 전방의 장애물을 결정할 수 있다. 이로써 차량 전방의 장애물을 더 정확하게 결정할 수 있다.
상술한 실시예에서, 각각의 위치점의 상기 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출하는 단계는,
각각의 위치점의 상기 이미지 상 투영점에 따라, 상기 목표 장애물의 유형을 검출하고; 각각의 위치점의 상기 이미지 상 투영점 및 상기 차량이 점용한 소정의 위치점에 따라, 상기 목표 장애물과 상기 차량 사이의 거리를 산출하는 단계를 포함한다.
상술한 실시예는 다음과 같은 장점 또는 유익한 효과를 구비한다. 상술한 실시예는 각각의 위치점의 상기 이미지 상 투영점에 따라, 상기 목표 장애물의 유형을 검출하고, 목표 장애물과 상기 차량 사이의 거리를 정확하게 산출할 수 있다.
제2 양태에 있어서, 본원은 장애물 검출 장치를 제공하며, 상기 장치는 레이더 감지 모듈, 카메라 감지 모듈, 추출 모듈 및 융합 검출 모듈을 포함하고,
상기 레이더 감지 모듈은 밀리파 레이더를 통해 차량 전방의 후보 장애물의 각각의 위치점을 검출하고;
상기 카메라 감지 모듈은 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며;
상기 추출 모듈은 상기 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물의 각각의 위치점을 분리하여, 상기 좌측 도로변 및 상기 우측 도로변 사이의 위치점을 추출하고;
상기 융합 검출 모듈은 상기 좌측 도로변 및 상기 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 상기 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출한다.
상기 실시예에서, 상기 융합 검출 모듈은 획득 서브 모듈, 계산 서브 모듈 및 검출 서브 모듈을 포함하고,
상기 획득 서브 모듈은 상기 이미지 상에서 각각의 투영점에 대응되는 관심지점 ROI 영역을 획득하고;
상기 계산 서브 모듈은 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하되, 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함하고;
상기 검출 서브 모듈은 각각의 투영점에 대응되는 ROI 검출 결과에 따라 상기 차량 전방의 목표 장애물을 검출한다.
상술한 실시예에서, 상기 계산 서브 모듈은 구체적으로 각각의 투영점에 대응되는 ROI 영역을 상기 심층 컨볼루션 신경망에 입력하고; 각각의 투영점에 대응되는 ROI 영역에서 각각의 위치점의 감지 결과를 획득하며; 각각의 위치점의 감지 결과에 따라, 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 계산하고; 상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 출력한다.
상기 실시예에서, 상기 융합 검출 모듈은 상기 레이더가 오검출한 소정의 위치점에 따라, 각각의 오검출된 위치점의 상기 이미지 상 투영점을 상기 이미지 상에서 추출하고; 상기 심층 컨볼루션 신경망을 통해 출력한 각각의 투영점에 대응되는 ROI 영역의 검출 결과에서, 각각의 오검출된 위치점의 투영점 및 각각의 오검출된 위치점의 투영점에 대응되는 ROI 영역의 검출 결과를 필터링하여 제거하는 필터링 서브 모듈을 더 포함한다.
상기 검출 서브 모듈은 필터링을 거친 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라, 차량 전방의 장애물을 확정한다.
상술한 실시예에서, 상기 융합 검출 모듈은 구체적으로 각각의 위치점의 상기 이미지 상 투영점에 따라, 상기 목표 장애물의 유형을 검출하고; 각각의 위치점의 상기 이미지 상 투영점 및 상기 차량이 점용한 소정의 위치점에 따라, 상기 목표 장애물과 상기 차량 사이의 거리를 산출한다.
제3 양태에 있어서, 본원의 실시예는 전자 기기를 제공하며, 전자 기기는,
하나 또는 복수의 프로세서;
하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하고,
상기 저장 장치에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되며, 상기 명령어가 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 본원 임의의 실시예에 따른 장애물 검출 방법을 구현하도록 한다.
제4 양태에 있어서, 본원의 실시예는 컴퓨터 프로그램이 저장된 저장 매체를 제공하고, 상기 프로그램이 프로세서에 의해 실행될 경우, 본원 임의의 실시예에 따른 장애물 검출 방법을 구현한다.
상술한 발명의 일 실시예는 다음과 같은 장점 또는 유익한 효과를 구비한다. 본원에서 제공한 장애물 검출 방법, 장치, 전자 기기 및 저장 매체는 우선 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출하고; 그런 다음 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며; 나아가, 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 마지막으로 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하며; 각각의 위치점의 이미지 상 투영점을 통해 차량 전방의 목표 장애물을 검출한다. 즉, 본원은 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 다시 이미지 상에 투영하며; 각각의 위치점의 이미지 상 투영점을 통해 차량 전방의 목표 장애물을 검출함으로써, 차량 전방의 장애물을 더 정확하게 검출하는 목적을 달성할 수 있다. 다른 한편, 종래의 장애물 검출 방법에서는 일반적으로 밀리파 레이더 또는 단안 카메라를 사용하고 있으나, 밀리파 레이더는 높이 방향에서 장애물의 위치 결정이 정확하지 못한 문제가 있고; 단안 카메라는 장애물과 차량이 동일한 평면 상에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제가 있다. 본원은 레이더와 카메라를 서로 융합한 기술 수단을 사용함으로써, 종래 기술에서 밀리파 레이더가 높이 방향에서 장애물의 위치를 정확하게 결정하지 못하는 문제 및 단안 카메라가 장애물과 차량이 동일한 평면에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제를 극복하고, 나아가 차량 전방의 장애물을 더 정확하게 검출하는 기술 효과를 달성하며; 또한 본원 실시예의 기술 방안은 구현이 간단하고 편리하여, 보급이 용이하고 적용 범위가 더 넓다.
상술한 바람직한 방안이 구비한 기타 다른 효과를 아래에서 구체적인 실시예를 참조하여 추가적으로 설명하고자 한다.
도면은 본원을 더 잘 이해하기 위해 사용되며, 본원을 제한하지 않는다.
도 1은 본원의 제1 실시예에서 제공한 장애물 검출 방법의 흐름도를 개략적으로 나타낸다.
도 2는 본원의 제2 실시예에서 제공한 장애물 검출 방법의 흐름도를 개략적으로 나타낸다.
도 3은 본원의 제3 실시예에서 제공한 장애물 검출 장치의 구조도를 개략적으로 나타낸다.
도 4는 본원의 제3 실시예에서 제공한 융합 검출 모듈의 구조도를 개략적으로 나타낸다.
도 5는 본원 실시예의 장애물 검출 방법을 구현하기 위한 전자 기기의 블록도이다.
아래에서는 이해를 돕기 위해, 본원 실시예의 다양한 세부사항을 포함한 본원의 시범적 실시예에 대해 첨부된 도면을 참조하여 설명하고자 하며, 이는 마땅히 단지 시범적인 것으로 간주되어야 한다. 따라서 해당 분야의 일반적인 기술자는 본원의 범위와 사상에 위배되지 않는 한, 여기에서 상술하는 실시예를 다양하게 변경 및 수정할 수 있음을 이해할 것이다. 마찬가지로, 명확하고 간결한 설명을 위해, 아래의 설명에서 잘 알려진 기능과 구조에 대한 설명은 생략한다.
제1 실시예
도 1은 본원 제1 실시예에서 제공한 장애물 검출 방법의 흐름도를 개략적으로 나타낸 것으로, 상기 방법은 장애물 검출 장치 또는 전자 기기에 의해 수행될 수 있고, 상기 장치 또는 전자 기기는 소프트웨어 및/또는 하드웨어 방식으로 구현될 수 있으며, 상기 장치 또는 전자기기는 네트워크 통신 기능을 갖춘 모든 스마트 기기에 통합될 수 있다. 도 1과 같이, 장애물 검출 방법은 다음과 같은 단계들을 포함할 수 있다.
S101에서, 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출한다.
본원의 구체적인 실시예에서, 전자 기기는 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출할 수 있다. 구체적으로, 차량 주행 과정에서, 전자 기기는 밀리파 레이더를 통해 무선파를 송출한 후 반송파를 수신하는데, 송수신 사이의 시간차에 따라 후보 장애물 각각의 위치점 좌표를 측정할 수 있고, 이러한 위치점의 좌표는 2차원 좌표일 수 있다.
S102에서, 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출한다.
본원의 구체적인 실시예에서, 전자 기기는 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출할 수 있다. 구체적으로, 차량 주행 과정에서, 전자 기기는 고정 시간 간격에 따라 카메라를 통해 차량 전방의 사진을 촬영한 다음, 촬영한 사진에서 차량이 위치한 좌측 도로변 및 우측 도로변을 검출한다. 구체적으로, 사진에서 좌측 도로변을 검출하지 못할 경우, 차량이 위치한 도로의 가장 좌측 도로변을 해당 도로의 좌측 도로변으로 간주하고; 사진에서 우측 도로변을 검출하지 못할 경우, 차량이 위치한 도로의 가장 우측 도로변을 해당 도로의 우측 도로변으로 간주한다.
S103에서, 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출한다.
본원의 구체적인 실시예에서, 전자 기기는 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출할 수 있다. 구체적으로, 레이더가 검출한 후보 장애물 각각의 위치점에서, 각각의 위치점에 대해 다음과 같은 동작을 진행한다. 해당 위치점의 좌표가 좌측 도로변 및 우측 도로변 사이에 위치할 경우, 또는 해당 위치점의 좌표가 좌측 도로변 상에 위치할 경우, 또는 해당 위치점의 좌표가 우측 도로변 상에 위치할 경우, 해당 위치점의 좌표를 유지하고; 해당 위치점의 좌표가 좌측 도로변 밖에 위치할 경우, 또는 해당 위치점의 좌표가 우측 도로변 밖에 위치할 경우, 해당 위치점의 좌표를 삭제한다. 상술한 각각의 위치점에 대한 동작을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출할 수 있다.
S104에서, 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출한다.
본원의 구체적인 실시예에서, 전자 기기는 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출할 수 있다. 구체적으로, 전자 기기는 좌측 도로변 및 우측 도로변 사이의 각각의 위치점의 지면점을 이미지 상에 표시하고, 이미지 상에서 각각의 위치점의 지면점을 통해 차량 전방의 목표 장애물을 검출할 수 있다. 구체적으로, 전자 기기는 이미지 상에서 각각의 투영점에 대응되는 ROI 영역을 획득하고; 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하되, 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함하고; 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 차량 전방의 목표 장애물을 검출할 수 있다.
본원의 실시예에서 제공한 장애물 검출 방법은, 우선 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출하고; 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며; 나아가, 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 마지막으로 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출한다. 다시 말하면, 본원은 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하며; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출함으로써, 차량 전방의 장애물을 더 정확하게 검출하는 목적을 달성하였다. 한편, 종래의 장애물 검출 방법에서는 일반적으로 밀리파 레이더 또는 단안 카메라를 사용하고 있으나, 밀리파 레이더는 높이 방향에서 장애물의 위치를 정확하게 결정하지 못하는 문제가 있고; 단안 카메라는 장애물과 차량이 동일한 평면 상에 위치 하지 않을 경우 거리를 정확하게 측정할 수 없는 문제가 있다. 본원은 레이더와 카메라를 서로 융합한 기술 수단을 사용함으로써, 종래 기술에서 밀리파 레이더가 높이 방향에서 장애물의 위치를 정확하게 결정하지 못하는 문제 및 단안 카메라가 장애물과 차량이 동일한 평면에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제를 극복하고, 나아가 차량 전방의 장애물을 더 정확하게 검출하는 기술 효과를 달성하며; 또한 본원 실시예의 기술 방안은 구현이 간단하고 편리하여, 보급이 용이하고 적용 범위가 더 넓다.
제2 실시예
도 2는 본원의 제2 실시예에서 제공한 장애물 검출 방법의 흐름도를 개략적으로 나타낸다. 도 2와 같이, 장애물 검출 방법은 아래와 같은 단계들을 포함할 수 있다.
S201에서, 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출한다.
본원의 구체적인 실시예에서, 전자 기기는 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출할 수 있다. 구체적으로, 차량 주행 과정에서, 전자 기기는 밀리파 레이더를 통해 무선파를 송출한 후 반송파를 수신하는데, 송수신 사이의 시간차에 따라 후보 장애물 각각의 위치점 좌표를 측정할 수 있고, 이러한 위치점의 좌표는 2차원 좌표일 수 있다.
S202에서, 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출한다.
본원의 구체적인 실시예에서, 전자 기기는 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출할 수 있다. 구체적으로, 차량 주행 과정에서, 전자 기기는 고정 시간 간격에 따라 카메라를 통해 차량 전방의 사진을 촬영한 다음, 촬영한 사진에서 차량이 위치한 좌측 도로변 및 우측 도로변을 검출한다. 구체적으로, 사진에서 좌측 도로변을 검출하지 못할 경우, 차량이 위치한 도로의 가장 좌측 도로변을 해당 도로의 좌측 도로변으로 간주하고; 사진에서 우측 도로변을 검출하지 못할 경우, 차량이 위치한 도로의 가장 우측 도로변을 해당 도로의 우측 도로변으로 간주한다.
S203에서, 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출한다.
본원의 구체적인 실시예에서, 전자 기기는 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출할 수 있다. 구체적으로, 레이더가 검출한 후보 장애물 각각의 위치점에서, 각각의 위치점에 대해 다음과 같은 동작을 진행한다. 해당 위치점의 좌표가 좌측 도로변 및 우측 도로변 사이에 위치할 경우, 또는 해당 위치점의 좌표가 좌측 도로변 상에 위치할 경우, 또는 해당 위치점의 좌표가 우측 도로변 상에 위치할 경우, 해당 위치점의 좌표를 유지하고; 해당 위치점의 좌표가 좌측 도로변 밖에 위치할 경우, 또는 해당 위치점의 좌표가 우측 도로변 밖에 위치할 경우, 해당 위치점의 좌표를 삭제한다. 상술한 각각의 위치점에 대한 동작을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출할 수 있다.
S204에서, 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 이미지 상에서 각각의 투영점에 대응되는 ROI 영역을 획득한다.
본원의 구체적인 실시예에서, 전자 기기는 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 이미지 상에서 각각의 투영점에 대응되는 ROI 영역을 획득할 수 있다. 구체적으로, 각각의 투영점의 ROI 영역은 예를 들어 원형 영역, 직사각형 영역 등과 같이, 각각의 위치점을 중심으로 하는 하나의 규칙적인 형태의 영역일 수 있다.
S205에서, 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하되, 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함한다.
본원의 구체적인 실시예에서, 전자 기기는 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하고; 여기서 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함할 수 있다. 구체적으로, 전자 기기는 각각의 투영점에 대응되는 ROI 영역을 심층 컨볼루션 신경망에 입력하고; 각각의 투영점에 대응되는 ROI 영역에서 각각의 위치점의 감지 결과를 획득하며; 각각의 위치점의 감지 결과에 따라, 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 계산하고; 나아가 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 출력할 수 있다. 구체적으로, 각각의 ROI 영역 중 각각의 위치점의 감지 결과는 각각의 위치점에 대한 밀리파 레이더의 측정 값일 수 있고, 해당 측정 값을 통해 해당 위치점에 장애물이 있는지 여부를 표시하는데, 이러한 단계에서, 전자 기기는 각각의 ROI 영역 중의 각각의 위치점의 측정 값에 따라, 각각의 ROI 영역의 검출 결과를 정확하게 판단할 수 있다. 예를 들어, 한 ROI 영역에 50개 위치점이 포함되어 있고, 그 중 30개 위치점의 측정 값은 장애물이 존재함을 표시하고, 20개 위치점의 측정 값은 장애물이 존재하지 않음을 의미한다고 가정하면, 전자 기기는 해당 ROI 영역의 검출 결과가 장애물이 존재함을 의미하는 것으로 판단할 수 있다.
S206에서, 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 차량 전방의 목표 장애물을 검출한다.
본원의 구체적인 실시예에서, 전자 기기는 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 차량 전방의 목표 장애물을 검출할 수 있다. 구체적으로, 전자 기기는 이미지 상에 각각의 ROI 영역의 검출 결과를 표시할 수 있는데, 예를 들면, 어느 한 ROI 영역의 검출 결과가 장애물이 존재함을 의미할 경우, 전자 기기는 이미지 상에 해당 ROI 영역을 1로 표시할 수 있고, 다른 한 ROI 영역의 검출 결과가 장애물이 존재하지 않음을 의미할 경우, 전자 기기는 이미지 상에 해당 ROI 영역을 0으로 표시할 수 있으며; 이를 통해, 각각의 ROI 영역의 검출 결과에 따라 차량 전방의 목표 장애물을 검출할 수 있다.
바람직하게는, 본원의 구체적인 실시예에서, 전자 기기는 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출한 후, 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 차량 전방의 목표 장애물을 검출하기 전에, 레이더에 의해 오검출된 소정의 위치점에 따라, 이미지 상에서 각각의 오검출된 위치점의 이미지 상 투영점을 추출하고; 심층 컨볼루션 신경망을 통해 출력한 각각의 투영점에 대응되는 ROI 영역의 검출 결과에서, 각각의 오검출된 위치점의 투영점 및 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 필터링하여 제거하며; 필터링을 거친 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라, 차량 전방의 장애물을 결정 할수도 있다.
바람직하게는, 본원의 구체적인 실시예에서, 전자 기기는 각각의 위치점의 이미지 상 투영점에 따라, 상기 목표 장애물의 유형을 검출하고; 각각의 위치점의 이미지 상 투영점 및 차량이 점용한 소정의 위치점에 따라, 목표 장애물과 상기 차량 사이의 거리를 산출할 수 있다.
본원의 실시예에서 제공한 장애물 검출 방법은, 우선 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출하고; 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며; 다음, 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 마지막으로 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출한다. 다시 말하면, 본원은 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 다음 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하며; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출함으로써, 차량 전방의 장애물을 더 정확하게 검출하는 목적을 달성한다. 한편, 종래의 장애물 검출 방법에서는 일반적으로 밀리파 레이더 또는 단안 카메라를 각각 사용하고 있으나, 밀리파 레이더는 높이 방향에서 장애물의 위치를 정확하게 결정하지 못하는 문제가 있고; 단안 카메라는 장애물과 차량이 동일한 평면 상에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제가 있다. 본원은 레이더와 카메라를 서로 융합한 기술 수단을 사용함으로써, 종래 기술에서 밀리파 레이더가 높이 방향에서 장애물의 위치를 정확하게 결정하지 못한는 문제 및 단안 카메라가 장애물과 차량이 동일한 평면에 위치하지 않을 경우 거리 측정을 정확하게 구현할 수 없는 문제를 극복하고, 나아가 차량 전방의 장애물을 더 정확하게 검출하는 기술 효과를 달성하며; 또한 본원 실시예의 기술 방안은 구현이 간단하고 편리하여, 보급이 용이하고 적용 범위가 더 넓다.
제3 실시예
도 3은 본원의 제3 실시예에서 제공한 장애물 검출 장치의 구조도를 개략적으로 나타낸다. 도 3과 같이, 상기 장치(300)은 레이더 감지 모듈(301), 카메라 감지 모듈(302), 추출 모듈(303) 및 융합 검출 모듈(304)을 포함하고, 그 중,
상기 레이더 감지 모듈(301)은 밀리파 레이더를 통해 차량 전방의 후보 장애물의 각각의 위치점을 검출하고;
상기 카메라 감지 모듈(302)은 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며;
상기 추출 모듈(303)은 상기 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물의 각각의 위치점을 분리하여, 상기 좌측 도로변 및 상기 우측 도로변 사이의 위치점을 추출하고;
상기 융합 검출 모듈(304)은 상기 좌측 도로변 및 상기 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 상기 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출한다.
도 4는 본원의 제3 실시예에서 제공한 융합 검출 모듈의 구조도를 개략적으로 나타낸다. 도 4와 같이, 상기 융합 검출 모듈(304)은 획득 서브 모듈(3041), 계산 서브 모듈(3042) 및 검출 서브 모듈(3043)을 포함하고,
상기 획득 서브 모듈(3041)은 상기 이미지 상에서 각각의 투영점에 대응되는 ROI 영역을 획득하고;
상기 계산 서브 모듈(3042)은 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하며; 여기서, 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함하고;
상기 검출 서브 모듈(3043)은 각각의 투영점에 대응되는 ROI 검출 결과에 따라 상기 차량 전방의 목표 장애물을 검출한다.
나아가, 상기 계산 서브 모듈(3042)은 구체적으로 각각의 투영점에 대응되는 ROI 영역을 상기 심층 컨볼루션 신경망에 입력하고; 각각의 투영점에 대응되는 ROI 영역에서 각각의 위치점의 감지 결과를 획득하며; 각각의 위치점의 감지 결과에 따라, 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 계산하고; 상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 출력한다.
나아가, 상기 융합 검출 모듈은 상기 레이더가 오검출한 소정의 위치점에 따라, 각각의 오검출된 위치점의 상기 이미지 상 투영점을 상기 이미지 상에서 추출하고; 상기 심층 컨볼루션 신경망을 통해 출력한 각각의 투영점에 대응되는 ROI 영역의 검출 결과에서, 각각의 오검출된 투영점 및 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 필터링하여 제거하는 필터링 서브 모듈(3044)(도면에 미도시)을 더 포함한다.
상기 검출 서브 모듈(3043)은 필터링을 거친 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라, 차량 전방의 장애물을 확정한다.
나아가, 상기 융합 검출 모듈(304)은 구체적으로 각각의 위치점의 상기 이미지 상 투영점에 따라, 상기 목표 장애물의 유형을 검출하고; 각각의 위치점의 상기 이미지 상 투영점 및 상기 차량이 점용한 소정의 위치점에 따라, 상기 목표 장애물과 상기 차량 사이의 거리를 산출한다.
상술한 장애물 검출 장치는 본원의 임의 실시예에서 제공한 방법을 수행할 수 있고, 방법을 수행하는데 상응하는 기능과 유익한 효과를 구비한다. 본 실시예에서 상세하게 설명하지 않은 기술 세부사항에 대해서는 본원의 임의 실시예에서 제공한 장애물 검출 방법을 참고할 수 있다.
제4 실시예
본원의 실시예에 따라, 본원은 전자 기기 및 판독 가능한 저장 매체를 더 제공한다.
도 5는 본원 실시예의 장애물 검출 방법에 따른 전자 기기의 블록도이다. 전자 기기는 랩탑 컴퓨터, 데스크탑 컴퓨터, 워크벤치, PDA, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 지칭한다. 전자 기기는 또한 PDA, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 지칭할 수도 있다. 본 명세서에서 나타낸 부품들, 이들의 연결 및 관계, 그리고 이들의 기능은 단지 예시일 뿐, 본 명세서에 설명된 및/또는 요구되는 본원의 실시예에 제한되는 것은 아니다.
도 5과 같이 해당 전자 기기는 하나 또는 복수의 프로세서(501), 저장 장치(502) 및 각 부재들을 연결하기 위한 고속 및 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재들은 서로 다른 버스로 서로 연결되며, 공용 메인보드에 장착되거나 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 외부 입력/출력 장치(예컨대, 인터페이스에 결합된 디스플레이 장치)상에 GUI의 그래픽 정보를 표시하기 위해 저장 장치에 또는 저장 장치 상에 저장된 명령을 포함한 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시예에서 필요할 경우, 복수의 프로세서 및/또는 복수의 버스를 복수의 저장 장치 및 복수의 저장 장치와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각각의 기기는 일부 필요한 작업(예컨대, 서버 어레이, 일 세트의 블레이드 서버 또는 멀티 프로세서 시스템)을 수행한다. 도 5에서 하나의 프로세서(501)가 그 예이다.
저장 장치(502)는 본원에서 제공하는 비-일시적 컴퓨터 판독 가능한 저장 매체이다. 그 중, 상기 메모리에는 상기 적어도 하나의 프로세서가 본원에서 제공된 장애물 검출 방법을 수행하도록 하기 위해, 적어도 하나의 프로세서에 의해 수행될 수 있는 명령이 저장되어 있다. 본원의 비-일시적 컴퓨터 판독 가능한 저장 매체는 컴퓨터가 본 명세서에서 제공한 장애물 검출 방법을 수행하도록 하는 컴퓨터 명령을 저장한다.
저장 장치(502)는 비-일시적 컴퓨터 판독 가능한 저장 매체로서, 비-일시적 소프트웨어 프로그램, 비-일시적 컴퓨터 실행 가능 프로그램 및 본원 실시예의 장애물 검출 방법에 대응하는 프로그램 명령/모듈(예컨대, 도 3에서 나타낸 레이더 감지 모듈(301), 카메라 감지 모듈(302), 추출 모듈(303) 및 융합 검출 모듈(304))을 저장하는데 사용될 수 있다. 프로세서(501)는 저장 장치(502)에 저장되어 있는 비-일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여 서버의 다양한 기능 응용과 데이터 처리를 수행하는데, 이는 즉 상술한 방법의 실시예의 장애물 검출 방법을 구현하는 것이다.
저장 장치(502)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는데, 그 중, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있고; 데이터 저장 영역은 장애물 검출 방법에 따른 전자 기기의 사용으로 생성된 데이터 등을 저장할 수 있다. 또한 저장 장치(502)는 고속 랜덤 액세스 메모리를 포함할 수 있으며, 적어도 하나의 디스크 메모리, 플래시 메모리 또는 기타 비-일시적 솔리드 스테이트 메모리와 같은 비-일시적 메모리를 더 포함할 수도 있다. 일부 실시예에서, 저장 장치(502)는 프로세서(501)에 대해 원격으로 설치된 저장장치를 선택적으로 포함할 수 있으며, 이러한 원격 저장 장치는 네트워크를 통해 차량 위치 결정 방법의 전자 기기에 연결될 수 있다. 상기 네트워크의 예로는 인터넷, 인트라넷, LAN, 이동통신망 및 그 조합을 포함하되 이에 국한되지 않는다.
장애물 검출 방법의 전자 기기는 입력 장치(503)와 출력 장치(504)를 더 포함할 수 있다. 프로세서(501), 저장 장치(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 다른 방법으로 연결될 수 있는데, 도 5의 버스를 통한 연결이 그 예이다.
입력 장치(503)는 입력된 숫자 또는 문자 정보를 수신하고, 장애물 검출 방법의 전자 기기에 대한 사용자 설정 및 기능 제어와 관련한 키 신호 입력을 생성할 수 있으며, 그 예로 터치스크린, 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등과 같은 입력 장치를 들 수 있다. 출력 장치(504)는 디스플레이 장치, 보조 조명 장치(예컨대, LED) 및 촉각 피드백 장치(예컨대, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 장치는 액정표시장치(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함하되 이에 국한되지 않는다. 일부 실시예에서 디스플레이 장치는 터치스크린일 수 있다.
여기에서 설명한 시스템 및 기술의 다양한 실시예는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(주문형 반도체), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시예는 다음을 포함한다. 하나 또는 복수의 컴퓨터 프로그램에서 구현되고, 상기 하나 또는 복수의 컴퓨터 프로그램이 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그래머블 프로세서가 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고, 데이터와 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치에 전송할 수 있는 전용 또는 범용 프로그래머블 프로세서일 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 또는 코드라고도 지칭함)은 프로그래머블 프로세서의 기계 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 구현할 수 있다. 이 명세서에서 사용했듯이, "기계 판독 가능한 매체" 및 "컴퓨터 판독 가능한 매체"는 기계 명령 및/또는 데이터를 프로그래머블 프로세서에 제공하는 데 사용되는 모든 컴퓨터 프로그램 제품, 기기 및/또는 장치(예컨대, 디스크, 광 디스크, 메모리, 프로그래머블 로직 유닛(PLD))를 의미하며, 기계 명령을 기계 판독 가능한 신호로 수신하는 기계 판독 가능한 매체를 포함한다. "기계 판독 가능한 신호"는 기계 명령 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 모든 신호를 의미한다.
사용자와의 상호 작용을 제공하기 위해 여기에서 설명한 시스템 및 기술을 컴퓨터에서 구현할 수 있는데, 상기 컴퓨터는, 사용자에게 정보를 표시하는데 사용되는 디스플레이 장치(예컨대, CRT(브라운관) 또는 LCD(액정 모니터); 및 키보드와 지향 장치(예컨대, 마우스 또는 트랙볼)를 구비하며, 사용자는 상기 키보드와 상기 지향 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 사용자와의 상호 작용을 제공하기 위해 다른 종류의 장치를 더 사용할 수도 있으며; 예를 들어, 사용자에게 제공되는 피드백은 모든 형태의 센싱 피드백일 수 있고(예컨대, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백); 또한 어떤 형태로든(음향 입력, 음성 입력 또는 촉각 입력을 포함함) 사용자의 입력을 수신할 수 있다.
여기에서 설명한 시스템 및 기술은 백그라운드 부품이 포함된 컴퓨팅 시스템(예컨대, 데이터 서버로) 또는 미들웨어 부품이 포함된 컴퓨팅 시스템(예컨대, 응용 서버) 또는 프런트엔드 부품이 포함된 컴퓨팅 시스템(예컨대, 그래픽 유저 인터페이스 또는 웹 브라우저를 구비한 사용자 컴퓨터, 사용자가 상기 그래픽 유저 인터페이스 또는 상기 웹 브라우저를 통해 여기서 설명한 시스템 및 기술의 구현 방법과 상호 작용을 할 수 있음) 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트엔드 부품을 포함하는 모든 조합의 컴퓨팅 시스템에서 구현될 수 있다. 모든 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)을 통해 시스템의 부품은 서로 연결될 수 있다. 통신 네트워크의 예로 근거리 통신망(LAN), 광대역 통신망(WAN), 인터넷 및 블록체인 네트워크가 포함된다.
컴퓨터 시스템에는 클라이언트와 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버 간의 관계는 상응하는 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램을 통해 생성된다.
본원 실시예의 기술 방안에 따르면, 우선 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출하고; 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며; 다시 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 마지막으로 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출한다. 다시 말하면, 본원은 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 좌측 도로변 및 우측 도로변 사이의 위치점을 추출하고; 다시 좌측 도로변 및 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하며; 각각의 위치점의 이미지 상 투영점을 통해, 차량 전방의 목표 장애물을 검출함으로써, 차량 전방의 장애물을 더 정확하게 검출하는 목적을 달성하였다. 그러나 종래의 장애물 검출 방법에서 일반적으로 밀리파 레이더 또는 단안 카메라를 각각 사용하였으나, 밀리파 레이더는 높이 방향에서 장애물의 위치 결정이 부정확한 문제가 있고; 단안 카메라는 장애물과 차량이 동일하지 않은 평면에 있을 때 거리를 정확하게 측정할 수 없는 문제가 있다. 본원은 레이더와 카메라를 서로 융합한 기술 수단을 사용함으로써, 종래 기술에서 밀리파 레이더가 높이 방향에서 부정확하게 장애물의 위치 결정을 하는 문제와 단안 카메라가 장애물과 차량이 동일한 평면에 위치하지 않을 때 정확하게 거리 측정을 할 수 없는 문제를 극복하였고, 나아가 차량 전방의 장애물을 더 정확하게 검출하는 기술 효과를 달성하였으며; 또한 본원 실시예의 기술 방안은 구현이 간단하고 편리하며, 보급이 용이하고 적용 범위가 더 넓다.
위에서 나타낸 다양한 형태의 프로세스를 사용하여 단계를 재배치, 증가 또는 삭제할 수 있다고 마땅히 이해되어야 한다. 예를 들어, 본원에 기재된 각 단계는, 본원이 공개한 기술 방안이 기대되는 결과를 구현할 수 있는 한 병렬로 실행될 수 있고, 순차적으로 실행될 수 있으며, 다른 순서로도 실행될 수 있고, 본 명세서는 여기에 제한을 두지 않는다.
상술한 구체적인 실시예는 본원의 보호 범위에 제한을 두지 않는다. 본 분야의 기술자들은 설계 요구와 기타 요인에 따라 다양한 수정, 조합, 하위 조합 및 대체를 할 수 있다는 것을 마땅히 이해하여야 한다. 본원의 정신과 원칙 내에서 이루어지는 모든 수정, 균등의 대체물 및 개선 등은 모두 본원의 보호범위 안에 포함되어야 한다.

Claims (12)

  1. 밀리파 레이더를 통해 차량 전방의 후보 장애물 각각의 위치점을 검출하는 단계;
    카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하는 단계;
    상기 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물 각각의 위치점을 분리하여, 상기 좌측 도로변 및 상기 우측 도로변 사이의 위치점을 추출하는 단계; 및
    상기 좌측 도로변 및 상기 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출하는 단계;를 포함하는 것을 특징으로 하는 장애물 검출 방법.
  2. 제1 항에 있어서,
    각각의 위치점의 상기 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출하는 단계는,
    상기 이미지 상에서 각각의 투영점에 대응되는 관심지점 ROI 영역을 획득하는 단계;
    심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하는 단계 - 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함함 -; 및
    각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 상기 차량 전방의 목표 장애물을 검출하는 단계;를 포함하는 것을 특징으로 하는 장애물 검출 방법.
  3. 제2 항에 있어서,
    상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하는 단계는,
    각각의 투영점에 대응되는 ROI 영역을 상기 심층 컨볼루션 신경망에 입력하는 단계;
    각각의 투영점에 대응되는 ROI 영역에서 각각의 위치점의 감지 결과를 획득하고; 각각의 위치점의 감지 결과에 따라, 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 계산하는 단계; 및
    상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 출력하는 단계;를 포함하는 것을 특징으로 하는 장애물 검출 방법.
  4. 제2 항에 있어서,
    상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출한 후, 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라 상기 차량 전방의 목표 장애물을 검출하기 전에, 상기 방법은,
    상기 레이더에 의해 오검출된 소정의 위치점에 따라, 상기 이미지 상에서 각각의 오검출된 위치점의 상기 이미지 상 투영점을 추출하는 단계;
    상기 심층 컨볼루션 신경망을 통해 출력한 각각의 투영점에 대응되는 ROI 영역의 검출 결과에서, 각각의 오검출된 위치점의 투영점 및 각각의 오검출된 위치점의 투영점에 대응되는 ROI 영역의 검출 결과를 필터링하여 제거하는 단계; 및
    필터링을 거친 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라, 차량 전방의 장애물을 확정하는 단계;를 더 포함하는 것을 특징으로 하는 장애물 검출 방법.
  5. 제1 항에 있어서,
    각각의 위치점의 상기 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출하는 단계는,
    각각의 위치점의 상기 이미지 상 투영점에 따라, 상기 목표 장애물의 유형을 검출하고; 각각의 위치점의 상기 이미지 상 투영점 및 상기 차량이 점용한 소정의 위치점에 따라, 상기 목표 장애물과 상기 차량 사이의 거리를 산출하는 단계를 포함하는 것을 특징으로 하는 장애물 검출 방법.
  6. 레이더 감지 모듈, 카메라 감지 모듈, 추출 모듈 및 융합 검출 모듈을 포함하는 장애물 검출 장치에 있어서,
    상기 레이더 감지 모듈은 밀리파 레이더를 통해 차량 전방의 후보 장애물의 각각의 위치점을 검출하고;
    상기 카메라 감지 모듈은 카메라를 통해 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 검출하며;
    상기 추출 모듈은 상기 차량이 위치한 도로의 좌측 도로변 및 우측 도로변을 통해, 후보 장애물의 각각의 위치점을 분리하여, 상기 좌측 도로변 및 상기 우측 도로변 사이의 위치점을 추출하고;
    상기 융합 검출 모듈은 상기 좌측 도로변 및 상기 우측 도로변 사이의 각각의 위치점을 이미지 상에 투영하고; 각각의 위치점의 상기 이미지 상 투영점을 통해 상기 차량 전방의 목표 장애물을 검출하는 것을 특징으로 하는 장애물 검출 장치.
  7. 제6 항에 있어서,
    상기 융합 검출 모듈은 획득 서브 모듈, 계산 서브 모듈 및 검출 서브 모듈을 포함하고,
    상기 획득 서브 모듈은 상기 이미지 상에서 각각의 투영점에 대응되는 관심지점 ROI 영역을 획득하고;
    상기 계산 서브 모듈은 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 산출하되, 상기 검출 결과는 장애물이 존재함을 의미하는 검출 결과 및 장애물이 존재하지 않음을 의미하는 검출 결과를 포함하고,
    상기 검출 서브 모듈은 각각의 투영점에 대응되는 ROI 검출 결과에 따라 상기 차량 전방의 목표 장애물을 검출하는 것을 특징으로 하는 장애물 검출 장치.
  8. 제7 항에 있어서,
    상기 계산 서브 모듈은 구체적으로 각각의 투영점에 대응되는 ROI 영역을 상기 심층 컨볼루션 신경망에 입력하고; 각각의 투영점에 대응되는 ROI 영역에서 각각의 위치점의 감지 결과를 추출하며; 각각의 위치점의 감지 결과에 따라, 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 계산하고; 상기 심층 컨볼루션 신경망을 통해 각각의 투영점에 대응되는 ROI 영역의 검출 결과를 출력하는 것을 특징으로 하는 장애물 검출 장치.
  9. 제7 항에 있어서,
    상기 융합 검출 모듈은 상기 레이더가 오검출한 소정의 위치점에 따라, 상기 이미지 상에서 각각의 오검출된 위치점의 상기 이미지 상 투영점을 추출하고; 상기 심층 컨볼루션 신경망을 통해 출력한 각각의 투영점에 대응되는 ROI 영역의 검출 결과에서, 각각의 오검출된 위치점의 투영점 및 각각의 오검출된 위치점의 투영점에 대응되는 ROI 영역의 검출 결과를 필터링하여 제거하는 필터링 서브 모듈을 더 포함하고;
    상기 검출 서브 모듈은 필터링을 거친 각각의 투영점에 대응되는 ROI 영역의 검출 결과에 따라, 차량 전방의 장애물을 확정하는 것을 특징으로 하는 장애물 검출 장치.
  10. 제6 항에 있어서,
    상기 융합 검출 모듈은 구체적으로 각각의 위치점의 상기 이미지 상 투영점에 따라, 상기 목표 장애물의 유형을 검출하고; 각각의 위치점의 상기 이미지 상 투영점 및 상기 차량이 점용한 소정의 위치점에 따라, 상기 목표 장애물과 상기 차량 사이의 거리를 산출하는데 사용되는 것을 특징으로 하는 장애물 검출 장치.
  11. 전자 기기에 있어서,
    상기 전자 기기는,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결된 저장 장치를 포함하고,
    상기 저장 장치에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되며, 상기 명령어가 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1 항 내지 제5 항 중 어느 한 항에 따른 방법을 구현하도록 하는 것을 특징으로 하는 전자 기기.
  12. 컴퓨터 명령어가 저장된 비-일시적 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 컴퓨터 명령어는 상기 컴퓨터가 제1 항 내지 제5 항 중 어느 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 저장 매체.
KR1020200125093A 2020-03-11 2020-09-25 장애물 검출 방법, 장치, 전자 기기 및 저장 매체 KR102407504B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010166864.6A CN111401208B (zh) 2020-03-11 2020-03-11 一种障碍物检测方法、装置、电子设备及存储介质
CN202010166864.6 2020-03-11

Publications (2)

Publication Number Publication Date
KR20210116186A true KR20210116186A (ko) 2021-09-27
KR102407504B1 KR102407504B1 (ko) 2022-06-13

Family

ID=71436169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200125093A KR102407504B1 (ko) 2020-03-11 2020-09-25 장애물 검출 방법, 장치, 전자 기기 및 저장 매체

Country Status (5)

Country Link
US (1) US11468689B2 (ko)
EP (1) EP3879307B1 (ko)
JP (1) JP7339934B2 (ko)
KR (1) KR102407504B1 (ko)
CN (1) CN111401208B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
EP3905105A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
CN111856440B (zh) * 2020-07-21 2024-04-05 阿波罗智联(北京)科技有限公司 位置检测方法、装置、设备及可读存储介质
CN112163446B (zh) * 2020-08-12 2023-04-28 浙江吉利汽车研究院有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN112485797B (zh) * 2020-10-27 2021-08-03 湖北亿咖通科技有限公司 用于pdc系统的障碍物距离计算方法、装置和计算机设备
US11688176B2 (en) * 2020-10-30 2023-06-27 Nauto, Inc. Devices and methods for calibrating vehicle cameras
CN114537381A (zh) * 2020-11-24 2022-05-27 郑州宇通客车股份有限公司 一种自动驾驶车辆的车道避障方法及装置
US11754666B2 (en) 2021-02-12 2023-09-12 Aptiv Technologies Limited Radar detection prioritization based on downstream feedback
CN113619606A (zh) * 2021-09-17 2021-11-09 中国第一汽车股份有限公司 障碍物确定方法、装置、设备以及存储介质
CN114332647B (zh) * 2021-12-31 2022-10-21 合肥工业大学 一种用于无人船的河道边界检测与跟踪方法及系统
CN114353593B (zh) * 2022-01-10 2024-04-09 北京机械设备研究所 特定目标防控方法、装置、电子设备以及存储介质
CN115937325B (zh) * 2022-09-27 2023-06-23 上海几何伙伴智能驾驶有限公司 一种结合毫米波雷达信息的车端摄像头标定方法
CN117975404A (zh) * 2022-10-26 2024-05-03 北京三快在线科技有限公司 朝向信息确定方法以及自动驾驶车辆
CN115808929B (zh) * 2023-01-19 2023-04-14 禾多科技（北京）有限公司 车辆仿真避障方法、装置、电子设备和计算机可读介质
CN115861975B (zh) * 2023-02-28 2023-05-12 杭州枕石智能科技有限公司 障碍物车辆位姿估计方法及设备
CN116486377B (zh) * 2023-04-26 2023-12-26 小米汽车科技有限公司 可行驶区域的生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061567A (ja) * 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
JP2015022698A (ja) * 2013-07-23 2015-02-02 株式会社日本自動車部品総合研究所 物体位置判定装置
KR20150055345A (ko) * 2013-11-13 2015-05-21 주식회사 하나비전테크 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
KR101976952B1 (ko) * 2017-11-01 2019-05-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3245363B2 (ja) * 1996-08-29 2002-01-15 富士重工業株式会社 車両の衝突防止装置
JPH1116099A (ja) * 1997-06-27 1999-01-22 Hitachi Ltd 自動車走行支援装置
JP2007104171A (ja) * 2005-10-03 2007-04-19 Omron Corp 前方監視装置
US7676087B2 (en) * 2006-09-20 2010-03-09 Delphi Technologies, Inc. Method for identifying vehicles in electronic images
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
JP2010061587A (ja) 2008-09-05 2010-03-18 Nippon Telegr & Teleph Corp <Ntt> 類似文書判定装置、類似判定方法およびそのプログラム
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
US10330787B2 (en) * 2016-09-19 2019-06-25 Nec Corporation Advanced driver-assistance system
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108983219B (zh) * 2018-08-17 2020-04-07 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN109271944B (zh) * 2018-09-27 2021-03-12 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN109583416B (zh) * 2018-12-11 2021-04-13 广州小鹏汽车科技有限公司 伪车道线识别方法及系统
CN113454636A (zh) * 2018-12-28 2021-09-28 辉达公司 自主机器应用中障碍物检测的距离
CN109669168A (zh) * 2019-01-21 2019-04-23 成都玻尔兹曼科技有限公司 一种基于深度学习的雷达虚警剔除方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061567A (ja) * 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
JP2015022698A (ja) * 2013-07-23 2015-02-02 株式会社日本自動車部品総合研究所 物体位置判定装置
KR20150055345A (ko) * 2013-11-13 2015-05-21 주식회사 하나비전테크 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
KR101976952B1 (ko) * 2017-11-01 2019-05-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법

Also Published As

Publication number Publication date
EP3879307B1 (en) 2023-03-08
US11468689B2 (en) 2022-10-11
JP2021144677A (ja) 2021-09-24
CN111401208B (zh) 2023-09-22
US20210287019A1 (en) 2021-09-16
CN111401208A (zh) 2020-07-10
KR102407504B1 (ko) 2022-06-13
EP3879307A1 (en) 2021-09-15
JP7339934B2 (ja) 2023-09-06

Similar Documents

Publication Publication Date Title
KR102407504B1 (ko) 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
US11586218B2 (en) Method and apparatus for positioning vehicle, electronic device and storage medium
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111324115B (zh) 障碍物位置检测融合方法、装置、电子设备和存储介质
EP3869399A2 (en) Vehicle information detection method and apparatus, electronic device, storage medium and program
CN110793544B (zh) 路侧感知传感器参数标定方法、装置、设备及存储介质
EP3968266B1 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
CN111753765A (zh) 感知设备的检测方法、装置、设备及存储介质
KR102605535B1 (ko) 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체
CN111220164A (zh) 定位方法、装置、设备及存储介质
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
CN111578839B (zh) 障碍物坐标处理方法、装置、电子设备及可读存储介质
CN111310840B (zh) 数据融合处理方法、装置、设备和存储介质
CN111079079B (zh) 数据修正方法、装置、电子设备及计算机可读存储介质
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN111784837A (zh) 高精地图生成方法和装置
CN111767843A (zh) 三维位置预测方法、装置、设备以及存储介质
KR20220004604A (ko) 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼
EP3919930B1 (en) Method and apparatus for determining velocity of obstacle, device, medium and computer program product
CN114528941A (zh) 传感器数据融合方法、装置、电子设备及存储介质
CN112184828A (zh) 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆
CN111784659A (zh) 图像检测的方法、装置、电子设备以及存储介质
CN111336984A (zh) 障碍物测距方法、装置、设备和介质
CN111932611B (zh) 物体位置获取方法和装置
CN117168470A (zh) 一种定位信息的确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant