KR20220027359A - 자율주행을 위한 높이 맵 격자간격 조정방법 - Google Patents

자율주행을 위한 높이 맵 격자간격 조정방법 Download PDF

Info

Publication number
KR20220027359A
KR20220027359A KR1020200108024A KR20200108024A KR20220027359A KR 20220027359 A KR20220027359 A KR 20220027359A KR 1020200108024 A KR1020200108024 A KR 1020200108024A KR 20200108024 A KR20200108024 A KR 20200108024A KR 20220027359 A KR20220027359 A KR 20220027359A
Authority
KR
South Korea
Prior art keywords
grid
map
grid spacing
height
cell
Prior art date
Application number
KR1020200108024A
Other languages
English (en)
Inventor
이건창
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200108024A priority Critical patent/KR20220027359A/ko
Priority to US17/406,943 priority patent/US11587286B2/en
Priority to CN202110984397.2A priority patent/CN114119724A/zh
Publication of KR20220027359A publication Critical patent/KR20220027359A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/28—Force feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

일 실시 예에 의한 자율주행을 위한 높이 맵 격자간격 조정방법은, 차량 전방의 2차원 영상을 획득하는 단계; 상기 2차원 영상에 존재하는 객체의 깊이 정보를 이용하여 깊이 맵을 구성하고, 상기 깊이 맵을 3차원 포인트 클라우드로 변환하는 단계; 상기 3차원 포인트 클라우드를 일정 크기를 갖는 그리드 상에 맵핑하여 높이 맵을 생성하는 단계; 및 상기 차량과 상기 객체 간의 주행상황을 고려하여 상기 높이 맵의 격자 간격을 가변적으로 조정하는 단계;를 포함할 수 있다.

Description

자율주행을 위한 높이 맵 격자간격 조정방법{METHOD FOR ADJUSTING GRID INTERVAL OF HEIGHT MAP FOR AUTONOMOUS DRIVING}
본 발명은 자율주행을 위한 높이 맵 격자간격 조정방법에 관한 것이다.
최근, 자율주행차량은 다양한 센서 정보를 융합하여 2차원 영상을 점유 격자 기반의 3차원 높이 맵으로 변환하여 객체를 인지하는 기술을 활용하고 있다. 이러한 높이 맵은 일정 크기를 갖는 점유 격자의 각 셀에 대한 높이 정보를 기반으로 차량의 자유 공간 영역과 객체의 점유 공간 영역으로 분류하여 객체를 인지한다.
이러한 높이 맵은 점유 격자의 간격에 따라 객체의 인지 정확도가 결정된다. 점유 격자의 간격이 크게 설정될수록 시차의 분해능이 낮아져 원거리에 존재하는 객체의 3차원 위치정보가 부정확해지며, 그로 인해 파생되는 자율주행 제어의 신뢰성을 보장할 수 없는 문제가 발생한다.
반대로, 점유 격자의 간격을 작게 설정할 경우 객체의 인지 정확도는 높아지나, 실시간 연산을 요구하는 차량용 소프트웨어의 제한된 데이터 처리량으로 인해 시차의 분해능을 무한정 높일 수는 없으며, 연산처리가 지연될 경우 자율주행 판단 및 제어가 적시에 이루어지지 않아 2차 사고로 이어질 가능성이 있다.
이에, 시스템의 연산속도를 지연시키지 않으면서도 객체의 인지 정확도를 개선할 수 있는 높이 맵의 격자간격 조정방법이 요구되고 있다.
실시 예는 주행상황에 따라 높이 맵의 격자 간격을 적절하게 조정하여 관심 영역에 위치하고 있는 객체의 거동을 정확히 인지하고, 시스템의 연산속도를 향상시킬 수 있는 자율주행을 위한 높이 맵 격자간격 조정방법을 제공하기 위한 것이다.
실시 예에서 해결하고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제는 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시 예는, 차량 전방의 2차원 영상을 획득하는 단계; 상기 2차원 영상에 존재하는 객체의 깊이 정보를 이용하여 깊이 맵을 구성하고, 상기 깊이 맵을 3차원 포인트 클라우드로 변환하는 단계; 상기 3차원 포인트 클라우드를 일정 크기를 갖는 그리드 상에 맵핑하여 높이 맵을 생성하는 단계; 및 상기 차량과 상기 객체 간의 주행상황을 고려하여 상기 높이 맵의 격자 간격을 가변적으로 조정하는 단계;를 포함하는, 자율주행을 위한 높이 맵 격자간격 조정방법을 제공할 수 있다.
상기 생성하는 단계는, 상기 높이 맵의 각 그리드에 맵핑된 상기 3차원 포인트 클라우드의 개수 및 높이 정보를 이용하여 평균 높이를 계산하는 단계;를 포함할 수 있다.
상기 차량의 거동정보를 토대로 상기 높이 맵의 현재 프레임에 이전 프레임을 누적시켜 상기 객체가 동적 장애물인지 여부를 판단하는 단계;를 더 포함할 수 있다.
상기 판단하는 단계는, 상기 그리드를 구성하는 각 셀의 평균 높이에 대한 확률변수 표준화를 산출하는 단계; 및 상기 산출된 확률변수 표준화와 특정 표준편차 경계값을 비교하여 상기 동적 장애물이 위치한 셀을 검출하는 단계;를 포함할 수 있다.
상기 동적 장애물과 상기 차량 간의 상대거리 및 충돌예상시간 중 적어도 하나를 연산하는 단계;를 더 포함할 수 있다.
상기 조정하는 단계는, 상기 상대거리가 기 설정된 제1 임계값 이하인 경우, 상기 동적 장애물이 위치한 셀과 상기 셀에 인접한 주변 셀의 격자 간격을 제1 격자 조정단계로 조정할 수 있다.
상기 조정하는 단계는, 상기 충돌예상시간이 기 설정된 제2 임계값 이하인 경우, 상기 동적 장애물이 위치한 셀과 상기 셀에 인접한 주변 셀의 격자 간격을 제2 격자 조정단계로 조정할 수 있다.
상기 제1 격자 조정단계와 상기 제2 격자 조정단계의 격자 간격은 서로 다를 수 있다.
상기 조정하는 단계는, 상기 검출된 동적 장애물의 진행방향을 고려하여 우선순위를 결정하고, 상기 우선순위에 따라 각 셀의 상기 격자 간격을 다르게 조정할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량용 맵 격자간격 조정장치는, 차량 전방의 2차원 영상을 획득하는 센서; 상기 2차원 영상에 존재하는 객체의 깊이 정보를 이용하여 깊이 맵을 구성하고, 상기 깊이 맵을 3차원 포인트 클라우드로 변환하고, 상기 3차원 포인트 클라우드를 일정 크기를 갖는 그리드 상에 맵핑하여 높이 맵을 생성하는 영상 처리부; 및 상기 차량과 상기 객체 간의 주행상황을 고려하여 상기 높이 맵의 격자 간격을 가변적으로 조정하는 격자간격 조정부를 포함할 수 있다.
본 발명의 적어도 일 실시 예에 의하면, 주행상황에 따라 높이 맵의 격자 간격을 적절하게 조정하여 관심 영역에 위치하고 있는 객체의 거동을 정확히 인지하고, 불필요한 연산량을 줄여 시스템의 연산속도를 향상시킬 수 있다.
본 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과는 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 높이 맵 격자간격 조정장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 스테레오 삼각 측량 긱법을 이용하여 2차원 영상에 존재하는 객체의 깊이 정보를 파악하는 실시 예를 도시한 도면이다.
도 3 내지 도 4는 본 발명의 일 실시 예에 따른 높이 맵을 생성하는 실시 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 높이 맵을 통해 객체를 인식하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 높이 맵의 각 셀에 누적된 높이 정보의 표준정규분포를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 높이 맵의 격자 간격을 조정하는 실시 예를 도시한 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 높이 맵의 격자 간격을 조정하는 실시 예를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 높이 맵 격자간격 조정방법의 흐름도이다.
이하, 첨부된 도면들을 참조하여 실시 예를 상세히 설명한다. 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 실시 예의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
"제1", "제2" 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 이러한 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용된다. 또한, 실시 예의 구성 및 작용을 고려하여 특별히 정의된 용어들은 실시 예를 설명하기 위한 것일 뿐이고, 실시 예의 범위를 한정하는 것이 아니다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명의 각 실시 형태에 관한 높이 맵 격자간격 조정장치에 대해서 첨부된 도면을 참조하여 설명한다.
도 1은 본 발명의 일 실시 예에 따른 높이 맵 격자간격 조정장치를 도시한 블록도이다.
도 1을 참조하면, 높이 맵 격자간격 조정장치(100)는 센서부(110), 영상 처리부(120), 맵 분석부(130), 연산부(140), 및 제어부(150)를 포함할 수 있다.
센서부(110)는 차량 주변에 위치한 객체를 탐지하고, 해당 객체 간의 거리를 측정하는 외부 센서와 차량의 주행상태를 실시간으로 측정하는 내부 센서를 포함할 수 있다.
외부 센서는 객체의 깊이 정보 측정이 가능한 카메라, 거리측정 센서 등을 포함할 수 있다. 물론, 그 외에도 외부 센서는 객체를 탐지하고 거리 측정이 가능한 센서라면 어느 것이든 적용 가능하다.
카메라는 차량 주변의 영상을 촬영하는 장치로서, 예를 들어, 차량의 전방에 구비된 스테레오 비전센서일 수 있다. 카메라는 차량 전방을 촬영한 스테레오 영상을 영상 처리부(120)로 전달할 수 있다. 이때, 영상 처리부(120)는 카메라로부터 전달된 스테레오 영상을 맵 분석부(130)로 전달할 수 있다.
거리측정 센서는 차량과 객체 간의 거리나 상대속도를 측정할 수 있으며, 레이더 또는 라이다 등으로 구현될 수 있다. 레이더는 전자기파를 사용하여 차량 주변에 존재하는 객체와의 거리, 방향, 상대속도, 및 고도 등을 측정하며, 원거리 식별과 악천후 대응이 가능하다. 라이다는 도로 상에서 차량의 전방을 향해 레이저 펄스를 발사한 후 반사되는 레이저 펄스로부터 포인트 형태의 라이다 데이터를 생성하며, 정밀한 분해능을- 가져 차량 주변에 존재하는 객체를 검출하는데 주로 이용된다.
내부 센서는 차량의 속도, 가속도, 및 조향각 등을 수집하는 속도 센서, 가속도 센서, 및 조향각 센서 등을 포함하여 구성될 수 있으며, 각종 액츄에이터에 대한 상태 정보를 주기적으로 측정할 수 있다.
내부 센서는 차량의 주행속도를 측정하는 차속 센서 및 6자유도 거동정보를 감지하기 위한 가속도계와 자이로 센서를 포함하여 구성될 수 있으며, 각종 액츄에이터에 대한 상태 정보를 주기적으로 검출할 수 있다. 가속도계는 차량의 X, Y, 및 Z축의 병진 자유도에 관한 이동 변위를 측정하고, 자이로 센서는 3축의 회전 자유도와 관련된 롤(roll), 피치(pitch), 및 요(yaw)의 각속도를 검출하며, 가속도계와 자이로 센서는 각각 3개의 축에 구비될 수 있다.
영상 처리부(120)는 센서부(110)의 카메라로부터 전방의 2차원 영상을 획득할 수 있으며, 카메라 또는 거리측정 센서 등으로부터 획득한 전방 객체들에 대한 깊이 정보를 이용하여 깊이 맵(Depth Map)을 구성할 수 있다.
또한, 영상 처리부(120)는 전방 객체의 위치 및 깊이 정보를 이용하여 깊이 맵을 높이 맵(Height Map)으로 변환할 수 있다. 영상 처리부(120)는 전방의 2차원 영상을 카메라 또는 거리측정 센서에 의해 확인된 전방 객체의 깊이 정보에 근거하여 깊이 맵으로 변환하고, 다시 전방 객체의 2차원 위치 및 깊이 정보를 이용하여 깊이 맵을 3차원의 높이 맵(Height Map)으로 변환할 수 있다.
여기서, 영상 처리부(120)는 깊이 맵을 3차원 포인트 클라우드(3D Point Cloud)로 변환하고, 이를 다시 높이 맵으로 변환할 수 있다.
다시 말해서, 영상 처리부(120)는 전방의 2차원 영상 및 전방 객체들의 깊이 정보에 근거하여 전방 객체들에 대한 3차원 위치 정보를 파악하고, 파악된 3차원 위치 정보에 근거하여 깊이 맵을 3차원 포인트 클라우드로 변환할 수 있다.
이때, 영상 처리부(120)는 스테레오 삼각 측량(Stereo Triangulation) 기법을 이용하여 2차원 영상에 존재하는 객체의 깊이 정보를 파악할 수 있다. 이에 대한 실시 예는 도 2를 참조하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 스테레오 삼각 측량 긱법을 이용하여 2차원 영상에 존재하는 객체의 깊이 정보를 파악하는 실시 예를 도시한 도면이다.
도 2에 도시된 바와 같이, 스테레오 삼각 측량 기법은 스테레오 영상, 즉, 좌측 영상(Ileft) 및 우측 영상(IRight)의 영상 중심점(Cl, Cr)과, 각 영상 중심점(Cl, Cr)에 대응하는 각 카메라의 중심점(Ol, Or), 각 카메라의 중심점(Ol, Or)과 좌측 영상(Ileft) 및 우측 영상(IRight)의 대응 점(Pl, Pr)을 연결하는 선분이 만나는 점(P)을 대응점으로 검출할 수 있다.
이때, 영상 처리부(120)는 P에서 카메라까지의 수직 거리를 깊이(Z) 정보로 추출할 수 있다. 도 2에서 깊이(Z) 정보는 하기의 수학식 1과 같이 정의할 수 있다.
Figure pat00001
수학식 1에서, f는 각 카메라의 초점거리, B는 좌측 카메라 및 우측 카메라 사이의 거리, d는 좌측 카메라 및 우측 카메라의 시차(disparity)를 의미한다.
이와 같이, 영상 처리부(160)는 2차원 영상으로부터 획득한 깊이 정보를 토대로 파악된 3차원 위치 정보에 근거하여 깊이 맵을 3차원 포인트 클라우드로 변환할 수 있다.
또한, 영상 처리부(120)는 3차원 포인트 클라우드를 다시 일정 크기를 갖는 그리드(Grid) 상에 맵핑하고, 3차원 포인트 클라우드의 높이에 대한 평균값을 계산하여 그리드의 높이 정보로 추가함으로써 높이 맵을 생성할 수 있다. 여기서, 3차원 포인트 클라우드로부터 높이 맵을 생성하는 실시 예는 도 3 내지 도 4를 참조하도록 한다.
도 3 내지 도 4는 본 발명의 일 실시 예에 따른 높이 맵을 생성하는 실시 예를 도시한 도면이다.
도 3을 참조하면, 영상 처리부(120)는 3차원 포인트 클라우드의 좌표(X, Y)에 해당하는 포인트를 일정 크기를 갖는 그리드의 좌표(I, J)로 맵핑(Mapping)하여 높이 맵을 생성할 수 있다. 여기서, I는 높이 맵의 X축 좌표, J는 높이 맵의 Y축 좌표로, 하기의 수학식 2 및 수학식 3과 같이 정의할 수 있다.
Figure pat00002
Figure pat00003
수학식 2 및 수학식 3에서, Point Cloud는 3차원 포인트 클라우드 좌표, Xrange min은 X 좌표 영역의 최소값, Yrange min은 Y 좌표 영역의 최소값, 그리고 Grid Size는 높이 맵의 그리드를 구성하는 각 셀의 크기를 의미한다.
3차원 포인트 클라우드를 높이 맵으로 맵핑 시 높이 맵의 정수 좌표에 맵핑되지 않는 좌표가 발생할 수 있다. 이 경우, 해당 좌표에 대해서는 도 3에 도시된 바와 같이 내림(Floor) 적용하여 높이 맵의 정수 좌표로 맵핑할 수 있다.
한편, 3차원 포인트 클라우드의 Z축에 존재하는 높이 정보는 높이 맵에 맵핑될 경우 평균 높이(Mean Height) 정보로 표현될 수 있다.
도 4를 참조하면, 영상 처리부(120)는 높이 맵의 그리드에 맵핑된 3차원 포인트 클라우드의 개수와 높이 정보를 이용하여 하기의 수학식 4와 같이 평균 높이를 계산할 수 있다.
Figure pat00004
수학식 4에서, K는 높이 맵의 Z축 좌표, Number of Points는 3차원 포인트 클라우드의 개수, 그리고 Point Cloud(Z)는 3차원 포인트 클라우드의 높이 정보를 의미한다.
맵 분석부(130)는 영상 처리부(120)에 의해 생성된 높이 맵을 분석하여 주행 가능 영역 및 객체를 인식한다. 이에 대한 실시 예는 도 5를 참조하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 높이 맵을 통해 객체를 인식하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 맵 분석부(130)는 높이 맵에서 높이가 가장 낮은 위치에 존재하는 포인트를 추출하여 도로면을 추정할 수 있다. 만일, 도로면이 편평한 도로인 경우, 맵 분석부(130)는 RANSAC(RANdom SAmple Consensus) 알고리즘을 이용하여 높이 맵에서 가장 낮은 위치에 존재하는 포인트를 대표하는 평면의 방정식을 도출해 낼 수도 있다.
맵 분석부(130)는 높이 맵에서 추정된 도로면을 기준으로 차량의 주행 가능 영역을 인식하고, 도로면보다 높이 존재하는 포인트들을 객체로 인식한다. 여기서, 맵 분석부(130)는 전방 영상에 대한 높이 맵 상에 주행 가능 영역 및 객체를 나타낼 수 있다.
그리고, 맵 분석부(130)는 차량의 거동정보를 이용하여 높이 맵의 현재 프레임에 이전 프레임을 누적시켜 객체의 동적 특성을 판단할 수 있다. 예를 들어, 높이 맵의 현재 프레임에 이전 프레임을 누적시켜 관측하면 정지 장애물은 항상 동일한 위치에 존재하는 반면에, 동적 장애물은 정지 장애물과 다르게 동일한 위치에 존재하지 않는다.
맵 분석부(130)는 내부 센서를 통해 차량의 6자유도 거동정보를 파악하고, 회전/이동 변환 행렬([R|t])을 통해 높이 맵의 현재 프레임에 이전 프레임을 누적시킬 수 있다. 여기서, 회전/이동 변환 행렬([R|t])은 하기의 수학식 5와 같이 정의할 수 있다.
Figure pat00005
수학식 5에서, (X', Y', Z')은 3차원 직교 좌표계에 존재하는 현재 프레임의 차량 위치, (X, Y, Z)는 3차원 직교 좌표계에 존재하는 이전 프레임의 차량 위치, R은 3축의 회전자유도(롤, 피치, 및 요), 그리고 t는 3축의 병진자유도(이동변위)를 의미한다.
맵 분석부(130)는 현재 프레임과 이전 프레임이 누적된 높이 맵의 각 셀에 대한 높이 정보를 표준정규 분포화하여 특정 표준편차 범위 밖에 존재하는 높이 정보가 입력되면, 해당 셀에 동적 장애물이 존재하는 것으로 판단할 수 있다. 이에 대한 실시 예는 도 6을 참조하도록 한다.
도 6은 본 발명의 일 실시 예에 따른 높이 맵의 각 셀에 누적된 높이 정보의 표준정규분포를 설명하기 위한 도면이다.
도 6을 참조하면, 맵 분석부(130)는 높이 맵의 각 셀에 누적된 높이 정보를 표준정규 분포화하여 특정 표준편차(Nσ) 범위 밖에 존재하는 높이 정보가 입력되면, 해당 셀에 동적 장애물이 존재하는 것으로 판단한다.
일반적으로, 객체는 도로면 위에 존재하므로 주행 가능 영역보다 큰 높이 정보를 가진다. 만일, 높이 맵을 누적하여 관측할 때 이전 프레임에서 주행 가능 영역이었지만 동적 장애물로 인하여 현재 프레임에서는 주행 불가능 영역이 된다면, 해당 셀의 누적된 높이의 평균값은 커진다. 따라서, 높이 맵의 각 셀에 누적된 높이 정보를 표준정규 분포화하면, 동적 장애물이 존재하는 셀의 높이 정보는 표준편차(σ)가 큰 표준정규분포에 위치하게 된다.
맵 분석부(130)는 높이 맵을 구성하는 각 셀의 높이 정보에 대한 확률변수 표준화(Z)를 산출하여 하기의 수학식 6을 만족하는 셀을 검출할 수 있다.
Figure pat00006
수학식 6에서, Z는 확률변수 표준화, X는 확률변수, μ는 주행가능영역 또는 정지 장애물의 높이 정보 평균값, σ는 주행가능영역 또는 정지 장애물의 높이 정보 표준편차, 그리고 N은 표준편차의 경계값을 의미한다. 이때, 동적 장애물의 검출을 위한 표준편차의 경계값(N)은 실험을 통해 선정한다.
도시된 바와 같이, 주행 가능 영역 또는 정지 장애물에 대응되는 셀의 높이 정보는 평균값 근처에 분포하지만, 동적 장애물에 대응되는 셀의 높이 정보는 표준편차가 큰 특정 영역(적색)에 위치하며, 맵 분석부(130)는 각 셀의 높이 정보에 대한 표준정규 분포화를 통해 동적 장애물을 검출할 수 있다.
한편, 연산부(140)는 맵 분석부(130)에 의해 검출된 동적 장애물과 차량 간 거리와 충돌예상시간(Time to Collision, TTC)를 계산할 수 있다. 여기서, TTC는 하기의 수학식 7과 같이 정의할 수 있다.
Figure pat00007
수학식 7에서, d는 상대거리, Vego는 차량의 속도, 그리고 Vobject는 검출된 동적 장애물의 속도를 의미한다.
격자간격 조정부(150)는 주행상황을 고려하여 높이 맵의 격자 간격을 조정할 수 있다. 높이 맵의 격자 간격을 줄이면 분해능이 좋아지므로 움직임이 적은 동적 장애물에 대한 검출 정확도가 향상되지만, 연산량이 많아지는 단점이 있다. 이에 따라, 격자간격 조정부(150)는 높이 맵의 모든 셀에 대한 격자 간격을 줄이는 것이 아니라, 동적 장애물에 인접한 셀의 격자 간격을 주행상황에 따라 단계적으로 조정한다. 이에 대한 실시 예는 도 7 내지 도 8을 참조하도록 한다.
도 7은 본 발명의 일 실시 예에 따른 높이 맵의 격자 간격을 조정하는 실시 예를 도시한 도면이다.
도 7을 참조하면, 격자간격 조정부(150)는 맵 분석부(130)로부터 다수의 프레임이 누적된 높이 맵과 동적 장애물이 위치하는 셀에 대한 정보를 전달받는다. 그리고, 격자간격 조정부(150)는 연산부(140)를 통해 동적 장애물과의 거리와 충돌예상시간(TTC)에 관한 연산 정보를 수신하여, 동적 장애물이 위치하는 셀과 해당 셀에 인접한 주변 셀의 격자 간격을 가변적으로 조정할 수 있다.
이때, 격자 조정단계(Grid Status)는 총 n(여기서, n은 2 이상의 정수임) 단계로 구성되며, 격자 조정단계(Grid Status)에 따른 격자 조정간격과 격자 조정범위는 하기의 수학식 8과 같이 정의할 수 있다.
Figure pat00008
여기서, Grid Sizeadj는 격자 조정간격, Grid Sizeint는 격자 초기간격, Grid Range는 격자 조정범위, n은 격자 조정단계(Grid Status)의 상한값을 의미한다. 격자 조정단계(Grid Status)의 상한값(n)은 시스템 설계자가 실험을 통해 직접 결정하며, 격자간격 조정부(150)는 센서의 추정오차 및 높이 맵으로 간략화된 정보량을 고려하여 해당 셀을 중심으로 격자 조정범위(Grid Range)를 설정할 수 있다.
도 7에 도시된 바와 같이, 격자 조정단계(Grid Status)가 높게 설정될수록 격자 조정범위(Grid Range)가 증가되고, 격자 조정간격(Grid Sizeadj)이 작아지므로 동적 장애물의 검출 정확도 내지 분해능이 향상될 수 있다. 예를 들어, 격자 조정단계가 2인 경우 격자 조정범위는 36인 반면에, 격자 조정단계가 4인 경우 격자 조정범위는 144로 크게 증가한다.
이에 따라, 격자간격 조정부(150)는 동적 장애물과의 충돌 위험도가 클수록 격자 조정단계(Grid Status)를 높게 설정하여 분해능을 향상시킬 수 있다. 이에 대한 실시 예는 도 8을 참조하도록 한다.
도 8은 본 발명의 다른 실시 예에 따른 높이 맵의 격자 간격을 조정하는 실시 예를 도시한 도면이다.
도 8을 참조하면, 격자간격 조정부(150)는 높이 맵의 현재 프레임과 이전 프레임을 누적시켜 동적 장애물의 진행방향을 추정하고, 상기 동적 장애물의 진행방향을 고려하여 충돌 위험도에 따라 격자 조정단계(Grid Status)를 가변적으로 조절할 수 있다.
격자간격 조정부(150)는 동적 장애물이 현재 위치한 셀을 중심으로 장래에 거동이 예측되는 셀의 격자 조정단계는 'n'으로 설정하되, 동적 장애물이 과거에 주행한 셀에 대해서는 'n-1' 또는 더 낮은 격자 조정단계를 적용할 수 있다. 즉, 격자간격 조정부(150)는 주행상황에 따라 높이 맵의 격자 간격을 적절하게 조정하여 관심 영역에 위치하고 있는 객체의 거동을 정확히 인지함과 동시에, 불필요한 연산량을 줄여 시스템의 연산속도를 향상시킬 수 있다.
한편, 차량 전방에 동적 장애물이 복수 개가 존재하는 경우, 격자간격 조정부(150)는 각 동적 장애물과의 거리와 충돌예상시간을 고려하여 우선순위를 결정하고, 우선순위가 높은 동적 장애물일수록 격자 조정단계를 높게 설정하되, 우선순위가 낮은 동적 장애물일수록 격자 조정단계를 낮게 설정할 수도 있다.
이하에서는, 도 9를 참조하여 높이 맵 격자간격 조정방법에 대해 설명한다.
도 9는 본 발명의 일 실시 예에 따른 높이 맵 격자간격 조정방법의 흐름도이다.
도 9를 참조하면, 먼저 센서부(110)를 통해 차량 전방의 2차원 영상을 획득할 수 있다(S910).
이후, 2차원 영상에 존재하는 객체의 깊이 정보를 이용하여 깊이 맵을 구성하고, 상기 깊이 맵을 3차원 포인트 클라우드로 변환할 수 있다(S920).
그리고, 3차원 포인트 클라우드를 일정 크기를 갖는 그리드 상에 맵핑하여 높이 맵을 생성할 수 있다(S930).
이후, 생성된 높이 맵의 현재 프레임에 이전 프레임을 누적시켜 상기 객체가 동적 장애물인지 여부를 판단한다(S940).
만일, 상기 객체가 정지 장애물인 경우(S940의 '아니오'), 높이 맵의 격자 간격을 초기 상태로 유지할 수 있다(S942).
반면에, 상기 객체가 동적 장애물인 경우(S940의 '예'), 차량과 동적 장애물 간의 상대거리를 연산하고, 상기 상대거리가 제1 임계값 이하인지 여부를 판단할 수 있다(S950).
만일, 상기 상대거리가 제1 임계값보다 크면(S950의 '아니오'), 높이 맵의 격자 조정단계를 'n-2'로 설정하고, 동적 장애물이 위치하는 셀을 중심으로 격자 간격을 조정할 수 있다(S952). 여기서, n은 격자 조정단계의 상한값을 의미한다.
반대로, 상기 상대거리가 제1 임계값보다 작거나 같으면(S950의 '예'), 차량과 동적 장애물 간의 충돌예상시간(TTC)을 연산하고, 상기 충돌예상시간이 제2 임계값 이하인지 여부를 판단할 수 있다(S960).
만일, 상기 충돌예상시간가 제2 임계값보다 크면(S950의 '아니오'), 높이 맵의 격자 조정단계를 'n-1'로 설정하고, 동적 장애물이 위치하는 셀을 중심으로 격자 간격을 조정할 수 있다(S962).
반면에, 상기 충돌예상시간가 제2 임계값보다 작거나 같으면(S950의 '예'), 높이 맵의 격자 조정단계를 'n'로 설정하고, 동적 장애물이 위치하는 셀을 중심으로 격자 간격을 조정할 수 있다(S964).
전술한 제1 및 제2 임계값과 격자 조정단계의 상한값(n)은 시스템 설계자가 실험을 통해 직접 결정할 수 있다.
상술한 실시 예에 따른 높이 맵 격자간격 조정방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 포함될 수 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
실시 예와 관련하여 전술한 바와 같이 몇 가지만을 기술하였지만, 이외에도 다양한 형태의 실시가 가능하다. 앞서 설명한 실시 예들의 기술적 내용들은 서로 양립할 수 없는 기술이 아닌 이상은 다양한 형태로 조합될 수 있으며, 이를 통해 새로운 실시 형태로 구현될 수도 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 통상의 기술자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (19)

  1. 차량 전방의 2차원 영상을 획득하는 단계;
    상기 2차원 영상에 존재하는 객체의 깊이 정보를 이용하여 깊이 맵을 구성하고, 상기 깊이 맵을 3차원 포인트 클라우드로 변환하는 단계;
    상기 3차원 포인트 클라우드를 일정 크기를 갖는 그리드 상에 맵핑하여 높이 맵을 생성하는 단계; 및
    상기 차량과 상기 객체 간의 주행상황을 고려하여 상기 높이 맵의 격자 간격을 가변적으로 조정하는 단계;를 포함하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  2. 제1 항에 있어서,
    상기 생성하는 단계는,
    상기 높이 맵의 각 그리드에 맵핑된 상기 3차원 포인트 클라우드의 개수 및 높이 정보를 이용하여 평균 높이를 계산하는 단계;를 포함하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  3. 제2 항에 있어서,
    상기 차량의 거동정보를 토대로 상기 높이 맵의 현재 프레임에 이전 프레임을 누적시켜 상기 객체가 동적 장애물인지 여부를 판단하는 단계;를 더 포함하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  4. 제3 항에 있어서,
    상기 판단하는 단계는,
    상기 그리드를 구성하는 각 셀의 평균 높이에 대한 확률변수 표준화를 산출하는 단계; 및
    상기 산출된 확률변수 표준화와 특정 표준편차 경계값을 비교하여 상기 동적 장애물이 위치한 셀을 검출하는 단계;를 포함하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  5. 제4 항에 있어서,
    상기 동적 장애물과 상기 차량 간의 상대거리 및 충돌예상시간 중 적어도 하나를 연산하는 단계;를 더 포함하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  6. 제5 항에 있어서,
    상기 조정하는 단계는,
    상기 상대거리가 기 설정된 제1 임계값 이하인 경우, 상기 동적 장애물이 위치한 셀과 상기 셀에 인접한 주변 셀의 격자 간격을 제1 격자 조정단계로 조정하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  7. 제6 항에 있어서,
    상기 조정하는 단계는,
    상기 충돌예상시간이 기 설정된 제2 임계값 이하인 경우, 상기 동적 장애물이 위치한 셀과 상기 셀에 인접한 주변 셀의 격자 간격을 제2 격자 조정단계로 조정하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  8. 제1 항에 있어서,
    상기 제1 격자 조정단계와 상기 제2 격자 조정단계의 격자 간격은 서로 다른, 자율주행을 위한 높이 맵 격자간격 조정방법.
  9. 제4 항에 있어서,
    상기 조정하는 단계는,
    상기 검출된 동적 장애물의 진행방향을 고려하여 우선순위를 결정하고, 상기 우선순위에 따라 각 셀의 상기 격자 간격을 다르게 조정하는, 자율주행을 위한 높이 맵 격자간격 조정방법.
  10. 프로세서에 의해 실행되는 것을 통하여, 제1 항 내지 제9 항 중 어느 한 항에 기재된 자율주행을 위한 높이 맵 격자간격 조정방법을 실현하는 응용 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  11. 차량 전방의 2차원 영상을 획득하는 센서;
    상기 2차원 영상에 존재하는 객체의 깊이 정보를 이용하여 깊이 맵을 구성하고, 상기 깊이 맵을 3차원 포인트 클라우드로 변환하고, 상기 3차원 포인트 클라우드를 일정 크기를 갖는 그리드 상에 맵핑하여 높이 맵을 생성하는 영상 처리부; 및
    상기 차량과 상기 객체 간의 주행상황을 고려하여 상기 높이 맵의 격자 간격을 가변적으로 조정하는 격자간격 조정부를 포함하는, 차량용 맵 격자간격 조정장치.
  12. 제11 항에 있어서,
    상기 영상 처리부는,
    상기 높이 맵의 각 그리드에 맵핑된 상기 3차원 포인트 클라우드의 개수 및 높이 정보를 이용하여 평균 높이를 계산하는, 차량용 맵 격자간격 조정장치.
  13. 제12 항에 있어서,
    상기 차량의 거동정보를 토대로 상기 높이 맵의 현재 프레임에 이전 프레임을 누적시켜 상기 객체가 동적 장애물인지 여부를 판단하는 맵 분석부를 더 포함하는, 차량용 맵 격자간격 조정장치.
  14. 제13 항에 있어서,
    상기 맵 분석부는,
    상기 그리드를 구성하는 각 셀의 평균 높이에 대한 확률변수 표준화를 산출하고, 상기 산출된 확률변수 표준화와 특정 표준편차 경계값을 비교하여 상기 동적 장애물이 위치한 셀을 검출하는, 차량용 맵 격자간격 조정장치.
  15. 제14 항에 있어서,
    상기 동적 장애물과 상기 차량 간의 상대거리 및 충돌예상시간 중 적어도 하나를 연산하는 연산부를 더 포함하는, 차량용 맵 격자간격 조정장치.
  16. 제15 항에 있어서,
    상기 격자간격 조정부는,
    상기 상대거리가 기 설정된 제1 임계값 이하인 경우, 상기 동적 장애물이 위치한 셀과 상기 셀에 인접한 주변 셀의 격자 간격을 제1 격자 조정단계로 조정하는, 차량용 맵 격자간격 조정장치.
  17. 제16 항에 있어서,
    상기 격자간격 조정부는,
    상기 충돌예상시간이 기 설정된 제2 임계값 이하인 경우, 상기 동적 장애물이 위치한 셀과 상기 셀에 인접한 주변 셀의 격자 간격을 제2 격자 조정단계로 조정하는, 차량용 맵 격자간격 조정장치.
  18. 제11 항에 있어서,
    상기 제1 격자 조정단계와 상기 제2 격자 조정단계의 격자 간격은 서로 다른, 차량용 맵 격자간격 조정장치.
  19. 제14 항에 있어서,
    상기 격자간격 조정부는,
    상기 검출된 동적 장애물의 진행방향을 고려하여 우선순위를 결정하고, 상기 우선순위에 따라 각 셀의 상기 격자 간격을 다르게 조정하는, 차량용 맵 격자간격 조정장치.
KR1020200108024A 2020-08-26 2020-08-26 자율주행을 위한 높이 맵 격자간격 조정방법 KR20220027359A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200108024A KR20220027359A (ko) 2020-08-26 2020-08-26 자율주행을 위한 높이 맵 격자간격 조정방법
US17/406,943 US11587286B2 (en) 2020-08-26 2021-08-19 Method of adjusting grid spacing of height map for autonomous driving
CN202110984397.2A CN114119724A (zh) 2020-08-26 2021-08-25 一种调整用于自动驾驶的高度图的网格间距的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108024A KR20220027359A (ko) 2020-08-26 2020-08-26 자율주행을 위한 높이 맵 격자간격 조정방법

Publications (1)

Publication Number Publication Date
KR20220027359A true KR20220027359A (ko) 2022-03-08

Family

ID=80357129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108024A KR20220027359A (ko) 2020-08-26 2020-08-26 자율주행을 위한 높이 맵 격자간격 조정방법

Country Status (3)

Country Link
US (1) US11587286B2 (ko)
KR (1) KR20220027359A (ko)
CN (1) CN114119724A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2617062A (en) * 2022-03-23 2023-10-04 Aptiv Tech Ltd Sensor processing method, apparatus, computer program product, and automotive sensor system
CN115331131B (zh) * 2022-10-17 2023-02-17 四川腾盾科技有限公司 一种无人机任务规划辅助决策方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062980A (ja) * 2002-07-29 2004-02-26 Toyota Gakuen 磁性合金、磁気記録媒体、および磁気記録再生装置
JP4539348B2 (ja) * 2004-09-07 2010-09-08 日産自動車株式会社 衝突時間算出装置および障害物検出装置
US20140074614A1 (en) * 2012-09-12 2014-03-13 Globys, Inc. Time series-based entity behavior classification
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9796390B2 (en) * 2016-02-29 2017-10-24 Faraday&Future Inc. Vehicle sensing grid having dynamic sensing cell size
WO2018035711A1 (zh) * 2016-08-23 2018-03-01 深圳市速腾聚创科技有限公司 目标检测方法及系统
KR102406502B1 (ko) 2016-12-14 2022-06-10 현대자동차주식회사 차량의 협로 주행 안내 장치 및 방법
US11077756B2 (en) * 2017-11-23 2021-08-03 Intel Corporation Area occupancy determining device
US20200049511A1 (en) * 2018-08-07 2020-02-13 Ford Global Technologies, Llc Sensor fusion
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation
US11733353B2 (en) * 2019-11-14 2023-08-22 Nio Technology (Anhui) Co., Ltd. Object detection using local (ground-aware) adaptive region proposals on point clouds
US11625009B2 (en) * 2020-03-26 2023-04-11 Intel Corporation Non-uniform occupancy grid manager

Also Published As

Publication number Publication date
CN114119724A (zh) 2022-03-01
US11587286B2 (en) 2023-02-21
US20220068017A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
JP7345504B2 (ja) Ｌｉｄａｒデータと画像データの関連付け
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
JP5944781B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
KR102029850B1 (ko) 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
EP2960858B1 (en) Sensor system for determining distance information based on stereoscopic images
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6712775B2 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
EP4213128A1 (en) Obstacle detection device, obstacle detection system, and obstacle detection method
EP3324359B1 (en) Image processing device and image processing method
KR20220027359A (ko) 자율주행을 위한 높이 맵 격자간격 조정방법
CN113096151B (zh) 对目标的运动信息进行检测的方法和装置、设备和介质
KR102304851B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법
US20220171975A1 (en) Method for Determining a Semantic Free Space
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP4502733B2 (ja) 障害物測定方法及び障害物測定装置
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
JP7418476B2 (ja) 運転可能な領域情報を決定するための方法及び装置
JP6812701B2 (ja) 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3428876A1 (en) Image processing device, apparatus control system, imaging device, image processing method, and program
Xiong et al. A 3d estimation of structural road surface based on lane-line information
JP2018088234A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム