KR102325128B1 - 라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량 - Google Patents

라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량 Download PDF

Info

Publication number
KR102325128B1
KR102325128B1 KR1020210054414A KR20210054414A KR102325128B1 KR 102325128 B1 KR102325128 B1 KR 102325128B1 KR 1020210054414 A KR1020210054414 A KR 1020210054414A KR 20210054414 A KR20210054414 A KR 20210054414A KR 102325128 B1 KR102325128 B1 KR 102325128B1
Authority
KR
South Korea
Prior art keywords
coordinates
processor
azimuth
coordinate information
lidar sensor
Prior art date
Application number
KR1020210054414A
Other languages
English (en)
Inventor
임도영
김재승
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020210054414A priority Critical patent/KR102325128B1/ko
Application granted granted Critical
Publication of KR102325128B1 publication Critical patent/KR102325128B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B60W2420/52—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

일 실시예에 따른 차량은 메모리; 주변의 3차원 직교 좌표를 획득하는 라이다 센서; 및 상기 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받는 적어도 하나의 프로세서;를 포함하고
상기 적어도 하나의 프로세서는, 상기 3차원 직교 좌표 정보를 기초로 상기 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야각을 결정하고, 상기 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경할 수 있다.

Description

라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량{VEHICLE CONVERTING THE COORDINATES ACQUIRED BY LIDAR INTO A TWO-DIMENSIONAL IMAGE}
본 발명은 라이다 센서가 획득한 차량 주변의 직교 좌표를 2차원 이미지 좌표로 변환하여 자율 주행을 수행하는 차량에 관련된 기술이다.
자율 주행 자동차는 미래 산업으로 크게 각광받고 있으며, 연구개발이 활발히 이루어지고 있는 분야 중에 하나이다. 자율 주행은 주위 환경을 인식하는 인지 시스템, 인식된 환경으로부터 경로를 계획하고 수정하는 판단 시스템과 계획된 경로를 따라 차량을 제어하는 제어시스템으로 구성되어 구현될 수 있다.
인지 영역에서 차량은 카메라, 라이다(LiDAR), 레이다(RADAR) 등의 센서를 이용하여 주변 환경 및 객체를 인식할 수 있다. 이러한 시스템이 동작하기 위해서는 현재 차량과 객체와의 거리를 계산하는 것이 매우 중요하다.
거리를 계산하는 방법으로는 스테레오 카메라(Stereo camera)와 뎁스 카메라(Depth camera)를 이용한 방법이 있다.
스테레오 카메라는 두 개의 이미지에서 발견된 공통 피처(Feature)를 이용하여 거리를 계산하고, 뎁스(depth) 카메라는 근적외선을 이용하여 뎁스를 계산한다. 스테레오 카메라는 조도에 따라 피처를 찾을 수 없는 경우가 발생하고, 뎁스 카메라는 정밀도가 떨어진다는 단점이 있다.
라이다와 레이다는 거리를 계산할 수 있는 성능이 카메라 보다 뛰어나지만, 독립적으로 사용될 경우 주변 환경과 객체 인식을 수행하는 데 어려움이 있다.
공개특허공보 KR 10-2019-0043035 (2019.04.25)
본 발명은 라이다가 획득한 3차원 공간의 직교 좌표를 2차원 이미지로 변환하여 라이다의 사용으로 차량 주변의 객체를 인식하여 효율적인 디바이스 구현으로 안전한 자율 주행을 수행할 수 있는 차량을 제공한다.
일 실시예에 따른 차량은 메모리; 주변의 3차원 직교 좌표를 획득하는 라이다 센서; 및 상기 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받는 적어도 하나의 프로세서;를 포함하고
상기 적어도 하나의 프로세서는,
상기 3차원 직교 좌표 정보를 기초로 상기 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야각을 결정하고,
상기 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경할 수 있다.
상기 적어도 하나의 프로세서는,
상기 임의의 좌표를 평면에 투영한 좌표를 이용하여 상기 임의의 좌표의 수직 시야각을 결정하고,
상기 임의의 좌표에 대응되는 수직 시야각을 내림 차순으로 배열한 어레이를 산출하고,
상기 어레이를 기초로 상기 2차원 이미지의 세로 좌표 정보를 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 3차원 직교 좌표 정보를 상기 2차원 이미지에 패딩(padding) 시킬 개수 및 상기 라이다 센서의 채널 개수를 기초로 상기 2차원 이미지의 세로 길이를 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 임의의 좌표를 직교 면에 투영한 좌표를 이용하여 상기 임의의 좌표의 방위각을 결정하고,
상기 방위각 및 미리 결정된 기준 분해능을 기초로 상기 임의의 좌표에 대응되는 연산 방위각을 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 연산 방위각이 포함되는 범위에 따라서 상기 미리 결정된 기준 분해능을 기초로 상기 임의의 좌표의 연산 좌표를 다르게 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 연산 좌표에 절대 값과 상기 연산 좌표의 바닥 함수가 적용된 값의 차이를 기초로, 상기 2차원 이미지의 가로 좌표 정보를 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 연산 좌표의 절대 값과 상기 연산 좌표 값을 초과하지 않는 최대 정수의 차이가 1/2보다 크면, 상기 연산 좌표를 초과하는 정수 중 제일 작은 정수를 이용하여 상기 2차원 이미지의 가로 좌표 정보를 결정하고,
상기 연산 좌표의 절대 값과 상기 연산 좌표 값을 초과하지 않는 최대 정수의 차이가 1/2보다 작으면, 상기 연산 좌표를 초과하지 않는 정수 중 제일 큰 정수를 이용하여 상기 2차원 이미지의 가로 좌표 정보를 결정할 수 있다.
상기 적어도 하나의 프로세서는,
상기 미리 결정된 기준 분해능을 이용하여 상기 2차원 이미지의 가로 길이를 결정할 수 있다.
상기 미리 결정된 기준 분해능은, 상기 라이다 센서의 분해능을 초과할 수 있다.
상기 적어도 하나의 프로세서는,
상기 임의의 좌표에 대응되는 반사도를 상기 임의의 좌표가 변환된 상기 2차원 이미지 좌표에 매칭시킬 수 있다.
상기 적어도 하나의 프로세서는,
상기 임의의 좌표에 대응되는 높이 정보 및 거리 정보를 상기 임의의 좌표가 변환된 상기 2차원 이미지 좌표에 매칭시키고,
상기 2차원 이미지 좌표에 매칭된 상기 반사도, 상기 높이 정보 및 상기 거리 정보를 기초로 상기 2차원 이미지를 상기 3차원 직교 좌표로 변환시킬 수 있다.
일 실시예에 따른 차량은 라이다가 획득한 3차원 공간의 직교 좌표를 2차원 이미지로 변환하여 라이다의 사용으로 차량 주변의 객체를 인식하여 효율적인 디바이스 구현으로 안전한 자율 주행을 수행할 수 있다.
일 실시예에 다른 차량은 라이라를 사용하므로서 빛이 부족하거나 높은 조도로 인해 객체의 이미지를 획득하지 못하는 상황에서도 객체를 인식하여 안전한 자율 주행을 수행할 수 있다.
일 실시예 따른 차량은 라이다를 통하여 객체를 인식하여 차량을 기준으로 전 방위의 객체를 인식할 수 있다.
상술한 효과를 이용하여 자율 주행의 객체 인식 및 로칼라이제이션(localization)을 효율적으로 수행하여 타사 대비 경쟁력 있는 자율 주행 차량을 제공할 수 있다.
도1은 본 발명의 일 실시예에 따른 차량의 블록도이다.
도2및 도3은 본 발명의 일 실시예에 따른 차량의 순서도이다.
도4은 본 발명의 일 실시예에 따른 3차원 직교 좌표 정보, 방위각 및 수직 시야각을 나타낸 도면이다.
도5는 본 발명의 일 실시예에 따른 수직 시야각을 2차원 이미지의 세로 좌표로 변환하는 동작을 설명하기 위한 도면이다.
도6는 본 발명의 일 실시예에 따른 변환된 2차 이미지의 개념도를 나타낸 도면이다.
도7a 내지 도7f는 본 발명의 일 실시예에 따른 실제 2차 이미지를 나타낸 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1은 일 실시예에 따른 차량(100)의 블록도이다.
도1을 참고하면 일 실시예에 따른 차량(100)은 메모리(310), 라이다 센서(330) 및 프로세서(320)를 포함할 수 있다.
메모리(310)는 후술하는 프로세서(320)와 통신을 수행할 수 있고 자율 주행에 필요한 다양한 정보를 저장할 수 있다.
메모리(310)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
메모리(310)는 프로세서와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
라이다 센서(330)는 차량 주변의 3차원 직교 좌표를 획득하도록 마련될 수 있다.
라이다 센서(330)는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 장치를 의미할 수 있다.
프로세서(320)는 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받을 수 있다.
프로세서(320)는 3차원 직교 좌표 정보를 기초로 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야 각을 결정할 수 있다.
수직 시야각은 임의의 좌표가 라이다 센서를 기준으로 평면으로부터 형성하는 각도를 의미할 수 있다.
방위각은 라이다 센서가 획득한 임의의 좌표가 기준 좌표 상에서 평면상에서 형성하는 각도를 의미할 수 있다.
한편 프로세서(320)는 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경할 수 있다.
프로세서(320)는 임의의 좌표를 평면에 투영한 좌표를 이용하여 임의의 좌표의 수직 시야각을 결정할 수 있다.
프로세서(320)는 임의의 좌표에 대응되는 수직 시야각을 내림 차순으로 배열한 어레이를 산출하고, 어레이를 기초로 상기 2차원 이미지의 세로 좌표 정보를 결정할 수 있다.
프로세서(320)는3차원 직교 좌표 정보를 2차원 이미지에 패딩(padding) 시킬 개수 및 라이다 센서의 채널 개수를 기초로 상기 2차원 이미지의 세로 길이를 결정할 수 있다.
프로세서(320)는 임의의 좌표를 직교 면에 투영한 좌표를 이용하여 상기 임의의 좌표의 방위각을 결정하고, 방위각 및 미리 결정된 기준 분해능을 기초로 임의의 좌표에 대응되는 연산 방위각을 결정할 수 있다.
연산 방위각은 상술한 방위각 중 2차원 이미지의 좌표 계산이 용이한 방위각을 의미할 수 있다. 연산 방위각을 결정하는 상세한 설명은 후술한다.
프로세서(320)는 연산 방위각이 포함되는 범위에 따라서 미리 결정된 기준 분해능을 기초로 임의의 좌표의 연산 좌표를 다르게 결정할 수 있다.
연산 좌표는 후술하는 2차원 이미지의 좌표 계산에 필요한 중간 변수를 의미할 수 있다.
프로세서(320)는 연산 좌표에 절대 값과 연산 좌표의 바닥 함수가 적용된 값의 차이를 기초로, 2차원 이미지의 가로 좌표 정보를 결정할 수 있다.
바닥 함수는 연산 좌표보다 더 큰 좌표 중 가장 작은 정수 값을 연산하는 것을 의미할 수 있다.
프로세서(320)는 미리 결정된 기준 분해능을 이용하여 상기 2차원 이미지의 가로 길이를 결정할 수 있다.
기준 분해능은 라이다 센서의 분해능을 초과하도록 결정되어 상술한 2차원 이미지를 연산하는데 필요한 변수를 의미할 수 있다.
프로세서(320)는 임의의 좌표에 대응되는 반사도를 임의의 좌표가 변환된 상기 2차원 이미지 좌표에 매칭시킬 수 있다.
반사도는 라이다 센서가 특정 대상체에 방출한 신호와 해당 신호가 물체에 반사되어 되돌아 오는 신호의 비율을 의미할 수 있다.
프로세서(320)는 임의의 좌표에 대응되는 높이 정보 및 거리 정보를 임의의 좌표가 변환된 상기 2차원 이미지 좌표에 매칭시킬 수 있다.
라이다 센서(330)는 해당 임의의 좌표에 높이와 거리 정보를 미리 산출한 상태에서 2차원 이미지를 형성할 수 있다.
프로세서(320)는 해당 2차원 이미지를 다시 3차원 직교 좌표로 변환하여 인식할 때 매칭된 임의의 좌표의 높이 정보와 거리정보를 이용할 수 있다.
상술한 프로세서(320)의 동작을 이용하여 차량은 주변 환경 인식을 위한 3차원 객체 검출 및 로컬라이제이션(localization)을 가능하게 한다.
상술한 동작을 기초로 차량(100)은 카메라 없이 라이다 센서만으로도 객체인식이 가능하다. 따라서, 자율 주행을 위한 ADAS, 객체 인식, 로컬라이제이션 수행이 가능하다.
도 1에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도2,3는 일 실시예에 따른 차량의 순서도이다.
도2를 참고하면 2차원 이미지의 세로 좌표를 결정하는 동작을 나타낸 순서도이다. 차량은 라이다 센서를 이용하여 주변의 3차원 직교 좌표를 획득할 수 있다(S201).
또한 차량은 차량이 획득한 직교 좌표를 이용하여 수직 시야각을 결정할 수 있다(S202).
또한 차량은 패딩 개수 및 라이다 센서의 채널 개수를 이용하여 산출한 2차원 이미지의 세로 길이를 결정할 수 있다(S203).
프로세서는 상술한 동작으로 획득한 수직 시야각을 기초로 수직 시야각을 내림 차순으로 배열한 어레이를 산출할 수 있다(S204).
또한 프로세서는 해당 어레이를 이용하여 임의의 좌표에 직교 좌표에 대응되는 2차원 이미지의 세로 좌표를 결정할 수 있다(S205).
한편 도3을 참고하면 2차원 이미지의 가로 좌표를 결정하는 동작을 나타낸 순서도이다.
도3을 참고하면 차량은 임의의 좌표의 3차원 직교 좌표를 획득할 수 있다(S301).
한편 차량은 기준 분해능을 이용하여 2차원 이미지의 가로 길이를 결정할 수 있다(S302).
한편 프로세서는 기준 분해능과 방위각을 이용하여 연산 방위각을 결정할 수 있다(S303).
이어서 해당 연산 방위각이 포함되는 범위에 따라서 연산 방위각에 대응되는 연산 좌표를 결정할 수 있다(S304).
연산 좌표 및 연산 좌표의 바닥 함수 값을 이용하여 2차원 이미지의 가로 좌표 결정 할 수 있다(S305).
이하에서는 도2 및 도3에서 설명한 동작에 대하여 상세하게 설명하도록 한다.
도4은 일 실시예에 따른 3차원 직교 좌표 정보, 방위각 및 수직 시야각을 나타낸 도면이다.
도4를 참고하면, 라이다 센서(330)가 획득한 직교 좌표계를 나타내고 있다.
도4에서는 차량이 V4방향으로 진행하는 것을 나타내고 있으며 라이다 센서가 Pk좌표의 정보를 획득한 것을 나타내고 있다. Pk좌표는 직교 좌표계로 xk, yk 및 zk의 좌표 정보를 획득할 수 있으며 라이다 센서부터 Rk의 거리 정보를 획득한 것을 나타내고 있다.
한편 프로세서는 임의의 좌표를 평면에 투영한 좌표를 이용하여 임의의 좌표의 수직 시야각(ak)을 결정할 수 있다. 구체적으로 프로세서는 라이다가 획득한 직교 좌표를 xy평면으로 투영한 점(xy')을 산출하고 x축으로부터 해당 지점의 각을 수직 시야각으로 결정할 수 있다.
또한 프로세서는 해당 평면으로부터 Pk의 각을 산출하고 해당 각도를 방위각으로 결정할 수 있다. Pk좌표를 기초로 수직 시야각 및 방위각은 하기의 수학식1을 기초로 결정될 수 있다.
Figure 112021049226022-pat00001
수학식1에서 N은 라이다 포인트의 수, n은 라이다의 채널 수이며 k는 임의의 수에 해당한다. 프로세서는 상술한 식을 기초로 라이다의 직교 좌표의 임의의 점을 극 좌표계의 점으로 변환할 수 있다.,
즉, 프로세서는 상기 수학식을 식을 기초로 라이다가 획득한 직교 좌표계를 극 좌표계로 변경할 수 있다.
이하에서는 상술한 방법을 기초로 프로세서가 변경한 극 좌표계를 이용하여
도5는 일 실시예에 따른 수직 시야각을 2차원 이미지의 세로 좌표로 변환하는 동작을 설명하기 위한 도면이고, 도6는 일 실시예에 따른 변환된 2차 이미지의 개념도를 나타낸 도면이다.
도5및 도6을 참고하면 임의의 좌표에 대응되는 수직 시야각을 내림 차순으로 배열한 어레이(A51)와 그에 대응되는 2차원 이미지의 세로 좌표(A52)를 대응시킨 것을 나타낸 것이다.
프로세서는 임의의 좌표에 대응되는 수직 시야각을 내림 차순으로 배열한 어레이(A51)를 산출할 수 있다.
수직 시야각은 a0부터 라이다의 채널 개수만큼 an까지 형성될 수 있다.
도5에서는 a0에 대응되는 수직 시야각은 2차원 이미지 좌표의 vk에 대응되며, ak에 대응되는 수직 시야각은 vn에 대응되는 것을 나타내고 있다.
이렇게 직교 좌표계에 대응되는 수직 시야각을 2차원 이미지의 세로 좌표(Y61)에 1대1로 대응시키므로서 직교 좌표계의 좌표를 2차원 이미지로 변환 시킬 수 있다.
도6는 일 실시예에 따른 변환된 2차 이미지의 개념도를 나타낸 도면이다. 도6을 참고하면 상술한 직교 좌표가 2차원 이미지에 대응되어 형성된 것을 나타내고 있다.
구체적으로 2차원 이미지는 세로 좌표(Y61)과 가로 좌표(X61)로 구성될 수 있으며 각각의 좌표는 각 좌표의 반사율(ik)을 포함할 수 있다.
프로세서는 2차원 이미지(I61)를 하기의 수학식2를 기초로 결정할 수 있다.
Figure 112021049226022-pat00002
수학식2를 참고하면 H는 2차원 이미지(I61)의 세로 길이를 의미하고 W는 2차원 이미지의 가로 길이를 의미할 수 있다.
H를 생성하는 w는 2차원 이미지(I61)의 패딩 할 크기를 의미하고 n은 라이다의 채널을 의미할 수 있다.
또한 W를 생성하는 δ는 기준 분해능을 의미하며 δL은 라이다 스펙상의 분해능을 의미할 수 있다.
프로세서는 미리 결정된 기준 분해능을 이용하여 상기 2차원 이미지의 가로 길이를 결정하고 패딩 할 개수와 라이다의 채널 수를 기초로 2차원 이미지의 세로 길이를 결정할 수 있다.
적어도 방위각 및 미리 결정된 기준 분해능을 기초로 임의의 좌표에 대응되는 연산 방위각을 결정할 수 있다. 이와 같은 연산 방위각은 하기의 수학식3를 기초로 결정될 수 있다.
Figure 112021049226022-pat00003
수학식3을 참고하면 좌변의 Bk는 연산 방위각을 의미한다.
프로세서는 Bk와 kδ차이가 Bk+1과 kδ보다 작으면 해당 방위각을 연산 방위각으로 결정할 수 있다.
또한 프로세서는 Bk와 kδ차이가 Bk+1과 kδ보다 크면 Bk+1을 연산 방위각으로 결정할 수 있다.
프로세서는, 연산 방위각이 포함되는 범위에 따라서 미리 결정된 기준 분해능을 기초로 임의의 좌표의 연산 좌표를 다르게 결정할 수 있다. 이러한 동작은 하기의 수학식3을 기초로 결정될 수 있다.
연산 좌표는 2차원 이미지의 가로 좌표(X61)를 결정하는데 있어서 이용되는 중간 변수를 의미할 수 있다.
Figure 112021049226022-pat00004
수학식4를 참고하면, Bk가 0보다 크고 π/2보다 작을 때와 Bk가 π/2보다 크고 2 π보다 작을 때 연산 좌표를 수학식3과 같이 다르게 결정할 수 있다.
이렇게 계산된 연산 좌표는 최종적으로 하기의 수학식5를 이용하여 2차원 이미지의 가로 좌표로 변환될 수 있다.
Figure 112021049226022-pat00005
적어도 하나의 프로세서는, 연산 좌표에 절대 값과 연산 좌표의 바닥 함수가 적용된 값의 차이를 기초로, 2차원 이미지의 가로 좌표 정보(X61)를 결정할 수 있다.
바닥 함수는 연산 좌표보다 더 큰 좌표 중 가장 작은 정수 값을 연산하는 것을 의미할 수 있다.
구체적으로 연산 좌표의 절대값의 크기와 연산 좌표의 절대 값의 크기를 초과하지 않는 최대 정수의 차이가 1/2보다 크면 가로 좌표 정보(X61)를 연산 좌표 정보의 부호와 연산 좌표 정보를 넘는 정수 중 가장 작은 수로 결정될 수 있다.
또한 연산 좌표의 절대값의 크기와 연산 좌표의 절대 값의 크기를 초과하지 않는 최대 정수의 차이가 1/2보다 작으면 가로 좌표 정보(X61)는 연산 좌표 정보의 부호와 연산 좌표 정보를 넘지 않는 가장 큰 정수로 결정될 수 있다.
구체적으로 도3의 Pk에 해당하는 직교 좌표는 가로 좌표가 3π/2이고 세로 좌표가 Vk인 것을 나타내고 있다. 한편 해당 2차원 이미지에는 ik의 반사율이 대응될 수 있다.
상술한 동작을 기초로 프로세서는 라이더 센서가 획득한 직교 좌표를 2차원 이미지(I61)로 변환 시킬 수 있고 이러한 2차원 이미지를 기초로 차량 주변의 객체 정보를 인식할 수 있다.
한편 도6에서 나타낸 2차원 이미지는 본 발명의 동작을 설명하기 위한 일 실시예에 불구하고 프로세서가 라이다가 획득한 정보를 기초로 2차원 이미지를 생성하는 동작에는 그 제한이 없다.
도7a, 도7b, 도7c, 도7d, 도7e 및 도7f는 일 실시예에 따른 실제 2차원 이미지를 나타낸 도면이다.
도7a은 라이다로부터 떨어진 거리를 빨간색(R) 밝기에 비례하여 대응시킨 2차원 이미지이며, 거리가 멀수록 빨간색의 값이 크다.
도7b은 반사도의 밝기를 녹색(G) 밝기에 비례하여 대응시킨 2차원 이미지이며, 반사도가 클수록 녹색의 값이 크다.
도7c는 바닥을 기준으로 라이다 포인트의 높이를 파란색(B) 밝기에 비례하여 대응시킨 2차원 이미지이며, 높을수록 파란색의 값이 크다.
도7d는 각각의 정보로 만들어진 빨간색(R), 녹색(G) 그리고 파란색(B)을 합쳐 만든 RGB 값으로 이루어진 2차원 이미지이다.
도7e는 반사도의 값만을 RGB 값으로 변환시킨 2차원 이미지이다.
도7f는 라이다로부터 떨어진 거리 값을 그레이 스케일(Gray scale)로 변환한 2차원 이미지이다.
프로세서는 라이다가 획득한 직교 좌표를 도7a, 도7b, 도7c, 도7d, 도7e 및 도7f와 같은 2차원 이미지로 변환 시킬 수 있고 이렇게 변환된 2차원 이미지를 기초로 차량 주변의 객체를 인식할 수 있다.
한편 상술한 2차원 이미지는 본 발명의 일 실시예에 불과하고 프로세서가 라이다가 획득한 직교 좌표를 이용하여 생성한 이미지의 형태에는 그 제한이 없다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100 : 차량
310 : 메모리
320 : 프로세서
330 : 라이다 센서

Claims (10)

  1. 메모리;
    주변의 3차원 직교 좌표를 획득하는 라이다 센서; 및
    상기 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받는 적어도 하나의 프로세서;를 포함하고
    상기 적어도 하나의 프로세서는,
    상기 3차원 직교 좌표 정보를 기초로 상기 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야각을 결정하고,
    상기 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경하며,
    상기 적어도 하나의 프로세서는,
    상기 임의의 좌표를 평면에 투영한 좌표를 이용하여 상기 임의의 좌표의 수직 시야각을 결정하고,
    상기 임의의 좌표에 대응되는 수직 시야각을 내림 차순으로 배열한 어레이를 산출하고,
    상기 어레이를 기초로 상기 2차원 이미지의 세로 좌표 정보를 결정하는 차량.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 3차원 직교 좌표 정보를 상기 2차원 이미지에 패딩(padding) 시킬 개수 및 상기 라이다 센서의 채널 개수를 기초로 상기 2차원 이미지의 세로 길이를 결정하는 차량.
  3. 메모리;
    주변의 3차원 직교 좌표를 획득하는 라이다 센서; 및
    상기 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받는 적어도 하나의 프로세서;를 포함하고
    상기 적어도 하나의 프로세서는,
    상기 3차원 직교 좌표 정보를 기초로 상기 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야각을 결정하고,
    상기 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경하며,
    상기 적어도 하나의 프로세서는,
    상기 임의의 좌표를 직교 면에 투영한 좌표를 이용하여 상기 임의의 좌표의 방위각을 결정하고,
    상기 방위각 및 미리 결정된 기준 분해능을 기초로 상기 임의의 좌표에 대응되는 연산 방위각을 결정하며,
    상기 적어도 하나의 프로세서는,
    상기 연산 방위각이 포함되는 범위에 따라서 상기 미리 결정된 기준 분해능을 기초로 상기 임의의 좌표의 연산 좌표를 다르게 결정하는 차량.
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 연산 좌표의 절대 값과 상기 연산 좌표 값을 초과하지 않는 최대 정수의 차이가 1/2보다 크면, 상기 연산 좌표를 초과하는 정수 중 제일 작은 정수를 이용하여 상기 2차원 이미지의 가로 좌표 정보를 결정하고,
    상기 연산 좌표의 절대 값과 상기 연산 좌표 값을 초과하지 않는 최대 정수의 차이가 1/2보다 작으면, 상기 연산 좌표를 초과하지 않는 정수 중 제일 큰 정수를 이용하여 상기 2차원 이미지의 가로 좌표 정보를 결정하는 차량.
  5. 메모리;
    주변의 3차원 직교 좌표를 획득하는 라이다 센서; 및
    상기 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받는 적어도 하나의 프로세서;를 포함하고
    상기 적어도 하나의 프로세서는,
    상기 3차원 직교 좌표 정보를 기초로 상기 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야각을 결정하고,
    상기 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경하며,
    상기 적어도 하나의 프로세서는,
    상기 임의의 좌표를 직교 면에 투영한 좌표를 이용하여 상기 임의의 좌표의 방위각을 결정하고,
    상기 방위각 및 미리 결정된 기준 분해능을 기초로 상기 임의의 좌표에 대응되는 연산 방위각을 결정하며,
    상기 적어도 하나의 프로세서는,
    상기 미리 결정된 기준 분해능을 이용하여 상기 2차원 이미지의 가로 길이를 결정하는 차량.
  6. 메모리;
    주변의 3차원 직교 좌표를 획득하는 라이다 센서; 및
    상기 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받는 적어도 하나의 프로세서;를 포함하고
    상기 적어도 하나의 프로세서는,
    상기 3차원 직교 좌표 정보를 기초로 상기 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야각을 결정하고,
    상기 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경하며,
    상기 적어도 하나의 프로세서는,
    상기 임의의 좌표를 직교 면에 투영한 좌표를 이용하여 상기 임의의 좌표의 방위각을 결정하고,
    상기 방위각 및 미리 결정된 기준 분해능을 기초로 상기 임의의 좌표에 대응되는 연산 방위각을 결정하며,
    상기 미리 결정된 기준 분해능은, 상기 라이다 센서의 분해능을 초과하는 차량.
  7. 메모리;
    주변의 3차원 직교 좌표를 획득하는 라이다 센서; 및
    상기 메모리와 통신을 수행하도록 마련되고, 상기 라이다 센서를 통해 주변 상기 3차원 직교 좌표 정보를 전달 받는 적어도 하나의 프로세서;를 포함하고
    상기 적어도 하나의 프로세서는,
    상기 3차원 직교 좌표 정보를 기초로 상기 라이다 센서를 기준으로 한 임의의 좌표의 방위각 및 수직 시야각을 결정하고,
    상기 임의의 좌표에 대응되는 방위각 및 수직 시야각을 이용하여 상기 3차원 직교 좌표 정보를 2차원 이미지로 변경하며,
    상기 적어도 하나의 프로세서는,
    상기 임의의 좌표에 대응되는 반사도를
    상기 임의의 좌표가 변환된 상기 2차원 이미지 좌표에 매칭시키며,
    상기 적어도 하나의 프로세서는,
    상기 임의의 좌표에 대응되는 높이 정보 및 거리 정보를 상기 임의의 좌표가 변환된 상기 2차원 이미지 좌표에 매칭시키고,
    상기 2차원 이미지 좌표에 매칭된 상기 반사도, 상기 높이 정보 및 상기 거리 정보를 기초로 상기 2차원 이미지를 상기 3차원 직교 좌표로 변환시키는 차량.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020210054414A 2021-04-27 2021-04-27 라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량 KR102325128B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210054414A KR102325128B1 (ko) 2021-04-27 2021-04-27 라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210054414A KR102325128B1 (ko) 2021-04-27 2021-04-27 라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량

Publications (1)

Publication Number Publication Date
KR102325128B1 true KR102325128B1 (ko) 2021-11-12

Family

ID=78497524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210054414A KR102325128B1 (ko) 2021-04-27 2021-04-27 라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량

Country Status (1)

Country Link
KR (1) KR102325128B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102400435B1 (ko) * 2022-03-03 2022-05-20 주식회사 에이치아이엔티 라이다 기반 실시간 감지 시스템의 데이터 처리를 가속화하는 방법
KR20240057023A (ko) 2022-10-24 2024-05-02 주식회사 시드웨어 공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119749A (ko) * 2011-04-22 2012-10-31 경북대학교 산학협력단 위험기상과 관련된 반사도 셀의 추적 방법
KR20190043035A (ko) 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119749A (ko) * 2011-04-22 2012-10-31 경북대학교 산학협력단 위험기상과 관련된 반사도 셀의 추적 방법
KR20190043035A (ko) 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102400435B1 (ko) * 2022-03-03 2022-05-20 주식회사 에이치아이엔티 라이다 기반 실시간 감지 시스템의 데이터 처리를 가속화하는 방법
KR20240057023A (ko) 2022-10-24 2024-05-02 주식회사 시드웨어 공중 촬영 사진 및 메타데이터 기반 실제 좌표를 제공하는 전자 장치의 제어 방법

Similar Documents

Publication Publication Date Title
US10509983B2 (en) Operating device, operating system, operating method, and program therefor
US10163213B2 (en) 3D point clouds
US12008778B2 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
KR102325128B1 (ko) 라이다가 획득한 좌표를 2차원 이미지로 변환하는 차량
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
CA2577840C (en) A method for automated 3d imaging
US20130054187A1 (en) Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning
CN105452806A (zh) 具有目标寻找功能的激光跟踪仪
US11688102B2 (en) Image capture system with calibration function
JP2005528707A (ja) データ組間の特徴マッピング
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
Chai et al. A novel method for lidar camera calibration by plane fitting
US11803982B2 (en) Image processing device and three-dimensional measuring system
KR20150069927A (ko) 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
RU2661964C2 (ru) Способ автоматического формирования гладких траекторий движения мобильного робота в неизвестном окружении
EP3276576B1 (en) Disparity estimation by fusion of range data and stereo data
CN115661252A (zh) 一种实时位姿估计方法、装置、电子设备以及存储介质
US11348271B2 (en) Image processing device and three-dimensional measuring system
US12002237B2 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
US20190279384A1 (en) Image processing apparatus, image processing method, and driving support system
WO2023281802A1 (ja) 信号処理装置および信号処理方法
US20230069691A1 (en) Method for detecting traffic sign using lidar sensor and traffic sign detection device performing the method
US11209545B2 (en) Auxiliary positioning system with reflective stickers
Shojaeipour et al. Robot path obstacle locator using webcam and laser emitter
KR102325124B1 (ko) 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant