KR20220110034A - 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치 - Google Patents

대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치 Download PDF

Info

Publication number
KR20220110034A
KR20220110034A KR1020210083129A KR20210083129A KR20220110034A KR 20220110034 A KR20220110034 A KR 20220110034A KR 1020210083129 A KR1020210083129 A KR 1020210083129A KR 20210083129 A KR20210083129 A KR 20210083129A KR 20220110034 A KR20220110034 A KR 20220110034A
Authority
KR
South Korea
Prior art keywords
point
intensity
lidar device
detection
detection point
Prior art date
Application number
KR1020210083129A
Other languages
English (en)
Inventor
이용이
최준호
신동원
장덕윤
장준환
Original Assignee
주식회사 에스오에스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스오에스랩 filed Critical 주식회사 에스오에스랩
Priority to US18/263,111 priority Critical patent/US20240077586A1/en
Priority to PCT/KR2022/001672 priority patent/WO2022164289A1/ko
Publication of KR20220110034A publication Critical patent/KR20220110034A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

일 실시예에 따르면, 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서, 복수의 감지 지점들에 대한 복수의 포인트 데이터들을 포함하는 포인트 클라우드 데이터를 획득하는 단계, 상기 포인트 클라우드 데이터를 기초로 상기 복수의 감지 지점들에 대한 이미지를 생성하는 단계, 를 포함하고, 상기 복수의 포인트 데이터 각각은 감지 지점에 대한 위치 정보 및 상기 감지 지점에 대한 기하학적으로 강화된 인텐시티를 포함하고, 상기 기하학적으로 강화된 인텐시티는 상기 감지 지점에서 산란된 광의 양에 관련된 반사 파라미터 및 상기 감지 지점의 기하학적 특성에 기초한 기하 파라미터의 결합을 기초로 생성되고, 상기 반사 파라미터는 상기 감지 지점에서 산란된 광의 적어도 일부를 기초로 상기 라이다 장치에 의해 생성되는 감지 신호를 기초로 획득되고, 상기 기하학적 특성은 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹 - 상기 감지 지점 그룹은 상기 감지 지점 및 상기 감지 지점 주변의 다른 감지 지점들 중 적어도 일부를 포함함 - 에 대한 위치 정보를 기초로 획득되고, 상기 기하학적으로 강화된 인텐시티는 상기 반사 파라미터 및 상기 기하 파라미터에 비례하는 라이다 데이터 처리 방법이 제공될 수 있다.

Description

대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치 {A method of generating an intensity information with extended expression range by reflecting a geometric characteristic of object and a LiDAR device that performs the method}
본 발명은 기하학적으로 강화된 인텐시티를 포함하는 인텐시티 정보를 기초로 확장된 표현 범위의 이미지를 생성하는 라이다 장치에 관한 것이다. 보다 자세하게는, 대상체에서 반사된 레이저를 기초로 생성된 감지 신호로부터 획득한 로인텐시티에 대상체의 기하학적 특성을 반영하는 파라미터를 보강하여 기하학적으로 강화된 인텐시티를 생성함으로써 대상체를 실제와 가깝게 시각화하는 라이다 장치에 관한 것이다.
라이다 장치는 레이저의 비행 시간과 대상체에 반사되어 돌아오는 레이저의 세기를 통해 주변 환경에 대한 형상 정보와 반사강도 정보(intensity information)를 실시간으로 획득할 수 있다. 특히, 라이다 장치는 대상체로부터 반사된 레이저를 수신하여 감지 신호(detection signal)을 생성하고, 감지 신호를 처리함으로써 감지 지점에 대한 로인텐시티값(raw intensity value)을 획득할 수 있다.
라이다 장치가 획득하는 대상체에 대한 반사강도 정보는 라이다 장치가 대상체를 시각화(visualization)하는데에 있어서, 대상체의 밝기, 음영 등 대상체의 시각적 특성을 결정한다. 다만, 라이다 장치가 획득하는 인텐시티 값은 라이다 수신부의 한정적인 동작 범위 등을 이유로, 대상체의 시각적 특성을 효과적으로 드러내지 못한다.
이에 따라 최근 대상체의 고유 반사 강도 정보를 찾아내기 위한 연구가 활발히 진행되고 있다. 하지만, 여전히 인텐시티 정보를 통해 대상체의 고유 물성을 반영하거나, 대상체를 실제와 가까운 모습으로 시각화하는데에 한계가 있다.
본 발명의 일 과제는 대상체의 기하학적 특성과 반사적 특성을 모두 반영하는 인텐시티 정보를 생성하는 라이다 장치에 관한 것이다.
본 발명의 일 과제는 수치 범위의 정규화(normalization)를 통해 확장된 표현 범위의 인텐시티 정보를 획득하는 라이다 장치에 관한 것이다.
본 발명의 일 과제는 대상체의 기하학적 특성을 강화한 인텐시티 정보를 이용해 인텐시티 이미지를 생성하는 라이다 장치에 관한 것이다.
일 실시예에 따르면, 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서, 복수의 감지 지점들에 대한 복수의 포인트 데이터들을 포함하는 포인트 클라우드 데이터를 획득하는 단계, 상기 포인트 클라우드 데이터를 기초로 상기 복수의 감지 지점들에 대한 이미지를 생성하는 단계, 를 포함하고, 상기 복수의 포인트 데이터 각각은 감지 지점에 대한 위치 정보 및 상기 감지 지점에 대한 기하학적으로 강화된 인텐시티를 포함하고, 상기 기하학적으로 강화된 인텐시티는 상기 감지 지점에서 산란된 광의 양에 관련된 반사 파라미터 및 상기 감지 지점의 기하학적 특성에 기초한 기하 파라미터의 결합을 기초로 생성되고, 상기 반사 파라미터는 상기 감지 지점에서 산란된 광의 적어도 일부를 기초로 상기 라이다 장치에 의해 생성되는 감지 신호를 기초로 획득되고, 상기 기하학적 특성은 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹 - 상기 감지 지점 그룹은 상기 감지 지점 및 상기 감지 지점 주변의 다른 감지 지점들 중 적어도 일부를 포함함 - 에 대한 위치 정보를 기초로 획득되고, 상기 기하학적으로 강화된 인텐시티는 상기 반사 파라미터 및 상기 기하 파라미터에 비례하는 라이다 데이터 처리 방법이 제공될 수 있다.
또한, 일 실시예에 따르면, 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서, 감지 지점에 대한 위치 정보를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대응되는 감지 신호를 기초로 제1 인텐시티를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹에 대한 위치 정보를 기초로 제2 인텐시티를 생성하는 단계 및 상기 감지 지점에 대해, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합을 기초로 제3 인텐시티를 생성하는 단계를 포함하고, 상기 제3 인텐시티는 상기 제1 인텐시티 및 상기 제2 인텐시티에 비례하는 라이다 데이터 처리 방법이 제공될 수 있다.
또한, 일 실시예에 따르면, 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서, 감지 지점에 대한 위치 정보를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대응되는 감지 신호를 기초로 제1 인텐시티를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹에 대한 위치 정보를 기초로 제2 인텐시티를 생성하는 단계 및 상기 감지 지점에 대해, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합을 기초로 제3 인텐시티를 생성하는 단계; 를 포함하고, 상기 제1 인텐시티 및 상기 제2 인텐시티는 동일한 수치 범위(numerical range)를 기준으로 정규화되고, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합은 상기 제3 인텐시티의 수치 범위가 상기 제1 인텐시티의 수치 범위와 동일하도록 수행되는 라이다 데이터 처리 방법이 제공될 수 있다.
또한, 일 실시예에 따르면, 상기의 방법을 수행하기 위한 프로그램이 컴퓨터에서 판독 가능한 기록 매체가 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급하지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따르면, 대상체의 기하학적 특성과 반사적 특성을 모두 반영하는 인텐시티 정보를 생성하는 라이다 장치가 제공될 수 있다.
본 발명에 따르면, 수치 범위의 정규화(normalization)를 통해 확장된 표현 범위의 인텐시티 정보를 획득하는 라이다 장치가 제공될 수 있다.
본 발명에 따르면, 대상체의 기하학적 특성을 강화한 인텐시티 정보를 이용해 인텐시티 이미지를 생성하는 라이다 장치가 제공될 수 있다.
본 발명의 효과들이 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 라이다 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 SPAD 어레이를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 SPAD의 히스토그램을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 스캐닝부를 포함하는 라이다 장치의 기능을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 센서부를 포함하는 라이다 장치에 관한 도면이다.
도 6은 일 실시예에 따른 센서부에서 생성된 감지 신호를 기초로 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 라이다 장치에 의해 획득된 데이터를 3d 맵 상에 나타낸 도면이다.
도 8은 포인트 클라우드를 2차원 평면 상에 간략히 나타낸 도면이다.
도 9는 일 실시예에 따른 라이다 장치로부터 획득된 포인트 데이터를 설명하기 위한 도면이다.
도 10은 라이다 장치로부터 획득된 포인트 데이터 셋을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 속성 데이터에 포함되는 복수의 정보를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 라이다 장치가 생성한 포인트 클라우드 데이터를 기초로 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따른 포인트 데이터를 생성하기 위한 라이다 장치의 구성을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 포인트 데이터에 포함되는 위치 정보를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 인텐시티 정보를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 인텐시티 정보의 저장 방법을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 라이다 장치가 로인텐시티를 생성하는 방법을 설명하기 위한 흐름도이다.
도 18은 일 실시예에 따른 라이다 장치와 감지 지점 사이의 거리 정보에 따른 로인텐시티의 변화를 설명하기 위한 도면이다.
도 19는 도 18의 라이다 장치가 거리가 상이한 감지 지점에 대해 생성하는 감지 신호의 차이를 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 라이다 장치가 감지 지점에 조사하는 레이저의 입사각에 따른 로인텐시티의 변화를 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 라이다 장치가 레이저를 조사하는 대상체의 물성에 따른 로인텐시티의 변화를 설명하기 위한 도면이다.
도 22는 일 실시예에 따른 라이다 장치가 생성하는 로인텐시티와 로인텐시티가 반영하는 정보 사이의 상관 관계를 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 라이다 장치가 보정된 인텐시티를 생성하는 방법을 설명하기 위한 흐름도이다.
도 24는 일 실시예에 따른 라이다 장치가 감지 지점에 대해서 획득 가능한 로인텐시티 및 보정된 인텐시티를 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 라이다 장치가 기하학적으로 강화된 인텐시티를 생성하는 방법을 설명하기 위한 흐름도이다.
도 26은 일 실시예에 따른 라이다 장치가 반사 파라미터를 생성하는 방법을 설명하기 위한 흐름도이다.
도 27은 일 실시예에 따른 라이다 장치가 기하 파라미터를 생성하는 방법을 설명하기 위한 흐름도이다.
도 28은 일 실시예에 따른 라이다 장치가 판단하는 감지 지점의 기하학적 특성을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 라이다 장치가 기하학적 특성을 결정하기 위한 방법을 설명하기 위한 흐름도이다.
도 30은 일 실시예에 따른 라이다 장치가 기하 파라미터를 생성하는 방법을 설명하기 위한 도면이다.
도 31은 일 실시예에 따른 라이다 장치의 제어부가 기하학적으로 강화된 인텐시티를 생성하는 방법을 설명하기 위한 도면이다.
도 32는 일 실시예에 따른 라이다 장치가 기하학적으로 강화된 인텐시티를 포함하는 인텐시티 정보를 기초로 생성한 점군 이미지의 특징을 설명하기 위한 도면이다.
도 33은 일 실시예에 다른 라이다 장치가 다양한 인텐시티 정보를 기초로 생성하는 점군 이미지를 비교하기 위한 도면이다.
도 34는 일 실시예에 따른 라이다 장치가 생성하는 인텐시티 정보에 포함될 수 있는 인텐시티값들의 입사각에 대한 민감도를 설명하기 위한 도면이다.
도 35는 일 실시예에 따른 라이다 장치가 2d 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 36은 일 실시예에 따른 라이다 장치가 구면 투영 방법을 이용하여 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 라이다 장치가 2d 이미지를 생성하는 것을 설명하기 위한 도면이다.
도 38은 일 실시예에 따른 라이다 장치가 이미지를 생성하기 위한 픽셀 데이터를 결정하기 위한 흐름도이다.
도 39는 다른 실시예에 따른 라이다 장치가 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 40은 일 실시예에 따른 라이다 장치가 인텐시티 정보를 기초로 거리 정보를 보정하는 방법을 설명하기 위한 흐름도이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
일 실시예에 따르면, 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서, 복수의 감지 지점들에 대한 복수의 포인트 데이터들을 포함하는 포인트 클라우드 데이터를 획득하는 단계, 상기 포인트 클라우드 데이터를 기초로 상기 복수의 감지 지점들에 대한 이미지를 생성하는 단계, 를 포함하고, 상기 복수의 포인트 데이터 각각은 감지 지점에 대한 위치 정보 및 상기 감지 지점에 대한 기하학적으로 강화된 인텐시티를 포함하고, 상기 기하학적으로 강화된 인텐시티는 상기 감지 지점에서 산란된 광의 양에 관련된 반사 파라미터 및 상기 감지 지점의 기하학적 특성에 기초한 기하 파라미터의 결합을 기초로 생성되고, 상기 반사 파라미터는 상기 감지 지점에서 산란된 광의 적어도 일부를 기초로 상기 라이다 장치에 의해 생성되는 감지 신호를 기초로 획득되고, 상기 기하학적 특성은 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹 - 상기 감지 지점 그룹은 상기 감지 지점 및 상기 감지 지점 주변의 다른 감지 지점들 중 적어도 일부를 포함함 - 에 대한 위치 정보를 기초로 획득되고, 상기 기하학적으로 강화된 인텐시티는 상기 반사 파라미터 및 상기 기하 파라미터에 비례하는 라이다 데이터 처리 방법이 제공될 수 있다.
여기서, 상기 감지 지점에 대한 위치 정보는 상기 라이다 장치 및 상기 감지 지점 사이의 거리를 반영할 수 있다.
또한, 상기 감지 지점에 대한 위치 정보는 상기 감지 신호의 감지 시점 및 상기 라이다 장치의 발광 시점을 기초로 생성될 수 있다.
또한, 상기 반사 파라미터는 상기 감지 신호의 특성을 기초로 획득되되, 상기 감지 신호의 특성은 상기 감지 신호의 펄스 폭, 상승 엣지, 하강 엣지, 및 펄스 면적 중 적어도 하나를 포함할 수 있다.
또한, 상기 감지 신호는 상기 라이다 장치로부터 방출되는 레이저가 상기 감지 지점에 도달할 경우, 상기 감지 지점에서 산란된 레이저의 적어도 일부를 감지함으로써 생성될 수 있다.
또한, 상기 감지 지점의 기하학적 특성은 가상의 평면에 대응되는 법선 벡터를 기초로 생성되되, 상기 가상의 평면은 상기 감지 지점 그룹의 위치 정보를 기초로 형성될 수 있다.
또한, 상기 감지 지점의 상기 기하학적 특성은 상기 감지 지점 그룹에 의해 형성되는 기하학적 형상을 반영할 수 있다.
또한, 상기 기하 파라미터는 상기 기하학적 특성 및 상기 라이다 장치로부터 상기 감지 지점을 향해 방출되는 레이저의 방향 벡터를 기초로 획득될 수 있다.
또한, 상기 반사 파라미터는 상기 감지 지점의 고유 물성 및 상기 라이다 장치 및 상기 감지 지점 사이의 거리에 의존하고, 상기 기하 파라미터는 상기 감지 지점의 기하학적 특성에 의존할 수 있다.
또한, 상기 반사 파라미터 및 상기 기하 파라미터의 결합은 상기 기하학적으로 강화된 인텐시티의 수치 범위가 상기 반사 파라미터의 수치 범위와 동일하도록 수행될 수 있다.
또한, 상기 반사 파라미터 및 상기 기하 파라미터는 동일한 수치 범위를 기준으로 정규화될 수 있다.
또한, 상기 반사 파라미터 및 상기 기하 파라미터의 결합은 상기 반사 파라미터 및 상기 기하 파라미터의 선형적 결합일 수 있다.
또한, 상기 반사 파라미터 및 상기 기하 파라미터의 결합은 상기 반사 파라미터 및 상기 기하 파라미터 각각에 가중치를 할당함으로써 수행될 수 있다.
또한, 상기 반사 파라미터에 대한 가중치와 상기 기하 파라미터에 대한 가중치의 합이 일정하도록 상기 반사 파라미터에 대한 가중치와 상기 기하 파라미터에 대한 가중치가 결정될 수 있다.
또한, 상기 반사 파라미터 및 상기 기하 파라미터 각각에 대한 가중치는 상기 감지 지점에 대한 포인트 데이터를 포함하는 포인트 데이터 셋의 속성 정보를 기초로 결정될 수 있다.
또한, 상기 이미지는 상기 복수의 포인트 데이터들에 대응되는 복수의 픽셀 데이터들을 포함하고, 상기 복수의 픽셀 데이터들 각각의 픽셀 좌표는 상기 복수의 포인트 데이터들 각각의 위치 정보를 기초로 결정되고, 상기 복수의 픽셀 데이터들의 픽셀값은 상기 복수의 포인트 데이터들 각각의 기하학적으로 강화된 인텐시티를 기초로 결정될 수 있다.
또한, 상기 이미지를 생성하는 단계는, 상기 감지 지점의 포인트 데이터를 픽셀 데이터로 투영하는 단계, 여기서 상기 픽셀 데이터의 값은 상기 기하학적으로 강화된 인텐시티에 대응됨 및 상기 복수의 감지 지점들에 대한 상기 복수의 포인트 데이터들 각각에 대해 상기 투영을 수행함으로써 복수의 픽셀 데이터들을 포함하는 상기 이미지를 생성하는 단계를 포함할 수 있다.
또한, 일 실시예에 따르면, 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서, 감지 지점에 대한 위치 정보를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대응되는 감지 신호를 기초로 제1 인텐시티를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹에 대한 위치 정보를 기초로 제2 인텐시티를 생성하는 단계 및 상기 감지 지점에 대해, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합을 기초로 제3 인텐시티를 생성하는 단계를 포함하고, 상기 제3 인텐시티는 상기 제1 인텐시티 및 상기 제2 인텐시티에 비례하는 라이다 데이터 처리 방법이 제공될 수 있다.
여기서, 상기 감지 지점에 대한 위치 정보 및 상기 제3 인텐시티는 상기 감지 지점을 포함하는 복수의 감지 지점들에 대한 이미지를 생성하기 위해 이용될 수 있다.
또한, 일 실시예에 따르면, 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서, 감지 지점에 대한 위치 정보를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대응되는 감지 신호를 기초로 제1 인텐시티를 획득하는 단계, 상기 감지 지점에 대해, 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹에 대한 위치 정보를 기초로 제2 인텐시티를 생성하는 단계 및 상기 감지 지점에 대해, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합을 기초로 제3 인텐시티를 생성하는 단계; 를 포함하고, 상기 제1 인텐시티 및 상기 제2 인텐시티는 동일한 수치 범위(numerical range)를 기준으로 정규화되고, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합은 상기 제3 인텐시티의 수치 범위가 상기 제1 인텐시티의 수치 범위와 동일하도록 수행되는 라이다 데이터 처리 방법이 제공될 수 있다.
또한, 일 실시예에 따르면, 상기의 방법을 수행하기 위한 프로그램이 컴퓨터에서 판독 가능한 기록 매체가 제공될 수 있다.
이하에서는 본 발명의 라이다 장치를 설명한다.
1. 라이다 장치
라이다 장치는 레이저를 이용하여 대상체와의 거리 및 대상체의 위치를 탐지하기 위한 장치이다. 예를 들어, 라이다 장치는 레이저를 출력할 수 있고, 출력된 레이저가 대상체에서 반사된 경우 반사된 레이저를 수신하여 대상체와 라이다 장치의 거리 및 대상체의 위치를 측정할 수 있다. 이때, 대상체의 거리 및 위치는 좌표계를 통해 표현될 수 있다. 예를 들어, 대상체의 거리 및 위치는 구좌표계(r,
Figure pat00001
, φ)로 표현될 수 있다. 다만, 이에 한정되는 것은 아니며, 직교좌표계(X, Y, Z) 또는 원통 좌표계(r,
Figure pat00002
, z) 등으로 표현될 수 있다.
또한, 라이다 장치는 대상체의 거리를 측정하기 위해 라이다 장치에서 출력되어 대상체에서 반사된 레이저를 이용할 수 있다.
일 실시예에 따른 라이다 장치는 대상체의 거리를 측정하기 위해 레이저가 출력된 후 감지되기 까지 레이저의 비행 시간 (TOF : Time Of Flight)을 이용할 수 있다. 예를 들어, 라이다 장치는 출력된 레이저의 출력 시간에 기초한 시간 값과 대상체에서 반사되어 감지된 레이저의 감지된 시간에 기초한 시간 값의 차이를 이용하여, 대상체의 거리를 측정할 수 있다.
또한, 라이다 장치는 출력된 레이저가 대상체를 거치지 않고 바로 감지된 시간 값과 대상체에서 반사되어 감지된 레이저의 감지된 시간에 기초한 시간 값의 차이를 이용하여 대상체의 거리를 측정할 수 있다.
라이다 장치가 제어부에 의해 레이저 빔을 출광하기 위한 트리거 신호를 보내는 시점과 실제 레이저 출력 소자에서 레이저 빔이 출력되는 시간인 실제 출광 시점은 차이가 있을 수 있다. 상기 트리거 신호의 시점과 실제 출광 시점 사이에서는 실제로 레이저 빔이 출력되지 않았으므로, 레이저의 비행 시간에 포함되면 정밀도가 감소할 수 있다.
레이저 빔의 비행 시간 측정에 정밀도를 향상시키기 위해서는, 레이저 빔의 실제 출광 시점을 이용할 수 있다. 그러나, 레이저 빔의 실제 출광 시점을 파악하는 것은 어려울 수 있다. 그러므로, 레이저 출력 소자에서 출력된 레이저 빔은 출력 되자마자, 또는 출력된 후 대상체를 거치지 않고 곧바로 센서부로 전달되어야 한다.
예를 들어, 레이저 출력 소자의 상부에 옵틱이 배치되어, 상기 옵틱에 의해 레이저 출력 소자에서 출력된 레이저 빔은 대상체를 거치지 않고 바로 수광부에 감지될 수 있다. 상기 옵틱은 미러, 렌즈, 프리즘, 메타표면 등이 될 수 있으나, 이에 한정되지 않는다. 상기 옵틱은 하나일 수 있으나, 복수 개일 수 있다.
또한, 예를 들어, 레이저 출력 소자의 상부에 센서부가 배치되어, 레이저 출력 소자에서 출력된 레이저 빔은 대상체를 거치지 않고 바로 센서부에 감지될 수 있다. 상기 센서부는 레이저 출력 소자와 1mm, 1um, 1nm 등의 거리를 두고 이격될 수 있으나, 이에 한정되지 않는다. 또는, 상기 센서부는 레이저 출력 소자와 이격되지 않고 인접하게 배치될 수도 있다. 상기 센서부와 상기 레이저 출력 소자 사이에는 옵틱이 존재할 수도 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 라이다 장치는 대상체의 거리를 측정하기 위해 비행 시간 외에도 삼각 측량법(Triangulation method), 간섭계 방법(Interferometry method), 위상 변화 측정법(Phase shift measurement) 등을 이용할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 라이다 장치는 차량에 설치될 수 있다. 예를 들어, 라이다 장치는 차량의 루프, 후드, 헤드램프 또는 범퍼 등에 설치될 수 있다.
또한, 일 실시예에 따른 복수 개의 라이다 장치가 차량에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 차량의 루프에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 차량의 루프에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 라이다 장치가 차량에 설치될 수 있다. 예를 들어, 라이다 장치가 차량 내부에 설치되는 경우, 주행 중 운전자의 제스쳐를 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한 예를 들어, 라이다 장치가 차량 내부 또는 차량 외부에 설치되는 경우, 운전자의 얼굴을 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 라이다 장치는 무인 비행체에 설치될 수 있다. 예를 들어, 라이다 장치는 무인항공기 시스템(UAV System), 드론(Drone), RPV(Remote Piloted Vehicle), UAVs(Unmanned Aerial Vehicle System), UAS(Unmanned Aircraft System), RPAV(Remote Piloted Air/Aerial Vehicle) 또는 RPAS(Remote Piloted Aircraft System) 등에 설치될 수 있다.
또한, 일 실시예에 따른 복수 개의 라이다 장치가 무인 비행체에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 무인 비행체에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 무인 비행체에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 라이다 장치는 로봇에 설치될 수 있다. 예를 들어, 라이다 장치는 개인용 로봇, 전문 로봇, 공공 서비스 로봇, 기타 산업용 로봇 또는 제조업용 로봇 등에 설치될 수 있다.
또한, 일 실시예에 따른 복수 개의 라이다 장치가 로봇에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 로봇에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 로봇에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 라이다 장치가 로봇에 설치될 수 있다. 예를 들어, 라이다 장치가 로봇에 설치되는 경우, 사람의 얼굴을 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 라이다 장치는 산업 보안을 위해 설치될 수 있다. 예를 들어, 라이다 장치는 산업 보안을 위해 스마트 공장에 설치될 수 있다.
또한, 일 실시예에 따른 복수 개의 라이다 장치가 산업 보안을 위해 스마트 공장에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 스마트 공장에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 스마트 공장에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 라이다 장치가 산업 보안을 위해 설치될 수 있다. 예를 들어, 라이다 장치가 산업 보안을 위해 설치되는 경우, 사람의 얼굴을 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다.
이하에서는 라이다 장치의 구성요소들의 다양한 실시예들에 대하여 상세하게 설명한다.
1.1. 일 실시예에 따른 라이다 장치의 구조
도 1은 일 실시예에 따른 라이다 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 라이다 장치(1000)는 레이저 출력부(100)를 포함할 수 있다.
이때, 일 실시예에 따른 레이저 출력부(100)는 레이저를 출사할 수 있다.
또한, 레이저 출력부(100)는 하나 이상의 레이저 출력 소자를 포함할 수 있다. 예를 들어, 레이저 출력부(100)는 단일 레이저 출력 소자를 포함할 수 있으며, 복수 개의 레이저 출력 소자를 포함할 수도 있고, 또한 복수 개의 레이저 출력 소자를 포함하는 경우 복수 개의 레이저 출력 소자가 하나의 어레이를 구성할 수 있다.
또한, 레이저 출력부(100)는 레이저 다이오드(Laser Diode:LD), Solid-state laser, High power laser, Light entitling diode(LED), Vertical Cavity Surface Emitting Laser(VCSEL), External cavity diode laser(ECDL) 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 레이저 출력부(100)는 일정 파장의 레이저를 출력할 수 있다. 예를 들어, 레이저 출력부(100)는 905nm대역의 레이저 또는 1550nm 대역의 레이저를 출력할 수 있다. 또한, 예를 들어, 레이저 출력부(100)는 940nm 대역의 레이저를 출력할 수 있다. 또한, 예를 들어, 레이저 출력부(100)는 800nm 내지 1000nm 사이의 복수 개의 파장을 포함하는 레이저를 출력할 수 있다. 또한, 레이저 출력부(100)가 복수 개의 레이저 출력 소자를 포함하는 경우, 복수 개의 레이저 출력 소자의 일부는 905nm 대역의 레이저를 출력할 수 있으며, 다른 일부는 1500nm 대역의 레이저를 출력할 수 있다.
다시 도 1을 참조하면, 일 실시예에 따른 라이다 장치(1000)는 옵틱부(200)를 포함할 수 있다.
상기 옵틱부는 본 발명에 대한 설명에 있어서, 스티어링부, 스캔부 등으로 다양하게 표현될 수 있으나, 이에 한정되지 않는다.
이때, 일 실시예에 따른 옵틱부(200)는 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.
또한, 일 실시예에 따른 옵틱부(200)는 레이저를 반사함으로써 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저를 반사하여, 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.
또한, 일 실시예에 따른 옵틱부(200)는 레이저를 반사하기 위하여 다양한 광학 수단들을 포함할 수 있다. 예를 들어, 옵틱부(200)는 미러(mirror), 공진 스캐너(Resonance scanner), 멤스 미러(MEMS mirror), VCM(Voice Coil Motor), 다면 미러(Polygonal mirror), 회전 미러(Rotating mirror) 또는 갈바노 미러(Galvano mirror) 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 옵틱부(200)는 레이저를 굴절시킴으로써 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저를 굴절시켜, 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.
또한, 일 실시예에 따른 옵틱부(200)는 레이저를 굴절시키기 위하여 다양한 광학 수단들을 포함할 수 있다. 예를 들어, 옵틱부(200)는 렌즈(lens), 프리즘(prism), 마이크로렌즈(Micro lens) 또는 액체 렌즈(Microfluidie lens) 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 옵틱부(200)는 레이저의 위상을 변화시킴으로써 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저의 위상을 변화시켜, 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.
또한, 일 실시예에 따른 옵틱부(200)는 레이저의 위상을 변화시키기 위하여 다양한 광학 수단들을 포함할 수 있다. 예를 들어, 옵틱부(200)는 OPA(Optical Phased Array), 메타 렌즈(Meta lens) 또는 메타 표면(Metasurface) 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 옵틱부(200)는 하나 이상의 광학 수단을 포함할 수 있다. 또한, 예를 들어, 옵틱부(200)는 복수 개의 광학 수단을 포함할 수 있다.
다시 도 1을 참조하면, 일 실시예에 따른 라이다 장치(100)는 센서부(300)를 포함할 수 있다.
상기 센서부는 본 발명에 대한 설명에 있어서 수광부, 수신부 등으로 다양하게 표현될 수 있으나, 이에 한정되지 않는다.
이때, 일 실시예에 따른 센서부(300)는 레이저를 감지할 수 있다. 예를 들어, 센서부는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 감지할 수 있다.
또한, 일 실시예에 따른 센서부(300)는 레이저를 수신할 수 있으며, 수신된 레이저를 기초로 전기 신호를 생성할 수 있다. 예를 들어, 센서부(300)는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 수신할 수 있으며, 이를 기초로 전기 신호를 생성할 수 있다. 또한, 예를 들어, 센서부(300)는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 하나 이상의 광학수단을 통해 수신할 수 있으며, 이를 기초로 전기 신호를 생성할 수 있다. 또한, 예를 들어, 센서부(300)는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 광학 필터를 거쳐 수신할 수 있으며, 이를 기초로 전기 신호를 생성할 수 있다.
또한, 일 실시예에 따른 센서부(300)는 생성된 전기 신호를 기초로 레이저를 감지할 수 있다. 예를 들어, 센서부(300)는 미리 정해진 문턱 값과 생성된 전기 신호의 크기를 비교하여 레이저를 감지할 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 센서부(300)는 미리 정해진 문턱 값과 생성된 전기 신호의 rising edge, falling edge 또는 rising edge와 falling edge의 중앙값을 비교하여 레이저를 감지할 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 센서부(300)는 미리 정해진 문턱 값과 생성된 전기 신호의 피크 값을 비교하여 레이저를 감지할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 센서부(300)는 다양한 센서 소자를 포함할 수 있다. 예를 들어, 센서부(300)는 PN 포토 다이오드, 포토트랜지스터, PIN 포토다이오드, APD(Avalanche Photodiode), SPAD(Single-photon avalanche diode), SiPM(Silicon PhotoMultipliers), TDC(Time to Digital Converter), Comparator, CMOS(Complementary metal-oxide-semiconductor) 또는 CCD(charge coupled device) 등을 포함할 수 있으나, 이에 한정되지 않는다.
예를 들어, 센서부(300)는 2D SPAD array일 수 있으나 이에 한정되지 않는다. 또한 예를 들어, SPAD array는 복수 개의 SPAD unit을 포함하고, SPAD unit은 복수 개의 SPAD(pixel)을 포함할 수 있다.
이때, 센서부(300)는 2D SPAD array를 이용하여 N번의 히스토그램(histogram)을 쌓을 수 있다. 예를 들어, 센서부(300)는 히스토그램을 이용하여, 대상체로부터 반사되어 수광되는 레이저 빔의 수광 시점을 감지할 수 있다.
예를 들어, 센서부(300)는 히스토그램을 이용하여, 히스토그램의 피크(peak) 지점을 대상체로부터 반사되어 수광되는 레이저 빔의 수광 시점으로 감지할 수 있으나, 이에 한정되지 않는다. 또한 예를 들어, 센서부(300)는 히스토그램을 이용하여, 히스토그램이 미리 정해진 값 이상인 지점을 대상체로부터 반사되어 수광되는 레이저 빔의 수광시점으로 감지할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 센서부(300)는 하나 이상의 센서 소자를 포함할 수 있다. 예를 들어, 센서부(300)는 단일 센서 소자를 포함할 수 있으며, 복수 개의 센서 소자를 포함할 수도 있다.
또한, 일 실시예에 따른 센서부(300)는 하나 이상의 광학 소자를 포함할 수 있다. 예를 들어, 센서부(300)는 Aperture, 마이크로 렌즈(Micro lens), 수렴 렌즈(converging lens) 또는 Diffuser 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 센서부(300)는 하나 이상의 광학 필터(Optical Filter)를 포함할 수 있다. 센서부(300)는 대상체에서 반사된 레이저를 광학 필터를 거쳐 수신할 수 있다. 예를 들어, 센서부(300)는 Band pass filter, Dichroic filter, Guided-mode resonance filter, Polarizer, Wedge filter 등을 포함할 수 있으나, 이에 한정되지 않는다.
다시 도 1을 참조하면, 일 실시예에 따른 라이다 장치(1000)는 제어부(400)를 포함할 수 있다.
상기 제어부는 본 발명을 위한 설명에 있어서 컨트롤러 등으로 다양하게 표현될 수 있으나, 이에 한정되지 않는다.
이때, 일 실시예에 따른 제어부(400)는 레이저 출력부(100), 옵틱부(200) 또는 센서부(300)의 동작을 제어할 수 있다.
또한, 일 실시예에 따른 제어부(400)는 레이저 출력부(100)의 동작을 제어할 수 있다.
예를 들어, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 출력 시점을 제어할 수 있다. 또한, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 파워를 제어할 수 있다. 또한, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 펄스 폭(Pulse Width)를 제어할 수 있다. 또한, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 주기를 제어할 수 있다. 또한, 레이저 출력부(100)가 복수 개의 레이저 출력 소자를 포함하는 경우, 제어부(400)는 복수 개의 레이저 출력 소자 중 일부가 동작되도록 레이저 출력부(100)를 제어할 수 있다.
또한, 일 실시예에 따른 제어부(400)는 옵틱부(200)의 동작을 제어할 수 있다.
예를 들어, 제어부(400)는 옵틱부(200) 동작 속도를 제어할 수 있다. 구체적으로 옵틱부(200)가 회전 미러를 포함하는 경우 회전 미러의 회전 속도를 제어할 수 있으며, 옵틱부(200)가 멤스 미러(MEMS mirror)를 포함하는 경우 사이 멤스 미러의 반복 주기를 제어할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 제어부(400)는 옵틱부(200)의 동작 정도를 제어할 수 있다. 구체적으로, 옵틱부(200)가 멤스 미러를 포함하는 경우 멤스 미러의 동작 각도를 제어할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제어부(400)는 센서부(300)의 동작을 제어할 수 있다.
예를 들어, 제어부(400)는 센서부(300)의 민감도를 제어할 수 있다. 구체적으로, 제어부(400)는 미리 정해진 문턱 값을 조절하여 센서부(300)의 민감도를 제어할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 제어부(400)는 센서부(300)의 동작을 제어할 수 있다. 구체적으로, 제어부(400)는 센서부(300)의 On/Off를 제어할 수 있으며, 제어부(300)가 복수 개의 센서 소자를 포함하는 경우 복수 개의 센서 소자 중 일부의 센서 소자가 동작되도록 센서부(300)의 동작을 제어할 수 있다.
또한, 일 실시예에 따른 제어부(400)는 센서부(300)에서 감지된 레이저에 기초하여 라이다 장치(1000)로부터 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.
예를 들어, 제어부(400)는 레이저 출력부(100)에서 레이저가 출력된 시점과 센서부(300)에서 레이저가 감지된 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다. 또한, 예를 들어, 제어부(400)는 레이저 출력부(100)에서 레이저가 출력되어 대상체를 거치지 않고 바로 센서부(300)에서 레이저가 감지된 시점 및 대상체에서 반사된 레이저가 센서부(300)에서 감지된 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.
라이다 장치(1000)가 제어부(400)에 의해 레이저 빔을 출광하기 위한 트리거 신호를 보내는 시점과 실제 레이저 출력 소자에서 레이저 빔이 출력되는 시간인 실제 출광 시점은 차이가 있을 수 있다. 상기 트리거 신호의 시점과 실제 출광 시점 사이에서는 실제로 레이저 빔이 출력되지 않았으므로, 레이저의 비행 시간에 포함되면 정밀도가 감소할 수 있다.
레이저 빔의 비행 시간 측정에 정밀도를 향상시키기 위해서는, 레이저 빔의 실제 출광 시점을 이용할 수 있다. 그러나, 레이저 빔의 실제 출광 시점을 파악하는 것은 어려울 수 있다. 그러므로, 레이저 출력 소자에서 출력된 레이저 빔은 출력 되자마자, 또는 출력된 후 대상체를 거치지 않고 곧바로 센서부(300)로 전달되어야 한다.
예를 들어, 레이저 출력 소자의 상부에 옵틱이 배치되어, 상기 옵틱에 의해 레이저 출력 소자에서 출력된 레이저 빔은 대상체를 거치지 않고 바로 센서부(300)에 감지될 수 있다. 상기 옵틱은 미러, 렌즈, 프리즘, 메타표면 등이 될 수 있으나, 이에 한정되지 않는다. 상기 옵틱은 하나일 수 있으나, 복수 개일 수 있다.
또한, 예를 들어, 레이저 출력 소자의 상부에 센서부(300)가 배치되어, 레이저 출력 소자에서 출력된 레이저 빔은 대상체를 거치지 않고 바로 센서부(300)에 감지될 수 있다. 상기 센서부(300)는 레이저 출력 소자와 1mm, 1um, 1nm 등의 거리를 두고 이격될 수 있으나, 이에 한정되지 않는다. 또는, 상기 센서부(300)는 레이저 출력 소자와 이격되지 않고 인접하게 배치될 수도 있다. 상기 센서부(300)와 상기 레이저 출력 소자 사이에는 옵틱이 존재할 수도 있으나, 이에 한정되지 않는다.
구체적으로, 레이저 출력부(100)는 레이저를 출력할 수 있고, 제어부(400)는 레이저 출력부(100)에서 레이저가 출력된 시점을 획득할 수 있으며, 레이저 출력부(100)에서 출력된 레이저가 스캔 영역 내에 위치하는 대상체에서 반사된 경우 센서부(300)는 대상체에서 반사된 레이저를 감지할 수 있고, 제어부(400)는 센서부(300)에서 레이저가 감지된 시점을 획득할 수 있으며, 제어부(400)는 레이저의 출력 시점 및 감지 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.
또한, 구체적으로, 레이저 출력부(100)에서 레이저를 출력할 수 있고, 레이저 출력부(100)에서 출력된 레이저가 스캔 영역 내에 위치하는 대상체를 거치지 않고 바로 센서부(300)에 의해 감지될 수 있고, 제어부(400)는 대상체를 거치지 않은 레이저가 감지된 시점을 획득할 수 있다. 레이저 출력부(100)에서 출력된 레이저가 스캔 영역 내에 위치하는 대상체에서 반사된 경우 센서부(300)는 대상체에서 반사된 레이저를 감지할 수 있고, 제어부(400)는 센서부(300)에서 레이저가 감지된 시점을 획득할 수 있으며, 제어부(400)는 대상체를 거치지 않은 레이저의 감지 시점 및 대상체에서 반사된 레이저의 감지 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.
아래에서는 일 실시예에 따른 라이다 장치의 센서부의 상세 구성 및 라이다 신호 처리 방법에 대해서 상세히 설명한다.
도 2는 일 실시예에 따른 SPAD 어레이를 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 센서부(300)는 SPAD 어레이(750)를 포함할 수 있다. 도 2는 8X8 SPAD 어레이를 도시하고 있으나, 이에 한정되지 않고, 10X10, 12X12, 24X24, 64X64 등이 될 수 있다.
일 실시예에 따른 SPAD 어레이(750)는 복수의 SPAD(751)을 포함할 수 있다. 예를 들어, 복수의 SPAD(751)은 매트릭스 구조로 배치될 수 있으나, 이에 한정되지 않고 원형, 타원형, 허니콤 구조 등으로 배치될 수 있다.
SPAD 어레이(750)에 레이저 빔이 입사되면, 아발란치(avalanche) 현상에 의해 광자를 디텍팅(detecting)할 수 있다. 일 실시예에 따르면, SPAD 어레이(750)에 의한 결과를 히스토그램(histogram)의 형태로 축적할 수 있다.
도 3은 일 실시예에 따른 SPAD의 히스토그램을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 SPAD(751)는 광자를 디텍팅할 수 있다. SPAD(751)가 광자를 디텍팅할 경우, 신호(766, 767)가 생성될 수 있다.
SPAD(751)가 광자를 디텍팅한 후, 다시 광자를 디텍팅할 수 있는 상태로 되돌아가기까지 회복 시간(recovery time)이 필요할 수 있다. SPAD(751)가 광자를 디텍팅한 후 회복 시간이 지나지 않은 경우, 이때 광자가 SPAD(751)에 입사가 되더라도, SPAD(751)는 광자를 디텍팅할 수 없게 된다. 따라서, SPAD(751)의 레졸루션(resolution)은 회복 시간에 의해 정해질 수 있다.
일 실시예에 따르면, SPAD(751)는 레이저 출력부에서 레이저 빔이 출력되고 나서 일정 시간동안 광자를 디텍팅할 수 있다. 이때, SPAD(751)는 일정 기간의 사이클동안 광자를 디텍팅할 수 있다. 예를 들어, SPAD(751)는 사이클동안 SPAD(751)의 타임 레졸루션(time resolution)에 따라 광자를 여러 번 디텍팅할 수 있다. 이때, SPAD(751)의 타임 레졸루션은 SPAD(751)의 회복 시간에 의해 정해질 수 있다.
일 실시예에 따르면, SPAD(751)는 대상체에서 반사된 광자 및 이외의 광자를 디텍팅할 수 있다. 예를 들어, SPAD(751)는 대상체에서 반사된 광자를 디텍팅할 경우, 신호(767)를 생성할 수 있다.
또한 예를 들어, SPAD(751)는 대상체에서 반사된 광자 이외의 광자를 디텍팅할 경우, 신호(766)를 생성할 수 있다. 이때, 대상체에서 반사된 광자 이외의 광자란 햇빛, 윈도우에서 반사된 레이저 빔 등이 있을 수 있다.
일 실시예에 따르면, SPAD(751)는 레이저 출력부에서 레이저 빔을 출력한 이후 일정 시간의 사이클동안 광자를 디텍팅할 수 있다.
예를 들어, SPAD(751)는 레이저 출력부에서 첫번째 레이저 빔을 출력한 후 제1 사이클 동안 광자를 디텍팅 할 수 있다. 이때, SPAD(751)는 광자를 디텍팅한 후 제1 디텍팅 신호(761)를 생성할 수 있다.
또한 예를 들어, SPAD(751)는 레이저 출력부에서 두번째 레이저 빔을 출력한 후 제2 사이클 동안 광자를 디텍팅 할 수 있다. 이때, SPAD(751)는 광자를 디텍팅한 후 제2 디텍팅 신호(762)를 생성할 수 있다.
또한 예를 들어, SPAD(751)는 레이저 출력부에서 세번째 레이저 빔을 출력한 후 제3 사이클 동안 광자를 디텍팅 할 수 있다. 이때, SPAD(751)는 광자를 디텍팅한 후 제3 디텍팅 신호(763)를 생성할 수 있다.
또한 예를 들어, SPAD(751)는 레이저 출력부에서 N번째 레이저 빔을 출력한 후 제N 사이클 동안 광자를 디텍팅 할 수 있다. 이때, SPAD(751)는 광자를 디텍팅한 후 제N 디텍팅 신호(764)를 생성할 수 있다.
이때, 제1 디텍팅 신호(761), 제2 디텍팅 신호(762), 제3 디텍팅 신호(763) ?? 제N 디텍팅 신호(764)에는 대상체에서 반사된 광자에 의한 신호(767) 또는 대상체에서 반사된 광자 이외의 광자에 의한 신호(766)가 포함될 수 있다.
이때, 제N 디텍팅 신호(764)는 N번째 레이저 빔을 출력한 후 제N 사이클 동안의 광자 디텍팅 신호일 수 있다. 예를 들어, N은 5, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 200, 300 등이 될 수 있다.
SPAD(751)에 의한 신호들은 히스토그램의 형태로 축적될 수 있다. 히스토그램은 복수의 히스토그램 빈(bin)을 가질 수 있다. SPAD(751)에 의한 신호들은 각각 히스토그램 빈에 대응되어 히스토그램의 형태로 축적될 수 있다.
예를 들어, 히스토그램은 하나의 SPAD(751)에 의한 신호들을 축적하여 형성될 수도 있고, 복수의 SPAD(751)에 의한 신호들을 축적하여 형성될 수도 있다.
예를 들어, 제1 디텍팅 신호(761), 제2 디텍팅 신호(762), 제3 디텍팅 신호(763) ?? 제N 디텍팅 신호(764)들을 축적하여 히스토그램(765)을 만들 수 있다. 이때, 히스토그램(765)은 대상체에서 반사된 광자에 의한 신호 또는 이외의 광자에 의한 신호를 포함할 수 있다.
대상체의 거리 정보를 획득하기 위해서는, 히스토그램(765)에서 대상체에서 반사된 광자에 의한 신호를 추출할 필요가 있다. 대상체에서 반사된 광자에 의한 신호는 이외의 광자에 의한 신호보다 양이 많고 규칙적일 수 있다.
이때, 사이클 내에서 대상체에서 반사된 광자에 의한 신호는 특정한 시간에 규칙적으로 존재할 수 있다. 반면, 햇빛에 의한 신호는 그 양이 적으며 불규칙적으로 존재할 수 있다.
특정 시간에 히스토그램의 축적 양이 많은 신호가 대상체에서 반사된 광자에 의한 신호일 가능성이 높다. 따라서, 축적된 히스토그램(765) 중 축적 양이 많은 신호를 대상체에서 반사된 광자에 의한 신호로 추출할 수 있다.
예를 들어, 히스토그램(765) 중 단순히 가장 높은 값의 신호를 대상체에서 반사된 광자에 의한 신호로 추출할 수 있다. 또한 예를 들어, 히스토그램(765) 중 일정량(768) 이상의 신호를 대상체에서 반사된 광자에 의한 신호로 추출할 수 있다.
위에서 설명한 방법 외에도, 히스토그램(765) 중 대상체에서 반사된 광자에 의한 신호로 추출할 수 있는 다양한 알고리즘이 존재할 수 있다.
히스토그램(765) 중 대상체에서 반사된 광자에 의한 신호를 추출한 다음, 해당 신호의 발생 시간 또는 광자의 수신 시간 등을 기초로 대상체의 거리 정보를 산출할 수 있다.
예를 들어, 히스토그램(765)에서 추출한 신호는 하나의 스캔 포인트(scan point)에서의 신호일 수 있다. 이때, 하나의 스캔 포인트는 하나의 SPAD에 대응될 수 있다.
다른 예를 들어, 복수의 히스토그램에서 추출한 신호들은 하나의 스캔 포인트에서의 신호일 수 있다. 이때, 하나의 스캔 포인트는 복수의 SPAD에 대응될 수 있다.
다른 일 실시예에 따르면, 복수의 히스토그램에서 추출한 신호들에 가중치를 두어 하나의 스캔 포인트에서의 신호로 산출할 수 있다. 이때, 가중치는 SPAD 사이의 거리에 의해 정해질 수 있다.
예를 들어, 제1 스캔 포인트에서의 신호는 제1 SPAD에 의한 신호에 0.8의 가중치, 제2 SPAD에 의한 신호에 0.6의 가중치, 제3 SPAD에 의한 신호에 0.4의 가중치, 제4 SPAD에 의한 신호에 0.2의 가중치를 두어 산출될 수 있다.
복수의 히스토그램에서 추출한 신호들에 가중치를 두어 하나의 스캔 포인트에서의 신호로 산출하는 경우, 한번의 히스토그램 축적으로 여러 번 히스토그램을 축적한 효과를 얻을 수 있다. 따라서, 스캔 시간이 감소되고, 전체 이미지를 얻는 시간이 감소되는 효과가 도출될 수 있다.
또 다른 일 실시예에 따르면, 레이저 출력부는 어드레서블(addressable)하게 레이저 빔을 출력할 수 있다. 또는 레이저 출력부는 빅셀 유닛별로 어드레서블하게 레이저 빔을 출력할 수 있다.
예를 들어, 레이저 출력부는 1행 1열의 빅셀 유닛의 레이저 빔을 1번 출력한 후 1행 3열의 빅셀 유닛의 레이저 빔을 1번 출력하고, 이후 2행 4열의 빅셀 유닛의 레이저 빔을 1번 출력할 수 있다. 이와 같이, 레이저 출력부는 A행 B열의 빅셀 유닛의 레이저 빔을 N번 출력한 후 C행 D열의 빅셀 유닛의 레이저 빔을 M번 출력할 수 있다.
이때, SPAD 어레이는 대응되는 빅셀 유닛으로부터 출력된 레이저 빔 중 대상체에 반사되어 되돌아오는 레이저 빔을 수광할 수 있다.
예를 들어, 레이저 출력부의 레이저 빔 출력 시퀀스(sequence) 중 1행 1열의 빅셀 유닛이 N번 레이저 빔을 출력한 경우, 1행 1열과 대응되는 1행 1열의 SPAD 유닛이 대상체에 반사된 레이저 빔을 최대 N번 수광할 수 있다.
또한 예를 들어, SPAD의 히스토그램에 반사된 레이저 빔을 N번 축적되어야 하고, 레이저 출력부의 빅셀 유닛이 M개가 있는 경우, M개의 빅셀 유닛을 한꺼번에 N번 동작시킬 수 있다. 또는 M개의 빅셀 유닛을 1개씩 M*N번 동작시킬 수도 있고, M개의 빅셀 유닛을 5개씩 M*N/5번 동작시킬 수도 있다.
1.2. 다른 일 실시예에 따른 라이다 장치의 구조
도 4는 일 실시예에 따른 스캐닝부를 포함하는 라이다 장치의 기능을 설명하기 위한 도면이다.
도 4를 참조하면, 레이저 출력부(110)에서 출사되는 레이저의 조사영역에 따라 상기 스캐닝부(120)의 기능이 다를 수 있다.
일 실시예에 따르면, 상기 레이저 출력부(110)가 단일 레이저 출력소자를 갖는 경우 레이저 출력부에서 출사되는 레이저(111)의 조사영역은 점 형태일 수 있다. 이 때, 스캐닝부(120)는 상기 레이저(111)의 조사방향 및 크기를 변경할 수 있으며, 이에 따라 상기 라이다 장치의 스캔영역을 선 형태 또는 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 점 형태의 조사영역을 갖는 상기 레이저(111)의 이동방향을 지속적으로 변경하여 레이저의 조사방향을 변경할 수 있으며, 이에 따라, 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 점 형태의 조사영역을 갖는 상기 레이저(111)를 발산하게 하여 상기 레이저의 크기를 변경할 수 있으며, 이에 따라, 라이다 장치의 스캔영역을 선 또는 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 점 형태의 조사영역을 갖는 상기 레이저(111)의 위상을 변경하여 레이저의 크기 및 조사방향을 변경할 수 있으며, 이에 따라, 라이다 장치의 스캔영역을 선 또는 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 1차적으로 점 형태의 조사영역을 갖는 상기 레이저(111)의 이동방향을 지속적으로 변경하고, 2차적으로 상기 레이저의 이동방향을 앞서 변경한 이동방향과 다른 방향으로 변경하여 상기 레이저의 조사방향을 변경할 수 있으며, 이에 따라 라이다 장치(1000)의 스캔영역을 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 1차적으로 점 형태의 조사영역을 갖는 상기 레이저(111)의 이동방향을 지속적으로 변경하고, 2차적으로 상기 레이저를 발산하게 하여 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 1차적으로 점 형태의 조사영역을 갖는 상기 레이저(111)를 발산시키고, 2차적으로 상기 발산된 레이저의 이동방향을 지속적으로 변경하여 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
다른 일 실시예에 따르면 상기 레이저 출력부(110)가 복수 개의 레이저 출력소자로 구성된 경우 레이저 출력부에서 출사되는 레이저(112)의 조사영역은 선 형태일 수 있다. 여기서 스캐닝부(120)는 상기 레이저(112)의 조사방향 및 크기를 변경할 수 있으며, 이에 따라 상기 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
이 때, 상기 스캐닝부(120)는 선 형태의 조사영역을 갖는 상기 레이저(112)의 이동방향을 지속적으로 변경하여 상기 레이저의 조사방향을 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 선 형태의 조사영역을 갖는 상기 레이저(112)를 발산시켜 상기 레이저의 크기를 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 선 형태의 조사영역을 갖는 상기 레이저(112)의 위상을 변화시켜 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라, 상기 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
다른 일 실시예에 따르면 상기 레이저 출력부(110)가 일렬로 배열된 어레이로 구성된 레이저 출력소자를 포함하는 경우 레이저 출력부(110)에서 출사되는 레이저(112)의 조사영역은 선 형태일 수 있다. 여기서 스캐닝부(120)는 상기 레이저(112)의 조사방향 및 크기를 변경할 수 있으며, 이에 따라 상기 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
이 때, 상기 스캐닝부(120)는 선 형태의 조사영역을 갖는 상기 레이저(112)의 이동방향을 지속적으로 변경하여 상기 레이저의 조사방향을 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 선 형태의 조사영역을 갖는 상기 레이저(112)를 발산시켜 상기 레이저의 크기를 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
또한 상기 스캐닝부(120)는 선 형태의 조사영역을 갖는 상기 레이저(112)의 위상을 변화시켜 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라, 상기 라이다 장치의 스캔영역을 면 형태로 확장시킬 수 있다.
다른 일 실시예에 따르면 상기 레이저 출력부(110)가 복수 개의 레이저 출력소자로 구성된 경우 레이저 출력부(110)에서 출사되는 레이저(113)의 조사영역은 면 형태일 수 있다. 여기서 스캐닝부(120)는 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라 상기 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
이 때, 상기 스캐닝부(120)는 면 형태의 조사영역을 갖는 상기 레이저(113)의 이동방향을 지속적으로 변경하여 상기 레이저의 조사방향을 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
또한 상기 스캐닝부(120)는 면 형태의 조사영역을 갖는 상기 레이저(113)를 발산시켜 상기 레이저의 크기를 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
또한 상기 스캐닝부(120)는 면 형태의 조사영역을 갖는 상기 레이저(113)의 위상을 변화시켜 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라, 상기 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
다른 일 실시예에 따르면 면 형태의 어레이로 구성된 레이저 출력소자를 포함하는 경우 레이저 출력부(110)에서 출사되는 레이저(113)의 조사영역은 면 형태일 수 있다. 여기서 스캐닝부(120)는 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라 상기 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
이 때, 상기 스캐닝부(120)는 면 형태의 조사영역을 갖는 상기 레이저(113)의 이동방향을 지속적으로 변경하여 상기 레이저의 조사방향을 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
또한 상기 스캐닝부(120)는 면 형태의 조사영역을 갖는 상기 레이저(113)를 발산시켜 상기 레이저의 크기를 변경할 수 있으며, 이에 따라 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
또한 상기 스캐닝부(120)는 면 형태의 조사영역을 갖는 상기 레이저(113)의 위상을 변화시켜 상기 레이저의 조사방향 및 크기를 변경할 수 있으며, 이에 따라, 상기 라이다 장치의 스캔영역을 확장시키거나 스캔방향을 변경시킬 수 있다.
도 5는 일 실시예에 따른 센서부를 포함하는 라이다 장치에 관한 도면이다.
도 5를 참조하면, 일 실시예에 따른 라이다 장치(1000)는 센서부(130)을 포함할 수 있으며, 상기 센서부(130)는 복수개의 센서 요소(131,132)를 포함할 수 있다. 예를 들어, 상기 센서부(130)는 복수개의 APD 센서를 포함하는 APD array를 포함할 수 있으나, 이에 한정되지 않는다. 또한 상기 라이다 장치(1000)는 상기 센서부를 제어하기 위한 제어부(190)를 포함할 수 있으며, 상기 라이다 장치(1000)는 스캔영역 상에 위치하는 대상체(161,162)를 감지하기 위해 레이저(181,182)을 상기 스캔영역을 향해 조사할 수 있다
구체적으로, 상기 라이다 장치(1000)는 제1 조사 방향으로 제1 레이저(181)를 조사할 수 있으며, 상기 제1 대상체(161)로부터 반사된 상기 제1 레이저(181)를 상기 센서부(130)를 통해 수광 할 수 있다.
또한, 상기 라이다 장치(1000)는 제2 조사 방향으로 제2 레이저(182)를 조사할 수 있으며, 상기 제2 대상체(162)로부터 반사된 상기 제2 레이저(182)를 상기 센서부(130)를 통해 수광 할 수 있다.
이 때, 상기 제1 레이저(181) 및 상기 제2 레이저(182)는 동시에 조사될 수 있으며, 서로 상이한 시간에 조사될 수도 있다.
이 때, 상기 제1 레이저(181)와 상기 제2 레이저(182)는 동일한 레이저 출력부를 통해 출사될 수 있으며, 서로 상이한 레이저 출력부를 통해 출사될 수도 있다.
이 때, 상기 제1 레이저(181) 및 상기 제2 레이저(182)는 동일한 파장 대역의 레이저 일 수 있으며, 서로 상이한 파장 대역의 레이저 일 수도 있다.
이 때, 상기 제1 조사 방향과 상기 제2 조사 방향은 서로 상이할 수 있다.
또한, 상기 제1 조사 방향과 상기 제2 조사 방향이 서로 상이한 경우, 상기 제1 및 제2 레이저(181,182)가 상기 제1 및 제2 대상체(161,162)에서 반사되어 상기 라이다 장치(1000)로 입사되는 각도가 서로 상이하기 때문에 상기 센서부(130)에 수광되는 위치가 달라질 수 있다.
이 때, 상기 제1 레이저(181)가 상기 제1 대상체(161)로부터 반사되어 상기 센서부(130)에 수광되는 경우 상기 제1 레이저(181)는 상기 센서부(130)의 제1 센서 요소(131)로 수광 될 수 있다.
이 때, 상기 제2 레이저(182)가 상기 제2 대상체(162)로부터 반사되어 상기 센서부(130)에 수광되는 경우 상기 제2 레이저(182)는 상기 센서부(130)의 제2 센서 요소(132)로 수광 될 수 있다.
따라서, 상기 제1 조사 방향과 상기 제2 조사 방향이 상이한 경우, 상기 제1 센서 요소(131)와 상기 제2 센서 요소(132)의 배치 위치는 서로 상이할 수 있다.
보다 구체적으로, 상기 라이다 장치(1000)로부터 소정의 거리에서, 상기 제1 레이저(181)의 조사 위치와 상기 제2 레이저(182)의 조사 위치가 서로 상이하도록 상기 제1 조사 방향과 상기 제2 조사 방향이 서로 상이할 수 있다.
이 때, 상기 라이다 장치(1000)로부터 소정의 거리에서, 상기 제1 레이저(181)의 조사 위치와 상기 제2 레이저(182)의 조사 위치를 제1 축 및 제2 축을 포함하는 임의의 직교 좌표계로 표시하는 경우 상기 제1 레이저(181)의 조사 위치의 제1 축 값과 상기 제2 레이저(182)의 조사 위치의 제1 축 값은 서로 상이할 수 있다.
이 때, 상기 제1 센서 요소(131)의 배치 위치와 상기 제2 센서 요소(132)의 배치 위치를 상기 제1 축 및 상기 제2 축을 포함하는 임의의 직교 좌표계로 표시하는 경우 상기 제1 센서 요소(131)의 배치 위치의 상기 제1 축 값과 상기 제2 센서 요소(132)의 배치 위치의 상기 제1 축 값은 서로 상이할 수 있다.
또한, 상기 제1 레이저(181)의 조사 위치의 상기 제1 축 값이 상기 제2 레이저(182)의 조사 위치의 상기 제1 축 값보다 큰 경우 상기 제1 센서 요소(131)의 배치 위치의 상기 제1 축 값이 상기 제2 센서 요소(132)의 배치 위치의 상기 제1 축 값보다 작을 수 있다.
예를 들어, 상기 제1 레이저(181)의 조사 위치의 수직 축 값이 상기 제2 레이저(182)의 조사 위치의 수직 축 값보다 큰 경우 상기 제1 레이저(181)의 조사 위치는 상기 제2 레이저(182)의 조사 위치에 비해 상측에 위치하며, 상기 제1 센서 요소(131)의 배치 위치의 수직 축 값이 상기 제2 센서 요소(132)의 배치 위치의 수직 축 값보다 작을 수 있어, 상기 제1 센서 요소(131)는 상기 제2 센서 요소(132)에 비해 하측에 위치할 수 있다.
또한, 상기 제어부(190)는 상기 센서부(130)의 상기 센서 요소들 (131,132)을 제어할 수 있다.
구체적으로, 상기 제어부(190)는 상기 라이다 장치(1000)에서 조사되는 레이저의 조사 방향에 기초하여 상기 센서부(130)의 상기 센서 요소들 (131,132)을 제어할 수 있다.
예를 들어, 상기 제1 조사 방향으로 조사되는 상기 제1 레이저(181)가 상기 라이다 장치(1000)로부터 조사되는 경우, 상기 제1 레이저(181)가 상기 제1 대상체(161)에서 반사되어 상기 제1 센서 요소(131)로 수광될 수 있으므로, 상기 제어부(190)는 상기 제1 센서 요소(131)를 동작시킬 수 있다.
또한, 상기 제2 조사 방향으로 조사되는 상기 제2 레이저(182)가 상기 라이다 장치(1000)로부터 조사되는 경우, 상기 제2 레이저(182)가 상기 제2 대상체(162)에서 반사되어 상기 제2 센서 요소(132)로 수광될 수 있으므로, 상기 제어부(190)는 상기 제2 센서 요소(131)를 동작시킬 수 있다.
이 때, 상기 제어부(190)는 상기 제1 및 제2 센서 요소(131,132)를 동시에 동작시킬 수 있으며, 서로 다른 시간에 동작시킬 수도 있다.
또한, 상기 제어부(190)는 상기 제1 센서 요소(131)를 동작시키는 동안 상기 제2 센서 요소(132)를 오프시킬 수 있다.
또한, 상기 제어부(190)는 상기 제2 센서 요소(132)를 동작시키는 동안 상기 제1 센서 요소(131)를 오프시킬 수 있다.
또한, 이와 같이 상기 제어부(190)가 상기 제1 센서 요소(131)를 동작 시키는 동안 상기 제2 센서 요소(132)를 오프시키거나 상기 제2 센서 요소(132)를 동작 시키는 동안 상기 제1 센서 요소(131)를 오프 시키는 방식으로 상기 센서부(130)의 동작을 제어하는 경우, 상기 라이다 장치(1000)에서 조사되어 상기 센서부(130)로 수광되는 레이저를 제외한 다른 원인으로 인해 상기 센서부(130)로 수광되는 노이즈를 효과적으로 감소시킬 수 있다.
또한, 상기 제어부(190)가 상기 라이다 장치(1000)에서 조사되는 레이저의 조사 방향에 기초하여 상기 센서부(130)의 동작을 제어하는 경우, 상기 라이다 장치(1000)는 상기 라이다 장치(1000)에서 서로 다른 방향으로 조사되는 복수개의 레이저를 동시에 검출할 수 있다.
도 6은 일 실시예에 따른 센서부에서 생성된 감지 신호를 기초로 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예에 따른 라이다 장치는 레이저를 수신할 수 있으며, 수신된 레이저를 기초로 감지 신호(detection signal, 800)를 생성할 수 있다. 이때, 상기 감지 신호(800)는 디텍팅 신호, 측정 신호, 감지 펄스 또는 전기 신호등 다양하게 표현될 수 있다. 보다 구체적으로, 상기 라이다 장치는 센서부를 통해 레이저를 수신하여 상기 감지 신호를 생성할 수 있다. 일 예로, 센서부는 스캔 영역 내의 감지 지점으로부터 산란된 레이저의 적어도 일부를 수신하여 전기 신호를 생성할 수 있다. 이때, 상기 감지 지점은 라이다 장치로부터 조사된 레이저가 산란되는 지점이므로 상기 스캔 영역 내에 존재하는 대상체의 적어도 일부를 의미할 수 있다.
또한, 라이다 장치는 다양한 종류의 감지 신호(800)를 생성할 수 있다. 예를 들어, 상기 감지 신호는 시간에 따라 센서부에 흐르는 전류의 크기로 표현될 수 있다. 이 경우, 상기 감지 신호는 진폭을 가지는 펄스 형태로 연속적인 값을 가지는 아날로그 신호일 수 있다. 또한, 이에 한정되지 않고, 상기 감지 신호는 소정의 시간 구간(time bin) 동안 감지된 레이저의 광자 개수(counting value)로 표현될 수 있다. 이 경우, 상기 감지 신호는 불연속적인 값을 가지는 디지털 신호일 수 있다.
또한, 라이다 장치는 상기 감지 신호의 특성을 기초로 대상체를 감지할 수 있다. 이때, 상기 감지 신호의 특성은 상기 감지 신호의 펄스 폭(pulse width, pw), 진폭, rising edge, falling edge, 펄스 면적 또는 피크 (peak) 등을 포함할 수 있으나, 이에 한정되지 않는다.
구체적으로, 센서부는 상기 감지 신호의 특성이 미리 정해진 조건을 만족하는지 여부를 판단하여 대상체를 감지할 수 있다.
일 예로, 라이다 장치는 임계값(th1, th2)을 이용해 대상체를 감지할 수 있다. 이때, 상기 라이다 장치는 단일 값으로 임계값을 미리 설정할 수 있으나, 이에 한정되지 않고, 복수의 값으로 미리 설정할 수 있다.
보다 구체적으로, 상기 라이다 장치는 상기 감지 신호가 상기 제1 임계값(th1)에 기초한 미리 정해진 조건을 만족하는지 여부를 판단하여 대상체를 감지할 수 있다. 예를 들어, 센서부는 제1 임계값(th1)과 생성된 감지 신호의 크기(amplitude)를 비교하여 대상체를 감지할 수 있다. 이때, 상기 감지 신호의 크기가 상기 제1 임계값(th1)보다 큰 경우, 라이다 장치는 상기 감지 신호를 대상체에 대응되는 신호로 결정할 수 있다. 또한, 예를 들어, 센서부는 제1 임계값(th1)과 상기 생성된 감지 신호의 피크(peak)을 비교하여 대상체를 감지할 수 있다. 또한, 예를 들어, 센서부는 제1 임계값(th1)과 rising edge와 falling edge의 중앙값에 대응되는 신호의 크기를 비교하여 대상체를 감지할 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치는 상기 감지 신호의 펄스폭(pw)을 기초로 대상체를 감지할 수 있다. 이때, 상기 감지 신호의 펄스폭(pw)은 상기 감지 신호의 크기가 미리 정해진 크기일 때의 펄스의 폭일 수 있다. 예를 들어, 상기 감지 신호의 펄스폭(pw)은 상기 감지 신호의 크기가 상기 제1 임계값(th1)인 경우의 상기 감지 신호의 시간축 상의 두개의 교점 사이의 거리일 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치는 상기 감지 신호의 펄스폭(pw)이 상기 제2 임계값(th2)에 기초한 미리 정해진 조건을 만족하는지 여부를 판단하여 대상체를 감지할 수 있다. 이때, 상기 제2 임계값(th2)은 대상체가 감지됨에 따라 수반되는 최소 펄스폭의 크기에 대응될 수 있다. 즉, 대상체에 산란되어 수신되는 광을 기초로 생성된 감지 신호는 상기 제2 임계값(th2) 이상의 펄스폭을 가질 수 있다. 예를 들어, 상기 감지 신호의 펄스폭(pw)이 상기 제2 임계값(th2) 이상인 경우, 상기 펄스폭(pw)을 가지는 감지 신호를 기초로 대상체를 검출할 수 있다.
또한, 라이다 장치는 감지 신호(800)를 기초로 감지 지점에 대한 다양한 정보를 획득할 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 감지 신호(800)를 처리하여 상기 감지 지점까지의 거리 정보, 상기 감지 지점의 인텐시티 정보 등을 획득할 수 있으나, 이에 한정되지 않는다. 레이저의 비행 시간을 기초로 상기 감지 지점까지의 거리 정보를 획득하는 방법에 대해서는 상술하였으므로 생략하기로 한다.
상기 라이다 장치는 상기 감지 신호(800)를 기초로 상기 감지 지점의 반사 강도를 나타내는 인텐시티 정보를 획득할 수 있다. 이때, 상기 인텐시티 정보는 상기 감지 지점에서 산란되는 레이저의 양(광자의 개수) 또는 세기(intensity)를 나타낼 수 있다. 다시 말해, 상기 인텐시티 정보는 상기 감지 지점에서 산란되는 레이저의 정도를 나타내는 정보일 수 있다.
이때, 상기 라이다 장치는 상기 감지 신호의 신호 특성을 기초로 상기 감지 지점의 인텐시티 정보를 획득할 수 있다. 예를 들어, 상기 라이다 장치는 상기 감지 신호의 펄스폭(pw), 피크(peak), 상기 감지 지점의 rising edge, falling edge, 펄스 면적 등을 기초로 상기 감지 지점의 인텐시티 정보를 획득할 수 있으나, 이에 한정되지 않는다.
구체적인 예로, 상기 라이다 장치는 상기 감지 신호의 펄스폭(pw)을 기초로 상기 감지 지점의 인텐시티 정보를 획득할 수 있다. 이때, 상기 감지 지점에서 반사되는 레이저의 양이 많아질수록 상기 감지 신호의 펄스폭(pw)이 증가할 수 있다. 즉, 상기 감지 신호의 펄스폭(pw)의 크기는 상기 감지 지점의 인텐시티 정보에 비례할 수 있다.
이에 따라, 상기 라이다 장치는 상기 펄스폭(pw)에 대응되는 인텐시티 값(intensity value)을 획득할 수 있다. 이때, 상기 인텐시티 값은 상기 인텐시티 정보를 수치로 표현한 것일 수 있다. 예를 들어, 상기 라이다 장치는 상기 펄스폭(pw)의 크기를 상기 인텐시티 값으로 설정할 수 있으나, 이에 한정되지 않고, 상기 펄스폭(pw)의 크기에 비례한 인텐시티 값을 미리 저장할 수 있다. 구체적으로, 상기 라이다 장치는 상기 펄스폭(pw)의 크기와 인텐시티 값의 매칭테이블을 미리 저장해둘 수 있고, 수신되는 감지 신호의 펄스폭(pw)의 크기에 대응되는 인텐시티 값을 매칭테이블을 기초로 결정하여 상기 감지 지점의 인텐시티 값을 획득할 수 있다. 또한, 인텐시티, 인텐시티 정보, 및 인텐시티 값은 상황에 따라 동일한 의미로 이용될 수 있음은 물론이다.
아래에서는 라이다 장치를 통해 획득 가능한 로데이터(raw data) 및 상기 로데이터를 가공한 속성 데이터(property data)에 대해서 설명한다.
2. 포인트 데이터 셋
일 실시예에 따른 라이다 장치는 외부로부터 수신한 광을 기초로 상기와 같은 신호 처리 방식을 수행하여 포인트 데이터 셋을 생성할 수 있다. 이때, 상기 포인트 데이터 셋은 외부 대상체로부터 산란된 광의 적어도 일부를 수광함으로써 생성한 전기 신호를 기초로, 상기 외부 대상체에 대한 적어도 하나의 정보를 포함하는 데이터를 의미할 수 있다. 예를 들어, 상기 포인트 데이터 셋은 광이 산란된 복수의 감지 지점들의 위치 정보, 인텐시티 정보 등을 포함하는 데이터의 집단일 수 있으나, 이에 한정되지 않는다.
2.1. 포인트 데이터 셋의 구성
도 7은 라이다 장치에 의해 획득된 데이터를 3d 맵 상에 나타낸 도면이다.
도 7을 참조하면, 라이다 장치의 제어부는 획득된 감지 신호를 기초로 포인트 데이터 셋에 대한 3d 포인트 클라우드 이미지를 형성할 수 있다. 또한, 상기 3d 포인트 클라우드 이미지의 원점(O)의 위치는 상기 라이다 장치의 광학 원점에 대응될 수 있으나, 이에 한정되지 않고, 상기 라이다 장치의 무게 중심 위치 또는 상기 라이다 장치가 배치된 차량의 무게 중심 위치에 대응될 수도 있다.
도 8은 포인트 클라우드를 2차원 평면 상에 간략히 나타낸 도면이다.
도 8을 참조하면, 포인트 클라우드 데이터(2000)는 2차원 평면 상에 표현될 수 있다.
또한, 본 명세서에서 상기 포인트 클라우드 데이터는 상기 2차원 평면 상에 표현되지만, 실제로는 3d 맵 상의 데이터를 간략히 표현하기 위한 것일 수 있다.
또한, 상기 포인트 클라우드 데이터(2000)는 데이터 시트(sheet) 형태로 표현될 수 있다. 상기 포인트 클라우드 데이터(2000)에 포함되는 복수의 정보는 상기 데이터 시트 상에 수치(value)로서 표현될 수 있다.
이하에서는 상기 포인트 클라우드 데이터에 포함되는 다양한 형태의 데이터의 의미와 상기 센서 데이터에 대한 상세한 설명을 기술한다.
도 9는 일 실시예에 따른 라이다 장치로부터 획득된 포인트 데이터를 설명하기 위한 도면이다.
도 9를 참조하면, 상기 포인트 클라우드 데이터(2000)는 포인트 데이터(2001)를 포함할 수 있다. 이때, 상기 포인트 데이터는 라이다 장치가 객체를 감지함에 따라, 1차적으로 획득할 수 있는 데이터를 나타낼 수 있다. 또한, 상기 포인트 데이터는 상기 라이다 장치로부터 획득된 최초의 정보를 가공하지 않은 원시 데이터(raw-data)를 의미할 수 있다.
또한, 상기 라이다 장치가 객체의 적어도 일부를 스캔함에 따라 상기 포인트 데이터(2001)가 획득될 수 있고, 상기 포인트 데이터(2001)는 위치 좌표(x,y,z)를 포함할 수 있다. 또한, 실시예에 따라, 상기 포인트 데이터(2001)는 인텐시티 값(I)을 더 포함할 수 있다.
또한, 상기 포인트 데이터(2001)의 개수는 상기 라이다 장치로부터 방출된 레이저가 객체로부터 산란되어 상기 라이다 장치에 수광되는 레이저의 개수에 대응될 수 있다.
보다 구체적으로, 상기 라이다 장치로부터 방출된 레이저가 상기 객체의 적어도 일부에 산란되어 상기 라이다 장치에 수신되는 경우, 상기 라이다 장치는 상기 레이저가 수신될 때마다, 수신되는 레이저에 대응하는 신호를 처리하여 상기 포인트 데이터(2001)를 생성할 수 있다.
도 10은 라이다 장치로부터 획득된 포인트 데이터 셋을 설명하기 위한 도면이다.
도 10을 참조하면, 포인트 클라우드 데이터(2000)는 포인트 데이터 셋(2100)으로 구성될 수 있다. 이때, 상기 포인트 데이터 셋(2100)은 상기 포인트 클라우드 데이터(2000)를 구성하는 한 프레임의 데이터 셋을 의미할 수 있으나, 이에 한정되지 않고, 복수의 프레임의 데이터 셋을 통칭하는 의미일 수도 있다. 또한, 실시예에 따라 상기 포인트 데이터 셋(2100) 및 상기 포인트 클라우드 데이터(2000)는 동일한 의미로 사용될 수 있다.
또한, 상기 포인트 데이터 셋(2100)은 상기 라이다 장치가 스캔 영역을 1회 스캔함에 따라 생성되는 복수의 포인트 데이터를 의미할 수 있다. 예를 들어, 상기 라이다 장치의 수평 시야각이 180도인 경우, 상기 포인트 데이터 셋(2100)은 상기 라이다 장치가 180도를 한번 스캔함에 따라 획득하는 모든 포인트 데이터를 의미할 수 있다.
또한, 상기 포인트 데이터 셋(2100)은 상기 라이다 장치의 시야각 내에 포함되는 객체의 위치 좌표(x,y,z) 및 인텐시티 값(I)을 포함할 수 있다. 또한, 상기 포인트 데이터 셋(2100)에 포함되는 포인트 데이터(2001)의 위치 좌표(x,y,z) 및 인텐시티 값(I)은 데이터 시트 상에 표현될 수 있다.
또한, 상기 포인트 데이터 셋(2100)은 노이즈 데이터를 포함할 수 있다. 상기 노이즈 데이터는 상기 라이다 장치의 시야각 내에 위치하는 객체와 관련없이 외부 환경에 의해 생성될 수 있다. 예를 들어, 상기 노이즈 데이터는 라이다 간 간섭에 따른 노이즈, 햇빛 등 주변광에 의한 노이즈, 측정 가능 거리를 벗어난 객체에 의한 노이즈 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 포인트 데이터 셋(2100)은 배경 정보를 포함할 수 있다. 상기 배경 정보는 상기 포인트 데이터 셋(2100)에 포함된 복수의 포인트 데이터 중 객체와 관련되지 않은 적어도 하나의 포인트 데이터를 의미할 수 있다. 또한, 상기 배경 정보는 상기 라이다 장치를 포함하는 자율 주행 시스템에 미리 저장되어 있을 수 있다. 예를 들어, 상기 배경 정보는 건물과 같은 정적 객체(또는, 위치가 고정된 고정형 객체)에 대한 정보를 포함할 수 있고, 상기 배경 정보는 상기 라이다 장치에 맵의 형태로 미리 저장될 수 있다.
다시 도 10을 참조하면, 상기 포인트 클라우드 데이터(2000)는 서브 포인트 데이터 셋(2110)을 포함할 수 있다. 이때, 상기 서브 포인트 데이터 셋(2110)은 동일한 객체를 나타내는 복수의 포인트 데이터(2001)를 의미할 수 있다. 예를 들어, 상기 포인트 데이터 셋(2100)이 사람(HUMAN)을 나타내는 복수의 포인트 데이터를 포함하는 경우, 상기 복수의 포인트 데이터는 하나의 서브 포인트 데이터 셋(2110)을 구성할 수 있다.
또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함될 수 있다. 또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함되는 적어도 하나의 객체 또는 하나의 객체의 적어도 일부를 나타낼 수 있다. 보다 구체적으로, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함되는 복수의 포인트 데이터 중 제1 객체를 나타내는 복수의 포인트 데이터를 의미할 수 있다.
또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함되는 복수의 포인트 데이터 중 동적 객체와 관련된 적어도 하나의 포인트 데이터의 군집화(clustering)를 통해 획득될 수 있다. 보다 구체적으로, 상기 배경 정보를 활용하여 상기 포인트 데이터 셋(2100)에 포함되는 정적 객체 및 동적 객체(또는 이동형 객체)를 검출한 후, 하나의 객체와 관련된 데이터를 일정 군집으로 묶음으로써 상기 서브 포인트 데이터 셋(2110)을 획득할 수 있다.
또한, 상기 서브 포인트 데이터 셋(2110)은 머신러닝을 이용하여 생성될 수 있다. 예를 들어, 라이다 장치의 제어부는 다양한 객체에 대하여 학습된 머신 러닝을 기초로, 상기 포인트 클라우드 데이터(2000)에 포함된 복수의 데이터 중 적어도 일부가 동일한 객체를 나타낸다고 판단할 수 있다.
또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)을 분할(segmentation)함으로써 생성될 수 있다. 이때, 라이다 장치의 제어부는 상기 포인트 데이터 셋(2100)을 소정의 세그먼트 단위로 분할할 수 있다. 또한, 상기 분할된 포인트 데이터 셋 중 적어도 하나의 세그먼트 단위는 상기 포인트 데이터 셋(2100)에 포함되는 제1 객체의 적어도 일부를 나타낼 수 있다. 또한, 상기 제1 객체를 나타내는 복수의 세그먼트 단위는 상기 서브 포인트 데이터 셋(2110)에 대응될 수 있다.
도 11은 일 실시예에 따른 속성 데이터에 포함되는 복수의 정보를 설명하기 위한 도면이다.
도 11을 참조하면, 상기 라이다 장치는 속성 데이터(2200)를 획득할 수 있다. 예를 들어, 상기 속성 데이터(2200)는 상기 서브 포인트 데이터 셋(2110)이 나타내는 객체의 클래스 정보(2210), 중심 위치 정보(2220), 사이즈 정보(2230), 형상 정보(2240), 이동 정보(2250), 식별 정보(2260) 등을 포함할 수 있으나, 이에 한정되지 않는다.
이때, 상기 속성 데이터(2200)는 적어도 하나의 서브 포인트 데이터 셋(2110)을 기초로 결정될 수 있다. 보다 구체적으로, 상기 속성 데이터(2200)는 상기 적어도 하나의 서브 포인트 데이터 셋(2110)이 나타내는 객체의 종류, 크기, 속도, 방향 등 상기 객체의 다양한 속성에 대한 정보를 포함할 수 있다. 또한, 상기 속성 데이터(2200)는 상기 적어도 하나의 서브 포인트 데이터 셋(2110)의 적어도 일부분을 가공한 데이터일 수 있다.
또한, 상기 포인트 데이터 셋(2100)에 포함되는 상기 서브 포인트 데이터 셋(2110)으로부터 상기 속성 데이터(2200)를 생성하는 프로세스는 PCL library 알고리즘을 이용할 수 있다.
일 예로, 상기 PCL(Point Cloud Library)알고리즘을 이용한 상기 속성 데이터(2200) 생성과 관련된 제1 프로세스는 포인트 데이터 셋을 전처리 하는 단계, 배경 정보를 제거하는 단계, 특징점을 검출(feature/keypoin detection)하는 단계, 기술자(descriptor)를 정의하는 단계, 특징점을 매칭하는 단계, 및 객체의 속성을 추정하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
이때, 상기 포인트 데이터 셋을 전처리 하는 단계는 포인트 데이터 셋을 PCL알고리즘에 적합한 형태로 가공하는 것을 의미할 수 있고, 상기 제1 프로세스에서 상기 포인트 데이터 셋(2100)에 포함되되 객체의 속성 데이터 추출과 관련되지 않은 포인트 데이터가 제거될 수 있다. 예를 들어, 상기 데이터를 전처리 하는 단계는 상기 포인트 데이터 셋(2100)에 포함되는 노이즈 데이터를 제거하는 단계 및 상기 포인트 데이터 셋(2100)에 포함되는 복수의 포인트 데이터를 리샘플링하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 배경 정보를 제거하는 단계를 통해, 상기 제1 프로세스에서 상기 포인트 데이터 셋(2100)에 포함된 상기 배경 정보가 제거되어 객체와 관련된 서브 포인트 데이터 셋(2110)이 추출될 수 있다.
또한, 상기 특징점을 검출하는 단계를 통해, 상기 제1 프로세스에서 상기 배경 정보를 제거하고 남은 객체와 관련된 상기 서브 포인트 데이터 셋(2110)에 포함된 복수의 포인트 데이터 중 상기 객체의 형상적인 특징을 잘 나타내는 특징점이 검출될 수 있다.
또한, 상기 기술자를 정의하는 단계를 통해, 상기 제1 프로세스에서 검출된 특징점들에 대해 해당 특징점 고유의 특성을 설명할 수 있는 기술자가 정의될 수 있다.
또한, 상기 특징점을 매칭하는 단계를 통해, 상기 제1 프로세스에서 상기 객체와 관련된 미리 저장된 템플릿 데이터에 포함된 특징점들의 기술자와 상기 서브 포인트 데이터 셋(2110)의 특징점들의 기술자를 비교해 대응되는 특징점이 선정될 수 있다.
또한, 상기 객체의 속성을 추정하는 단계를 통해, 상기 제1 프로세스에서 선정된 특징점들의 기하적인 관계를 이용해 상기 서브 포인트 데이터 셋(2110)이 나타내는 객체가 검출되고, 상기 속성 데이터(2200)가 생성될 수 있다.
다른 예로, 상기 속성 데이터(2200) 생성과 관련된 제2 프로세스는 데이터를 전처리 하는 단계, 객체에 대한 데이터를 검출하는 단계, 객체에 대한 데이터를 군집화(clustering)하는 단계, 군집 데이터를 분류하는 단계, 및 객체를 추적하는 단계 등을 포함할 수 있으나, 이에 한정되지 않는다.
이때, 상기 객체에 대한 데이터를 검출하는 단계를 통해, 상기 제2 프로세스에서 미리 저장된 배경 데이터를 활용하여 상기 포인트 데이터 셋(2100)에 포함된 복수의 포인트 데이터 중 객체를 나타내는 복수의 포인트 데이터가 추출될 수 있다.
또한, 상기 객체에 대한 데이터를 군집화하는 단계를 통해, 상기 제2 프로세스에서, 상기 복수의 포인트 데이터 중 하나의 객체를 나타내는 적어도 하나의 포인트 데이터를 군집화하여 서브 포인트 데이터 셋(2110)이 추출될 수 있다.
또한, 상기 군집 데이터를 분류하는 과정을 통해, 상기 제2 프로세스에서 사전에 학습된 머신러닝 모델 또는 딥러닝 모델을 이용해 상기 서브 포인트 데이터 셋(2110)의 클래스 정보가 분류되거나 판단될 수 있다.
또한, 상기 객체를 추적하는 단계를 통해, 상기 제2 프로세스에서 상기 서브 포인트 데이터 셋(2110)을 기초로 상기 속성 데이터(2200)가 생성될 수 있다. 예를 들어, 상기 제2 프로세스를 수행하는 컨트롤러는 복수의 서브 포인트 데이터 셋(2110)의 중심 위치 좌표 및 볼륨 등으로 객체의 위치를 표시할 수 있다. 이에 따라, 연속되는 프레임에서 획득된 복수의 서브 포인트 데이터 셋들 간의 거리 및 형상의 유사도 정보를 바탕으로 대응 관계를 정의해 상기 객체를 추적함으로써 상기 객체의 이동 방향 및 속도 등을 추정할 수 있다.
2.2. 포인트 클라우드 데이터의 시각화(visualization)
도 12는 일 실시예에 따른 라이다 장치가 생성한 포인트 클라우드 데이터를 기초로 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 12를 참조하면, 일 실시예에 따른 라이다 장치는 레이저 출력부를 통해 레이저를 출력할 수 있다(S1001).
또한, 상기 레이저 출력부로부터 출력된 레이저는 대상체의 적어도 일부에서 산란될 수 있고, 상기 산란된 레이저의 적어도 일부는 상기 라이다 장치의 센서부에 의해 수신될 수 있다(S1002).
또한, 상기 센서부는 상기 수신된 레이저를 기초로 감지 신호를 생성할 수 있다(S1003). 예를 들어, 상기 라이다 장치는 상기 감지 신호를 펄스(Pulse) 형태의 아날로그 신호로 생성하거나, 이에 한정되지 않고, 타임빈(time-bin)에 축적되는 히스토그램 형태의 디지털 신호로 생성할 수도 있다.
또한, 상기 라이다 장치의 제어부는 상기 감지 신호를 기초로 포인트 클라우드 데이터를 획득할 수 있다(S1004). 이때, 상기 제어부는 미리 설정된 프레임 레이트(frame rate)로 상기 포인트 클라우드 데이터를 프레임 단위로 생성할 수 있다. 예를 들어, 상기 제어부는 여러 프레임의 포인트 데이터 셋을 정합하여 축적함으로써, 중첩된 포인트 클라우드 데이터를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치의 제어부는 상기 포인트 클라우드 데이터를 기초로 3d 이미지 데이터를 생성할 수 있다(S1005). 보다 구체적으로, 상기 제어부는 상기 중첩된 포인트 클라우드 데이터를 시각화(visualization)함으로써 점군 이미지(point cloud image)를 생성할 수 있다. 예를 들어, 상기 포인트 클라우드 데이터에 포함된 복수의 포인트 데이터를 소정의 형상을 가지는 포인트를 이용해 시각화함으로써 상기 포인트 데이터 셋을 점군 이미지 형태로 나타낼 수 있으나, 이에 한정되지 않는다. 이때, 이미지는 한프레임의 포인트 데이터 셋이 시각화된 이미지를 의미할 수 있고, 상기 제어부는 복수의 프레임의 포인트 데이터 셋의 점군 이미지를 중첩하여 나타낼 수도 있다.
일 예로, 상기 라이다 장치는 상기 포인트 클라우드 데이터를 기초로 도 7과 같은 점군 이미지를 생성할 수 있다. 보다 구체적으로, 상기 라이다 장치는 복수의 감지 지점들을 미리 저장된 맵에 맵핑시킴으로써 상기 복수의 감지 지점들에 대한 점군 이미지를 생성할 수 있다. 예를 들어, 상기 라이다 장치는 미리 저장된 맵 상에서 상기 복수의 감지 지점들의 위치에 대응되는 좌표에 소정의 형상을 가지는 포인트를 맵핑함으로써 점군 이미지를 생성할 수 있으나, 이에 한정되지 않는다.
아래에서는 라이다 장치가 획득 가능한 다양한 정보들에 기초하여, 포인트 데이터 셋을 구성하는 포인트 데이터의 다양한 실시 형태에 대해서 설명한다.
3. 포인트 데이터의 다양한 실시예
일 실시예에 따른 라이다 장치가 생성하는 포인트 클라우드 데이터는 복수의 포인트 데이터들을 포함할 수 있다. 이때, 상기 라이다 장치는 상기 라이다 장치로부터 출력된 레이저가 산란되는 복수의 감지 지점들 각각에 대응되는 복수의 포인트 데이터들을 생성할 수 있다.
도 13은 일 실시예에 따른 포인트 데이터를 생성하기 위한 라이다 장치의 구성을 설명하기 위한 도면이다.
도 13을 참조하면, 일 실시예에 따른 라이다 장치(3000)는 감지 신호(3300)를 기초로 감지 지점에 대응되는 포인트 데이터(3400)를 생성하기 위한 다양한 구성을 포함할 수 있다. 예를 들어, 상기 라이다 장치(3000)는 센서부(3100), 신호 생성부(3210), 및 신호 처리부(3230)를 포함할 수 있으나, 이에 한정되지 않는다.
센서부(3100)는 대상체의 적어도 일부로부터 산란된 레이저의 적어도 일부를 수신할 수 있다. 구체적으로, 상기 센서부(3100)는 복수의 감지 지점들에서 산란되는 레이저를 수신할 수 있다.
또한, 상기 신호 생성부(3210)는 감지 신호(3300)를 생성할 수 있다. 보다 구체적으로, 상기 신호 생성부(3210)는 상기 센서부(3100)를 통해 수신된 레이저를 기초로 감지 지점에 대한 감지 신호(3300)를 생성할 수 있다.
또한, 상기 신호 생성부(3210)는 상기 센서부(3100)와 일체로 설계될 수 있다. 보다 구체적으로, 상기 센서부(3100)는 레이저를 수신할 뿐만 아니라 수신된 레이저를 기초로 감지 신호(3300)를 생성하는 기능을 포함할 수 있다. 다시 말해, 상기 센서부(3100)는 레이저를 수신하기 위한 센서 요소 및 상기 센서 요소로부터 수신된 레이저를 기초로 전기적인 감지 신호(3300)를 생성하는 신호 생성 요소를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 신호 처리부(3230)는 상기 감지 신호(3300)를 처리하여 포인트 데이터(3400)를 생성할 수 있다. 보다 구체적으로, 상기 신호 처리부(3230)는 상기 감지 신호(3300)를 소정의 알고리즘을 기초로 처리(process)하여 감지 지점에 대응되는 포인트 데이터를 생성할 수 있다. 예를 들어, 상기 신호 처리부(3230)는 상기 감지 신호(3300)의 특성을 파악하여 상기 감지 지점에 대한 다양한 정보를 포함하는 포인트 데이터(3400)를 생성할 수 있으나, 이에 한정되지 않는다.
실시예에 따라 상기 신호 생성부(3210) 및 상기 신호 처리부(3230)는 라이다 장치의 제어부에 포함되는 구성으로 설계될 수 있다.
또한, 라이다 장치(3000)는 상술한 구성들을 이용해 복수의 감지 지점들에 대한 다양한 정보를 획득할 수 있다. 예를 들어, 상기 라이다 장치(3000)는 상기 복수의 감지 지점들의 위치, 거리, 로인텐시티, 보정된 인텐시티, 강화된 인텐시티 또는 감지 지점의 속성 등에 대한 정보들을 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치는 상기 복수의 정보들 중 일부를 기초로 포인트 데이터(3400)를 생성할 수 있다. 예를 들어, 상기 라이다 장치는 상기 복수의 감지 지점들 각각에 대한 적어도 하나의 정보(예를 들어, 위치 정보, 인텐시티 정보)를 데이터 시트(data sheet) 형태로 저장함으로써 복수의 포인트 데이터들을 포함하는 포인트 클라우드 데이터를 획득할 수 있다.
아래에서는, 실시예에 따라 상기 포인트 데이터에 포함될 수 있는 정보들의 종류에 대해 설명한다.
3.1. 감지 지점의 위치 정보(Position Information)
도 14는 일 실시예에 따른 포인트 데이터에 포함되는 위치 정보를 설명하기 위한 도면이다.
도 14를 참조하면, 라이다 장치는 복수의 감지 지점들 각각에 대한 위치 정보를 포함하는 포인트 데이터를 생성할 수 있다. 이때, 상기 위치 정보는 좌표계 상의 위치 좌표로 표현될 수 있다. 보다 구체적으로, 상기 위치 정보는 상기 감지 지점의 상기 라이다 장치에 대한 상대적인 위치 좌표로 표현될 수 있다. 이때, 상기 위치 좌표는 직교 좌표계(x,y,z) 상의 좌표인 것이 대표적이나, 이에 한정되지 않고, 극좌표계, 구면 좌표계 등 동일 기술 분야에서 이용되는 다양한 좌표계 상의 좌표일 수 있다. 예를 들어, 제1 감지 지점(P1)에 대한 제1 위치 정보는 (x1,y1,z1)으로 표현될 수 있으나, 이에 한정되지 않는다.
또한, 라이다 장치는 상기 복수의 감지 지점들에 대한 복수의 위치 정보들을 데이터 시트(data sheet, 3500) 형태로 저장할 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 복수의 감지 지점들 각각의 위치 좌표를 계산하여, 상기 위치 좌표를 데이터 시트(3500)에 저장함으로써, 복수의 감지 지점들에 대한 포인트 데이터들을 생성할 수 있다. 예를 들어, 상기 라이다 장치는 상기 복수의 감지 지점들로부터 산란된 레이저를 수신하고, 수신된 신호를 처리함으로써 상기 복수의 감지 지점들의 위치 정보를 계산하고, 상기 위치 정보들을 메모리에 저장할 수 있으나, 이에 한정되지 않는다.
또한, 상기 위치 정보는 상기 라이다 장치로부터 상기 감지 지점까지의 거리 정보를 반영할 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 레이저의 비행 시간을 기초로 상기 감지 지점까지의 거리를 계산할 수 있고, 상기 거리를 기초로 상기 감지 지점의 위치 정보를 생성할 수 있다. 이에 따라, 상기 위치 정보는 상기 감지 지점까지의 거리 정보를 포함할 수 있다. 예를 들어, 상기 감지 지점까지의 거리 정보는 상기 감지 지점의 뎁스를 의미할 수 있고, 이에 따라 상기 위치 정보의 z좌표로 상기 위치 정보에 포함될 수 있으나, 이에 한정되지 않는다.
또한, 상기 위치 정보는 상기 라이다 장치의 디텍터의 위치를 반영할 수 있다. 보다 구체적으로, 상기 라이다 장치가 복수의 디텍터를 포함하는 디텍터 어레이(array)를 포함하는 경우, 상기 라이다 장치는 상기 디텍터 어레이에서 레이저를 감지하는 디텍터의 위치를 기초로 상기 위치 정보를 생성할 수 있다. 예를 들이, 상기 디텍터의 위치를 기초로 상기 위치 정보의 좌표(x,y)를 결정할 수 있으나, 이에 한정되지 않는다.
3.2. 인텐시티 정보
도 15는 일 실시예에 따른 인텐시티 정보를 설명하기 위한 도면이다.
도 15를 참조하면, 일 실시예에 따른 라이다 장치(3000)는 복수의 감지 지점들에 대한 인텐시티 정보를 생성할 수 있다. 이때, 상기 인텐시티 정보는 상기 복수의 감지 지점에서 광이 반사되는 정도를 나타내기 위한 정보일 수 있다. 즉, 상기 인텐시티 정보는 상기 복수의 감지 지점의 반사 강도 정보일 수 있다. 또한, 상기 인텐시티 정보는 반사강도 정보, 반사율 정보, 또는 반사도 정보 등의 용어로 표현될 수 있다.
또한, 상기 인텐시티 정보는 인텐시티값(intensity value)을 포함할 수 있다. 이때, 인텐시티값은 감지 지점에서 레이저가 반사되는 정도를 수치화한 값일 수 있다. 보다 구체적으로, 상기 라이다 장치는 복수의 감지 지점들 각각에 대한 인텐시티값을 계산할 수 있고, 상기 인텐시티 값으로 구성된 인텐시티 정보를 생성할 수 있다. 예를 들어, 상기 라이다 장치(3000)는 제1 감지 지점(P1)으로부터 산란된 레이저의 적어도 일부를 기초로 상기 제1 감지 지점(P1)에 대한 제1 인텐시티값 (i1)을 획득할 수 있다. 또한, 상기 라이다 장치(3000)는 제2 감지 지점(P2)으로부터 산란된 레이저의 적어도 일부를 기초로 상기 제2 감지 지점(P2)에 대한 제2 인텐시티값(i2)을 획득할 수 있다.
또한, 라이다 장치가 생성하는 인텐시티값은 소정의 수치범위를 가질 수 있다. 보다 구체적으로, 상기 라이다 장치는 감지 지점에 대한 인텐시티값이 소정의 수치 범위 내에서 특정한 값을 갖도록 상기 인텐시티값을 결정할 수 있다. 예를 들어, 상기 인텐시티값은 [0,255]의 수치범위 내에서 결정될 수 있으나, 이에 한정되지 않는다.
또한, 라이다 장치는 상기 인텐시티 정보를 기초로 상기 감지 지점에 대응되는 포인트 데이터를 시각화할 수 있다. 보다 구체적으로, 상기 라이다 장치는 복수의 감지 지점들 각각에 대한 인텐시티값을 계산하고, 상기 인텐시티값을 반영한 점군 이미지를 생성할 수 있다. 예를 들어, 상기 제1 감지 지점(P1)의 제1 인텐시티값(i1)이 상기 제2 감지 지점(P2)의 제2 인텐시티값(i2)보다 큰 경우, 상기 라이다 장치(3000)는 상기 제1 감지 지점(P1)을 나타내는 포인트를 상기 제2 감지 지점(P2)을 나타내는 포인트보다 밝게 표현할 수 있으나, 이에 한정되지 않는다.
상기 라이다 장치(3000)는 디텍터부에 의해 감지된 감지 대상의 포인트에 대해 획득한 인센시티값을 이용하여 상기 감지 대상의 포인트에 대한 광학적 특성에 관한 정보를 획득할 수 있다. 상기 광학적 특성은 색상, 명도 등을 포함할 수 있다.
예를 들어, 상기 라이다 장치는 인텐시티값을 상기 색상, 명도로 변환시키는 매칭 테이블을 미리 저장하고, 상기 매칭 테이블과 상기 획득된 인텐시티값을 이용하여 상기 감지 대상의 포인트에 대한 광학적 특성 정보를 획득할 수 있다.
이때, 상기 라이다 장치는 상기 소정의 감지 지점에 대응되는 점군 이미지를 생성할 때, 전술한 바와 같이 획득된 광학적 특성 정보를 상기 점군 이미지에 반영할 수 있다.
또한, 상기 인텐시티 정보는 라이다 장치에서 수신되는 레이저의 세기와 관련되는 여러가지 요인들에 의해 결정될 수 있다. 보다 구체적으로, 상기 인텐시티 정보는 대상체까지의 거리, 반사율, 또는 재질 등에 따라 결정될 수 있다. 예를 들어, 가까운 거리에 위치하고 반사율이 높은 흰색 계열의 재귀반사(retroreflection)를 주로 일으키는 금속 재질의 대상체에서는 상대적으로 큰 인텐시티값이 측정될 수 있다. 또한, 반대로 먼 거리에 위치하고 반사율이 낮은 검은색 계열의 난반사(diffuse reflection)를 주로 일으키는 램버시안(Lambertian) 표면을 가지는 대상체에서는 상대적으로 작은 인텐시티값이 측정될 수 있다.
도 16은 일 실시예에 따른 인텐시티 정보의 저장 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 라이다 장치는 인텐시티 정보를 데이터 시트(sheet) 형태로 나타 낼 수 있다.
라이다 장치는 상기 인텐시티 정보를 포인트 데이터에 포함시킬 수 있다. 보다 구체적으로, 상기 라이다 장치는 감지 지점에 대한 위치 정보뿐 만 아니라 상기 감지 지점에 대한 인텐시티 정보를 포함하는 포인트 데이터를 생성할 수 있다.
예를 들어, 도 17(a)를 참조하면, 상기 라이다 장치는 복수의 감지 지점들 각각에 대해 상기 복수의 감지 지점들 각각의 위치 정보 및 인텐시티 정보를 포함하는 포인트 클라우드 데이터를 획득할 수 있다. 이때, 상기 라이다 장치는 상기 포인트 클라우드 데이터를 감지 지점들 각각에 대한 위치 정보 및 인텐시티 정보를 포함하는 데이터 시트(3501)로 나타낼 수 있으나, 이에 한정되지 않는다.
또한, 라이다 장치는 상기 인텐시티 정보를 포인트 데이터와 독립적인 데이터로 획득할 수 있다. 보다 구체적으로, 상기 라이다 장치는 감지 지점에 대한 위치 정보를 포함하는 포인트 데이터와 별개로 상기 감지 지점에 대한 인텐시티 정보를 생성할 수 있다.
예를 들어, 도 17(b)를 참조하면, 상기 라이다 장치는 감지 지점들 각각에 대한 인텐시티 정보를 생성하여 저장할 수 있다. 이때, 상기 라이다 장치는 상기 인텐시티 정보를 위치 정보와 별개의 데이터 시트(3502)로 나타낼 수 있으나, 이에 한정되지 않는다.
또한, 라이다 장치는 복수의 인텐시티 정보를 획득할 수 있다. 보다 구체적으로, 상기 라이다 장치가 복수의 감지 지점들에 대해서 하나 이상의 인텐시티 정보를 획득 가능한 경우, 상기 라이다 장치는 상기 하나 이상의 인텐시티 정보를 포함하는 인텐시티 셋을 생성할 수 있다.
예를 들어, 도 17(c)를 참조하면, 라이다 장치는 감지 지점들 각각에 대해 복수의 인텐시티 정보를 포함하는 인텐시티 셋을 생성하여 저장할 수 있다. 이때, 상기 라이다 장치는 상기 인텐시티 셋을 위치 정보를 포함하는 포인트 데이터와 별개의 데이터로 생성할 수 있으나, 이에 한정되지 않고, 상기 포인트 데이터에 포함되는 데이터로 생성할 수도 있다. 또한, 상기 라이다 장치는 상기 인텐시티 셋을 데이터 시트(3503)로 나타낼 수 있으나, 이에 한정되지 않는다.
또한, 다시 도 15 및 도 16을 참조하면, 라이다 장치는 상기 인텐시티 정보를 수치화하여 나타낼 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 복수의 감지 지점들 각각에 대한 인텐시티값(intensity value)를 계산하여, 복수의 인텐시티 값으로 이루어진 인텐시티 정보를 생성할 수 있다.
이때, 상기 인텐시티 값은 다양한 형태로 도출될 수 있다. 예를 들어, 상기 인텐시티값은 로인텐시티(raw intensity value), 보정된 인텐시티(corrected intensity value), 또는 강화된 인텐시티(enhanced intensity) 등을 포함할 수 있으나, 이에 한정되지 않는다.
이때, 상기 로인텐시티는 가공되지 않은 인텐시티 값일 수 있다. 구체적으로, 상기 라이다 장치는 감지 신호를 기초로 상기 로인텐시티를 생성할 수 있다.
또한, 상기 보정된 인텐시티 및 상기 강화된 인텐시티는 상기 로인텐시티를 기초로 가공된 인텐시티 값일 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 로인텐시티를 기초로 상기 보정된 인텐시티 또는 상기 강화된 인텐시티를 생성할 수 있다.
아래에서는 보정된 인텐시티 또는 강화된 인텐시티가 필요한 이유와 관련하여 로인텐시티의 한계점을 설명하고, 이에 따라 라이다 장치가 생성 가능한 다양한 형태의 인텐시티값들에 대해서 설명한다.
3.2.1. 로인텐시티(Raw-Intensity Value)
3.2.1.1. 로인텐시티(Raw-Intensity Value)의 생성
도 17은 일 실시예에 따른 라이다 장치가 로인텐시티를 생성하는 방법을 설명하기 위한 흐름도이다.
도 17을 참조하면, 일 실시예에 따른 라이다 장치는 레이저를 송신할 수 있다(S1006). 또한, 상기 라이다 장치는 적어도 하나의 감지 지점에서 산란된 광을 수신할 수 있다(S1007). 또한, 상기 라이다 장치는 레이저를 수신하여 상기 감지 신호(detection signal)을 생성할 수 있다(S1008). 상기 각 단계에 대한 상세한 설명은 상술하였으므로 생략하기로 한다.
또한, 상기 라이다 장치는 상기 감지 신호를 기초로 로인텐시티(raw intensity value)를 획득할 수 있다(S1009). 보다 구체적으로, 상기 라이다 장치는 상기 적어도 하나의 감지 지점 각각에 대응되는 로인텐시티를 획득할 수 있다. 이때, 상기 로인텐시티는 감지 지점의 반사 강도를 나타낼 수 있다. 보다 구체적으로, 상기 로인텐시티는 상기 감지 지점이 빛을 반사하는 정도를 나타낼 수 있다. 예를 들어, 상기 로인텐시티는 상기 감지 지점에서 산란되는 레이저의 양에 비례한 값일 수 있으나, 이에 한정되지 않는다.
3.2.1.2. 로인텐시티(Raw-Intensity Value)의 반영 정보
일 실시예에 따른 라이다 장치가 레이저가 산란되는 감지 지점에 대해 생성하는 로인텐시티는 다양한 정보를 반영할 수 있다. 예를 들어, 상기 로인텐시티는 상기 감지 지점과 라이다 장치의 위치 관계에 관련된 정보, 상기 감지 지점의 특성과 관련된 정보 또는 외부 환경에 관련된 정보 등을 반영할 수 있으나, 이에 한정되지 않는다.
일 예로, 상기 라이다 장치가 생성하는 로인텐시티는 상기 라이다 장치와 감지 지점 사이의 위치 관계에 관련된 정보를 반영할 수 있다. 구체적인 예로, 상기 로인텐시티는 상기 라이다 장치와 상기 감지 지점 사이의 거리, 상기 라이다 장치가 조사하는 레이저의 상기 감지 지점 상의 입사각 등을 반영할 수 있으나, 이에 한정되지 않는다.
라이다 장치에 의해 감지되는 레이저에 의해 생성되는 로인텐시티는 다양한 정보를 반영할 수 있다. 즉, 생성되는 로인텐시티는 다양한 변수값들에 의해 결정되는 함수일 수 있다. 예를 들어, 로인텐시티값은 1) 라이다 장치와 레이저를 반사(산란)하는 대상체의 감지 지점과의 거리, 2) 레이저의 대상체의 표면에 입사되는 입사각, 3) 대상체의 표면의 물성(예를 들어, 고유 반사도, 색상 등)에 의해 결정되는 함수값일 수 있다.
이하에서는, 로인텐시티에 영향을 미치는 다양한 변수에 대하여 설명한다.
도 18은 일 실시예에 따른 라이다 장치와 감지 지점 사이의 거리 정보에 따른 로인텐시티의 변화를 설명하기 위한 도면이다.
라이다 장치가 획득하는 감지 지점에 대한 로인텐시티는 상기 라이다 장치로부터 상기 감지 지점까지의 거리 정보를 반영할 수 있다.
또한, 라이다 장치가 획득하는 로인텐시티는 라이다 장치가 동일한 물성을 가지는 대상체에서 산란된 레이저를 수신하는 경우 라이다 장치와 감지 지점 사이의 거리에 따라 상이한 값을 나타낼 수 있다. 보다 구체적으로, 라이다 장치는 동일한 물성을 가지는 두 대상체를 향해 동일한 입사각으로 레이저를 조사하는 경우, 각 대상체에서 레이저가 산란되는 감지 지점들의 로인텐시티값은 상이할 수 있다. 이는, 상기 라이다 장치로부터 상기 각 대상체까지의 거리가 상이하기 때문이다.
도 18을 참조하여 보다 구체적으로 설명하면, 라이다 장치(3000)가 레이저를 조사한 방향에 제1 물체와 제2 물체가 있으며, 상기 제1 물체와 상기 라이다 장치 사이의 거리는 상기 제2 물체와 상기 라이다 장치 사이의 거리와 상이한 경우를 상정하며, 상기 제1 물체의 물성과 상기 제2 물체의 물성은 서로 동일한 경우를 상정한다.
상기 라이다 장치(3000)로부터 조사된 레이저는 상기 제1 물체의 제1 감지지점(P1)에 의해 산란되며, 상기 제2 물체의 제2 감지지점(P2)에 의해 산란된다. 상기 산란된 레이저들 중 일부는 상기 라이다 장치를 향해 되돌아갈 수 있다. 이에 따라, 상기 라이다 장치는 제1 감지지점(P1)에서 산란되어 되돌아온 레이저의 일부를 감지할 수 있으며, 상기 제2 감지지점(P2)에서 산란되어 되돌아온 레이저의 일부 또한 감지할 수 있다.
상기 라이다 장치는 상기 산란된 레이저의 일부를 센싱하여 각각의 산란된 레이저에 대한 로인텐시티값을 생성할 수 있다. 편의 상 이하의 설명에서는 상기 제1 감지지점에 의해서 산란되어 돌아온 레이저에 의해 생성된 인텐시티값을 제1 인텐시티값(i1)이라고 하고, 상기 제2 감지지점에 의해서 산란되어 돌아온 레이저에 의해 생성된 인텐시티값을 제2 인텐시티값(i2)이라고 한다.
이때, 상기 제1 감지지점(P1)과 상기 라이다 장치 사이의 거리는 제1 거리(D1)이라고 하고, 상기 제2 감지지점(P2)과 상기 라이다 장치 사이의 거리는 제2 거리(D2)라고 하고 또한 상기 제2 거리가 상기 제1 거리보다 더 크다면, 전술한 바와 같이 상기 제1 인텐시티값(i1)은 상기 제2 인텐시티값(i2) 보다 더 크다
또한, 상기 라이다 장치(3000)는 점군 이미지 상에서 감지 지점에 대응되는 포인트의 시각 특성을 로인텐시티를 기초로 결정할 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)는 로인텐시티에 대응되는 밝기를 가지는 포인트를 이용해 감지 지점을 점군 이미지에 시각화할 수 있다. 예를 들어, 상기 라이다 장치(3000)는 상기 제1 감지 지점(P1)을 상기 제1 로인텐시티값(i1)의 크기를 기초로 시각화할 수 있고, 상기 제2 감지 지점(P2)을 상기 제2 로인텐시티값(i2)의 크기를 기초로 시각화할 수 있다. 이 경우, 상기 제1 로인텐시티값(i1)이 상기 제2 로인테시티값(i2)보다 크므로, 점군 이미지 상에서 상기 제1 감지 지점(P1)에 대응되는 포인트가 상기 제2 감지 지점(P2)에 대응되는 포인트 보다 밝을 수 있다. 다시 말해, 라이다 장치는 감지 지점에 대한 로인텐시티가 클수록 상기 감지 지점을 점군 이미지 상에 더 밝은 포인트로 시각화할 수 있다.
도 19는 도 18의 라이다 장치가 거리가 상이한 감지 지점에 대해 생성하는 감지 신호의 차이를 설명하기 위한 도면이다.
라이다 장치는 감지 신호의 특성을 기초로 로인텐시티를 획득할 수 있다. 예를 들어, 상기 라이다 장치는 감지 신호의 펄스폭을 기초로 로인텐시티를 획득할 수 있으나, 이에 한정되지 않고, 상기 감지 신호의 펄스 면적, 피크, rising edge, falling edge 등을 기초로 로인텐시티를 획득할 수 있다.
도 18 및 도 19(a)를 참조하면, 상기 제1 감지 지점(P1)으로부터 제1 거리(D1) 떨어진 라이다 장치(3000)는 상기 제1 감지 지점(P1)에서 산란된 레이저의 적어도 일부를 수신하여 제1 감지 신호(3310)를 생성할 수 있다. 이때, 상기 라이다 장치(3000)는 상기 제1 감지 신호(3310)의 특성을 기초로 상기 제1 감지 지점(P1)에 대한 로인텐시티를 획득할 수 있다. 예를 들어, 상기 라이다 장치(3000)는 상기 제1 감지 신호(3310)의 펄스폭을 기초로 제1 로인텐시티값(i1)을 획득할 수 있으나, 이에 한정되지 않는다.
또한, 도 18 및 도 19(b)를 참조하면, 상기 제2 감지 지점(P2)으로부터 상기 제1 거리(D1) 보다 먼 제2 거리(D2) 떨어진 라이다 장치(3000)는 상기 제2 감지 지점(P2)에서 산란된 레이저의 적어도 일부를 수신하여 제2 감지 신호(3320)를 생성할 수 있다.
이때, 상기 라이다 장치의 레이저 출력 시점(t1)으로부터 상기 제1 감지 신호(3310)가 감지된 시점까지의 시간 간격은 상기 레이저 출력 시점(t1)으로부터 상기 제2 감지 신호(3320)가 감지된 시점까지의 시간 간격보다 작을 수 있다. 이는, 상기 라이다 장치 감지 지점까지의 거리가 가까워질수록 대응되는 레이저의 비행 시간이 짧아지기 때문이다.
이때, 상기 라이다 장치(3000)는 상기 제2 감지 신호(3320)의 특성을 기초로 상기 제2 로인텐시티값(i2)을 획득할 수 있다. 예를 들어, 상기 라이다 장치(3000)는 상기 제2 감지 신호(3320)의 펄스폭(또는 펄스 면적) 등을 기초로 제2 로인텐시티값(i2)을 획득할 수 있으나, 이에 한정되지 않는다. 이때, 상기 제2 감지 신호(3320)의 펄스폭(또는 펄스 면적)은 상기 제1 감지 신호(3310)의 펄스폭(또는 펄스 면적)보다 작을 수 있다. 이는, 상기 라이다 장치(3000)와 상기 제1 감지 지점(P1)까지의 거리가 멀어질수록 상기 라이다 장치(3000)에 수신되는 레이저의 양이 감소하기 때문이다.
도 20은 일 실시예에 따른 라이다 장치가 감지 지점에 조사하는 레이저의 입사각에 따른 로인텐시티의 변화를 설명하기 위한 도면이다.
라이다 장치가 획득하는 감지 지점에 대한 로인텐시티는 상기 라이다 장치로부터 상기 감지 지점에 조사되는 레이저의 입사각 정보를 반영할 수 있다.
또한, 라이다 장치가 획득하는 로인텐시티는 라이다 장치가 물성이 동일한 물체에서 산란된 레이저를 수신하는 경우에도 레이저가 감지 지점에 조사되는 입사각에 따라 상이한 값을 나타낼 수 있다. 보다 구체적으로, 라이다 장치가 일정한 거리에 위치하는 감지 지점을 향해 서로 다른 입사각으로 레이저를 조사하는 경우, 상기 감지 지점에 대한 로인텐시티값은 달라질 수 있다.
예를 들어, 도 20을 참조하면, 라이다 장치(3000)는 상기 라이다 장치(3000)로부터의 거리가 동일한 제3 감지 지점(P3) 및 제4 감지 지점(P4)을 향해 상이한 입사각으로 레이저를 조사할 수 있다. 구체적으로, 상기 라이다 장치(3000)로부터 제1 입사각(A1)으로 상기 제3 감지 지점(P3)에 레이저가 조사될 수 있고, 제1 입사각(A1)보다 큰 제2 입사각(A2)으로 상기 제4 감지 지점(P4)에 레이저가 조사될 수 있다. 이때, 상기 제3 감지 지점(P3) 및 상기 제4 감지 지점(P4)은 동일한 물성을 가지는 두 대상체의 적어도 일부분이며, 상기 라이다 장치(3000)로부터 제3 거리(D3) 만큼 떨어져 있을 수 있다.
예를 들어, 라이다 장치(3000)는 상기 제3 감지 지점(P3)에서 산란되는 레이저의 적어도 일부를 수신하여 상기 제3 감지 지점(P3)에 대한 제3 로인텐시티값(i3)을 생성할 수 있다. 또한, 상기 라이다 장치(3000)는 상기 제4 감지 지점(P4)에서 산란되는 레이저의 적어도 일부를 수신하여 상기 제4 감지 지점(P4)에 대한 제4 로인텐시티값(i4)을 생성할 수 있다. 이 경우, 상기 제3 로인텐시티값(i3)는 상기 제4 로인텐시티값(i4)보다 클 수 있다. 이는, 라이다 장치로부터 감지 지점에 조사되는 입사각이 커질수록 상기 감지 지점에서 산란되는 레이저가 상기 라이다 장치로 되돌아오는 양이 적어지기 때문이다. 또한, 이에 따라, 점군 이미지 상에서 상기 제3 감지 지점(P3)에 대응되는 포인트가 상기 제4 감지 지점(P4)에 대응되는 포인트 보다 밝을 수 있다.
도 21은 일 실시예에 따른 라이다 장치가 레이저를 조사하는 대상체의 물성에 따른 로인텐시티의 변화를 설명하기 위한 도면이다.
라이다 장치가 획득하는 감지 지점에 대한 로인텐시티는 레이저가 조사되는 대상체(또는 감지 지점)의 물성 정보를 반영할 수 있다. 이때, 대상체의 물성 정보는 상기 대상체의 재질, 색상, 투명도 등을 포함할 수 있으나, 이에 한정되지 않는다. 다시 말해, 상기 라이다 장치가 획득하는 감지 지점에 대한 로인텐시티는 상기 감지 지점의 물성에 의존하여 결정될 수 있다.
예를 들어, 도 21을 참조하면, 라이다 장치(3000)는 물성이 상이한 제1 대상체(11) 및 제2 대상체(12) 각각에 레이저를 조사할 수 있다. 이 경우, 상기 제1 대상체(11) 및 상기 제2 대상체(12)는 조사되는 광을 산란하는 정도가 상이할 수 있다. 이때, 상기 광을 산란하는 정도는 대상체의 재귀반사도(retro-reflection), 또는 반사율(reflectivity) 등을 포함할 수 있다. 구체적으로, 상기 라이다 장치(3000)로부터 조사된 레이저가 상기 라이다 장치(3000)로 반사되어 돌아오는 레이저의 양은 상기 제1 대상체(11)가 상기 제2 대상체(12)와 상이할 수 있다.
예를 들어, 상기 제1 대상체(11)가 상기 제2 대상체(12)에 비해 광을 더 많이 반사하는 경우, 상기 제1 대상체(11)의 로인텐시티는 상기 제2 대상체(12)의 로인텐시티보다 클 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)로부터 조사된 레이저가 상기 제1 대상체(11)의 제5 감지 지점(P5) 및 제2 대상체(12)의 제6 감지 지점(P6)에서 산란되는 경우, 상기 라이다 장치(3000)는 산란된 레이저를 수신하여 상기 제5 감지 지점(P5)에 대한 제5 로인텐시티값(i5) 및 상기 제6 감지 지점(P6)에 대한 제6 로인텐시티값(i6)을 생성할 수 있다. 이때, 상기 제1 대상체(11)가 상기 제2 대상체(12)보다 빛을 잘 반사하는 물성을 가지므로, 상기 제5 인텐시티값(i5)은 상기 제6 로인텐시티값(i6) 보다 클 수 있다.
도 22는 일 실시예에 따른 라이다 장치가 생성하는 로인텐시티와 로인텐시티가 반영하는 정보 사이의 상관 관계를 설명하기 위한 도면이다.
도 22(a)를 참조하면, 라이다 장치와 감지 지점 사이의 거리가 증가할수록 상기 라이다 장치가 생성하는 상기 감지 지점에 대한 로인텐시티는 감소할 수 있다. 즉, 상기 라이다 장치가 생성하는 상기 감지 지점에 대한 로인텐시티는 라이다 장치와 감지 지점 사이의 거리와 반비례 관계를 가질 수 있다. 예를 들어, 상기 라이다 장치가 생성하는 상기 감지 지점에 대한 로인텐시티는 라이다 장치와 감지 지점 사이의 거리의 제곱 또는 네제곱에 반비례할 수 있으나, 이에 한정되지 않는다.
또한, 도 22(b)를 참조하면, 라이다 장치가 감지 지점을 향해 조사하는 레이저의 입사각이 증가할수록 감지 지점에 대한 로인텐시티는 감소할 수 있다. 즉, 상기 라이다 장치가 생성하는 상기 감지 지점에 대한 로인텐시티는 상기 감지 지점에 입사되는 레이저의 입사각에 대해 감소 함수 형태의 관계를 가질 수 있다.
또한, 도 22(a) 및 도 22(b)를 참조하면, 라이다 장치가 획득하는 로인텐시티의 거리에 대한 민감도는 입사각에 대한 민감도보다 클 수 있다. 예를 들어, 라이다 장치로부터 소정의 대상체에 포함되는 감지 지점까지의 거리가 멀어짐에따라 감지 지점의 로인텐시티가 감소하는 정도는 상기 감지 지점으로 조사되는 레이저의 입사각이 증가함에따라 상기 로인텐시티가 감소하는 정도보다 클 수 있으나, 이에 한정되지 않는다. 다시 말해, 상기 라이다 장치가 획득하는 로인텐시티는 감지 지점까지의 거리 정보를 상기 감지 지점에 조사되는 레이저의 입사각 정보보다 더 많이 반영할 수 있다. 물론, 실시예에 따라, 일정 거리 이상 및 일정 입사각 이상에서는 입사각에 대한 민감도가 더 커질 수 있다. 이는, 상기 민감도는 라이다 장치의 종류, 실험시의 주변 환경에 따라 결정될 수 있으므로, 실시예에 따라 입사각에 대한 민감도가 거리에 대한 민감도 보다 더 큰 경우가 있을 수 있다.
또한, 레이저가 산란되는 대상체의 물성 정보에 따라 상기 대상체에서 반사되는 빛의 양이 결정될 수 있다. 구체적으로, 상기 대상체가 빛을 잘 반사하는 재질로 구성되는 경우, 상기 대상체에서 반사되는 레이저의 양이 상기 대상체에 흡수되는 레이저의 양보다 상대적으로 많을 수 있다. 이때, 상기 대상체에 조사되는 레이저의 양에 대비한 상기 대상체에서 반사되는 레이저의 양은 상기 대상체의 고유 반사율로 정의될 수 있다.
예를 들어, 도 22(c)를 참조하면, 레이저가 조사되는 대상체의 고유 반사율이 증가할수록 라이다 장치가 획득하는 로인텐시티가 증가할 수 있다. 보다 구체적으로, 상기 대상체가 빛을 잘 반사하는 재질로 구성되는 경우, 상기 대상체에 대한 로인텐시티는 높을 수 있다. 예를 들어, 상기 라이다 장치가 획득하는 로인텐시티는 상기 대상체의 고유 반사율에 비례할 수 있으나, 이에 한정되지 않는다.
또한, 라이다 장치가 획득하는 로인텐시티는 상기 라이다 장치와 감지 지점을 둘러싸는 환경 정보를 반영할 수 있다. 보다 구체적으로, 상기 라이다 장치 및 상기 감지 지점을 둘러싸는 공간의 매질, 밀도 등에 따라 상기 로인텐시티가 결정될 수 있다.
3.2.1.3. 로인텐시티(Raw-Intensity Value)의 한계점
상술한 바와 같이 라이다 장치가 획득하는 로인텐시티는 라이다 장치 및 감지 지점에 관련된 다양한 정보들을 반영할 수 있다. 상기 로인텐시티가 상기 다양한 정보들을 반영하여 결정됨에 따라, 상기 로인텐시티를 감지 지점에 대한 인텐시티 정보로서 활용하는데에는 몇 가지 한계점이 있을 수 있다.
우선, 로인텐시티는 대상체에서 빛이 반사되는 정도를 나타내는 기준이 되기 힘들다. 로인텐시티는 감지 지점에서 반사되는 레이저를 수신하여 생성되는 값이긴 하나, 라이다 장치로부터의 거리 및 레이저가 조사되는 입사각이 달라지면, 동일한 물성을 가지는 대상체들에 대해서 상이한 값이 생성될 수 있다. 다시 말해, 로인텐시티는 레이저가 반사되는 대상체의 고유의 반사 특성을 나타내기 어렵다.
이를 해결하기 위해, 라이다 장치는 상기 로인텐시티를 소정의 알고리즘을 이용하여 보정할 수 있다. 또한, 상기 라이다 장치는 상기 로인텐시티를 보정하여 대상체 고유의 반사적 특성을 반영하는 보정된 인텐시티를 생성할 수 있다. 보다 구체적으로, 라이다 장치는 동일한 물성을 가지는 대상체들에 대해 동일한 인텐시티값을 생성하도록 상기 로인텐시티를 보정하여 보정된 인텐시티를 생성할 수 있다.
보정된 인텐시티에 관한 상세한 내용은 아래(목차 3.2.2.)에서 설명한다.
또한, 라이다 장치는 로인텐시티를 통해 대상체의 형상을 입체감을 반영하여 시각화하기 힘들다. 실제 카메라 또는 눈을 통해 보여지는 시각 정보는 광원의 방향에 따라 생기는 음영의 차이 등에 따라 동일한 대상체에 대해서도 다양한 밝기로 보여지므로 입체감을 반영할 수 있다. 다만, 라이다 장치는 위치 정보 및 로인텐시티를 통해 음영 등 대상체의 입체감을 반영하여 실제 형상에 가까운 형상으로 대상체를 시각화하는 것에는 한계가 있다. 이는, 대상체의 반사도를 기초로 밝기를 표현하는 요소인 로인텐시티는 대상체의 형상 및 광원의 위치에 따른 시각적 차이를 정확하게 나타낼 수 없기 때문이다. 구체적으로, 라이다 장치가 획득하는 로인텐시티는 거리 정보, 입사각 정보, 물성 정보 등을 반영하는 값이지만, 이 중 입사각 정보가 반영되는 정도가 다른 정보들이 반영되는 정도보다 작기 때문에, 상기 로인텐시티를 통해 입사각의 차이에 의해 결정되는 입체감 또는 음영의 차이를 시각화하는 것은 어려울 수 있다.
이를 해결하기 위해, 라이다 장치는 로인텐시티를 소정의 알고리즘을 이용해 강화할 수 있다. 또한, 상기 라이다 장치는 상기 로인텐시티를 강화하여 대상체의 형상을 실제와 가깝게 시각화하기 위해 강화된 인텐시티를 생성할 수 있다. 보다 구체적으로, 상기 라이다 장치는 로인텐시티를 소정의 알고리즘을 기초로 강화하여 입사각 정보를 보다 많이 반영함으로써 대상체의 음영을 비롯한 실제 형상을 나타내기 위한 강화된 인테시티를 생성할 수 있다.
강화된 인텐시티에 관한 상세한 내용은 아래(목차 3.2.3.)에서 설명한다.
라이다 장치는 목적에 따라 로인텐시티를 기초로 i) 대상체의 고유의 반사 강도를 판단하기 위해 보정된 인텐시티를 생성하거나, ii) 대상체의 형상을 입체감 있게 시각화하기 위해 강화된 인텐시티를 생성할 수 있다. 물론, 실시예에 따라, 보정된 인텐시티를 강화하여 강화된 인텐시티를 생성할 수 있고, 강화된 인텐시티를 보정하여 보정된 인텐시티를 생성할 수도 있다.
아래에서는 상기 보정된 인텐시티 및 상기 강화된 인텐시티 각각의 생성 방법 및 활용 방안에 대해 설명한다.
3.2.2. 보정된 인텐시티(Corrected Intensity Value)
도 23은 일 실시예에 따른 라이다 장치가 보정된 인텐시티를 생성하는 방법을 설명하기 위한 흐름도이다.
도 24는 일 실시예에 따른 라이다 장치가 감지 지점에 대해서 획득 가능한 로인텐시티 및 보정된 인텐시티를 설명하기 위한 도면이다.
도 23을 참조하면, 라이다 장치는 감지 지점에서 산란된 레이저를 수신하여 감지 신호를 생성할 수 있다(S1010). 또한, 상기 라이다 장치는 상기 감지 신호를 기초로 상기 감지 지점에 대한 로인텐시티를 생성할 수 있다(S1011). 또한, 상기 라이다 장치는 상기 로인텐시티를 소정의 알고리즘을 기초로 보정하여 보정된 인텐시티를 생성할 수 있다(S1012). 또한, 상기 라이다 장치는 상기 보정된 인텐시티를 포함하는 인텐시티 정보를 획득할 수 있다(S1013).
도 24를 참조하면, 라이다 장치(3000)는 레이저를 조사하여 스캔 가능 영역(20)에 존재하는 제1 대상체(13), 및 상기 제1 대상체와 물성이 상이한 제2 대상체(14)에 대한 정보를 획득할 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)는 레이저를 조사할 수 있고, 스캔 가능 영역(20) 내에 존재하는 상기 제1 대상체(13)에 포함되는 제1 감지 지점(P1) 및 제2 감지 지점(P2), 상기 제2 대상체(14)에 포함되는 제3 감지 지점(P3) 및 제4 감지 지점(P4)에서 산란되는 레이저를 수신할 수 있다. 또한, 이 경우, 상기 라이다 장치(3000)는 상기 각각의 감지 지점들에 대한 위치 정보 및 인텐시티 정보를 획득할 수있다.
이때, 상기 인텐시티 정보는 적어도 하나의 인텐시티값을 포함할 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)는 적어도 하나의 감지 지점에 대한 로인텐시티(i) 또는 상기 로인텐시티(i)를 보정한 보정된 인텐시티(i`)를 포함하는 인텐시티 정보를 획득할 수 있다.
다시 도 23의 단계 S1010 및 S1011 및 도 24를 참조하면, 상기 라이다 장치(3000)는 제1 대상체(13)에 포함된 감지 지점들 및 상기 제1 대상체(13)와 물성이 상이한 제2 대상체(14)에 포함된 감지 지점들로부터 반사된 레이저를 기초로 감지 신호를 생성하여 로인텐시티를 생성할 수 있다. 라이다 장치가 감지 신호를 기초로 로인텐시티를 생성하는 구체적인 방법에 대해서는 상술하였으므로 생략하기로 한다.
예를 들어, 상기 라이다 장치(3000)는 제1 감지 지점(P1)에 대한 제1 로인텐시티값(i1=150), 제2 감지 지점(P2)에 대한 제2 로인텐시티값(i2=130), 제3 감지 지점(P3)에 대한 제3 로인텐시티값(i3=40), 및 제4 감지 지점(P4)에 대한 제4 로인텐시티값(i4=35)을 생성할 수 있으나, 이에 한정되지 않는다.
도 23의 단계 S1012에서, 라이다 장치는 다양한 방식으로 보정된 인텐시티를 생성할 수 있다. 보다 구체적으로, 상기 라이다 장치는 로인텐시티를 기초로 보정된 인텐시티를 생성하기 위한 다양한 알고리즘을 미리 저장할 수 있다. 예를 들어, 상기 라이다 장치는 감지 신호의 기하학적 보정(Geometric correction) 또는 방사법적 보정(Radiometric correction)등을 수행함으로써 보정된 인텐시티를 생성할 수 있으나, 이에 한정되지 않는다.
라이다 장치가 보정된 인텐시티를 생성하는 목적은 감지 지점에 대한 반사 강도를 보다 일관되게 획득하기 위함일 수 있다. 보다 구체적으로, 거리 및 입사각이 달라지더라도, 동일한 물성을 가지는 적어도 하나의 감지 지점에 대해서 동일한 인텐시티 정보를 획득하기 위함일 수 있다. 예를 들어, 라이다 장치는 동일한 대상체의 소정의 감지 지점에 대한 인텐시티 정보가 상기 대상체까지의 거리 및 상기 감지 지점으로 조사되는 레이저의 입사각이 달라지더라도 동일한 값을 포함하도록 보정된 인텐시티를 생성할 수 있다.
아래에서는 라이다 장치가 보정된 인텐시티를 생성하는 방법과 관련되는 다양한 실시예들을 설명한다.
일 실시예에 따르면, 라이다 장치는 로인텐시티를 기초로 기하학적 보정을 수행하여 보정된 인텐시티를 생성할 수 있다. 여기서, 기하학적 보정이란 로인텐시티에 포함되는 감지 지점에 대한 위치 및 감지 지점의 형상이 인텐시티에 미치는 영향을 최소화한 보정을 의미할 수 있다.
라이다 장치가 획득하는 로인텐시티는 상술한 바와 같이 감지 지점의 물성뿐만 아니라 감지 지점까지의 거리, 상기 감지 지점에 조사되는 레이저의 입사각, 및 환경적 용인에 의해 결정될 수 있다. 이때, 라이다 장치는 감지 지점에서 레이저가 반사되는 정도를 나타내는 인텐시티 정보를 획득하기 위해, 감지 지점까지의 거리 및 입사각에 의한 영향을 최소화할 필요가 있다. 다시 말해, 라이다 장치는 감지 지점이 포함되는 대상체의 고유 반사율을 판단하기 위해 거리 및 입사각에 의한 영향을 감쇠하는 기하학적 보정을 수행할 수 있다.
구체적으로, 라이다 장치가 획득하는 로인텐시티는 거리 및 입사각이 증가할수록 감지 지점에서 산란되는 레이저가 라이다 장치로 수신되는 양이 감쇠될 수 있다. 이에 따라, 라이다 장치는 거리 및 입사각에 관련없이 동일한 물성을 가지는 감지 지점에 대해서 동일한 인텐시티 정보를 획득하도록 기하학적 보정을 수행하여 보정된 인텐시티를 생성할 수 있다.
또한, 또 다른 일 실시예에 따르면, 라이다 장치는 로인텐시티를 기초로 방사법적 보정을 수행하여 보정된 인텐시티를 생성할 수 있다.
여기서, 방사법적 보정이란, 대상체의 고유 물성치에 따라 결정되는 반사 특성을 고려한 보정 방법을 의미할 수 있다. 구체적으로, 방사법적 보정은 대상체의 재질, 고유 반사율 등의 물성치에 따라, 빛이 반사되는 방향 또는 비율등이 상이하다는 성질을 고려한 보정 방법일 수 있다.
예를 들어, 라이다 장치는 반사도 표준(reference)를 미리 저장할 수 있다. 이때, 상기 반사도 표준(reference)은 대상체의 종류 별 고유 반사율을 매칭한 데이터를 의미할 수 있다. 구체적인 예로, 상기 반사도 표준은 고정밀 센서를 활용하여 미리 정해진 기준에서 대상체별 반사율 값을 측정하고 대상체 종류에 대한 측정된 반사율 값의 매칭테이블을 생성함으로써 획득될 수 있다. 이에 따라, 상기 라이다 장치는 획득된 로인텐시티를 상기 반사도 표준에 매핑함으로써 보정된 인텐시티를 획득할 수 있으나, 이에 한정되지 않는다.
도 23의 단계 S1013에서, 라이다 장치가 생성하는 인텐시티 정보는 상기 보정된 인텐시티를 포함할 수 있다. 또한, 이에 한정되지 않고, 상기 라이다 장치는 상기 보정된 인텐시티뿐 만 아니라 로인텐시티도 포함하는 인텐시티 정보를 생성할 수 있다. 보다 구체적으로, 상기 라이다 장치가 생성하는 인텐시티 정보는 복수의 감지 지점들 각각에 대한 상기 보정된 인텐시티 및 상기 로인텐시티를 데이터 시트 형태로 저장할 수 있다.
예를 들어, 도 24를 참조하면, 라이다 장치(3000)는 상술한 소정의 보정 방법들 중 하나를 기초로 감지 지점들에 대한 보정된 인텐시티를 생성할 수 있다.
구체적으로, 상기 라이다 장치(3000)는 동일한 물성을 가지는 제1 대상체(13)에 포함되는 제1 감지 지점(P1) 및 제2 감지 지점(P2)에 대한 보정된 인텐시티값을 포함하는 인텐시티 정보를 획득할 수 있다. 예를 들어, 상기 라이다 장치(3000)의 제어부는 상기 제1 감지 지점(P1)에 대한 제1 로인텐시티(i1 =150) 및 제1 보정된 인텐시티값(i`1=200), 및 상기 제2 감지 지점(P2)에 대한 제2 로인텐시티(i2 =130) 및 제2 보정된 인텐시티값(i`2=200)를 획득할 수 있다. 이때, 상기 제1 감지 지점(P1) 및 상기 제2 감지 지점(P2)의 물성이 동일하므로, 상기 제1 보정된 인텐시티값(i`1)은 상기 제2 보정된 인텐시티값(i`2)과 동일하거나 유사할 수 있다. 즉 상기 제1 보정된 인텐시티값(i`1)과 상기 제2 보정된 인텐시티값(i`2)은 상기 물성에 대응되는 값일 수 있다.
또한, 예를 들어, 상기 라이다 장치(3000)의 제어부는 동일한 물성을 가지는 제2 대상체(14)에 포함되는 제3 감지 지점(P3) 및 제4 감지 지점(P4)에 대한 보정된 인텐시티값을 포함하는 인텐시티 정보를 획득할 수 있다. 예를 들어, 상기 라이다 장치(3000)의 제어부는 상기 제3 감지 지점(P3)에 대한 제3 로인텐시티(i3=40) 및 제3 보정된 인텐시티값(i`3=60), 및 상기 제4 감지 지점(P4)에 대한 제4 로인텐시티(i4=35) 및 제4 보정된 인텐시티값(i`4=60)을 생성할 수 있다. 이때, 상기 제3 감지 지점(P3) 및 상기 제4 감지 지점(P4)의 물성이 동일하므로, 상기 제3 보정된 인텐시티값(i`3)은 상기 제4 보정된 인텐시티값(i`4)과 동일하거나 유사할 수 있다. 즉 상기 제3 보정된 인텐시티값(i`3)과 상기 제4 보정된 인텐시티값(i`4)은 상기 물성에 대응되는 값일 수 있다.
또한, 이에 따라, 상기 라이다 장치(3000)는 상기 보정된 인텐시티를 기초로 대상체를 구분할 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)의 제어부는 복수의 대상체에 대해 대상체의 고유 물성을 반영하는 보정된 인텐시티를 획득함으로써, 상기 복수의 대상체 각각을 구분할 수 있다. 예를 들어, 상기 라이다 장치(3000)는 보정된 인텐시티를 포함하는 인텐시티 정보를 기초로 상기 제1 대상체(13) 및 상기 제2 대상체(14)를 구분할 수 있다.
또한, 이에 한정되지 않고, 상기 라이다 장치는 감지 신호를 소정의 알고리즘을 기초로 전처리(pre-processing)할 수 있다. 예를 들어, 상기 라이다 장치의 제어부는 상기 감지 신호를 스무싱(smoothing), 또는 노말라이제이션(normalization) 등의 알고리즘을 기초로 전처리하여 보다 정확한 인텐시티 정보를 획득할 수 있다.
일 예로, 상기 라이다 장치의 제어부는 감지 신호에서 감지 지점에 반사되어 수신된 광에 대응되는 신호를 제외한 신호를 제거할 수 있다. 보다 구체적으로, 상기 제어부는 상기 감지 신호에서 소정의 알고리즘을 기초로 노이즈 신호로 판단된 신호를 제거할 수 있다. 예를 들어, 상기 제어부는 상기 감지 신호에서 상기 라이다 장치로부터 조사된 레이저의 프로파일에 대응되는 신호를 제외한 신호를 노이즈로 판단하여 제거할 수 있으나, 이에 한정되지 않는다.
다른 예로, 상기 라이다 장치의 제어부는 감지 신호의 특정 구간을 추출할 수 있다. 보다 구체적으로, 상기 제어부는 상기 라이다 장치의 수신부의 동작 범위 및 분해능을 고려하여, 상기 감지 신호에 의해 판단된 광의 양을 특정 구간으로 제한할 수 있다. 예를 들어, 상기 라이다 장치가 [0,8000] 세기 구간의 광을 수신하는 경우, [3000,5000]의 특정 세기 구간을 필터링할 수 있으나, 이에 한정되지 않는다. 이는, 상기 제어부가 상기 특정 세기 구간의 신호를 인텐시티값에 선형적으로 매칭하기 위함일 수 있다.
3.2.3. 강화된 인텐시티(Enhanced Intensity Value)
라이다 장치는 감지 지점으로부터 산란된 레이저의 적어도 일부를 수신하여 생성한 감지 신호를 기초로 감지 지점에 대한 로인텐시티를 생성할 수 있다. 이때, 상기 로인텐시티는 상기 감지 지점까지의 거리, 입사각, 또는 물성 등을 반영하여 결정될 수 있다.
이 경우, 상기 로인텐시티에 반영되는 다양한 정보들 중 적어도 일부를 더 강조하기 위해, 상기 라이다 장치는 소정의 알고리즘을 기초로 로인텐시티에 상기 다양한 정보들 중 일부를 더 보강하여 강화된 인텐시티를 생성할 수 있다. 보다 구체적으로, 상기 라이다 장치는 목적에 따라 상기 로인텐시티에 감지 지점과 관련되는 파라미터를 선택적으로 보강하여 강화된 인텐시티를 생성할 수 있다.
일 예로, 대상체의 형상을 입체적으로 시각화하기 위해, 상기 라이다 장치는 상기 로인텐시티에 감지 지점의 기하학적 특성과 관련된 파라미터를 보강하여 기하학적으로 강화된 인텐시티를 생성할 수 있으나, 이에 한정되지 않는다.
아래에서는 라이다 장치가 획득 가능한 기하학적으로 강화된 인텐시티에 대해서 상세히 설명한다.
4. 기하학적으로 강화된 인텐시티(Geometrically enhanced intensity value)
4.1. 기하학적으로 강화된 인텐시티의 필요성
라이다 장치는 감지 지점에서 산란된 광의 적어도 일부를 기초로 감지 신호를 생성하고, 상기 감지 신호를 기초로 로인텐시티를 생성할 수 있다. 여기서, 상기 로인텐시티는 상기 감지 지점의 반사적 특성 및 기하학적 특성을 반영할 수 있다.
이때, 상기 감지 지점의 반사적 특성은 감지 지점의 고유 물성에 대응되는 특성일 수 있다. 보다 구체적으로, 상기 감지 지점의 반사적 특성은 상기 감지 지점에서 반사되어 상기 라이다 장치로 되돌아오는 광의 비율을 의미할 수 있고, 상기 감지 지점에서 재귀반사되어 상기 라이다 장치로 되돌아오는 광의 비율은 상기 감지 지점의 고유 물성에 의존할 수 있다.
또한, 상기 감지 지점의 기하학적 특성은 상기 감지 지점에 조사되는 레이저의 입사각에 대응되는 특성일 수 있다. 보다 구체적으로, 상기 감지 지점의 기하학적 특성은 상기 감지 지점과 관련된 영역의 형상을 의미할 수 있고, 상기 감지 지점과 관련된 영역의 형상에 따라 상기 감지 지점에 조사되는 레이저의 입사각이 결정될 수 있다.
또한, 상기 로인텐시티는 감지 지점의 기하학적 특성보다 상기 감지 지점의 반사적 특성을 더 많이 반영할 수 있다. 이에 따라, 상기 로인텐시티는 감지 지점의 반사적 특성을 나타내는 값일 수 있고, 상기 라이다 장치는 상기 로인텐시티를 통해 상기 감지 지점의 기하학적 특성을 나타내는데에 한계가 있을 수 있다.
상기와 같은 이유로, 라이다 장치는 로인텐시티를 기초로 기하학적으로 강화된 인텐시티를 생성할 수 있다. 이때, 상기 기하학적으로 강화된 인텐시티는 감지 지점의 반사적 특성뿐만 아니라 상기 감지 지점의 기하학적 특성을 나타낼 수 있는 값일 수 있다. 예를 들어, 상기 라이다 장치는 복수의 감지 지점들에 대한 기하학적으로 강화된 인텐시티를 기초로 상기 복수의 감지 지점들의 기하학적 형상을 실제와 가깝게 시각화할 수 있으나, 이에 한정되지 않는다.
아래에서는 라이다 장치가 기하학적으로 강화된 인텐시티를 생성하는 방법에 대해서 상세히 설명한다.
4.2. 기하학적으로 강화된 인텐시티(Geometrically enhanced intensity value)의 생성 방법
일 실시예에 따른 라이다 장치는 복수의 감지 지점들 각각에 대한 기하학적으로 강화된 인텐시티를 생성할 수 있다. 이때, 상기 기하학적으로 강화된 인텐시티는 상기 복수의 감지 지점들 각각의 기하학적 특성을 강조하기 위한 강화된 인텐시티의 한 종류일 수 있다. 예를 들어, 대상체의 형상을 보다 현실적으로 나타내기 위해, 라이다 장치는 상기 라이다 장치로부터 조사되는 레이저의 방향 및 상기 레이저가 산란되는 복수의 감지 지점들의 기하학적 특성을 더 반영하도록 상기 기하학적으로 강화된 인텐시티를 생성할 수 있으나, 이에 한정되지 않는다.
도 25는 일 실시예에 따른 라이다 장치가 기하학적으로 강화된 인텐시티를 생성하는 방법을 설명하기 위한 흐름도이다.
도 25를 참조하면, 라이다 장치는 감지 지점에서 산란된 광의 적어도 일부를 수신하여 생성한 감지 신호를 기초로 반사 파라미터(Reflection Parameter, RP)를 획득할 수 있다(S1014).
또한, 상기 라이다 장치는 감지 지점에 대한 기하학적 특성(Geometric Characteristic, GC)을 기초로 기하 파라미터(Geometric Parameter, GP)를 획득할 수 있다(S1015).
또한, 상기 라이다 장치는 상기 반사 파라미터 및 상기 기하 파라미터를 결합하여 기하학적으로 강화된 인텐시티(Geometrically Enhanced Intensity value, GEI)를 생성할 수 있다(S1016).
아래에서는 도 25의 각 단계에 대한 상세한 설명과 함께 기하학적으로 강화된 인텐시티를 생성하는 방법을 더 상세히 설명한다.
4.2.1. 반사 파라미터(Reflection Parameter)를 획득하는 단계
4.2.1.1. 반사 파라미터의 정의
일 실시예에 따른 라이다 장치가 획득하는 반사 파라미터(Reflection Parameter, RP)는 감지 지점의 반사적 특성을 반영하는 파라미터일 수 있다. 보다 구체적으로, 상기 반사 파라미터는 상기 감지 지점에서 반사되어 라이다 장치에 수신되는 레이저를 기초로 생성될 수 있다. 예를 들어, 상기 라이다 장치는 수신한 레이저를 기초로 감지 신호를 생성할 수 있고, 상기 감지 신호를 기초로 감지 지점에 대한 반사 파라미터를 생성할 수 있으나, 이에 한정되지 않는다.
일 예로, 상기 반사 파라미터는 상기 라이다 장치가 획득하는 로인텐시티일 수 있다. 또한, 다른 예로, 상기 반사 파라미터는 상기 라이다 장치가 상기 로인텐시티를 보정하여 생성한 보정된 인텐시티일 수 있으나, 이에 한정되지 않는다.
4.2.1.2. 반사 파라미터의 생성 방법
도 25의 단계 S1014를 참조하면, 라이다 장치는 감지 지점에서 산란된 광의 적어도 일부를 수신하여 감지 신호를 생성할 수 있고, 상기 감지 신호를 기초로 반사 파라미터를 획득할 수 있다.
도 26은 일 실시예에 따른 라이다 장치가 반사 파라미터를 생성하는 방법을 설명하기 위한 흐름도이다.
도 26을 참조하면, 라이다 장치는 감지 신호의 특성을 파악할 수 있다(S1017). 이때, 상기 감지 신호의 특성은 상기 감지 신호의 펄스폭, 펄스면적, 피크, rising edge, 또는 falling edge 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치는 상기 감지 신호의 특성을 기초로 반사 파라미터를 생성할 수 있다(S1018). 보다 구체적으로, 상기 라이다 장치는 상기 감지 신호의 적어도 하나의 특성을 계산하여, 상기 감지 신호의 특성에 대응되는 반사 파라미터를 생성할 수 있다. 예를 들어, 상기 라이다 장치는 상기 감지 신호의 펄스폭을 계산하여, 상기 감지 신호의 펄스폭에 대응되는 반사 파라미터를 생성할 수 있으나, 이에 한정되지 않는다.
또한, 이 경우, 상기 반사 파라미터는 상기 감지 지점에서 산란되는 레이저의 양에 관련될 수 있다. 보다 구체적으로, 상기 반사 파라미터는 상기 감지 지점의 반사적 특성을 반영하므로, 상기 반사 파라미터는 상기 감지 지점에서 산란되는 레이저의 양 또는 레이저의 세기에 비례한 값일 수 있다.
라이다 장치가 상기 반사 파라미터를 생성하는 방법은 상기 라이다 장치가 로인텐시티를 생성하는 방법 또는 상기 보정된 인텐시티를 생성하는 방법과 동일할 수 있다.
4.2.1.3. 반사 파라미터의 활용
라이다 장치는 상기 반사 파라미터를 다양하게 활용할 수 있다.
일 예로, 상기 라이다 장치는 상기 반사 파라미터를 기초로 기하학적으로 강화된 인텐시티를 생성할 수 있다. 상기 반사 파라미터를 기초로 기하학적으로 강화된 인텐시티를 생성하는 방법에 대해서는 아래에서 상세히 설명한다.
다른 예로, 상기 라이다 장치는 상기 반사 파라미터를 인텐시티 정보로 활용할 수 있다. 보다 구체적으로, 상기 라이다 장치는 복수의 감지 지점들 각각에 대해서 획득한 반사 파라미터를 상기 복수의 감지 지점들에 대한 인텐시티 정보로 저장할 수 있다.
또한, 예를 들어, 상기 라이다 장치는 복수의 인텐시티값을 포함하는 인텐시티 정보를 생성하는 경우, 상기 반사 파라미터를 상기 인텐시티 정보에 포함되는 하나의 인텐시티값으로서 활용할 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 복수의 감지 지점들 각각에 대한 반사 파라미터를 제1 인텐시티 정보로 데이터 시트에 저장할 수 있으나, 이에 한정되지 않는다.
4.2.2. 기하 파라미터(Geometric Parameter)를 획득하는 단계
4.2.2.1. 기하 파라미터의 정의 및 생성
일 실시예에 따른 라이다 장치가 획득하는 기하 파라미터(Geometric Parameter, GP)는 감지 지점에 대한 기하학적 특성을 반영하는 파라미터일 수 있다. 보다 구체적으로, 상기 기하 파라미터는 상기 감지 지점에서 반사되는 레이저의 양과 관련없이, 상기 감지 지점에 조사되는 레이저의 방향 및 상기 감지 지점의 기하학적 형상을 기초로 생성될 수 있다. 예를 들어, 상기 라이다 장치는 조사한 레이저의 방향 및 상기 감지 지점의 기하학적 특성을 판단할 수 있고, 상기 레이저의 방향 및 상기 기하학적 특성을 기초로 감지 지점에 대한 기하 파라미터를 생성할 수 있으나, 이에 한정되지 않는다. 또한, 상기 기하 파라미터는 감지 지점의 기하학적 특성에 의존할 수 있다. 보다 구체적으로, 라이다 장치로부터 조사되는 레이저의 방향이 일정한 경우, 감지 지점의 기하학적 특성에 따라 상기 감지 지점에 대한 기하 파라미터가 결정될 수 있다.
도 25의 단계 S1015를 참조하면, 라이다 장치는 감지 지점에 대한 기하학적 특성을 기초로 기하 파라미터를 획득할 수 있다.
도 27은 일 실시예에 따른 라이다 장치가 기하 파라미터를 생성하는 방법을 설명하기 위한 흐름도이다.
도 27을 참조하면, 라이다 장치는 감지 지점에 조사되는 레이저의 방향을 판단할 수 있다(S1019). 또한, 라이다 장치는 감지 지점의 기하학적 특성을 결정할 수 있다(S1020). 또한, 상기 라이다 장치는 레이저의 방향 및 기하학적 특성을 기초로 기하 파라미터를 생성할 수 있다(S1021). 상술한 각 단계는 도 27 및 본 명세서에 기재된 순서로 한정되는 것은 아니고, 실시예에 따라 각 단계의 순서가 바뀔 수 있음은 물론이다.
아래에서는 라이다 장치가 기하 파라미터를 생성하는 방법을 도 27의 각 단계를 기초로 상세히 설명한다.
4.2.2.1.1. 레이저의 방향을 판단하는 단계
도 27의 단계 S1019를 참조하면, 라이다 장치는 감지 지점에 조사되는 레이저의 방향을 판단할 수 있다.
보다 구체적으로, 라이다 장치는 라이다 장치의 위치 및 감지 지점의 위치 정보를 기초로 레이저의 방향을 판단할 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 라이다 장치의 광학 원점 및 상기 감지 지점의 위치 좌표를 연결하는 벡터를 계산함으로써, 레이저의 방향을 결정할 수 있다.
또한, 라이다 장치는 미리 설정된 스캔 패턴을 기초로 레이저의 방향을 판단할 수 있다. 이때, 상기 라이다 장치는 레이저 출력부를 통해 레이저를 조사할 수 있고, 옵틱부 또는 스캐닝부를 통해 소정의 스캔 패턴을 형성할 수 있다. 또한, 이 경우, 상기 라이다 장치는 제어부를 통해 레이저 조사 시점 및 옵틱부 또는 스캐닝부의 동작을 제어할 수 있다. 이에 따라, 상기 라이다 장치는 레이저 조사 시점에 따른 스캐닝 동작을 시간에 따라 판단 가능하므로, 상기 라이다 장치는 감지 지점에 조사되는 레이저의 방향을 실시간으로 판단할 수 있다.
4.2.2.1.2. 기하학적 특성을 결정하는 단계
도 27의 단계 S1020을 참조하면, 라이다 장치는 감지 지점의 기하학적 특성을 결정할 수 있다. 이때, 상기 기하학적 특성은 상기 감지 지점을 포함하는 소정의 영역의 기하학적 형상을 수식 또는 명칭 등을 통해 나타낼 수 있으나, 이에 한정되지 않는다. 예를 들어, 기하학적 특성은 감지 지점과 관련된 영역의 기하학적 형상을 나타내는 값일 수 있으나, 이에 한정되지 않는다.
도 28은 일 실시예에 따른 라이다 장치가 판단하는 감지 지점의 기하학적 특성을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 라이다 장치가 기하학적 특성을 결정하기 위한 방법을 설명하기 위한 흐름도이다.
도 28을 참조하면, 라이다 장치는 복수의 감지 지점들 각각에 대한 기하학적 특성(Geometric Characteristic, GC)을 판단할 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 복수의 감지 지점들 각각에 기하학적 형상을 나타내는 기하학적 특성을 판단할 수 있다. 예를 들어, 상기 라이다 장치는 상기 복수의 감지 지점들 각각의 위치 정보를 기초로 상기 기하학적 특성을 판단할 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 복수의 감지 지점들 각각의 위치 정보의 분포를 기초로 상기 복수의 감지 지점들의 형상을 판단하여 기하학적 특성을 결정할 수 있다.
일 예로, 상기 기하학적 특성은 감지 지점을 기초로 형성되는 가상의 평면의 법선 벡터를 포함할 수 있다. 라이다 장치가 법선 벡터를 포함하는 기하학적 특성을 결정하는 방법은 다음과 같다.
도 29를 참조하면, 라이다 장치는 감지 지점의 위치 정보를 기초로 감지 지점 그룹을 결정할 수 있다(S1022). 또한, 상기 라이다 장치는 감지 지점 그룹의 위치 정보를 기초로 가상의 평면을 생성할 수 있다(S1023). 또한, 상기 라이다 장치는 가상의 평면의 법선 벡터를 기초로 감지 지점의 기하학적 특성을 결정할 수 있다(S1024).
단계 S1022에서, 라이다 장치는 감지 지점의 기하학적 특성을 판단하기 위해, 감지 지점의 위치 정보를 기초로 상기 감지 지점 및 상기 감지 지점 주변의 적어도 하나의 감지 지점들을 포함하는 감지 지점 그룹을 결정할 수 있다. 이는, 상기 감지 지점의 법선 벡터를 결정하려면 하나 이상의 감지 지점들의 위치 정보를 파악해야하기 때문이다. 예를 들어, 도 28을 참조하면, 라이다 장치는 상기 제1 감지 지점(P1)을 포함하는 제1 감지 지점 그룹(3610), 제2 감지 지점(P2)을 포함하는 제2 감지 지점 그룹(3620), 및 제3 감지 지점(P3)을 포함하는 제3 감지 지점 그룹(3630)을 결정할 수 있으나, 이에 한정되지 않는다. 이때, 상기 각각의 감지 지점 그룹들은 감지 지점의 위치 정보를 기초로 결정될 수 있다. 예를 들어, 상기 라이다 장치는 기하학적 특성을 판단하기 위한 감지 지점의 위치 정보를 기초로 상기 감지 지점으로부터 소정의 거리 이내의 다른 감지 지점들을 선택할 수 있고, 상기 감지 지점 및 선택된 다른 감지 지점들을 하나의 감지 지점 그룹으로 결정할 수 있으나, 이에 한정되지 않는다.
물론, 실시예에 따라, 라이다 장치는 상기 단계 S1022와 같이 감지 지점 그룹을 결정하지 않고, 하기의 단계 S1023를 수행할 수 있다.
또한, 단계 S1023에서, 라이다 장치는 감지 지점에 대한 법선 벡터를 판단하기 위해 감지 지점 그룹의 위치 정보를 기초로 가상의 평면을 생성할 수 있다. 구체적으로, 라이다 장치는 감지 지점과 상기 감지 지점과 이웃하는 점들을 대표하는 국소 평면(local plane)을 추정함으로써 가상의 평면을 생성하고, 법선 벡터를 결정할 수 있다. 이는, 통상적으로 법선 벡터는 평면의 방향성을 나타내는 벡터이므로, 감지 지점에 대한 법선 벡터를 결정하기 위해서는 상기 감지 지점의 형상에 대응되는 가상의 평면을 생성할 필요가 있기 때문이다.
구체적으로, 라이다 장치는 상기 감지 지점 그룹에 포함된 복수의 감지 지점들과 가장 인접하도록 가상의 평면을 생성할 수 있다. 다시 말해, 상기 라이다 장치는 상기 감지 지점 그룹에 포함된 복수의 감지 지점들로부터의 거리의 편차가 최소화된 가상의 평면을 생성할 수 있다.
예를 들어, 도 28을 참조하면, 라이다 장치는 상기 제1 감지 지점 그룹(3610)의 위치 정보를 기초로 제1 가상의 평면(3711)을 생성할 수 있다. 이때, 상기 제1 가상의 평면(3711)으로부터 상기 제1 감지 지점 그룹(3610)에 포함된 복수의 감지 지점들까지의 거리는 일정할 수 있다. 보다 구체적으로, 상기 제1 감지 지점 그룹(3610)은 대상체의 동일 평면 상에 위치하므로, 상기 제1 가상의 평면(3711)으로부터 상기 제1 감지 지점 그룹(3610)에 포함된 복수의 감지 지점들까지의 거리는 일정할 수 있다. 또한, 상기 제1 가상의 평면(3610)으로부터 상기 제1 감지 지점 그룹(3610)에 포함된 복수의 감지 지점들까지의 거리는 0일 수 있으나, 이에 한정되지 않는다. 또한, 상기 제1 가상의 평면(3610)은 상기 제1 감지 지점 그룹(3610)을 포함하는 평면일 수 있다.
또한, 예를 들어, 라이다 장치는 상기 제2 감지 지점 그룹(3620)의 위치 정보를 기초로 제2 가상의 평면(3721)을 생성할 수 있다. 이때, 상기 제2 가상의 평면(3721)으로부터 상기 제2 감지 지점 그룹(3620)에 포함된 복수의 감지 지점들까지의 거리는 상이할 수 있다. 이는, 상기 제2 감지 지점 그룹(3620)은 대상체의 상이한 평면 상에 위치한 감지 지점들을 포함하기 때문이다. 보다 구체적으로, 상기 제2 감지 지점 그룹(3620)은 상이한 두 평면에 포함되는 복수의 감지 지점들로 구성되므로, 라이다 장치는 상기 두 평면과 교차되는 제2 가상의 평면(3721)을 생성할 수 있다. 또한, 라이다 장치는 상기 제2 감지 지점 그룹(3620)에 포함된 복수의 감지 지점들로부터의 거리의 편차가 최소가 되도록 상기 제2 가상의 평면(3721)을 생성할 수 있다.
또한, 예를 들어, 라이다 장치는 상기 제3 감지 지점 그룹(3630)의 위치 정보를 기초로 제3 가상의 평면(3731)을 생성할 수 있다. 이때, 상기 제3 감지 지점 그룹(3630)은 상이한 세 평면에 포함되는 복수의 감지 지점들로 구성되므로, 라이다 장치는 상기 세 평면과 교차되는 제3 가상의 평면(3731)을 생성할 수 있다. 또한, 라이다 장치는 상기 제3 감지 지점 그룹(3630)에 포함된 복수의 감지 지점들로부터의 거리의 편차가 최소가 되도록 상기 제3 가상의 평면(3731)을 생성할 수 있다.
또한, 단계 S1024에서, 라이다 장치는 단계 S1023을 통해 생성한 가상의 평면의 법선 벡터를 기초로 감지 지점의 기하학적 특성을 결정할 수 있다. 보다 구체적으로, 라이다 장치는 감지 지점에 대한 기하학적 특성을 상기 감지 지점을 기초로 생성된 가상의 평면의 법선 벡터로 나타낼 수 있다. 이때, 라이다 장치는 상기 가상의 평면을 나타낼 수 있는 두 법선 벡터 중 라이다 장치의 광학 원점과의 사이각이 작은 벡터를 감지 지점의 법선 벡터로 결정할 수 있다.
예를 들어, 도 28을 참조하면, 라이다 장치는 제1 감지 지점(P1)에 대한 기하학적 특성을 상기 제1 가상의 평면(3711)의 제1 법선 벡터(n1)로 나타낼 수 있다. 또한, 예를 들어, 라이다 장치는 제2 감지 지점(P2)에 대한 기하학적 특성을 상기 제2 가상의 평면(3712)의 제2 법선 벡터(n2)로 나타낼 수 있다. 또한, 예를 들어, 라이다 장치는 제3 감지 지점(P3)에 대한 기하학적 특성을 상기 제3 가상의 평면(3713)의 제3 법선 벡터(n3)로 나타낼 수 있다.
또한, 다른 예로, 상기 기하학적 특성은 감지 지점을 포함하는 소정의 영역의 형상 정보를 포함할 수 있다. 보다 구체적으로, 상기 라이다 장치는 일 감지 지점 및 상기 감지 지점 주변의 다른 감지 지점들의 위치 정보를 기초로 상기 감지 지점을 포함하는 영역의 형상 정보를 판단할 수 있다. 예를 들어, 상기 라이다 장치는 감지 지점의 기하학적 특성을 Plane(면), Edge(엣지), 또는 Corner(코너) 등으로 나타낼 수 있으나, 이에 한정되지 않는다.
구체적인 예로, 도 28을 참조하면, 라이다 장치는 대상체에 포함되는 복수의 감지 지점들에 대한 기하학적 특성(GC)을 결정할 수 있다. 이때, 상기 라이다 장치는 상기 복수의 감지 지점들 각각에 대한 기하학적 특성(GC)을 결정할 수 있지만, 이에 한정되지 않고, 상기 복수의 감지 지점들 중 적어도 일부에 대하여만 기하학적 특성을 결정할 수도 있다.
예를 들어, 라이다 장치는 제1 감지 지점(P1)에 관련되는 제1 영역(3710)에 포함되는 감지 지점들의 위치 정보를 기초로 상기 제1 감지 지점(P1)의 기하학적 특성을 Plane(면)으로 결정할 수 있으나, 이에 한정되지 않는다. 구체적으로, 라이다 장치는 상기 제1 영역(3710)에 포함되는 복수의 감지 지점들의 위치 정보의 분포가 평면에 가깝다고 판단할 수 있고, 이에 따라 제1 감지 지점(P1)의 기하학적 특성을 Plane으로 결정할 수 있다.
또한, 예를 들어, 라이다 장치는 제2 감지 지점(P2)에 관련되는 제2 영역(3720)에 포함되는 감지 지점들의 위치 정보를 기초로 상기 제2 감지 지점(P2)의 기하학적 특성을 Edge(모서리)로 결정할 수 있으나, 이에 한정되지 않는다. 보다 구체적으로, 라이다 장치는 상기 제2 영역(3720)에 포함되는 복수의 감지 지점들의 위치 정보의 분포가 두개의 교차되는 평면에 가깝다고 판단할 수 있다. 또한, 이 경우, 상기 제2 영역(3720) 상에서 두개의 평면이 교차되는 지점에 상기 제2 감지 지점(P2)이 존재하므로, 라이다 장치는 상기 제2 감지 지점(P2)의 기하학적 특성을 두개의 평면이 교차되는 Edge라고 판단할 수 있다.
또한, 예를 들어, 라이다 장치는 제3 감지 지점(P3)에 관련되는 제3 영역(3730)에 포함되는 감지 지점들의 위치 정보를 기초로 상기 제3 감지 지점(P3)의 기하학적 특성을 Corner(코너)으로 결정할 수 있으나, 이에 한정되지 않는다. 보다 구체적으로, 라이다 장치는 상기 제3 영역(3730)에 포함되는 복수의 감지 지점들의 위치 정보의 분포가 세개의 교차되는 평면에 가깝다고 판단할 수 있다. 또한, 이 경우, 상기 제3 영역(3730) 상에서 세개의 평면이 교차되는 지점에 상기 제3 감지 지점(P3)이 존재하므로, 라이다 장치는 상기 제3 감지 지점(P3)의 기하학적 특성을 세개의 평면이 교차되는 Corner라고 판단할 수 있다.
또한, 도 28에 도시되어 있지는 않지만, 라이다 장치는 곡면에 위치하는 제4 감지 지점의 기하학적 특성을 Curved Surface(곡면)으로 판단할 수 있다. 보다 구체적으로, 라이다 장치는 상기 제4 감지 지점에 관련된 제4 영역에 포함되는 복수의 감지 지점들의 위치 정보의 분포가 소정의 곡률을 가지는 곡면에 가깝다고 판단할 수 있다. 또한, 이 경우, 라이다 장치는 상기 제4 감지 지점의 기하학적 특성을 Curved Surface라고 판단할 수 있다.
4.2.2.1.3. 기하 파라미터를 생성하는 단계
도 27의 단계 S1021을 참조하면, 라이다 장치는 감지 지점에 조사되는 레이저의 방향과 상기 감지 지점의 기하학적 특성을 기초로 기하 파라미터(GP)를 생성할 수 있다.
도 30은 일 실시예에 따른 라이다 장치가 기하 파라미터를 생성하는 방법을 설명하기 위한 도면이다.
도 30을 참조하면, 라이다 장치(3000)는 기하 파라미터(GP)를 생성하기 위한 제1 연산모델(3810)을 포함할 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)의 제어부는 상기 제1 연산모델(3810)을 포함할 수 있다. 이때, 상기 라이다 장치의 제어부는 상기 제1 연산모델(3810)에 감지 지점에 조사되는 레이저의 방향(l) 정보 및 상기 감지 지점의 기하학적 특성 정보를 인풋 데이터(input data)로 입력할 수 있다. 또한, 상기 제어부는 상기 제1 연산모델(3810)을 이용해 상기 감지 지점에 조사되는 레이저의 방향(l) 정보 및 상기 감지 지점의 기하학적 특성 정보를 소정의 연산 방법으로 계산하여 감지 지점에 대한 기하 파라미터(GP)를 아웃풋 데이터(output data)로 출력할 수 있다.
또한, 라이다 장치(3000)에 포함되는 제1 연산모델(3810)은 다양한 연산 방법을 기초로 감지 지점에 대한 기하 파라미터를 계산할 수 있다.
일 실시예에 따른 라이다 장치는 감지 지점에 조사되는 레이저의 방향 및 상기 감지 지점의 기하학적 특성만을 소정의 알고리즘을 기초로 연산하여 상기 감지 지점에 대한 기하 파라미터를 계산할 수 있다. 이때, 상기 라이다 장치는 상기 라이다 장치의 스캔 영역 상에 레이저가 조사되는 복수의 감지 지점들 각각에 대해서 기하 파라미터를 계산할 수 있으나, 이에 한정되지 않고, 상기 복수의 감지 지점들 중 적어도 일부에 대해서 기하 파라미터를 계산할 수도 있다.
구체적으로, 상기 라이다 장치의 제어부는 상기 감지 지점의 법선 벡터 및 상기 감지 지점에 조사되는 레이저의 방향을 기초로 상기 감지 지점으로 조사되는 레이저의 입사각을 반영하는 기하 파라미터를 생성할 수 있다. 이때, 상기 기하 파라미터는 감지 지점에 조사되는 레이저의 입사각이 증가할수록 감소할 수 있다. 예를 들어, 상기 감지 지점에 조사되는 레이저의 방향과 상기 감지 지점의 법선 벡터 간의 사이각이 커질수록 상기 기하 파라미터는 감소할 수 있으나, 이에 한정되지 않는다.
예를 들어, 상기 라이다 장치의 제어부는 하기의 [식 1]을 기초로 감지 지점에 대한 기하 파라미터(GP)를 계산할 수 있다.
[식 1]
Figure pat00003
(n : 감지 지점의 법선 벡터, l : 감지 지점에 조사되는 레이저의 방향 벡터)
[식 1]을 참조하면, 일 실시예에 따른 라이다 장치가 생성하는 기하 파라미터는 감지 지점의 법선 벡터와 상기 감지 지점에 조사되는 레이저의 방향 벡터의 내적값일 수 있다. 이에 따라, 상기 기하 파라미터는 상기 감지 지점의 법선 벡터와 상기 감지 지점에 조사되는 레이저의 방향 간의 사이각에 반비례할 수 있다. 다시 말해, 상기 기하 파라미터 및 상기 감지 지점에 조사되는 레이저의 입사각은 코사인 함수 형태의 상관 관계를 가질 수 있으나, 이에 한정되지 않는다.
또한, 다른 일 실시예에 따른 라이다 장치는 감지 지점에 조사되는 레이저의 방향 및 상기 감지 지점의 기하학적 특성뿐 만 아니라, 감지 지점의 거리 정보 및 상기 감지 지점의 물성 정보를 소정의 알고리즘을 기초로 연산하여 상기 감지 지점에 대한 기하 파라미터를 계산할 수 있다.
구체적으로, 라이다 장치의 제어부는 감지 지점으로 조사되는 레이저의 입사각뿐 만 아니라 상기 감지 지점의 물성 및 상기 감지 지점까지의 거리를 반영하는 기하 파라미터를 생성할 수 있다.
예를 들어, 상기 라이다 장치의 제어부는 하기의 [식 2]를 기초로 감지 지점에 대한 기하 파라미터(GP)를 계산할 수 있다.
[식 2]
Figure pat00004
(kd : 반사도 계수, d: 감지 지점의 거리 정보, n: 감지 지점의 법선 벡터, l: 감지 지점에 조사되는 레이저의 방향)
이때, 상기 반사도 계수(kd)는 감지 지점의 물성 정보를 나타내는 값일 수 있다. 보다 구체적으로, 상기 라이다 장치는 상기 반사도 계수를 통해 상기 기하 파라미터가 상기 감지 지점의 물성 정보를 반영하도록 연산을 수행할 수 있다. 예를 들어, 상기 반사도 계수(kd)는 상기 감지 지점의 재질, 색상, 또는 투명도 등에 기초하여 결정될 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치의 제어부는 감지 지점의 물성을 람버시안(lambetian) 표면으로 가정하여 기하 파라미터를 계산할 수 있다. 보다 구체적으로, 상기 제어부는 난반사(diffuse reflection)를 주로 일으키는 람버시안 표면에 대한 반사도 계수를 기초로 감지 지점에 대한 기하 파라미터를 계산할 수 있다. 즉, 상기 감지 지점이 포함된 대상체의 실제 물성과 관련없이, 상기 라이다 장치는 상기 대상체의 물성을 람버시안 표면으로 가정하여 기하 파라미터를 계산할 수 있다.
또한, 상기 라이다 장치의 제어부는 대상체별 반사도 계수(kd)를 미리 저장할 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 대상체의 물성에 따른 반사도 계수(kd)를 미리 저장하여, 소정의 대상체에 포함되는 감지 지점 대한 기하 파라미터를 연산하는 경우 상기 소정의 대상체에 대응되는 반사도 계수를 기초로 기하 파라미터를 계산할 수 있다.
또한, 상기 라이다 장치가 [식 2]에 따라 생성하는 기하 파라미터는 감지 지점까지의 거리 정보를 반영할 수 있다. 보다 구체적으로, 상기 라이다 장치가 거리감이 반영된 점군 이미지를 생성하기 위해, 감지 지점까지의 거리 정보가 반영된 기하 파라미터를 생성할 수 있다. 예를 들어, 상기 라이다 장치의 제어부는 상기 라이다 장치의 광학 원점으로부터 감지 지점까지의 거리 또는 거리의 제곱에 반비례하는 기하 파라미터를 생성할 수 있다.
4.2.2.2. 기하 파라미터의 활용
일 실시예에 따른 라이다 장치는 상기 기하 파라미터를 감지 지점에 대한 기하학적으로 강화된 인텐시티를 생성하기 위해 활용할 수 있다. 다만, 상기 기하 파라미터가 상기와 같은 용도에 한정되는 것은 아니고, 라이다 장치는 상기 기하 파라미터를 감지 지점에 대한 독립적인 정보로써 활용할 수 있다.
일 예로, 라이다 장치는 상기 기하 파라미터를 감지 지점에 대한 인텐시티 정보로 설정할 수 있다. 보다 구체적으로, 상기 라이다 장치가 생성하는 감지 지점에 대한 인텐시티 정보는 상기 감지 지점에 대한 기하 파라미터를 포함할 수 있다. 예를 들어, 상기 라이다 장치가 감지 지점에 대해 생성하는 포인트 데이터는 상기 감지 지점에 대한 인텐시티 정보를 포함할 수 있고, 여기서 상기 인텐시티 정보는 상기 감지 지점에 대한 기하 파라미터를 포함할 수 있다. 또한, 이에 한정되지 않고, 상기 포인트 데이터와 독립적으로 상기 감지 지점에 대해 생성되는 인텐시티 정보 또한 상기 감지 지점에 대한 기하 파라미터를 포함할 수 있다.
또한, 다른 예로, 상기 라이다 장치가 생성하는 인텐시티 정보가 다수의 인텐시티값을 포함하는 경우, 상기 라이다 장치는 기하 파라미터를 하나의 인텐시티값으로 포함시킬 수 있다. 예를 들어, 상기 라이다 장치는 감지 지점에 대한 반사 파라미터로 나타나는 제1 인텐시티값 및 상기 감지 지점에 대한 기하 파라미터로 나타나는 제2 인텐시티값을 포함하는 인텐시티 정보를 생성할 수 있으나, 이에 한정되지 않는다.
또한, 또 다른 예로, 상기 라이다 장치는 상기 기하 파라미터를 통해 상기 감지 지점의 기하학적 형상을 나타낼 수 있다. 보다 구체적으로, 상기 기하 파라미터는 상기 감지 지점의 기하학적 형상에 의존하므로, 상기 기하 파라미터는 상기 감지 지점의 기하학적 형상을 나타내기 위한 수단으로 사용될 수 있다.
또한, 또 다른 예로, 상기 라이다 장치는 상기 기하 파라미터를 상기 감지 지점이 포함되는 대상체의 형상 정보로 활용할 수 있다. 보다 구체적으로, 상기 라이다 장치는 대상체에 포함되는 적어도 하나의 감지 지점들에 대한 기하 파라미터를 사용하여 상기 대상체의 형상 정보를 생성할 수 있다. 예를 들어, 소정의 대상체에 적어도 하나의 감지 지점에 포함되는 경우, 상기 라이다 장치는 상기 적어도 하나의 감지 지점에 대한 기하 파라미터로 구성되는 상기 대상체에 대한 형상 정보를 생성할 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치는 상기 기하 파라미터를 이미지 생성을 위한 픽셀값으로 활용할 수 있다. 이에 대한 상세한 내용은 하기에서 설명한다.
4.2.3. 기하학적으로 강화된 인텐시티를 생성하는 단계
도 25의 단계 S1016를 참조하면, 라이다 장치는 감지 지점에 대한 반사 파라미터 및 기하 파라미터를 결합하여 기하학적으로 강화된 인텐시티를 생성할 수 있다.
구체적으로, 라이다 장치의 제어부는 복수의 감지 지점들 각각에 대해 생성한 반사 파라미터 및 기하 파라미터를 소정의 알고리즘을 기초로 결합하는 연산을 수행하여 상기 복수의 감지 지점들 각각에 대한 기하학적으로 강화된 인텐시티를 생성할 수 있다.
도 31은 일 실시예에 따른 라이다 장치의 제어부가 기하학적으로 강화된 인텐시티를 생성하는 방법을 설명하기 위한 도면이다.
도 31을 참조하면, 라이다 장치(3000)는 기하학적으로 강화된 인텐시티(GEI)를 생성하기 위한 제2 연산모델(3820)을 포함할 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)의 제어부는 상기 제2 연산모델(3820)을 포함할 수 있다. 이때, 상기 라이다 장치의 제어부는 상기 제2 연산모델(3820)에 감지 지점에 대한 반사 파라미터(RP) 및 상기 감지 지점에 대한 기하 파라미터(GP)를 인풋 데이터(input data)로 입력할 수 있다. 또한, 상기 제어부는 상기 제2 연산모델(3820)을 이용해 상기 반사 파라미터(RP)와 상기 기하 파라미터(FP)를 소정의 연산 방법으로 계산하여 감지 지점에 대한 기하학적으로 강화된 인텐시티(GEI)를 아웃풋 데이터(output data)로 출력할 수 있다.
또한, 상기 라이다 장치(3000)에 포함되는 제2 연산모델(3820)은 다양한 연산 방법을 기초로 기하학적으로 강화된 인텐시티를 생성할 수 있다.
예를 들어, 라이다 장치의 제어부는 반사 파라미터(RP) 및 기하 파라미터(GP)를 선형적으로 결합하여 기하학적으로 강화된 인텐시티(GEI)를 생성할 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 상기 기하학적으로 강화된 인텐시티(GEI)가 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP) 각각에 비례하도록 선형적 연산 방법을 이용하여 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)를 결합할 수 있다.
4.2.3.1. 합연산을 통한 기하학적으로 강화된 인텐시티의 생성 방법
일 예로, 라이다 장치의 제어부는 복수의 감지 지점들 각각에 대해 도출된 반사 파라미터(RP) 및 기하 파라미터(GP)를 합연산하여 기하학적으로 강화된 인텐시티(GEI)를 생성할 수 있다. 보다 구체적으로, 상기 제어부는 도 26의 알고리즘을 기초로 계산된 반사 파라미터 및 도 27의 알고리즘을 기초로 계산된 기하 파라미터를 더하여 기하학적으로 강화된 인텐시티(GEI)를 생성할 수 있다. 즉, 상기 제어부는 상기 반사 파라미터(RP)의 값 및 상기 기하 파라미터(GP)의 값을 수치적으로 합하여 기하학적으로 강화된 인텐시티(GEI)값을 생성할 수 있으나, 이에 한정되지 않는다.
4.2.3.2. 가중치를 통한 기하학적으로 강화된 인텐시티의 생성 방법
다른 예로, 라이다 장치의 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP) 각각에 가중치를 할당하는 연산 방법을 기초로 기하학적으로 강화된 인텐시티(GEI)를 생성할 수 있다. 다시 말해, 상기 라이다 장치의 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)의 가중 합계(weighted sum)를 기하학적을 강화된 인텐시티(GEI)로 결정할 수 있다. 또한, 상기 라이다 장치의 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)의 비중을 고려하여 상기 적어도 하나의 가중치를 설정할 수 있다. 이때, 상기 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)의 결합 비율을 고려하여 상기 가중치를 결정할 수 있다. 즉, 상기 제어부는 적어도 하나의 가중치를 결정하여 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)각각에 상기 적어도 하나의 가중치를 할당함으로써 상기 기하학적으로 강화된 인텐시티(GEI)를 생성할 수 있다.
예를 들어, 상기 라이다 장치의 제어부는 상기 반사 파라미터(RP)에 제1 가중치를 할당하고, 상기 기하 파라미터(GP)에 제2 가중치를 할당하여 상기 기하학적으로 강화된 인텐시티(GEI)를 생성할 수 있다. 이때, 상기 제어부는 상기 제1 가중치와 상기 제2 가중치의 합이 일정하도록 상기 제1 가중치 및 제2 가중치를 설정할 수 있다. 다시 말해, 복수의 감지 지점들 모두에 대한 제1 가중치 제2 가중치의 합은 일정할 수 있다. 구체적인 예로, 상기 제어부는 상기 제1 가중치 및 상기 제2 가중치의 합이 1이 되도록 상기 제1 가중치 및 상기 제2 가중치를 설정할 수 있다. 이때, 상기 제1 가중치가 'x'로 나타나는 경우, 상기 제2 가중치는 '1-x'로 나타날 수 있으나, 이에 한정되지 않는다.
예를 들어, 반사 파라미터(RP) 및 기하 파라미터(GP)의 결합을 통해 기하학적으로 강화된 인텐시티(GEI)를 생성하는 방법은 [식 3]을 기초로 수행될 수 있다.
[식 3]
Figure pat00005
(
Figure pat00006
: 제1 가중치,
Figure pat00007
: 제2 가중치)
[식 3]을 참조하면, 라이다 장치가 생성하는 기하학적으로 강화된 인텐시티(GEI)는 반사 파라미터(RP) 및 기하 파라미터(GP)에 비례할 수 있다. 구체적으로, 반사 파라미터(RP) 및 기하 파라미터(GP)를 선형적으로 결합함에 따라, 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP) 각각의 크기가 커질수록 상기 기하학적으로 강화된 인텐시티(GEI)의 크기가 커질 수 있다.
또한, 예를 들어, 라이다 장치는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)에 대해서 각각 독립적으로 가중치 할당할 수 있다. 보다 구체적으로, 복수의 감지 지점들 각각에 대해 상기 반사 파라미터(RP)에 대한 제1 가중치 및 상기 기하 파라미터(GP)에 대한 제2 가중치의 합은 일정하지 않을 수 있다.
또한, 상기 라이다 장치는 실험적인 방법을 기초로 상기 적어도 하나의 가중치를 할당할 수 있다. 예를 들어, 상기 라이다 장치가 기하학적으로 강화된 인텐시티로 나타나는 인텐시티 정보를 기초로 이미지를 생성하는 경우, 상기 라이다 장치는 상기 이미지에서 대상체의 형상적 특성(예를 들어, 음영)이 가장 잘 드러나는 가중치를 실험적으로 추출할 수 있다.
또한, 상기 라이다 장치는 감지 지점의 물성 정보를 고려하여 상기 적어도 하나의 가중치를 결정할 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 상기 감지 지점의 재질, 투명도, 또는 색상 등을 고려하여 상기 적어도 하나의 가중치를 결정할 수 있다. 예를 들어, 상기 라이다 장치는 감지 지점의 재질을 기초로 상기 반사 파라미터(RP)에 대한 제1 가중치 및 상기 기하 파라미터(GP)에 대한 제2 가중치를 할당할 수 있다. 구체적으로, 상기 감지 지점의 재질이 재귀반사(retroreflection)를 주로 일으키는 재질인 경우, 제1 가중치를 할당하지 않고 제2 가중치를 높게 할당할 수 있다. 또한, 상기 감지 지점의 재질이 난반사(diffuse reflection)를 주로 일으키는 재질인 경우, 상기 제1 가중치를 높게 할당하고, 상기 제2 가중치를 할당하지 않을 수 있으나, 이에 한정되지 않는다.
또한, 상기 라이다 장치는 감지 지점에 조사되는 레이저의 입사각 정보를 고려하여 상기 적어도 하나의 가중치를 결정할 수 있다.
다시 도 22(b)를 참조하면, 라이다 장치가 획득하는 감지 지점에 대한 로인텐시티는 상기 감지 지점에 조사되는 레이저의 입사각에 반비례할 수 있다. 이 경우, 상기 로인텐시티의 상기 입사각에 대한 변화율은 입사각에 따라 상이할 수 있다. 보다 구체적으로, 소정 각도 이내의 범위에서의 상기 로인텐시티의 변화율은 상기 소정 각도 이후의 범위에서의 상기 로인텐시티의 변화율 보다 작을 수 있다. 예를 들어, 입사각이 60도 이내일 때의 상기 입사각이 증가함에 따라 상기 로인텐시티가 감소하는 비율은 입사각이 60도 이상일 때의 상기 입사각이 증가함에 따라 상기 로인텐시티가 감소하는 비율보다 작을 수 있으나, 이에 한정되지 않는다.
상기와 같은 로인텐시티의 변화율의 특성을 고려하여, 라이다 장치는 입사각 정보를 고려한 적어도 하나의 가중치를 결정할 수 있다. 보다 구체적으로, 소정 각도 이내에서는 로인텐시티의 변화율이 작으므로, 기하학적으로 강화된 인텐시티의 입사각에 의한 민감도를 증가시키기 위해 상기 라이다 장치의 제어부는 상기 기하 파라미터(GP)에 대한 제2 가중치를 높게 할당할 수 있다. 또한, 소정 각도 이상에서는 로인텐시티의 변화율이 커서 기하학적으로 강화된 인텐시티의 입사각에 의한 민감도가 충분히 크므로, 상기 라이다 장치의 제어부는 상기 기하 파라미터(GP)에 대한 제2 가중치를 낮게 할당할 수 있다.
또한, 상기 라이다 장치는 상기 기하 파라미터(GP)의 분포를 기초로 상기 적어도 하나의 가중치를 결정할 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 스캔 영역 내에 존재하는 복수의 감지 지점들에 대한 기하 파라미터(GP)의 분포를 기초로 상기 적어도 하나의 가중치를 결정할 수 있다. 예를 들어, 상기 라이다 장치는 소정의 대상체에 대한 복수의 감지 지점들의 기하 파라미터(GP)의 분포를 기초로 상기 복수의 감지 지점들에 대한 기하학적으로 강화된 인텐시티를 계산하기 위한 상기 적어도 하나의 가중치를 결정할 수 있다. 구체적인 예로, 상기 라이다 장치는 상기 소정의 대상체에 대한 기하 파라미터(GP)의 분포에서, 기하 파라미터(GP)가 1인 지점과 기하 파라미터가 2인 지점의 반사 파라미터(RP) 차이를 계산할 수 있고, 이를 기초로 상기 적어도 하나의 가중치를 결정할 수 있다.
또한, 이에 더해, 상기 라이다 장치는 라이다 장치의 하드웨어적 특성을 반영하는 상기 적어도 하나의 가중치를 결정할 수 있다. 보다 구체적으로, 감지 지점을 스캔하는 라이다 장치의 하드웨어적 특성 별로 상기 기하 파라미터(GP)의 분포를 파악할 수 있다. 예를 들어, 복수의 라이다 장치의 제어부는 각각의 라이다 장치의 소정의 대상체에 대한 복수의 감지 지점들에 대한 기하 파라미터(GP)의 분포를 미리 저장할 수 있고, 상기 각각의 라이다 장치가 서로 상이한 가중치를 설정하도록 제어할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 라이다 장치의 제어부는 정규화(normalization) 방식을 기초로 기하학적으로 강화된 인텐시티(GEI)를 생성할 수 있다. 여기서, 정규화(normalization)란 아웃풋 데이터의 수치를 미리 정해진 범위 이내로 맞추기 위한 과정을 포괄적으로 의미하는 용어이다.
일 예로, 라이다 장치는 반사 파라미터(RP)와 기하 파라미터(GP)를 결합하기 전에, 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)를 정규화할 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)를 동일한 수치 범위(numerical range)를 기준으로 정규화할 수 있다.
이때, 상기 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)를 생성한 후, 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)가 동일한 수치 범위를 가지도록 정규화할 수 있다. 예를 들어, 상기 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)를 계산한 후, 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)가 [0,255]의 수치 범위를 가지도록 정규화할 수 있다.
또한, 상기 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)를 생성할 때, 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)가 동일한 수치 범위를 가지도록 정규화할 수 있다. 예를 들어, 상기 제어부는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)를 계산할 때, 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)가 [0,255]의 수치 범위를 가지도록 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)의 계산 알고리즘을 수행할 수 있다.
다른 예로, 상기 라이다 장치는 반사 파라미터(RP)와 기하 파라미터(GP)를 결합함으로써 획득되는 기학적으로 강화된 인텐시티(GEI)를 정규화할 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 상기 기학적으로 강화된 인텐시티(GEI)가 및 상기 반사 파라미터(RP)와 동일한 수치 범위(numerical range)를 가지도록 상기 기학적으로 강화된 인텐시티(GEI)를 정규화할 수 있다.
이때, 상기 제어부는 상기 기학적으로 강화된 인텐시티(GEI)를 생성한 후, 기학적으로 강화된 인텐시티(GEI)가 상기 반사 파라미터(RP) 및/또는 상기 기하 파라미터(GP)와 동일한 수치 범위를 가지도록 정규화할 수 있다. 예를 들어, 상기 제어부는 상기 기학적으로 강화된 인텐시티(GEI)를 계산한 후, 상기 기학적으로 강화된 인텐시티(GEI)가 상기 반사 파라미터(RP)와 동일하게 [0,255]의 수치 범위를 가지도록 정규화할 수 있다.
또한, 상기 제어부는 상기 기학적으로 강화된 인텐시티(GEI)를 생성할 때, 상기 기학적으로 강화된 인텐시티(GEI)가 상기 반사 파라미터(RP) 및/또는 상기 기하 파라미터(GP)와 동일한 수치 범위를 가지도록 정규화할 수 있다. 예를 들어, 상기 제어부는 상기 기학적으로 강화된 인텐시티(GEI)를 계산할 때, 상기 기학적으로 강화된 인텐시티(GEI)가 상기 반사 파라미터(RP)와 동일하게 [0,255]의 수치 범위를 가지도록 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)의 결합에 따른 상기 기학적으로 강화된 인텐시티(GEI)의 계산 알고리즘을 수행할 수 있다.
또한, 상기 제어부는 상기 기학적으로 강화된 인텐시티(GEI)를 생성할 때, 상기 기학적으로 강화된 인텐시티(GEI)가 상기 반사 파라미터(RP) 및/또는 상기 기하 파라미터(GP)와 동일한 수치 범위를 가지도록 적어도 하나의 가중치를 할당할 수 있다. 예를 들어, 상기 제어부는 상기 기하학적 강화된 인텐시티(GEI)를 계산할 때, 상기 기학적으로 강화된 인텐시티(GEI)가 상기 반사 파라미터(RP) 와 동일하게 [0,255]의 수치 범위를 가지도록 상기 반사 파라미터(RP)에 대한 제1 가중치 및 상기 기하 파라미터(GP)에 대한 제2 가중치를 할당할 수 있다.
아래에서는 감지 지점에 대한 인텐시티 정보로 기하학적으로 강화된 인텐시티를 이용함에 따른 효과를 설명한다.
4.3. 기하학적으로 강화된 인텐시티의 효과
일 실시예에 따른 라이다 장치는 감지 지점에 대한 로인텐시티에 상기 감지 지점의 형상 정보를 고려한 파라미터를 결합함으로써 상기 감지 지점의 기하학적으로 강화된 인텐시티를 생성할 수 있다. 이에 따라, 일 실시예에 따른 라이다 장치는 감지 지점에 대한 인텐시티 정보에 상기 기하학적으로 강화된 인텐시티를 포함시킴으로써 감지 지점에 대한 이미지를 실제와 가깝게 도출할 수 있다.
도 32는 일 실시예에 따른 라이다 장치가 기하학적으로 강화된 인텐시티를 포함하는 인텐시티 정보를 기초로 생성한 점군 이미지의 특징을 설명하기 위한 도면이다.
도 32를 참조하면, 라이다 장치(3000)는 상기 복수의 감지 지점들에 대한 두개 이상의 인텐시티값을 이용해 상기 점군 이미지를 생성할 수 있다. 보다 구체적으로, 상기 라이다 장치(3000)는 상기 복수의 감지 지점들에 대해서 반사 파라미터(RP), 기하 파라미터(GP), 및 기하학적으로 강화된 인텐시티(GEI) 중 적어도 하나를 기초로 점군 이미지를 생성할 수 있다.
보다 바람직하게는, 상기 라이다 장치(3000)는 상기 복수의 감지 지점들에 대한 기하학적으로 강화된 인텐시티(GEI)를 이용해 상기 점군 이미지를 생성할 수 있다. 이때, 상기 기하학적으로 강화된 인텐시티(GEI)는 상기 반사 파라미터(RP) 및 상기 기하 파라미터(GP)의 결합을 기초로 생성될 수 있다.
예를 들어, 도 32를 참조하면, 상기 라이다 장치(3000)의 제어부는 제1 감지 지점(P1)에 대한 제1 반사 파라미터(RP1 = 70) 및 제2 감지 지점(P2)에 대한 제2 반사 파라미터(RP2 =60)를 이용해 상기 제1 감지 지점(P1) 및 상기 제2 감지 지점(P2)을 시각화할 수 있다. 이 경우, 상기 라이다 장치(3000)로부터 상기 제1 감지 지점(P1) 및 상기 제2 감지 지점(P2)까지의 거리 및 입사각이 상이하므로, 상기 제1 반사 파라미터(RP1=70)는 상기 제2 반사 파라미터(RP2=60)는 상이한 값을 가질 수 있다. 여기서, 감지 지점에 조사되는 레이저의 입사각이 증가할수록 상기 반사 파라미터(RP)는 감소하는 정도가 작으므로 상기 제1 반사 파라미터(RP1)를 이용해 생성된 제1 감지 지점(P1)에 대한 포인트의 색상은 상기 제2 반사 파라미터(GP2)를 이용해 생성된 제2 감지 지점(P2)에 대한 포인트의 색상과 유사할 수 있다.
또한, 예를 들어, 상기 라이다 장치(3000)의 제어부는 상기 제1 감지 지점(P1)에 대한 제1 반사 파라미터(RP1=70) 및 제1 기하 파라미터(GP1=50)를 결합하여 제1 기하학적으로 강화된 인텐시티(GEI1=120)을 생성할 수 있다. 또한, 상기 제어부는 상기 제2 감지 지점(P2)에 대한 제2 반사 파라미터(RP2=60) 및 제2 기하 파라미터(GP2=10)를 결합하여 제2 기하학적으로 강화된 인텐시티(GEI2=70)을 생성할 수 있다. 이때, 상기 제1 기하 파라미터(GP1) 및 상기 제2 기하 파라미터(GP2)의 차이는 상기 제1 반사 파라미터(RP1) 및 상기 제2 반사 파라미터(RP2)의 차이보다 클 수 있다. 이는, 상기 라이다 장치(3000)는 감지 지점에 조사되는 레이저의 입사각을 기초로 상기 기하 파라미터(GP)를 생성하므로, 상기 기하 파라미터가 상기 반사 파라미터에 비해 입사각에 더 의존하는 파라미터이기 때문이다.
또한, 이 경우, 상기 라이다 장치(3000)는 상기 제1 감지 지점(P1)에 대한 제1 기하학적으로 강화된 인텐시티(GEI1) 및 상기 제2 감지 지점(P2)에 대한 제2 기하학적으로 강화된 인텐시티(GEI2)를 기초로 상기 제1 감지 지점(P1) 및 상기 제2 감지 지점(P2)를 시각화할 수 있다. 이때, 상기 제1 기하학적으로 강화된 인텐시티(GEI1) 및 상기 제2 기하학적으로 강화된 인텐시티(GEI2)의 차이는 상기 제1 반사 파라미터(RP1) 및 상기 제2 반사 파라미터(RP2)의 차이보다 클 수 있다. 이에 따라, 상기 제1 기하학적으로 강화된 인텐시티(GEI1)를 이용해 생성된 상기 제1 감지 지점(P1)에 대한 포인트의 색상은 상기 제2 기하학적으로 강화된 인텐시티(GEI2)를 이용해 생성된 상기 제2 감지 지점(P2)에 대한 포인트의 색상보다 더 밝을 수 있다. 또한, 기하학적으로 강화된 인텐시티(GEI)를 이용해 생성된 상기 제1 감지 지점(P1) 및 상기 제2 감지 지점(P2)에 대한 포인트의 색상 차이는 상기 반사 파라미터(RP)를 이용해 생성된 상기 제1 감지 지점(P1) 및 상기 제2 감지 지점(P2)에 대한 포인트의 색상 차이보다 클 수 있다.
도 33은 일 실시예에 다른 라이다 장치가 다양한 인텐시티 정보를 기초로 생성하는 점군 이미지를 비교하기 위한 도면이다.
도 33(a)는 반사 파라미터를 포함하는 제1 인텐시티 정보를 이용해 생성한 점군 이미지이다.
도 33(b) 기하 파라미터를 포함하는 제2 인텐시티 정보를 이용해 생성한 점군 이미지이다.
도 33(c) 반사 파라미터 및 기하 파라미터를 결합하여 생성한 기하학적으로 강화된 인텐시티를 포함하는 제3 인텐시티 정보를 이용해 생성한 점군 이미지이다.
도 33을 참조하면, 일 실시예에 따른 라이다 장치는 스캔 가능 영역에 포함되는 복수의 감지 지점들에 대해 다양한 인텐시티값을 기초로 점군 이미지를 생성할 수 있다. 구체적으로, 상기 라이다 장치는 상기 복수의 감지 지점들에 대해 반사 파라미터, 기하 파라미터, 및 기하학적으로 강화된 인텐시티 중 적어도 하나를 기초로 점군 이미지를 생성할 수 있다.
도 33(a) 및 도 33(b)를 참조하면, 기하 파라미터를 이용해 시각화된 점군 이미지는 반사 파라미터를 이용해 시각화된 점군 이미지에 비해 대상체의 형상 정보를 더 반영할 수 있다. 보다 구체적으로, 라이다 장치는 기하 파라미터를 이용해 점군 이미지를 생성함으로써 동일한 대상체에 대해서 상기 동일한 대상체의 각 지점별로 입사되는 입사각의 차이를 나타낼 수 있다.
또한, 도 33(a) 및 도 33(b)를 참조하면, 반사 파라미터를 이용해 시각화된 점군 이미지는 기하 파라미터를 이용해 시각화된 점군 이미지에 비해 대상체의 물성 정보를 더 반영할 수 있다. 보다 구체적으로, 반사 파라미터는 대상체에서 산란되어 라이다 장치에 수신되는 레이저의 세기에 비례하므로, 상기 라이다 장치는 점군 이미지에 포함되는 복수의 대상체를 구별하도록 반사 파라미터를 이용해 점군 이미지를 생성할 수 있다.
또한, 도 33(a) 및 도 33(c)를 참조하면, 기하학적으로 강화된 인텐시티를 이용해 시각화된 점군 이미지는 반사 파라미터를 이용해 시각화된 점군 이미지에 비해 대상체에 조사되는 레이저의 입사각 정보를 더 반영할 수 있다. 보다 구체적으로, 라이다 장치는 기하학적으로 강화된 인텐시티를 이용해 광원의 위치에 따른 음영을 반영하는 점군 이미지를 생성할 수 있다. 다시 말해, 동일한 벽면에 대한 복수의 감지 지점들에 조사되는 레이저의 입사각이 상이하므로, 상이한 입사각 정보를 고려한 기하학적으로 강화된 인텐시티를 이용해 음영이 반영된 점군 이미지를 생성할 수 있다.
상기와 같은 효과는 인텐시티 정보가 감지 지점에 조사되는 레이저의 입사각 정보를 얼마나 반영하는지 여부와 관련될 수 있다. 다시 말해, 상기 인텐시티 정보가 복수의 감지 지점들에 대한 입사각 정보를 많이 반영할수록, 라이다 장치는 상기 인텐시티 정보를 이용해 상기 복수의 감지 지점들을 실제와 가까운 형상이 나타나도록 이미지를 생성할 수 있다.
도 34는 일 실시예에 따른 라이다 장치가 생성하는 인텐시티 정보에 포함될 수 있는 인텐시티값들의 입사각에 대한 민감도를 설명하기 위한 도면이다.
상기 라이다 장치가 생성하는 감지 지점에 대한 기하학적으로 강화된 인텐시티(GEI)는 상기 감지 지점에 대한 로인텐시티(또는 반사 파라미터)에 비해 입사각 정보를 보다 많이 반영할 수 있다. 예를 들어, 도 34(a) 및 도 34(c)를 참조하면, 상기 기하학적으로 강화된 인텐시티(GEI)의 입사각에 대한 민감도는 상기 반사 파라미터(RP) 또는 로인텐시티의 입사각에 대한 민감도 보다 클 수 있다. 이는, 상기 라이다 장치의 제어부는 입사각에 대한 민감도가 낮은 반사 파라미터에 입사각에 대한 민감도가 큰 기하 파라미터를 결합함으로써 상기 기하학적으로 강화된 인텐시티를 생성하기 때문이다.
또한, 상기 라이다 장치가 생성하는 감지 지점에 대한 기하학적으로 강화된 인텐시티(GEI)는 상기 감지 지점에 대한 기하 파라미터(GP)에 비해 입사각 정보를 보다 많이 반영할 수 있다. 예를 들어, 도 34(b) 및 도 34(c)를 참조하면, 상기 기하학적으로 강화된 인텐시티(GEI)의 입사각에 대한 민감도는 상기 기하 파라미터(GP)의 입사각에 대한 민감도 보다 클 수 있다. 이는, 상기 라이다 장치의 제어부는 감지 지점의 기하학적 특성과 감지 지점에 조사되는 레이저의 방향을 기초로 기하 파라미터(GP)를 생성하므로, 상기 기하 파라미터(GP)가 입사각에 의존하는 값이기 때문이다. 다만, 상기 기하학적으로 강화된 인텐시티(GEI)를 산출하는 방식에 따라, 상기 기하 파라미터(GP)의 입사각에 대한 민감도가 상기 기하학적으로 강화된 인텐시티(GEI)의 입사각에 대한 민감도보다 클 수 있다. 또한, 실시예에 따라, 입사각의 크기 구간 별로 각각의 입사각에 대한 민감도의 크기가 상이하게 나타날 수 있다.
이에 더해, 상기 기하학적으로 강화된 인텐시티(GEI)의 거리에 대한 민감도는 상기 반사 파라미터(RP)의 거리에 대한 민감도 보다 클 수 있다. 이는, 라이다 장치의 제어부가 거리가 증가함에 따라 감소하는 반사 파라미터에 마찬가지로 거리가 증가함에 따라 감소하는 기하 파라미터를 결합하여 기하학적으로 강화된 인텐시티를 생성하기 때문이다.
또한, 상기 기하학적으로 강화된 인텐시티(GEI)의 거리에 대한 민감도는 상기 기하 파라미터(GP)의 거리에 대한 민감도 보다 클 수 있다. 이는, 실시예에 따라 라이다 장치는 감지 지점까지의 거리와 관계없이 기하 파라미터를 생성할 수 있기 때문이다. 또한, 라이다 장치가 거리를 고려하여 기하 파라미터를 생성하더라도, 상기 기하학적으로 강화된 인텐시티는 상기 기하 파라미터에 반사 파라미터를 결합함으로써 생성되므로 상기 기하학적으로 강화된 인텐시티(GEI)의 거리에 대한 민감도는 상기 기하 파라미터(GP)의 거리에 대한 민감도 보다 클 수 있다.
아래에서는 라이다 장치가 기하학적으로 강화된 인텐시티를 포함하는 인텐시티 정보를 활용하는 다양한 실시예에 대해 설명한다.
5. 인텐시티 정보의 활용 (1) - 투영(projection)을 통한 2d 이미지 생성
일 실시예에 따른 라이다 장치는 인텐시티 정보를 반영하는 이미지를 생성할 수 있다. 이때, 상기 이미지는 인텐시티맵, 포인트 클라우드 이미지 등 다양한 용어로 표현될 수 있다. 보다 구체적으로, 상기 라이다 장치의 제어부는 3d 포인트 클라우드 데이터를 소정의 알고리즘을 기초로 투영(projection)하여 2d 이미지를 생성할 수 있다.
도 35는 일 실시예에 따른 라이다 장치가 2d 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 35를 참조하면, 라이다 장치는 감지 지점의 포인트 데이터를 픽셀 데이터로 투영할 수 있다(S1025). 또한, 상기 라이다 장치는 상기 픽셀 데이터를 포함하는 2d 이미지를 생성할 수 있다(S1026).
이때, 상기 포인트 데이터는 상기 감지 지점에 대한 인텐시티 정보를 포함할 수 있다. 또한, 상기 픽셀 데이터는 상기 2d 이미지를 구성하는 단위 픽셀에 포함되는 데이터일 수 있다. 이에 따라, 상기 라이다 장치는 소정의 투영 알고리즘을 기초로 인텐시티 정보를 포함하는 3d 포인트 데이터를 복수의 픽셀 데이터를 포함하는 2d 이미지로 변환할 수 있으나, 이에 한정되지 않는다.
도 36은 일 실시예에 따른 라이다 장치가 구면 투영 방법을 이용하여 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 36(a)는 라이다 장치가 획득하는 3차원 점군 이미지를 도시한 도면이다.
도 36(b)는 라이다 장치가 활용하는 구면 투영 좌표계를 도시한 도면이다.
도 36(c)는 라이다 장치가 구면 투영 좌표계를 기초로 생성한 2d 이미지를 도시한 도면이다.
도 36(a) 및 도 36(c)를 참조하면, 상기 라이다 장치는 3d 점군 이미지를 2d 이미지로 변환할 수 있다. 이때, 상기 라이다 장치는 도 36(b)와 같이 구면 투영 좌표계를 활용하여 2d 이미지를 생성할 수 있다. 보다 구체적으로, 상기 2d 이미지의 픽셀 값은 상기 구면 좌표계(spherical coordinate)에서 각 분해능에 따라 일정한 간격으로 샘플링된 양각(zenith)과 방위각(azimuth)에서의 인텐시티값에 대응될 수 있다.
도 37은 일 실시예에 따른 라이다 장치가 2d 이미지를 생성하는 것을 설명하기 위한 도면이다.
도 37을 참조하면, 라이다 장치의 제어부는 복수의 감지 지점들에 대한 포인트 데이터들을 소정의 투영 방법을 기초로 2d 이미지(3900)로 변환함으로써 상기 복수의 감지 지점들에 대한 2d 이미지(3900)를 생성할 수 있다.
이때, 상기 2d 이미지(3900)는 복수의 픽셀 데이터를 포함할 수 있다. 예를 들어, 상기 2d 이미지(3900)는 제1 픽셀 데이터(PX1) 및 제2 픽셀 데이터(PX2)를 포함할 수 있다.
여기서, 상기 픽셀 데이터는 상기 2d 이미지(3900)를 구성하는 기본 단위일 수 있다. 이에 따라, 상기 픽셀 데이터의 개수에 따라 상기 2d 이미지(3900)의 해상도가 결정될 수 있다. 예를 들어, 상기 2d 이미지를 구성하는 픽셀 데이터의 수가 많을수록 상기 2d 이미지의 해상도가 증가하여 더 선명한 이미지를 나타낼 수 있다.
또한, 상기 복수의 픽셀 데이터 각각은 픽셀 좌표(pixel coordinate) 및 픽셀 값(pixel value)을 포함할 수 있다.
여기서, 상기 픽셀 값(pixel value)은 상기 픽셀 데이터의 강도(intensity)를 나타낼 수 있다. 보다 구체적으로, 상기 2d 이미지(3900)는 상기 복수의 픽셀 데이터에 할당된 소정의 픽셀 값(I`)을 기초로 나타날 수 있다. 예를 들어, 상기 복수의 픽셀 데이터 각각은 색상 강도를 나타내는 픽셀 값(I`)을 가질 수 있으나, 이에 한정되지 않는다.
또한, 상기 픽셀 좌표(pixel coordinate)은 상기 2d 이미지(3900) 상에서의 각각의 픽셀 데이터의 위치를 나타낼 수 있다. 보다 구체적으로, 상기 복수의 픽셀 데이터 각각은 상기 픽셀 좌표를 기초로 상기 2d 이미지 상에서의 위치가 결정될 수 있다. 예를 들어, 상기 복수의 픽셀 데이터 각각은 2d 직교 좌표계에 나타나는 상기 픽셀 좌표(u,v)를 가질 수 있으나, 이에 한정되지 않는다.
이에 따라, 상기 라이다 장치의 제어부는 포인트 클라우드 데이터에 포함되는 복수의 포인트 데이터들 각각에 대응하는 복수의 픽셀 데이터의 픽셀 좌표(u,v) 및 픽셀 값(I`)을 결정함으로써 상기 2d 이미지(3900)를 생성할 수 있다.
예를 들어, 상기 라이다 장치의 제어부는 제1 감지 지점(P1) 및 제2 감지 지점(P2)에 대한 포인트 데이터를 각각 제1 픽셀 데이터(PX1) 및 제2 픽셀 데이터(PX2)에 투영함으로써, 상기 제1 픽셀 데이터(PX1(u1,v1,I`1)) 및 상기 제2 픽셀 데이터(PX2(u2,v2,I`2))를 포함하는 2d 이미지를 생성할 수 있다.
도 38은 일 실시예에 따른 라이다 장치가 이미지를 생성하기 위한 픽셀 데이터를 결정하기 위한 흐름도이다.
도 38을 참조하면, 라이다 장치의 제어부는 복수의 포인트 데이터들 각각의 위치 정보를 기초로 픽셀 데이터의 픽셀 좌표를 결정할 수 있다(S1027).
보다 구체적으로, 상기 제어부는 상기 복수의 포인트 데이터들의 위치 정보에 포함되는 위치 좌표들을 소정의 좌표계 변환 알고리즘을 기초로 2d 픽셀 좌표로 변환할 수 있다.
예를 들어, 다시 도 37을 참조하면, 상기 제어부는 상기 제1 감지 지점(P1)의 위치 정보인 (x1,y1,z1)을 구면 투영 방식으로 좌표계 변환하여 상기 2d 이미지(3900) 상의 제1 픽셀 좌표(u1,v1)를 가지는 제1 픽셀 데이터(PX1)로 매칭시킬 수 있다. 또한, 상기 제어부는 상기 제2 감지 지점(P2)의 위치 정보인 (x2,y2,z2)을 구면 투영 방식으로 좌표계 변환하여 상기 2d 이미지(3900) 상의 제2 픽셀 좌표(u2,v2)를 가지는 제2 픽셀 데이터(PX2)로 매칭시킬 수 있다.
또한, 상기 라이다 장치의 제어부는 상기 복수의 포인트 데이터들 각각의 기하학적으로 강화된 인텐시티를 기초로 픽셀 값을 결정할 수 있다(S1028).
보다 구체적으로, 상기 제어부는 상기 복수의 포인트 데이터들의 인텐시티 정보에 포함되는 기하학적으로 강화된 인텐시티값을 기초로 픽셀 데이터의 픽셀 값을 결정할 수 있다. 예를 들어, 상기 제어부는 상기 복수의 포인트 데이터들 각각이 대응되는 복수의 픽셀 데이터의 픽셀 값을 상기 복수의 포인트 데이터들에 대한 기하학적으로 강화된 인텐시티로 설정할 수 있으나, 이에 한정되지 않고, 상기 기하학적으로 강화된 인텐시티를 소정의 방식을 기초로 가공한 값을 상기 픽셀 값으로 설정할 수도 있다.
예를 들어, 다시 도 37을 참조하면, 상기 제어부는 상기 제1 감지 지점(P1)의 인텐시티 정보에 포함되는 제1 기하학적으로 강화된 인텐시티(GEI1)를 기초로 상기 제1 픽셀 데이터(PX1)의 제1 픽셀 값(I`1)을 결정할 수 있다. 이때, 상기 제1 픽셀 값(I`1)은 기하학적으로 강화된 인텐시티(GEI1)와 동일한 값일 수 있으나, 이에 한정되지 않는다. 또한, 상기 제어부는 상기 제2 감지 지점(P2)의 인텐시티 정보에 포함되는 제2 기하학적으로 강화된 인텐시티(GEI2)를 기초로 상기 제2 픽셀 데이터(PX2)의 제2 픽셀 값(I`2)을 결정할 수 있다. 이때, 상기 제2 픽셀 값(I`2)은 기하학적으로 강화된 인텐시티(GEI2)와 동일한 값일 수 있으나, 이에 한정되지 않는다.
이 경우, 상기 복수의 픽셀 데이터의 픽셀 값에 따라 상기 2d 이미지(3900)를 구성하는 각각의 픽셀 데이터의 색상이 결정될 수 있다. 보다 구체적으로, 상기 픽셀 데이터의 픽셀 값이 클수록 상기 픽셀 데이터는 밝은 색상으로 시각화될 수 있다. 예를 들어, 상기 제1 픽셀 데이터(PX1)의 제1 픽셀 값(I`1)이 상기 제2 픽셀 데이터(PX2)의 제2 픽셀 값(I`2)보다 작은 경우, 상기 제1 픽셀 데이터(PX1)는 상기 제2 픽셀 데이터(PX2)에 비해 어두운 색상을 나타낼 수 있으나, 이에 한정되지 않는다.
또한, 도 37은 감지 지점과 픽셀 데이터가 1:1로 매칭되는 것처럼 도시되었지만, 이에 한정되는 것은 아니고, n:1 또는 1:n 으로 매칭될 수 있음은 물론이다.
보다 구체적으로, 상기 라이다 장치가 측정하는 복수의 감지 지점들 중 적어도 두개 이상의 감지 지점이 이미지 상의 하나의 픽셀 데이터로 매칭될 수 있다. 예를 들어, 상기 라이다 장치의 제어부는 바이리니어 인터폴레이션(bilinear interpolation)을 기초로 두개 이상의 감지 지점에 대한 포인트 데이터들을 하나의 픽셀 데이터에 투영할 수 있으나, 이에 한정되지 않는다.
또한, 이에 한정되지 않고, 하나의 감지 지점이 상기 이미지 상의 두개 이상의 픽셀 데이터로 매칭될 수도 있다. 예를 들어, 상기 라이다 장치의 제어부는 이미지의 해상도를 높이기 위해, 하나의 감지 지점에 대한 포인트 데이터를 둘 이상의 픽셀 데이터로 분리하여 투영시킬 수 있으나, 이에 한정되지 않는다.
6. 인텐시티 정보의 활용 (2) - 복수의 파라미터를 이용한 이미지 생성
다른 실시예에 따른 라이다 장치는 기하학적으로 강화된 인텐시티를 생성하는 과정에서 획득되는 복수의 파라미터들을 이용하여 이미지를 생성할 수 있다.
도 39는 다른 실시예에 따른 라이다 장치가 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 39를 참조하면, 라이다 장치의 제어부는 복수의 감지 지점들에 대한 복수의 포인트 데이터들을 포함하는 포인트 클라우드 데이터를 획득할 수 있다(S1029). 또한, 상기 제어부는 뎁스(depth) 정보를 기초로 획득된 제1 채널 값, 기하학적으로 강화된 인텐시티를 기초로 획득된 제2 채널 값, 기하 파라미터를 기초로 획득된 제3 채널 값을 포함하는 복수의 픽셀 데이터들을 생성할 수 있다(S1030). 또한, 상기 제어부는 상기 복수의 픽셀 데이터들을 포함하는 이미지를 생성할 수 있다(S1031).
상기 제어부는 감지 지점에 대한 다양한 정보를 나타내는 이미지를 생성할 수 있다. 보다 구체적으로, 상기 제어부는 상기 감지 지점의 인텐시티 정보뿐 만 상기 감지 지점의 채도 또는 명도 등의 정보를 더 포함하는 이미지를 생성할 수 있다. 이에 따라, 상기 제어부는 복수의 채널 값을 가지는 픽셀 데이터를 생성할 수 있다. 구체적으로, 상기 픽셀 데이터는 픽셀 값을 가지는데, 상기 픽셀 데이터의 픽셀 값은 복수의 채널값을 포함하도록 생성될 수 있다. 예를 들어, 상기 픽셀 데이터의 픽셀 값은 제1 채널 값, 제2 채널 값, 및 제3 채널 값을 가질 수 있으나, 이에 한정되지 않는다.
예를 들어, 상기 제어부는 픽셀 데이터가 뎁스 정보를 기초로 획득된 제1 채널 값을 가지도록 이미지를 생성할 수 있다. 이때, 상기 뎁스 정보는 상기 라이다 장치로부터 감지 지점까지의 거리 정보를 포함할 수 있다. 또한, 상기 제어부가 상기 뎁스 정보를 기초로 이미지를 생성함에 따라, 상기 이미지는 상기 감지 지점의 채도 정보를 포함할 수 있다. 예를 들어, 소정의 감지 지점의 뎁스 정보가 커짐에 따라 상기 제1 채널값이 커지는 경우, 이미지 상에 나타나는 상기 소정의 감지 지점의 채도는 작아질 수 있다. 다시 말해, 상기 이미지 상의 상기 소정의 감지 지점의 선명도는 낮아질 수 있다. 이는, 라이다 장치로부터의 거리가 멀어질수록 이미지 상에 나타나는 감지 지점이 더 선명하지 않게 보이기 때문이다.
또한, 상기 제어부는 픽셀 데이터가 기하학적으로 강화된 인텐시티를 기초로 획득된 제2 채널 값을 가지도록 이미지를 생성할 수 있다. 또한, 상기 제어부가 상기 기하학적으로 강화된 인텐시티를 기초로 이미지를 생성함에 따라, 상기 이미지는 상기 감지 지점의 색상 정보를 포함할 수 있다. 예를 들어, 소정의 감지 지점의 기하학적으로 강화된 인텐시티가 커짐에 따라 상기 제2 채널값이 커지는 경우, 이미지 상에 나타나는 상기 소정의 감지 지점의 색상은 흰색에 가까워질 수 있다. 이는, 감지 지점이 광을 잘 반사하는 반사 특성을 가질수록 이미지 상에 나타나는 감지 지점이 흰색에 가까운 색상으로 보이기 때문이다.
또한, 이에 한정되지 않고, 상기 제어부는 픽셀 데이터가 보정된 인텐시티를 기초로 상기 제2 채널 값을 가지도록 이미지를 생성할 수 있다. 이는, 상기 제2 채널 값을 통해 이미지의 색상을 나타내기 위해, 상기 라이다 장치는 감지 지점의 물성에 따라 결정되는 감지 지점의 반사 특성을 이용해 이미지를 생성할 수 있기 때문이다. 예를 들어, 소정의 감지 지점이 고반사체에 포함되는 경우, 상기 소정의 감지 지점의 보정된 인텐시티가 커짐에 따라 상기 이미지 상에서 상기 소정의 감지 지점의 색상은 흰색에 가까운 색상으로 나타날 수 있다.
또한, 상기 제어부는 픽셀 데이터가 기하 파라미터를 기초로 획득된 제3 채널 값을 가지도록 이미지를 생성할 수 있다. 또한, 상기 제어부가 상기 기하 파라미터를 기초로 이미지를 생성함에 따라, 상기 이미지는 상기 감지 지점의 명도 정보를 포함할 수 있다. 예를 들어, 소정의 감지 지점에 조사되는 레이저의 입사각이 작아지면, 상기 소정의 감지 지점에 대한 기하 파라미터가 커지고, 이에 따라 상기 제3 채널 값이 커지는 경우, 이미지 상에 나타나는 상기 소정의 감지 지점의 명도는 커질 수 있다. 다시 말해, 상기 이미지 상의 상기 소정의 감지 지점의 밝기는 커질 수 있다. 이는, 라이다 장치는 레이저의 조사 방향과 소정의 감지 지점의 기하학적 특성을 기초로 기하 파라미터를 생성하므로, 상기 소정의 감지 지점에 조사되는 레이저의 입사각이 작을수록 상기 라이다 장치가 생성하는 기하 파라미터가 커지기 때문이다.
7. 인텐시티 정보의 활용 (3) - 거리 정보의 보정
일 실시예에 따른 라이다 장치는 동일한 거리에 존재하는 복수의 대상체에 대해서, 상이한 거리 정보를 획득할 수 있다. 이는, 상기 복수의 대상체의 물성이 상이함에 따라 상기 복수의 대상체에 대한 인텐시티 정보가 상이하여, 상기 복수의 대상체에 대한 감지 신호의 펄스 폭이 상이하기 때문이다.
도 40은 일 실시예에 따른 라이다 장치가 인텐시티 정보를 기초로 거리 정보를 보정하는 방법을 설명하기 위한 흐름도이다.
도 40을 참조하면, 일 실시예에 따른 라이다 장치는 감지 지점에서 산란된 광의 적어도 일부를 기초로 감지 신호를 생성할 수 있다(S1032).
또한, 상기 라이다 장치의 제어부는 상기 감지 신호를 기초로 상기 감지 신호의 펄스폭을 획득할 수 있다(S1033). 이 경우, 상기 제어부는 상기 감지 신호의 크기가 제1 임계값인 경우의 상기 감지 신호의 폭을 계산함으로써 상기 감지 신호의 펄스폭을 획득할 수 있다. 또한, 상기 제어부는 상기 감지 신호의 펄스폭을 기초로 상기 감지 지점에 대한 인텐시티 정보를 생성할 수 있다. 여기서, 상기 인텐시티 정보는 상기 감지 지점에 대한 로인텐시티를 포함할 수 있지만, 이에 한정되지 않고, 상기 감지 지점에 대한 보정된 인텐시티 및 상기 감지 지점에 대한 기하학적으로 강화된 인텐시티를 포함할 수 있다.
또한, 상기 제어부는 상기 감지 신호를 기초로 상기 감지 지점의 거리 정보를 획득할 수 있다(S1034). 이 경우, 상기 제어부는 상기 감지 신호의 크기가 상기 제1 임계값 또는 제2 임계값인 경우의 시간을 계산함으로써 상기 감지 지점의 거리 정보를 획득할 수 있다.
또한, 상기 제어부는 상기 감지 신호가 기준 펄스폭을 가지도록 상기 감지 신호를 처리하여 상기 감지 지점에 대한 보정된 거리 정보를 획득할 수 있다(S1035). 보다 구체적으로, 상기 제어부는 동일한 거리에 존재하는 감지 지점들에 대해서 동일한 거리 정보를 획득하기 위해, 감지 신호의 펄스 폭이 상기 기준 펄스 폭에 대응되도록 상기 감지 신호를 처리할 수 있다. 다시 말해, 상기 제어부는 상기 감지 신호의 실제 프로파일(profile)과 관련없이, 상기 감지 신호가 상기 기준 펄스 폭을 가지도록 상기 감지 신호를 임의로 변형시킬 수 있다. 예를 들어, 모든 감지 신호가 동일한 기준 펄스 폭을 갖도록 감지 신호를 변형함에 따라, 동일한 거리에 존재하는 감지 지점들의 경우, 상기 제어부는 상기 감지 지점의 반사 특성과 관련없이 상기 감지 지점들에 대해 동일한 보정된 거리 정보를 획득할 수 있으나, 이에 한정되지 않는다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서,
    복수의 감지 지점들에 대한 복수의 포인트 데이터들을 포함하는 포인트 클라우드 데이터를 획득하는 단계;
    상기 포인트 클라우드 데이터를 기초로 상기 복수의 감지 지점들에 대한 이미지를 생성하는 단계;
    를 포함하고,
    상기 복수의 포인트 데이터 각각은,
    감지 지점에 대한 위치 정보; 및
    상기 감지 지점에 대한 기하학적으로 강화된 인텐시티; 를 포함하고,
    상기 기하학적으로 강화된 인텐시티는 상기 감지 지점에서 산란된 광의 양에 관련된 반사 파라미터 및 상기 감지 지점의 기하학적 특성에 기초한 기하 파라미터의 결합을 기초로 생성되고,
    상기 반사 파라미터는 상기 감지 지점에서 산란된 광의 적어도 일부를 기초로 상기 라이다 장치에 의해 생성되는 감지 신호를 기초로 획득되고,
    상기 기하학적 특성은 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹 - 상기 감지 지점 그룹은 상기 감지 지점 및 상기 감지 지점 주변의 다른 감지 지점들 중 적어도 일부를 포함함 - 에 대한 위치 정보를 기초로 획득되고,
    상기 기하학적으로 강화된 인텐시티는 상기 반사 파라미터 및 상기 기하 파라미터에 비례하는
    라이다 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 감지 지점에 대한 위치 정보는 상기 라이다 장치 및 상기 감지 지점 사이의 거리를 반영하는
    라이다 데이터 처리 방법.
  3. 제1항에 있어서,
    상기 감지 지점에 대한 위치 정보는 상기 감지 신호의 감지 시점 및 상기 라이다 장치의 발광 시점을 기초로 생성되는
    라이다 데이터 처리 방법.
  4. 제1항에 있어서,
    상기 반사 파라미터는 상기 감지 신호의 특성을 기초로 획득되되,
    상기 감지 신호의 특성은 상기 감지 신호의 펄스 폭, 상승 엣지, 하강 엣지, 및 펄스 면적 중 적어도 하나를 포함하는
    라이다 데이터 처리 방법.
  5. 제1항에 있어서,
    상기 감지 신호는 상기 라이다 장치로부터 방출되는 레이저가 상기 감지 지점에 도달할 경우, 상기 감지 지점에서 산란된 레이저의 적어도 일부를 감지함으로써 생성되는
    라이다 데이터 처리 방법.
  6. 제1항에 있어서,
    상기 감지 지점의 기하학적 특성은
    가상의 평면에 대응되는 법선 벡터를 기초로 생성되되,
    상기 가상의 평면은 상기 감지 지점 그룹의 위치 정보를 기초로 형성되는
    라이다 데이터 처리 방법.
  7. 제1항에 있어서,
    상기 감지 지점의 상기 기하학적 특성은 상기 감지 지점 그룹에 의해 형성되는 기하학적 형상을 반영하는
    라이다 데이터 처리 방법.
  8. 제6항에 있어서,
    상기 기하 파라미터는 상기 기하학적 특성 및 상기 라이다 장치로부터 상기 감지 지점을 향해 방출되는 레이저의 방향 벡터를 기초로 획득되는
    라이다 데이터 처리 방법.
  9. 제1항에 있어서,
    상기 반사 파라미터는 상기 감지 지점의 고유 물성 및 상기 라이다 장치 및 상기 감지 지점 사이의 거리에 의존하고,
    상기 기하 파라미터는 상기 감지 지점의 기하학적 특성에 의존하는
    라이다 데이터 처리 방법.
  10. 제1항에 있어서,
    상기 반사 파라미터 및 상기 기하 파라미터의 결합은 상기 기하학적으로 강화된 인텐시티의 수치 범위가 상기 반사 파라미터의 수치 범위와 동일하도록 수행되는
    라이다 데이터 처리 방법.
  11. 제1항에 있어서,
    상기 반사 파라미터 및 상기 기하 파라미터는 동일한 수치 범위를 기준으로 정규화되는
    라이다 데이터 처리 방법.
  12. 제1항에 있어서,
    상기 반사 파라미터 및 상기 기하 파라미터의 결합은 상기 반사 파라미터 및 상기 기하 파라미터의 선형적 결합인
    라이다 데이터 처리 방법.
  13. 제1항에 있어서,
    상기 반사 파라미터 및 상기 기하 파라미터의 결합은 상기 반사 파라미터 및 상기 기하 파라미터 각각에 가중치를 할당함으로써 수행되는
    라이다 데이터 처리 방법.
  14. 제13항에 있어서,
    상기 반사 파라미터에 대한 가중치와 상기 기하 파라미터에 대한 가중치의 합이 일정하도록 상기 반사 파라미터에 대한 가중치와 상기 기하 파라미터에 대한 가중치가 결정되는
    라이다 데이터 처리 방법.
  15. 제13항에 있어서,
    상기 반사 파라미터 및 상기 기하 파라미터 각각에 대한 가중치는 상기 감지 지점에 대한 포인트 데이터를 포함하는 포인트 데이터 셋의 속성 정보를 기초로 결정되는
    라이다 데이터 처리 방법.
  16. 제1항에 있어서,
    상기 이미지는 상기 복수의 포인트 데이터들에 대응되는 복수의 픽셀 데이터들을 포함하고,
    상기 복수의 픽셀 데이터들 각각의 픽셀 좌표는 상기 복수의 포인트 데이터들 각각의 위치 정보를 기초로 결정되고,
    상기 복수의 픽셀 데이터들의 픽셀값은 상기 복수의 포인트 데이터들 각각의 기하학적으로 강화된 인텐시티를 기초로 결정되는
    라이다 데이터 처리 방법.
  17. 제1항에 있어서,
    상기 이미지를 생성하는 단계는,
    상기 감지 지점의 포인트 데이터를 픽셀 데이터로 투영하는 단계, -여기서 상기 픽셀 데이터의 값은 상기 기하학적으로 강화된 인텐시티에 대응됨 -; 및
    상기 복수의 감지 지점들에 대한 상기 복수의 포인트 데이터들 각각에 대해 상기 투영을 수행함으로써 복수의 픽셀 데이터들을 포함하는 상기 이미지를 생성하는 단계;
    를 포함하는
    라이다 데이터 처리 방법.
  18. 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서,
    감지 지점에 대한 위치 정보를 획득하는 단계;
    상기 감지 지점에 대해, 상기 감지 지점에 대응되는 감지 신호를 기초로 제1 인텐시티를 획득하는 단계;
    상기 감지 지점에 대해, 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹에 대한 위치 정보를 기초로 제2 인텐시티를 생성하는 단계; 및
    상기 감지 지점에 대해, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합을 기초로 제3 인텐시티를 생성하는 단계; 를 포함하고,
    상기 제3 인텐시티는 상기 제1 인텐시티 및 상기 제2 인텐시티에 비례하는
    라이다 데이터 처리 방법.
  19. 제18항에 있어서,
    상기 감지 지점에 대한 위치 정보 및 상기 제3 인텐시티는 상기 감지 지점을 포함하는 복수의 감지 지점들에 대한 이미지를 생성하기 위해 이용되는
    라이다 데이터 처리 방법.
  20. 라이다 장치로부터 획득한 포인트 데이터를 처리하기 위한 방법에 있어서,
    감지 지점에 대한 위치 정보를 획득하는 단계;
    상기 감지 지점에 대해, 상기 감지 지점에 대응되는 감지 신호를 기초로 제1 인텐시티를 획득하는 단계;
    상기 감지 지점에 대해, 상기 감지 지점에 대한 위치 정보를 기초로 결정된 감지 지점 그룹에 대한 위치 정보를 기초로 제2 인텐시티를 생성하는 단계; 및
    상기 감지 지점에 대해, 상기 제1 인텐시티 및 상기 제2 인텐시티의 결합을 기초로 제3 인텐시티를 생성하는 단계; 를 포함하고,
    상기 제1 인텐시티 및 상기 제2 인텐시티는 동일한 수치 범위(numerical range)를 기준으로 정규화되고,
    상기 제1 인텐시티 및 상기 제2 인텐시티의 결합은 상기 제3 인텐시티의 수치 범위가 상기 제1 인텐시티의 수치 범위와 동일하도록 수행되는
    라이다 데이터 처리 방법.
  21. 제1항 내지 제20항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 컴퓨터에서 판독 가능한 기록 매체.
KR1020210083129A 2021-01-29 2021-06-25 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치 KR20220110034A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/263,111 US20240077586A1 (en) 2021-01-29 2022-01-28 Method for generating intensity information having extended expression range by reflecting geometric characteristic of object, and lidar apparatus performing same method
PCT/KR2022/001672 WO2022164289A1 (ko) 2021-01-29 2022-01-28 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210013696 2021-01-29
KR20210013696 2021-01-29

Publications (1)

Publication Number Publication Date
KR20220110034A true KR20220110034A (ko) 2022-08-05

Family

ID=82826251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210083129A KR20220110034A (ko) 2021-01-29 2021-06-25 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치

Country Status (1)

Country Link
KR (1) KR20220110034A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540632B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102551930B1 (ko) * 2022-12-15 2023-07-05 주식회사 에스오에스랩 고해상도 라이다 데이터 생성 방법 및 이를 이용하는 라이다 장치
KR102604408B1 (ko) * 2022-11-25 2023-11-22 씨드로닉스(주) 라이다 기반 지도 생성 방법 및 그 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540632B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102604408B1 (ko) * 2022-11-25 2023-11-22 씨드로닉스(주) 라이다 기반 지도 생성 방법 및 그 장치
KR102551930B1 (ko) * 2022-12-15 2023-07-05 주식회사 에스오에스랩 고해상도 라이다 데이터 생성 방법 및 이를 이용하는 라이다 장치

Similar Documents

Publication Publication Date Title
KR20220110034A (ko) 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
Pfeuffer et al. Optimal sensor data fusion architecture for object detection in adverse weather conditions
KR101964100B1 (ko) 신경망 학습 기반의 객체 검출 장치 및 방법
KR20190127624A (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
KR102565778B1 (ko) 객체 인식 방법 및 이를 수행하는 객체 인식 장치
US10860034B1 (en) Barrier detection
KR20100049325A (ko) 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
KR20190070514A (ko) 격자지도 생성 장치 및 방법
Weinmann et al. Preliminaries of 3D point cloud processing
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
EP3979156A1 (en) Work analysis system, work analysis device, and work analysis program
KR102050754B1 (ko) 3d 센서 시스템을 위한 초소형 표적 탐지방법
Buck et al. Generic 3D obstacle detection for AGVs using time-of-flight cameras
US20230177818A1 (en) Automated point-cloud labelling for lidar systems
US20190187253A1 (en) Systems and methods for improving lidar output
JP7226565B2 (ja) 物体認識方法、及び、物体認識装置
KR20200128865A (ko) Cnn 기반의 객체 검출 장치 및 그 방법
US20240077586A1 (en) Method for generating intensity information having extended expression range by reflecting geometric characteristic of object, and lidar apparatus performing same method
CN111819602A (zh) 增加点云采样密度的方法、点云扫描系统、可读存储介质
EP4310549A1 (en) Sensing system
JP7114207B2 (ja) 距離測定データの取得
KR102488494B1 (ko) 라이다 데이터 처리 방법
KR102505602B1 (ko) 라이다 데이터 처리 방법
KR102488500B1 (ko) 라이다 데이터 처리 방법