KR102505602B1

KR102505602B1 - 라이다 데이터 처리 방법

Info

Publication number: KR102505602B1
Application number: KR1020210155398A
Authority: KR
Inventors: 이용이; 최준호; 신동원; 장덕윤; 정지성
Original assignee: 주식회사 에스오에스랩
Priority date: 2021-11-12
Filing date: 2021-11-12
Publication date: 2023-03-03
Also published as: KR20230069883A

Abstract

본 발명의 일 실시예에 따르면, 하나 이상의 프로세서에 의해, 복수의 디텍터 유닛들을 포함하는 디텍터 어레이로부터 생성된 감지 신호를 기초로 획득된 데이터를 처리하는 방법에 있어서, 상기 디텍터 어레이로부터 생성된 감지 신호들을 기초로 복수의 카운팅 값들 - 이때, 상기 복수의 카운팅 값들 각각은 상기 복수의 디텍터 유닛들 중 하나에 대응되고, 적어도 하나의 타임빈으로 어드레싱됨 - 을 포함하는 시공간 데이터 셋을 생성하는 단계; 상기 시공간 데이터 셋을 처리하여 상기 복수의 디텍터 유닛들 각각에 대응되는 복수의 거리 값들을 포함하는 거리 정보를 생성하는 단계;를 포함하되, 상기 거리 정보를 생성하는 단계는, 상기 시공간 데이터 셋에 포함되는 제1 카운팅 값 그룹을 기초로 상기 거리 정보에 포함되는 제1 거리 값을 생성하는 단계를 포함하며, 상기 제1 카운팅 값 그룹은 상기 시공간 데이터 셋에 포함되며, 적어도 제1 디텍터 유닛 및 제1 타임빈으로 어드레싱되는 제1 카운팅 값, 상기 제1 디텍터 유닛과 인접한 제2 디텍터 유닛 및 상기 제1 타임빈과 인접한 제2 타임빈으로 어드레싱되는 제2 카운팅 값 및 상기 제1 디텍터 유닛 및 상기 제2 타임빈으로 어드레싱되는 제3 카운팅 값을 포함할 수 있다.

Description

라이다 데이터 처리 방법{A METHOD OF PROCESSING LIDAR DATA}

본 명세서에서 제안되는 발명은 디텍터 어레이를 포함하는 라이다 장치에서, 여러 디텍터에서 광을 수광함에 따라 생성되는 감지 신호들을 함께 고려하여 라이다 데이터를 생성하는 방법에 관한 것이다.

보다 상세하게는, 본 발명은 디텍터 어레이로부터 생성된 감지 신호들을 기초로 시공간적으로 정의되는 데이터를 생성함으로써, 보다 정확한 객체의 depth 정보를 획득하는 방법에 관한 것이다.

라이다 장치(LiDAR Device)는 레이저의 비행 시간(TOF; Time of Flight)을 이용하여 라이다 장치로부터 객체까지의 거리를 측정하는 센서이다. 예를 들어, 기계식 스캐닝 라이다(Mechanical Scanning LiDAR)는 멤스 미러나 다면 미러 등 회전하는 반사체를 이용하여 레이저를 송수신함으로써 객체에 대한 거리 정보를 획득한다.

최근에는 라이다 장치를 자율주행 차량 등에 활용하기 위한 라이다 장치에 대한 연구가 활발하다. 특히, 라이다 장치의 크기를 줄이면서 기계식 구동 없이 레이저를 송수신하는 솔리드스테이트 라이다(Solid-state LiDAR)에 대한 연구가 활발히 진행되고 있다. 솔리드스테이트 라이다(Solid-state LiDAR)는 고정된 이미터 어레이(emitter array)와 디텍터 어레이(detector array)를 활용하여 레이저를 송수신함으로써 객체에 대한 거리 정보를 획득한다.

솔리드스테이트 라이다에서 정확한 거리 정보를 획득하기 위해, SPAD 센서나 APD 센서등의 센서 유닛들이 이용되고 있다. 특히 최근에는 센서 유닛들로부터 수광된 광을 기초로 거리 정보를 획득하는 데에 있어서 수광된 광을 기초로 데이터를 생성하고 이를 효율적으로 처리하는 라이다 소프트웨어 솔루션의 개발이 활발히 진행되고 있다.

다만 현재 개발된 라이다 데이터 생성 및 처리 소프트웨어 솔루션은 외부 노이즈에 취약하고, 여러 센서 유닛들로부터 생성된 신호들을 함께 이용할 수 없는 한계가 있다.

본 발명의 일 과제는 디텍터 어레이를 포함하는 라이다 장치에서 인접한 카운팅 값들을 이용해 객체의 depth 정보를 획득하는 것이다.

본 발명의 다른 일 과제는 시공간 데이터 셋을 가공하여 강화된 시공간 데이터 셋을 획득하는 것이다.

본 발명의 다른 일 과제는 시공간 데이터 셋을 생성하여 거리 정보를 추출하는 것이다.

본 발명의 해결하고자 하는 과제들이 상술한 과제들로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 하나 이상의 프로세서에 의해 제1 디텍터 유닛과 제2 디텍터 유닛을 포함하는 디텍터 어레이로부터 생성된 감지 신호를 기초로 획득된 데이터를 처리하는 방법에 있어서, 상기 디텍터 어레이에 대응되고, 제1 타임빈에 할당되는 복수의 카운팅 값들을 포함하는 제1 데이터 셋을 획득하는 단계; 상기 디텍터 어레이에 대응되고, 상기 제1 타임빈과 상이한 제2 타임빈에 할당되는 복수의 카운팅 값들을 포함하는 제2 데이터 셋을 획득하는 단계; 및 상기 제1 데이터 셋에서 상기 제1 디텍터 유닛에 대응되는 제1 카운팅 값, 상기 제2 데이터 셋에서 상기 제1 디텍터 유닛에 대응되는 제2 카운팅 값, 및 상기 제1 데이터 셋에서 상기 제2 디텍터 유닛에 대응되는 제3 카운팅 값을 기초로 상기 제1 디텍터 유닛에 대한 제1 거리 정보를 생성하는 단계; 를 포함하고, 상기 제1 디텍터 유닛 및 상기 제2 디텍터 유닛은 서로 인접하게 배치될 수 있다.

본 발명의 다른 실시예에 따르면, 광을 감지하여 거리 정보를 생성하는 라이다 장치에 있어서, 레이저를 출력하도록 설계된 이미터 어레이; 제1 디텍터 유닛 및 제2 디텍터 유닛을 포함하고, 광을 감지하여 감지 신호를 생성하는 디텍터 어레이; 및 상기 이미터 어레이 및 상기 디텍터 어레이를 제어하는 제어부; 및 상기 감지 신호를 처리하는 데이터 처리부; 를 포함하고, 상기 데이터 처리부는, 상기 디텍터 어레이에 대응되고, 제1 타임빈에 할당되는 복수의 카운팅 값들을 포함하는 제1 데이터 셋을 생성하고, 상기 디텍터 어레이에 대응되고, 제2 타임빈에 할당되는 복수의 카운팅 값들을 포함하는 제2 데이터 셋을 생성하고, 상기 제1 데이터 셋에서 상기 제1 디텍터 유닛에 대응되는 제1 카운팅 값, 상기 제2 데이터 셋에서 상기 제1 디텍터 유닛에 대응되는 제2 카운팅 값, 및 상기 제1 데이터 셋에서 상기 제2 디텍터 유닛에 대응되는 제3 카운팅 값 중 적어도 하나를 기초로 상기 제1 디텍터 유닛에 대한 제1 거리 정보를 생성하는 라이다 장치가 제공될 수 있다.

본 발명의 다른 실시예에 따르면, 하나 이상의 프로세서에 의해 제1 디텍터 유닛, 제2 디텍터 유닛, 제3 디텍터 유닛, 제4 디텍터 유닛 및 제5 디텍터 유닛을 포함하는 디텍터 어레이로부터 생성된 감지 신호를 기초로 획득된 데이터를 처리하는 방법에 있어서, 상기 디텍터 어레이에 대응되고, 제1 타임빈에 할당되는 복수의 카운팅 값들을 포함하는 제1 데이터 셋을 획득하는 단계; 상기 디텍터 어레이에 대응되고, 상기 제1 타임빈과 상이한 제2 타임빈에 할당되는 복수의 카운팅 값들을 포함하는 제2 데이터 셋을 획득하는 단계; 및 상기 제1 데이터 셋에서 상기 제1 디텍터 유닛에 대응되는 제1 카운팅 값을 조정하는 단계 - 상기 제1 카운팅 값은 상기 제1 데이터 셋에서 상기 제2 디텍터 유닛에 대응되는 제2 카운팅 값, 상기 제1 데이터 셋에서 상기 제3 디텍터 유닛에 대응되는 제3 카운팅 값, 상기 제1 데이터 셋에서 상기 제4 디텍터 유닛에 대응되는 제4 카운팅 값, 상기 제1 데이터 셋에서 상기 제5 디텍터 유닛에 대응되는 제5 카운팅 값 및 상기 제2 데이터 셋에서 상기 제1 디텍터 유닛에 대응되는 제6 카운팅 값을 기초로 조정됨 -; 를 포함하고, 상기 제2 내지 제5 디텍터 유닛은 상기 제1 디텍터 유닛과 인접하게 배치되고, 상기 제2 타임빈은 상기 제1 타임빈에 인접할 수 있다.

본 발명의 또 다른 실시예에 따르면, 하나 이상의 프로세서에 의해, 복수의 디텍터 유닛들을 포함하는 디텍터 어레이로부터 생성된 감지 신호를 기초로 획득된 데이터를 처리하는 방법에 있어서, 상기 디텍터 어레이로부터 생성된 감지 신호들을 기초로 복수의 카운팅 값들 - 이때, 상기 복수의 카운팅 값들 각각은 상기 복수의 디텍터 유닛들 중 하나에 대응되고, 적어도 하나의 타임빈으로 어드레싱됨 - 을 포함하는 시공간 데이터 셋을 생성하는 단계; 상기 시공간 데이터 셋을 처리하여 상기 복수의 디텍터 유닛들 각각에 대응되는 복수의 거리 값들을 포함하는 거리 정보를 생성하는 단계;를 포함하되, 상기 거리 정보를 생성하는 단계는, 상기 시공간 데이터 셋에 포함되는 제1 카운팅 값 그룹을 기초로 상기 거리 정보에 포함되는 제1 거리 값을 생성하는 단계를 포함하며, 상기 제1 카운팅 값 그룹은 상기 시공간 데이터 셋에 포함되며, 적어도 제1 디텍터 유닛 및 제1 타임빈으로 어드레싱되는 제1 카운팅 값, 상기 제1 디텍터 유닛과 인접한 제2 디텍터 유닛 및 상기 제1 타임빈과 인접한 제2 타임빈으로 어드레싱되는 제2 카운팅 값 및 상기 제1 디텍터 유닛 및 상기 제2 타임빈으로 어드레싱되는 제3 카운팅 값을 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 하나 이상의 프로세서에 의해, 복수의 디텍터 유닛들을 포함하는 디텍터 어레이로부터 생성된 감지 신호를 기초로 획득된 데이터를 처리하는 방법에 있어서, 상기 디텍터 어레이로부터 생성된 감지 신호들을 기초로 복수의 카운팅 값들 - 이때, 상기 복수의 카운팅 값들 각각은 상기 복수의 디텍터 유닛들 중 하나에 대응되고, 적어도 하나의 타임빈으로 어드레싱됨 - 을 포함하는 시공간 데이터 셋을 생성하는 단계; 상기 시공간 데이터 셋을 처리하여 강화된 시공간 데이터 셋을 생성하는 단계; 및 상기 강화된 시공간 데이터 셋을 기초로 포인트 클라우드를 생성하는 단계;를 포함하되, 상기 강화된 시공간 데이터 셋을 생성하는 단계는, 상기 시공간 데이터 셋에 포함되는 제1 카운팅 값 그룹을 기초로 상기 강화된 시공간 데이터 셋에 포함되는 제1 값을 생성하는 단계를 포함하며, 상기 제1 카운팅 값 그룹은 상기 시공간 데이터 셋에 포함되며, 적어도 제1 디텍터 유닛 및 제1 타임빈으로 어드레싱되는 제1 카운팅 값, 상기 제1 디텍터 유닛과 인접한 제2 디텍터 유닛 및 상기 제1 타임빈과 인접한 제2 타임빈으로 어드레싱되는 제2 카운팅 값 및 상기 제1 디텍터 유닛 및 상기 제2 타임빈으로 어드레싱되는 제3 카운팅 값을 포함할 수 있다.

본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급하지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 인접한 카운팅 값들을 이용해 객체의 depth 정보를 획득하는 라이다 장치가 제공될 수 있다.

본 발명의 다른 실시예에 따르면, 시공간 데이터 셋을 가공하여 강화된 시공간 데이터 셋을 획득하는 라이다 장치가 제공될 수 있다.

본 발명의 또 다른 실시예에 따르면, 시공간 데이터 셋을 생성하여 거리 정보를 추출하는 라이다 장치가 제공될 수 있다.

본 발명의 효과들이 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 라이다 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 디텍터 어레이를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 라이다 장치를 나타낸 도면이다.
도 4는 다른 일 실시예에 따른 라이다 장치를 나타낸 도면이다.
도 5는 라이다 장치의 다양한 실시예들을 나타낸 도면이다.
도 6은 라이다 장치에 의해 획득된 데이터를 3d 맵 상에 나타낸 도면이다.
도 7은 포인트 클라우드를 2차원 평면 상에 간략히 나타낸 도면이다.
도 8은 일 실시예에 따른 라이다 장치로부터 획득된 포인트 데이터를 설명하기 위한 도면이다.
도 9는 라이다 장치로부터 획득된 포인트 데이터 셋을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 속성 데이터에 포함되는 복수의 정보를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 라이다 장치의 구동을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 라이다 장치가 히스토그램 데이터의 생성 방법을 도시한 도면이다.
도 13은 일 실시예에 따른 라이다 장치가 히스토그램 데이터를 기초로 depth 정보를 획득하는 구체적인 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 라이다 장치의 구동을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 라이다 장치의 구동을 설명하기 위한 도면이다.
도 16은 일 실시에에 따른 디텍터 어레이를 포함하는 라이다 장치의 신호 처리 방법을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 라이다 장치의 구성을 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 라이다 데이터 처리 장치를 설명하기 위한 도면이다.
도 19는 일 실시예에 따른 시공간 데이터 셋의 구조를 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 시공간 데이터 셋의 구조를 디텍터 어레이와 연관시켜 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 시공간 데이터 셋에 포함되는 카운팅 값의 생성 방법을 도시한 흐름도이다.
도 22는 일 실시예에 따른 데이터 처리부의 감지 신호 샘플링 방법을 나타내는 도면이다.
도 23은 일 실시예에 따른 위치 값과 시간 값에 의해 식별되는 카운팅 값을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 디텍터 어레이의 구동 동작에 따라 한 프레임의 시공간 데이터 셋을 생성하는 방법을 설명하기 위한 도면이다.
도 25는 도 24의 방법이 수행되는 과정을 도시한 흐름도이다.
도 26은 일 실시예에 따른 시공간 데이터 셋 생성 방법을 시계열 적으로 설명하기 위한 도면이다.
도 27은 일 실시예에 따른 시공간 데이터 셋을 누적 데이터 셋을 기초로 정의한 도면이다.
도 28은 일 실시예에 따른 시공간 데이터 셋을 단위 공간을 기초로 정의한 도면이다.
도 29는 일 실시예에 따른 시공간 데이터 셋을 플레인 데이터 셋을 기초로 정의한 도면이다.
도 30은 일 실시예에 따른 시공간 데이터 셋을 이미지 플레인을 기초로 시각화한 도면이다.
도 31은 다른 실시예에 따른 이미지 플레인을 통해 시공간 데이터 셋을 시각화한 도면이다.
도 32는 일 실시예에 따른 시공간 데이터 셋을 소정의 데이터 처리 방법을 기초로 가공한 강화된 시공간 데이터 셋(Enhanced Spatio-temporal data set)을 설명하기 위한 도면이다.
도 33은 일 실시예에 따른 스크리닝 알고리즘을 이용한 시공간 데이터 셋의 가공 방법을 설명하기 위한 도면이다.
도 34는 일 실시예에 따른 데이터 처리부가 카운팅 값의 공간적 분포를 기초로 플레인 데이터 셋을 분류하는 방법을 설명하기 위한 도면이다.
도 35는 일 실시예에 따른 데이터 처리부가 카운팅 값의 시간적 분포를 기초로 누적 데이터 셋을 분류하는 방법을 설명하기 위한 도면이다.
도 36은 일 실시예에 따른 데이터 처리부가 카운팅 값의 시공간적 분포를 기초로 시공간 데이터 셋을 분류하는 방법을 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 데이터 처리부가 데이터를 분류하고 후처리하는 방법을 도시한 도면이다.
도 38은 일 실시예에 따른 데이터 철리부가 커널형 필터를 이용하여 시공간 데이터 셋을 디노이징하는 방법을 설명하기 위한 도면이다.
도 39는 일 실시예에 따른 머신 러닝 모델을 이용한 시공간 데이터 셋 가공 방법을 도시한 도면이다.
도 40은 일 실시예에 따른 데이터 처리부가 시공간 데이터 셋 내에서 타겟 데이터 셋을 추출하기 위한 방법을 도시한 흐름도이다.
도 41은 일 실시예에 따른 시공간 데이터 셋을 기초로 depth 정보를 획득하는 방법을 도시한 도면이다.
도 42는 일 실시예에 따른 인접 카운팅 값들을 기초로 depth 정보를 획득하는 방법을 도시한 도면이다.
도 43은 일 실시예에 따른 시공간 데이터 셋을 이용하여 감지 지점의 인텐시티 정보를 획득하기 위한 방법을 도시한 도면이다.
도 44는 주변광이 많은 낮 환경에 생성된 시공간 데이터 셋과 주변광이 적은 밤 환경에 생성된 시공간 데이터 셋을 도시한 도면이다.
도 45는 일 실시예에 따른 데이터 처리부가 시공간 데이터 셋을 이용하여 주변광에 의한 노이즈를 디노이징하는 방법을 도시한 도면이다.
도 46은 일 실시예에 따른 Flaring artifact가 발생한 시공간 데이터 셋을 도시한 도면이다.
도 47은 일 실시예에 따른 flaring artifact 확인 방법을 도시한 도면이다.
도 48은 일 실시예에 따른 시공간 데이터 셋을 기초로 포인트 클라우드 데이터를 생성하는 방법을 도시한 도면이다.
도 49는 일 실시예에 따른 서브 시공간 데이터 셋의 생성 및 활용 방법을 도시한 도면이다.
도 50은 다른 실시예에 따른 서브 시공간 데이터 셋의 생성 및 활용 방법을 도시한 도면이다.
도 51은 일 실시예에 따른 융합 이미지를 설명하기 위한 도면이다.
도 52는 일 실시예에 따른 융합 이미지의 활용 방법을 도시한 도면이다.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.

여기서, 상기 제1 데이터 셋에 포함되는 복수의 카운팅 값들의 수 및 상기 제2 데이터 셋에 포함되는 복수의 카운팅 값들의 수 각각은 상기 디텍터 어레이에 포함되는 디텍터 유닛의 수에 대응될 수 있다.

여기서, 상기 제1 데이터 셋은 상기 디텍터 어레이에 포함되는 모든 디텍터 유닛들에 대응되는 카운팅 값들 중 상기 제1 타임빈에 할당된 카운팅 값들을 포함하고, 상기 제2 데이터 셋은 상기 디텍터 어레이에 포함되는 모든 디텍터 유닛들에 대응되는 카운팅 값들 중 상기 제2 타임빈에 할당된 카운팅 값들을 포함할 수 있다.

여기서, 상기 제1 데이터 셋을 획득하는 단계는, 제1 시점부터 제1 시간 구간 동안 상기 제1 디텍터에 대응되는 제1 카운팅 값 세트를 생성하는 단계, 제2 시점부터 상기 제1 시간 구간 동안 상기 제2 디텍터에 대응되는 제2 카운팅 값 세트를 생성하는 단계, 및 상기 제1 카운팅 값 세트 및 상기 제2 카운팅 값 세트 중 상기 제1 타임빈에 할당된 카운팅 값들을 추출하는 단계를 포함할 수 있다.

여기서, 상기 제2 데이터 셋을 획득하는 단계는, 상기 제1 카운팅 값 세트 및 상기 제2 카운팅 값 세트 중 상기 제2 타임빈에 할당된 카운팅 값들을 추출하는 단계를 포함할 수 있다.

여기서, 상기 제2 타임빈은 상기 제1 타임빈 이전 또는 다음의 타임빈일 수 있다.

여기서, 상기 제1 타임빈 및 상기 제2 타임빈 각각은 상기 디텍터 어레이가 광을 감지하는 시간 구간을 미리 정해진 간격으로 분할함으로써 규정되는 단위 시간 구간일 수 있다.

여기서, 상기 제1 카운팅 값 및 상기 제2 카운팅 값은 상기 제1 디텍터 유닛으로부터 생성된 감지 신호를 기초로 생성되고, 상기 제3 카운팅 값은 상기 제2 디텍터 유닛으로부터 생성된 감지 신호를 기초로 생성될 수 있다.

여기서, 상기 제2 데이터 셋에서 상기 제2 디텍터 유닛에 대응되는 제4 카운팅 값을 더 고려하여 상기 제1 거리 정보를 생성할 수 있다.

여기서, 상기 제1 거리 정보를 생성하는 단계는 상기 제1 카운팅 값, 상기 제2 카운팅 값 및 상기 제3 카운팅 값을 기초로 피크 값 및 상기 피크 값에 대응되는 시간 값을 결정하는 단계, 및 상기 시간 값을 기초로 상기 제1 거리 정보를 계산하는 단계를 포함할 수 있다.

여기서, 객체로부터 반사된 광이 상기 제1 디텍터 유닛에 의해 감지되는 경우, 상기 제1 디텍터 유닛에 대한 제1 거리 정보는 상기 객체까지의 거리를 나타낼 수 있다.

여기서, 상기 디텍터 어레이는 spad 어레이이고, 상기 제1 디텍터 유닛 및 상기 제2 디텍터 유닛 각각은 적어도 하나의 spad를 포함할 수 있다.

여기서, 상술한 데이터 처리 방법을 수행하기 위한 프로그램이 포함되는 컴퓨터에서 판독 가능한 기록 매체가 제공될 수 있다.

여기서, 상기 제1 데이터 셋을 획득하는 단계는, 제1 시점부터 제1 시간 구간 동안 상기 제1 디텍터에 대응되는 제1 카운팅 값 세트를 생성하는 단계, 제2 시점부터 상기 제1 시간 구간 동안 상기 제2 디텍터에 대응되는 제2 카운팅 값 세트를 생성하는 단계, 제3 시점부터 상기 제1 시간 구간 동안 상기 제3 디텍터에 대응되는 제3 카운팅 값 세트를 생성하는 단계, 제4 시점부터 상기 제1 시간 구간 동안 상기 제4 디텍터에 대응되는 제4 카운팅 값 세트를 생성하는 단계, 제5 시점부터 상기 제1 시간 구간 동안 상기 제5 디텍터에 대응되는 제5 카운팅 값 세트를 생성하는 단계, 및 상기 제1 카운팅 값 세트 내지 상기 제5 카운팅 값 세트 중 상기 제1 타임빈에 할당된 카운팅 값들을 추출하는 단계를 포함할 수 있다.

여기서, 상기 조정하는 단계는, 상기 제1 카운팅 값 내지 상기 제6 카운팅 값에 대해, 상기 제1 카운팅 값 내지 상기 제6 카운팅 값을 포함하는 제1 카운팅 값 그룹의 시공간적 디멘젼에 대응되는 커널 필터를 적용하는 단계, 및 상기 커널 필터가 적용되는 상기 제1 카운팅 값 내지 상기 제6 카운팅 값을 기초로 상기 제1 카운팅 값을 조정하는 단계를 포함할 수 있다.

여기서, 상기 제1 카운팅 값 및 상기 제6 카운팅 값은 상기 제1 디텍터 유닛으로부터 생성된 감지 신호를 기초로 생성되고, 상기 제2 카운팅 값은 상기 제2 디텍터 유닛으로부터 생성된 감지 신호를 기초로 생성되고, 상기 제3 카운팅 값은 상기 제3 디텍터 유닛으로부터 생성된 감지 신호를 기초로 생성되고, 상기 제4 카운팅 값은 상기 제4 디텍터 유닛으로부터 생성된 감지 신호를 기초로 생성되고, 상기 제5 카운팅 값은 상기 제5 디텍터 유닛으로부터 생성된 감지 신호를 기초로 생성될 수 있다.

여기서, 상기 제1 카운팅 값을 조정하는 단계는, 상기 제1 카운팅 값, 상기 제2 카운팅 값, 상기 제3 카운팅 값, 상기 제4 카운팅 값, 상기 제5 카운팅 값 및 상기 제6 카운팅 값들의 크기를 기초로 상기 제1 카운팅 값을 보간하는 단계를 포함할 수 있다.

여기서, 상기 제1 카운팅 값을 조정하는 단계는, 상기 제1 카운팅 값, 상기 제2 카운팅 값, 상기 제3 카운팅 값, 상기 제4 카운팅 값, 상기 제5 카운팅 값 및 상기 제6 카운팅 값 중 최대값을 기초로 상기 제1 카운팅 값을 정규화하는 단계를 포함할 수 있다.

여기서, 상기 디텍터 어레이는 spad 어레이이고, 상기 제1 디텍터 유닛, 제2 디텍터 유닛, 제3 디텍터 유닛, 제4 디텍터 유닛 및 제5 디텍터 유닛 각각은 적어도 하나의 spad를 포함할 수 있다.

여기서, 상기 적어도 하나의 타임빈은 상기 디텍터 어레이가 광을 감지하는 시간 구간을 미리 정해진 간격으로 분할함으로써 규정되는 단위 시간 구간일 수 있다.

여기서, 상기 제1 거리 값을 생성하는 단계는, 상기 제1 카운팅 값 그룹을 기초로 피크 값 및 상기 피크 값에 대응되는 시간 값을 추출하는 단계, 및 상기 추출된 시간 값을 기초로 상기 제1 거리 값을 계산하는 단계를 포함할 수 있다.

여기서, 상기 제1 카운팅 값 그룹은 소정의 사이즈로 규정되는 커널 필터가 적용되는 카운팅 값들로 정의될 수 있다.

여기서, 상기 시공간 데이터 셋은 제2 카운팅 값 그룹을 포함하고, 상기 제2 카운팅 값 그룹을 정의하는 커널 필터의 사이즈는 상기 제1 카운팅 값 그룹을 정의하는 커널 필터의 사이즈보다 클 수 있다.

여기서, 상기 제1 카운팅 값 및 상기 제3 카운팅 값은 상기 제1 디텍터 유닛에 의해 생성된 감지 신호를 기초로 생성되고, 상기 제2 카운팅 값은 상기 제2 디텍터 유닛에 의해 생성된 감지 신호를 기초로 생성될 수 있다.

여기서, 상기 강화된 시공간 데이터 셋이 포함하는 값들의 수는 상기 시공간 데이터 셋이 포함하는 카운팅 값들의 수에 대응될 수 있다.

여기서, 상기 강화된 시공간 데이터 셋이 포함하는 값들의 수는 상기 시공간 데이터 셋이 포함하는 카운팅 값들의 수와 상이할 수 있다.

여기서, 상기 강화된 시공간 데이터 셋은 상기 시공간 데이터 셋과 상이한 메모리에 저장될 수 있다.

여기서, 상기 제1 값은 상기 제1 카운팅 값, 상기 제2 카운팅 값 및 상기 제3 카운팅 값들의 크기를 기초로 상기 제1 카운팅 값을 보간함으로써 생성될 수 있다.

여기서, 상기 제1 값은 상기 제1 카운팅 값, 상기 제2 카운팅 값 및 상기 제3 카운팅 값 중 최대값을 기초로 상기 제1 카운팅 값을 정규화함으로써 생성될 수 있다.

이하에서는 본 발명의 라이다 장치를 설명한다.

라이다 장치는 레이저를 이용하여 대상체와의 거리 및 대상체의 위치를 탐지하기 위한 장치이다. 예를 들어, 라이다 장치는 레이저를 출력할 수 있고, 출력된 레이저가 대상체에서 반사된 경우 반사된 레이저를 수신하여 대상체와 라이다 장치의 거리 및 대상체의 위치를 측정할 수 있다. 이때, 대상체의 거리 및 위치는 좌표계를 통해 표현될 수 있다. 예를 들어, 대상체의 거리 및 위치는 구좌표계(r,

, φ)로 표현될 수 있다. 다만, 이에 한정되는 것은 아니며, 직교좌표계(X, Y, Z) 또는 원통 좌표계(r,

, z) 등으로 표현될 수 있다.

또한, 라이다 장치는 대상체의 거리를 측정하기 위해 라이다 장치에서 출력되어 대상체에서 반사된 레이저를 이용할 수 있다.

일 실시예에 따른 라이다 장치는 대상체의 거리를 측정하기 위해 레이저가 출력된 후 감지되기 까지 레이저의 비행 시간 (TOF : Time Of Flight)을 이용할 수 있다. 예를 들어, 라이다 장치는 출력된 레이저의 출력 시간에 기초한 시간 값과 대상체에서 반사되어 감지된 레이저의 감지된 시간에 기초한 시간 값의 차이를 이용하여, 대상체의 거리를 측정할 수 있다.

또한, 라이다 장치는 출력된 레이저가 대상체를 거치지 않고 바로 감지된 시간 값과 대상체에서 반사되어 감지된 레이저의 감지된 시간에 기초한 시간 값의 차이를 이용하여 대상체의 거리를 측정할 수 있다.

라이다 장치가 제어부에 의해 레이저 빔을 출광하기 위한 트리거 신호를 보내는 시점과 실제 레이저 출력 소자에서 레이저 빔이 출력되는 시간인 실제 출광 시점은 차이가 있을 수 있다. 상기 트리거 신호의 시점과 실제 출광 시점 사이에서는 실제로 레이저 빔이 출력되지 않았으므로, 레이저의 비행 시간에 포함되면 정밀도가 감소할 수 있다.

레이저 빔의 비행 시간 측정에 정밀도를 향상시키기 위해서는, 레이저 빔의 실제 출광 시점을 이용할 수 있다. 그러나, 레이저 빔의 실제 출광 시점을 파악하는 것은 어려울 수 있다. 그러므로, 레이저 출력 소자에서 출력된 레이저 빔은 출력 되자마자, 또는 출력된 후 대상체를 거치지 않고 곧바로 센서부로 전달되어야 한다.

예를 들어, 레이저 출력 소자의 상부에 옵틱이 배치되어, 상기 옵틱에 의해 레이저 출력 소자에서 출력된 레이저 빔은 대상체를 거치지 않고 바로 수광부에 감지될 수 있다. 상기 옵틱은 미러, 렌즈, 프리즘, 메타표면 등이 될 수 있으나, 이에 한정되지 않는다. 상기 옵틱은 하나일 수 있으나, 복수 개일 수 있다.

또한, 예를 들어, 레이저 출력 소자의 상부에 센서부가 배치되어, 레이저 출력 소자에서 출력된 레이저 빔은 대상체를 거치지 않고 바로 센서부에 감지될 수 있다. 상기 센서부는 레이저 출력 소자와 1mm, 1um, 1nm 등의 거리를 두고 이격될 수 있으나, 이에 한정되지 않는다. 또는, 상기 센서부는 레이저 출력 소자와 이격되지 않고 인접하게 배치될 수도 있다. 상기 센서부와 상기 레이저 출력 소자 사이에는 옵틱이 존재할 수도 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 라이다 장치는 대상체의 거리를 측정하기 위해 비행 시간 외에도 삼각 측량법(Triangulation method), 간섭계 방법(Interferometry method), 위상 변화 측정법(Phase shift measurement) 등을 이용할 수 있으나, 이에 한정되지 않는다.

일 실시예에 따른 라이다 장치는 차량에 설치될 수 있다. 예를 들어, 라이다 장치는 차량의 루프, 후드, 헤드램프 또는 범퍼 등에 설치될 수 있다.

또한, 일 실시예에 따른 복수 개의 라이다 장치가 차량에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 차량의 루프에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 차량의 루프에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 라이다 장치가 차량에 설치될 수 있다. 예를 들어, 라이다 장치가 차량 내부에 설치되는 경우, 주행 중 운전자의 제스쳐를 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한 예를 들어, 라이다 장치가 차량 내부 또는 차량 외부에 설치되는 경우, 운전자의 얼굴을 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다.

일 실시예에 따른 라이다 장치는 무인 비행체에 설치될 수 있다. 예를 들어, 라이다 장치는 무인항공기 시스템(UAV System), 드론(Drone), RPV(Remote Piloted Vehicle), UAVs(Unmanned Aerial Vehicle System), UAS(Unmanned Aircraft System), RPAV(Remote Piloted Air/Aerial Vehicle) 또는 RPAS(Remote Piloted Aircraft System) 등에 설치될 수 있다.

또한, 일 실시예에 따른 복수 개의 라이다 장치가 무인 비행체에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 무인 비행체에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 무인 비행체에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.

일 실시예에 따른 라이다 장치는 로봇에 설치될 수 있다. 예를 들어, 라이다 장치는 개인용 로봇, 전문 로봇, 공공 서비스 로봇, 기타 산업용 로봇 또는 제조업용 로봇 등에 설치될 수 있다.

또한, 일 실시예에 따른 복수 개의 라이다 장치가 로봇에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 로봇에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 로봇에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 라이다 장치가 로봇에 설치될 수 있다. 예를 들어, 라이다 장치가 로봇에 설치되는 경우, 사람의 얼굴을 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 라이다 장치는 산업 보안을 위해 설치될 수 있다. 예를 들어, 라이다 장치는 산업 보안을 위해 스마트 공장에 설치될 수 있다.

또한, 일 실시예에 따른 복수 개의 라이다 장치가 산업 보안을 위해 스마트 공장에 설치될 수 있다. 예를 들어, 라이다 장치 2개가 스마트 공장에 설치되는 경우, 하나의 라이다 장치는 전방을 관측하기 위한 것이고, 나머지 하나는 후방을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 라이다 장치 2개가 스마트 공장에 설치되는 경우, 하나의 라이다 장치는 좌측을 관측하기 위한 것이고, 나머지 하나는 우측을 관측하기 위한 것일 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 라이다 장치가 산업 보안을 위해 설치될 수 있다. 예를 들어, 라이다 장치가 산업 보안을 위해 설치되는 경우, 사람의 얼굴을 인식하기 위한 것일 수 있으나, 이에 한정되지 않는다.

1. 라이다 장치 기본 구성

도 1은 일 실시예에 따른 라이다 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 라이다 장치(1000)는 레이저 출력부(100), 옵틱부(200), 센서부(300), 및 제어부(400)를 포함할 수 있다.

1.1. 레이저 출력부

도 1을 참조하면, 일 실시예에 따른 라이다 장치(1000)는 레이저 출력부(100)를 포함할 수 있다. 이때, 일 실시예에 따른 레이저 출력부(100)는 레이저를 출사할 수 있다. 상기 레이저 출력부(100)는 외부로부터 전압이 인가되는 경우 레이저를 출력할 수 있으나, 이에 한정되지 않고, 상기 레이저 출력부(100)는 통상의 기술자에게 알려진 다양한 방식의 레이저 출력 알고리즘을 기초로 레이저를 출력할 수 있다.

또한, 레이저 출력부(100)는 적어도 하나의 레이저 출력 소자를 포함할 수 있다. 예를 들어, 레이저 출력부(100)는 레이저 다이오드(Laser Diode:LD), Solid-state laser, High power laser, Light entitling diode(LED), Vertical Cavity Surface Emitting Laser(VCSEL), External cavity diode laser(ECDL) 등을 포함할 수 있으나, 이에 한정되지 않는다.

레이저 출력부(100)는 복수의 발광 소자를 포함할 수 있다. 예를 들어, 상기 레이저 출력부(100)는 발광 소자 어레이로 구성될 수 있다. 이때, 상기 발광소자 어레이는 2차원 N*M (이때, N 및 M은 1 이상의 자연수)개의 발광 소자를 포함할 수 있다. 구체적인 예로, 상기 레이저 출력부(100)는 빅셀 어레이로 구성될 수 있으나, 이에 한정되지 않는다.

또한, 레이저 출력부(100)는 일정 파장의 레이저를 출력할 수 있다. 예를 들어, 레이저 출력부(100)는 905nm대역의 레이저 또는 1550nm 대역의 레이저를 출력할 수 있다. 또한, 예를 들어, 레이저 출력부(100)는 940nm 대역의 레이저를 출력할 수 있다. 또한, 예를 들어, 레이저 출력부(100)는 800nm 내지 1000nm 사이의 복수 개의 파장을 포함하는 레이저를 출력할 수 있다. 또한, 레이저 출력부(100)가 복수 개의 레이저 출력 소자를 포함하는 경우, 복수 개의 레이저 출력 소자의 일부는 905nm 대역의 레이저를 출력할 수 있으며, 다른 일부는 1500nm 대역의 레이저를 출력할 수 있다.

1.2. 옵틱부

다시 도 1을 참조하면, 일 실시예에 따른 라이다 장치(1000)는 옵틱부(200)를 포함할 수 있다.

상기 옵틱부는 본 발명에 대한 설명에 있어서, 스티어링부, 스캔부 등으로 다양하게 표현될 수 있으나, 이에 한정되지 않는다.

이때, 일 실시예에 따른 옵틱부(200)는 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.

또한, 일 실시예에 따른 옵틱부(200)는 레이저를 반사함으로써 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저를 반사하여, 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.

또한, 일 실시예에 따른 옵틱부(200)는 레이저를 반사하기 위하여 다양한 광학 수단들을 포함할 수 있다. 예를 들어, 옵틱부(200)는 미러(mirror), 공진 스캐너(Resonance scanner), 멤스 미러(MEMS mirror), VCM(Voice Coil Motor), 다면 미러(Polygonal mirror), 회전 미러(Rotating mirror) 또는 갈바노 미러(Galvano mirror) 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 옵틱부(200)는 레이저를 굴절시킴으로써 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저를 굴절시켜, 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.

또한, 일 실시예에 따른 옵틱부(200)는 레이저를 굴절시키기 위하여 다양한 광학 수단들을 포함할 수 있다. 예를 들어, 옵틱부(200)는 렌즈(lens), 프리즘(prism), 마이크로렌즈(Micro lens) 또는 액체 렌즈(Microfluidie lens) 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 옵틱부(200)는 레이저의 위상을 변화시킴으로써 레이저의 비행 경로를 변경할 수 있다. 예를 들어, 옵틱부(200)는 레이저 출력부(100)에서 출사된 레이저의 위상을 변화시켜, 레이저가 스캔 영역을 향하도록 레이저의 비행 경로를 변경할 수 있다. 또한, 예를 들어, 스캔 영역 내에 위치하는 대상체로부터 반사된 레이저가 센서부를 향하도록 레이저의 비행 경로를 변경할 수 있다.

또한, 일 실시예에 따른 옵틱부(200)는 레이저의 위상을 변화시키기 위하여 다양한 광학 수단들을 포함할 수 있다. 예를 들어, 옵틱부(200)는 OPA(Optical Phased Array), 메타 렌즈(Meta lens) 또는 메타 표면(Metasurface) 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 옵틱부(200)는 하나 이상의 광학 수단을 포함할 수 있다. 또한, 예를 들어, 옵틱부(200)는 복수 개의 광학 수단을 포함할 수 있다.

1.3. 센서부

다시 도 1을 참조하면, 일 실시예에 따른 라이다 장치(100)는 센서부(300)를 포함할 수 있다.

상기 센서부는 본 발명에 대한 설명에 있어서 디텍터부, 디텍팅부 수광부, 수신부 등으로 다양하게 표현될 수 있으나, 이에 한정되지 않는다.

이때, 일 실시예에 따른 센서부(300)는 레이저를 감지할 수 있다. 예를 들어, 센서부는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 감지할 수 있다.

또한, 일 실시예에 따른 센서부(300)는 레이저를 수신할 수 있으며, 수신된 레이저를 기초로 전기 신호를 생성할 수 있다. 예를 들어, 센서부(300)는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 수신할 수 있으며, 이를 기초로 전기 신호를 생성할 수 있다. 또한, 예를 들어, 센서부(300)는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 하나 이상의 광학수단을 통해 수신할 수 있으며, 이를 기초로 전기 신호를 생성할 수 있다. 또한, 예를 들어, 센서부(300)는 스캔 영역 내에 위치하는 대상체에서 반사된 레이저를 광학 필터를 거쳐 수신할 수 있으며, 이를 기초로 전기 신호를 생성할 수 있다.

또한, 일 실시예에 따른 센서부(300)는 생성된 전기 신호를 기초로 레이저를 감지할 수 있다. 예를 들어, 센서부(300)는 미리 정해진 문턱 값과 생성된 전기 신호의 크기를 비교하여 레이저를 감지할 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 센서부(300)는 미리 정해진 문턱 값과 생성된 전기 신호의 rising edge, falling edge 또는 rising edge와 falling edge의 중앙값을 비교하여 레이저를 감지할 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 센서부(300)는 미리 정해진 문턱 값과 생성된 전기 신호의 피크 값을 비교하여 레이저를 감지할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 센서부(300)는 다양한 센서 소자를 포함할 수 있다. 예를 들어, 센서부(300)는 PN 포토 다이오드, 포토트랜지스터, PIN 포토다이오드, APD(Avalanche Photodiode), SPAD(Single-photon avalanche diode), SiPM(Silicon PhotoMultipliers), TDC(Time to Digital Converter), Comparator, CMOS(Complementary metal-oxide-semiconductor) 또는 CCD(charge coupled device) 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 센서부(300)는 하나 이상의 센서 소자를 포함할 수 있다. 예를 들어, 센서부(300)는 단일 센서 소자를 포함할 수 있으며, 복수 개의 센서 소자를 포함할 수도 있다.

또한, 일 실시예에 따른 센서부(300)는 하나 이상의 광학 소자를 포함할 수 있다. 예를 들어, 센서부(300)는 Aperture, 마이크로 렌즈(Micro lens), 수렴 렌즈(converging lens) 또는 Diffuser 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 센서부(300)는 하나 이상의 광학 필터(Optical Filter)를 포함할 수 있다. 센서부(300)는 대상체에서 반사된 레이저를 광학 필터를 거쳐 수신할 수 있다. 예를 들어, 센서부(300)는 Band pass filter, Dichroic filter, Guided-mode resonance filter, Polarizer, Wedge filter 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 센서부(300)는 신호 처리부(미도시)를 포함할 수 있다. 상기 신호 처리부는 상기 센서부(300)에 포함된 적어도 하나의 디텍터와 연결될 수 있다. 예를 들어, 상기 신호 처리부는 시간-디지털 변환 회로(TDC, Time-to-digital converter), 아날로그-디지털 변환 회로(ADC, Analog to digital converter) 등을 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 센서부(300)는 2D SPAD array일 수 있으나 이에 한정되지 않는다. 또한 예를 들어, SPAD array는 복수 개의 SPAD unit을 포함하고, SPAD unit은 복수 개의 SPAD(pixel)을 포함할 수 있다.

도 2는 일 실시예에 따른 디텍터 어레이를 설명하기 위한 도면이다.

도 2를 참조하면, 일 실시예에 따른 센서부(300)는 디텍터 어레이(310)를 포함할 수 있다. 도 2는 8X8 디텍터 레이를 도시하고 있으나, 이에 한정되지 않고, 10X10, 12X12, 24X24, 64X64 등이 될 수 있다. 예를 들어, 상기 디텍터 어레이(310)는 복수개의 SPAD 센서로 구성된 SPAD 어레이일 수 있다. 이때, SPAD 센서로 구성된 디텍터 어레이(310)에 레이저 빔이 입사되면, 아발란치(avalanche) 현상에 의해 광자를 디텍팅(detecting)할 수 있다.

일 실시예에 따른 디텍터 어레이(310)는 복수의 디텍터 유닛(311)을 포함할 수 있다. 예를 들어, 복수의 디텍터 유닛(311)은 매트릭스 구조로 배치될 수 있으나, 이에 한정되지 않고 원형, 타원형, 허니콤 구조 등으로 배치될 수 있다.

1.4. 제어부

다시 도 1을 참조하면, 일 실시예에 따른 라이다 장치(1000)는 제어부(400)를 포함할 수 있다.

상기 제어부는 본 발명을 위한 설명에 있어서 컨트롤러, 프로세서 등으로 다양하게 표현될 수 있으나, 이에 한정되지 않는다.

이때, 일 실시예에 따른 제어부(400)는 레이저 출력부(100), 옵틱부(200) 또는 센서부(300)의 동작을 제어할 수 있다.

또한, 일 실시예에 따른 제어부(400)는 레이저 출력부(100)의 동작을 제어할 수 있다. 구체적으로, 상기 제어부(400)는 소정의 트리거 신호를 상기 레이저 출력부(100)에 전송하여 상기 레이저 출력부(100)를 동작시킬 수 있다. 이때, 상기 트리거 신호는 전기 신호일 수 있다.

또한, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 주기를 제어할 수 있다. 구체적으로, 상기 제어부(400)는 미리 정해진 출력 레피티션을 기초로 상기 레이저 출력부(100)를 동작시킬 수 있다. 예를 들어, 상기 제어부(400)는 25Hz의 출력 레피티션으로 상기 레이저 출력부(100)를 동작시킬 수 있으나, 이에 한정되지 않는다. 또한, 이때, 상기 제어부(400)는 상기 레이저 출력부(100)의 출력 레피티션을 조정할 수 있다.

또한, 레이저 출력부(100)가 복수 개의 레이저 출력 소자를 포함하는 경우, 제어부(400)는 복수 개의 레이저 출력 소자 중 일부가 동작되도록 레이저 출력부(100)를 제어할 수 있다. 예를 들어, 상기 레이저 출력부(100)가 복수의 레이저 출력 소자들로 구성된 이미터 어레이인 경우, 상기 제어부(400)는 한번에 상기 이미터 어레이 전체를 동작시킬 수 있으나, 이에 한정되지 않고, 상기 이미터 어레이를 한열(column) 단위 또는 한행(row) 단위로 동작시킬 수 있다.

또한, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 출력 시점을 제어할 수 있다.

또한, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 파워를 제어할 수 있다.

또한, 제어부(400)는 레이저 출력부(100)에서 출력되는 레이저의 펄스 폭(Pulse Width)를 제어할 수 있다.

또한, 일 실시예에 따른 제어부(400)는 옵틱부(200)의 동작을 제어할 수 있다.

예를 들어, 제어부(400)는 옵틱부(200) 동작 속도를 제어할 수 있다. 구체적으로 옵틱부(200)가 회전 미러를 포함하는 경우 회전 미러의 회전 속도를 제어할 수 있으며, 옵틱부(200)가 멤스 미러(MEMS mirror)를 포함하는 경우 사이 멤스 미러의 반복 주기를 제어할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 제어부(400)는 옵틱부(200)의 동작 정도를 제어할 수 있다. 구체적으로, 옵틱부(200)가 멤스 미러를 포함하는 경우 멤스 미러의 동작 각도를 제어할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 제어부(400)는 센서부(300)의 동작을 제어할 수 있다.

예를 들어, 제어부(400)는 센서부(300)의 민감도를 제어할 수 있다. 구체적으로, 제어부(400)는 미리 정해진 문턱 값을 조절하여 센서부(300)의 민감도를 제어할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 제어부(400)는 센서부(300)의 동작을 제어할 수 있다. 구체적으로, 제어부(400)는 센서부(300)의 On/Off를 제어할 수 있으며, 제어부(300)가 복수 개의 센서 소자를 포함하는 경우 복수 개의 센서 소자 중 일부의 센서 소자가 동작되도록 센서부(300)의 동작을 제어할 수 있다.

구체적인 예로, 상기 센서부(300)가 도 2와 같은 디텍터 어레이(350)로 구성되는 경우, 상기 제어부(400)는 상기 디텍터 어레이(350)를 소정의 구동 매커니즘을 기초로 동작시킬 수 있다. 예를 들어, 상기 제어부(400)는 상기 디텍터 어레이(350)에 포함된 모든 센서 소자를 동시에 동작시킬 수 있으나, 이에 한정되지 않고, 상기 디텍터 어레이(350)를 n줄(column)씩 동작시키거나, n행(row)씩 동작시킬 수 있다. 제어부(400)가 상기 디텍터 어레이(350)를 동작시키는 구동 매커니즘은 상기 디텍터 어레이(350)에 연결된 드라이빙 회로의 설계에 따라 결정될 수 있다.

또한, 일 실시예에 따른 제어부(400)는 센서부(300)에서 감지된 레이저에 기초하여 라이다 장치(1000)로부터 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.

예를 들어, 제어부(400)는 레이저 출력부(100)에서 레이저가 출력된 시점과 센서부(300)에서 레이저가 감지된 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다. 또한, 예를 들어, 제어부(400)는 레이저 출력부(100)에서 레이저가 출력되어 대상체를 거치지 않고 바로 센서부(300)에서 레이저가 감지된 시점 및 대상체에서 반사된 레이저가 센서부(300)에서 감지된 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.

구체적으로, 레이저 출력부(100)는 레이저를 출력할 수 있고, 제어부(400)는 레이저 출력부(100)에서 레이저가 출력된 시점을 획득할 수 있으며, 레이저 출력부(100)에서 출력된 레이저가 스캔 영역 내에 위치하는 대상체에서 반사된 경우 센서부(300)는 대상체에서 반사된 레이저를 감지할 수 있고, 제어부(400)는 센서부(300)에서 레이저가 감지된 시점을 획득할 수 있으며, 제어부(400)는 레이저의 출력 시점 및 감지 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.

또한, 구체적으로, 레이저 출력부(100)에서 레이저를 출력할 수 있고, 레이저 출력부(100)에서 출력된 레이저가 스캔 영역 내에 위치하는 대상체를 거지치 않고 바로 센서부(300)에 의해 감지될 수 있고, 제어부(400)는 대상체를 거치지 않은 레이저가 감지된 시점을 획득할 수 있다. 레이저 출력부(100)에서 출력된 레이저가 스캔 영역 내에 위치하는 대상체에서 반사된 경우 센서부(300)는 대상체에서 반사된 레이저를 감지할 수 있고, 제어부(400)는 센서부(300)에서 레이저가 감지된 시점을 획득할 수 있으며, 제어부(400)는 대상체를 거치지 않은 레이저의 감지 시점 및 대상체에서 반사된 레이저의 감지 시점에 기초하여 스캔 영역 내에 위치하는 대상체까지의 거리를 판단할 수 있다.

2. 라이다 장치 기본 구조

2.1. 발광 및 수광 경로

도 3은 일 실시예에 따른 라이다 장치를 나타낸 도면이다.

도 3을 참조하면, 일 실시예에 따른 라이다 장치(1050)는 레이저 출력부(100), 옵틱부(200) 및 센서부(300)를 포함할 수 있다.

레이저 출력부(100), 옵틱부(200) 및 센서부(300)는 도 1에서 설명되었으므로, 이하에서 상세한 설명은 생략하기로 한다.

레이저 출력부(100)에서 출력된 레이저 빔은 옵틱부(200)를 거칠 수 있다. 또한 옵틱부(200)를 거친 레이저 빔은 대상체(500)를 향해 조사될 수 있다. 또한 대상체(500)에서 반사된 레이저 빔은 센서부(300)에 수광될 수 있다.

도 4는 다른 일 실시예에 따른 라이다 장치를 나타낸 도면이다.

도 4를 참조하면, 다른 일 실시예에 따른 라이다 장치(1150)는 레이저 출력부(100), 옵틱부(200) 및 센서부(300)를 포함할 수 있다.

레이저 출력부(100)에서 출력된 레이저 빔은 옵틱부(200)를 거칠 수 있다. 또한 옵틱부(200)를 거친 레이저 빔은 대상체(500)를 향해 조사될 수 있다. 또한 대상체(500)에서 반사된 레이저 빔은 다시 옵틱부(200)를 거칠 수 있다.

이때, 대상체에 조사되기 전 레이저 빔이 거친 옵틱부와 대상체에 반사된 레이저 빔이 거치는 옵틱부는 물리적으로 동일한 옵틱부일 수 있으나, 물리적으로 다른 옵틱부일 수도 있다.

옵틱부(200)를 거친 레이저 빔은 센서부(300)에 수광될 수 있다.

2.2. 라이다 장치의 다양한 구조

도 5는 라이다 장치의 다양한 실시예들을 나타낸 도면이다.

도 5의 (a)를 참조하면, 일 실시예에 따른 라이다 장치는 레이저 출력부(110), 옵틱부(210) 및 센서부(310)를 포함할 수 있으며, 상기 옵틱부(210)는 상술한 노딩미러(211) 및 상술한 다면미러(212)를 포함할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 레이저 출력부(110), 상기 옵틱부(210) 및 상기 센서부(310)에 대하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 하며, 도 5의 (a)는 다양한 라이다 장치의 실시예들 중 하나의 실시예를 설명하기 위해 간편하게 도식화 한 도면으로, 라이다 장치의 다양한 실시예들은 도 5의 (a)에 국한되지 않는다.

또한, 도 5의 (b)를 참조하면, 일 실시예에 따른 라이다 장치는 레이저 출력부(120), 옵틱부(220) 및 센서부(320)를 포함할 수 있으며, 상기 옵틱부(220)는 상기 레이저 출력부(120)로부터 출력된 레이저를 콜리메이션 하고 스티어링 할 수 있는 적어도 하나의 렌즈를 포함할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 레이저 출력부(120), 상기 옵틱부(220) 및 상기 센서부(320)에 대하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 하며, 도 5의 (b)는 다양한 라이다 장치의 실시예들 중 하나의 실시예를 설명하기 위해 간편하게 도식화 한 도면으로, 라이다 장치의 다양한 실시예들은 도 5의 (b)에 국한되지 않는다.

또한, 도 5의 (c)를 참조하면, 일 실시예에 따른 라이다 장치는 레이저 출력부(130), 옵틱부(230) 및 센서부(330)를 포함할 수 있으며, 상기 옵틱부(230)는 상기 레이저 출력부(130)로부터 출력된 레이저를 콜리메이션 하고 스티어링 할 수 있는 적어도 하나의 렌즈를 포함할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 레이저 출력부(130), 상기 옵틱부(230) 및 상기 센서부(330)에 대하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 하며, 도 5의 (c)는 다양한 라이다 장치의 실시예들 중 하나의 실시예를 설명하기 위해 간편하게 도식화 한 도면으로, 라이다 장치의 다양한 실시예들은 도 5의 (c)에 국한되지 않는다.

또한, 도 5의 (d)를 참조하면, 일 실시예에 따른 라이다 장치는 레이저 출력부(140), 옵틱부(240) 및 센서부(340)를 포함할 수 있으며, 상기 옵틱부(240)는 상기 레이저 출력부(130)로부터 출력된 레이저를 콜리메이션 하고 스티어링 할 수 있는 적어도 하나의 렌즈를 포함할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 레이저 출력부(140), 상기 옵틱부(240) 및 상기 센서부(340)에 대하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 하며, 도 5의 (d)는 다양한 라이다 장치의 실시예들 중 하나의 실시예를 설명하기 위해 간편하게 도식화 한 도면으로, 라이다 장치의 다양한 실시예들은 도 5의 (d)에 국한되지 않는다.

3. 라이다 데이터

3.1. 라이다 데이터의 정의

일 실시예에 따른 라이다 장치는 센서부를 통해 수신한 광을 기초로 라이다 데이터를 생성할 수 있다. 이때, 상기 라이다 데이터는 라이다 장치가 수신된 광에 대응하여 생성하는 모든 종류의 데이터를 의미할 수 있다.

또한, 라이다 데이터는 라이다 장치의 시야각 내에 존재하는 적어도 하나의 대상체에 대한 정보를 포함하는 데이터를 의미할 수 있다. 구체적으로, 라이다 장치는 센서부를 통해 수신한 광을 기초로 상기 광이 반사된 대상체의 감지 지점에 대한 적어도 하나의 정보를 포함하는 라이다 데이터를 생성할 수 있다. 예를 들어, 상기 라이다 데이터는 포인트 클라우드(Point Cloud) 데이터 및 속성 데이터(Property Data)를 포함할 수 있으나, 이에 한정되지 않고, 상기 포인트 클라우드 데이터를 생성하기 위한 depth 맵 상의 픽셀 데이터 또는 인텐시티 맵 상의 픽셀 데이터 등을 포함할 수도 있다.

3.2. 포인트 클라우드 데이터(Point Cloud Data)

일 실시예에 따른 라이다 장치는 외부로부터 수신한 광을 기초로 포인트 클라우드 데이터를 생성할 수 있다. 이때, 상기 포인트 클라우드 데이터는 외부 대상체로부터 산란된 광의 적어도 일부를 수광함으로써 생성한 전기 신호를 기초로, 상기 외부 대상체에 대한 적어도 하나의 정보를 포함하는 데이터를 의미할 수 있다. 예를 들어, 상기 포인트 클라우드 데이터는 광이 산란된 복수의 감지 지점들의 위치 정보, 인텐시티 정보 등을 포함하는 데이터의 집단일 수 있으나, 이에 한정되지 않는다.

도 6은 라이다 장치에 의해 획득된 데이터를 3d 맵 상에 나타낸 도면이다.

도 6을 참조하면, 라이다 장치의 제어부는 획득된 감지 신호를 기초로 포인트 데이터 셋에 대한 3d 포인트 클라우드 이미지를 형성할 수 있다. 또한, 상기 3d 포인트 클라우드 이미지의 원점(O)의 위치는 상기 라이다 장치의 광학 원점에 대응될 수 있으나, 이에 한정되지 않고, 상기 라이다 장치의 무게 중심 위치 또는 상기 라이다 장치가 배치된 차량의 무게 중심 위치에 대응될 수도 있다.

도 7은 포인트 클라우드를 2차원 평면 상에 간략히 나타낸 도면이다.

도 7을 참조하면, 포인트 클라우드 데이터(2000)는 2차원 평면 상에 표현될 수 있다.

또한, 본 명세서에서 상기 포인트 클라우드 데이터는 상기 2차원 평면 상에 표현되지만, 실제로는 3d 맵 상의 데이터를 간략히 표현하기 위한 것일 수 있다.

또한, 상기 포인트 클라우드 데이터(2000)는 데이터 시트(sheet) 형태로 표현될 수 있다. 상기 포인트 클라우드 데이터(2000)에 포함되는 복수의 정보는 상기 데이터 시트 상에 수치(value)로서 표현될 수 있다.

이하에서는 상기 포인트 클라우드 데이터에 포함되는 다양한 형태의 데이터의 의미와 상기 센서 데이터에 대한 상세한 설명을 기술한다.

도 8은 일 실시예에 따른 라이다 장치로부터 획득된 포인트 데이터를 설명하기 위한 도면이다.

도 8을 참조하면, 상기 포인트 클라우드 데이터(2000)는 포인트 데이터(2001)를 포함할 수 있다. 이때, 상기 포인트 데이터는 라이다 장치가 객체를 감지함에 따라, 1차적으로 획득할 수 있는 데이터를 나타낼 수 있다. 또한, 상기 포인트 데이터는 상기 라이다 장치로부터 획득된 최초의 정보를 가공하지 않은 원시 데이터(raw-data)를 의미할 수 있다.

또한, 상기 라이다 장치가 객체의 적어도 일부를 스캔함에 따라 상기 포인트 데이터(2001)가 획득될 수 있고, 상기 포인트 데이터(2001)는 위치 좌표(x,y,z)를 포함할 수 있다. 또한, 실시예에 따라, 상기 포인트 데이터(2001)는 인텐시티 값(I)을 더 포함할 수 있다.

또한, 상기 포인트 데이터(2001)의 개수는 상기 라이다 장치로부터 방출된 레이저가 객체로부터 산란되어 상기 라이다 장치에 수광되는 레이저의 개수에 대응될 수 있다.

보다 구체적으로, 상기 라이다 장치로부터 방출된 레이저가 상기 객체의 적어도 일부에 산란되어 상기 라이다 장치에 수신되는 경우, 상기 라이다 장치는 상기 레이저가 수신될 때마다, 수신되는 레이저에 대응하는 신호를 처리하여 상기 포인트 데이터(2001)를 생성할 수 있다.

도 9는 라이다 장치로부터 획득된 포인트 데이터 셋을 설명하기 위한 도면이다.

도 9를 참조하면, 포인트 클라우드 데이터(2000)는 포인트 데이터 셋(2100)으로 구성될 수 있다. 이때, 상기 포인트 데이터 셋(2100)은 상기 포인트 클라우드 데이터(2000)를 구성하는 하나의 데이터 셋을 의미할 수 있으나, 이에 한정되지 않고, 복수의 데이터 셋을 통칭하는 의미일 수도 있다. 또한, 실시예에 따라 상기 포인트 데이터 셋(2100) 및 상기 포인트 클라우드 데이터(2000)는 동일한 의미로 사용될 수 있다.

또한, 상기 포인트 데이터 셋(2100)은 상기 라이다 장치가 스캔 영역을 1회 스캔함에 따라 생성되는 복수의 포인트 데이터를 의미할 수 있다. 예를 들어, 상기 라이다 장치의 수평 시야각이 180도인 경우, 상기 포인트 데이터 셋(2100)은 상기 라이다 장치가 180도를 한번 스캔함에 따라 획득하는 모든 포인트 데이터를 의미할 수 있다.

또한, 상기 포인트 데이터 셋(2100)은 상기 라이다 장치의 시야각 내에 포함되는 객체의 위치 좌표(x,y,z) 및 인텐시티 값(I)을 포함할 수 있다. 또한, 상기 포인트 데이터 셋(2100)에 포함되는 포인트 데이터(2001)의 위치 좌표(x,y,z) 및 인텐시티 값(I)은 데이터 시트 상에 표현될 수 있다.

또한, 상기 포인트 데이터 셋(2100)은 노이즈 데이터를 포함할 수 있다. 상기 노이즈 데이터는 상기 라이다 장치의 시야각 내에 위치하는 객체와 관련없이 외부 환경에 의해 생성될 수 있다. 예를 들어, 상기 노이즈 데이터는 라이다 간 간섭에 따른 노이즈, 햇빛 등 주변광에 의한 노이즈, 측정 가능 거리를 벗어난 객체에 의한 노이즈 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 포인트 데이터 셋(2100)은 배경 정보를 포함할 수 있다. 상기 배경 정보는 상기 포인트 데이터 셋(2100)에 포함된 복수의 포인트 데이터 중 객체와 관련되지 않은 적어도 하나의 포인트 데이터를 의미할 수 있다. 또한, 상기 배경 정보는 상기 라이다 장치를 포함하는 자율 주행 시스템에 미리 저장되어 있을 수 있다. 예를 들어, 상기 배경 정보는 건물과 같은 정적 객체(또는, 위치가 고정된 고정형 객체)에 대한 정보를 포함할 수 있고, 상기 배경 정보는 상기 라이다 장치에 맵의 형태로 미리 저장될 수 있다.

다시 도 8을 참조하면, 상기 포인트 클라우드 데이터(2000)는 서브 포인트 데이터 셋(2110)을 포함할 수 있다. 이때, 상기 서브 포인트 데이터 셋(2110)은 동일한 객체를 나타내는 복수의 포인트 데이터(2001)를 의미할 수 있다. 예를 들어, 상기 포인트 데이터 셋(2100)이 사람(HUMAN)을 나타내는 복수의 포인트 데이터를 포함하는 경우, 상기 복수의 포인트 데이터는 하나의 서브 포인트 데이터 셋(2110)을 구성할 수 있다.

또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함될 수 있다. 또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함되는 적어도 하나의 객체 또는 하나의 객체의 적어도 일부를 나타낼 수 있다. 보다 구체적으로, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함되는 복수의 포인트 데이터 중 제1 객체를 나타내는 복수의 포인트 데이터를 의미할 수 있다.

또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)에 포함되는 복수의 포인트 데이터 중 동적 객체와 관련된 적어도 하나의 포인트 데이터의 군집화(clustering)를 통해 획득될 수 있다. 보다 구체적으로, 상기 배경 정보를 활용하여 상기 포인트 데이터 셋(2100)에 포함되는 정적 객체 및 동적 객체(또는 이동형 객체)를 검출한 후, 하나의 객체와 관련된 데이터를 일정 군집으로 묶음으로써 상기 서브 포인트 데이터 셋(2110)을 획득할 수 있다.

또한, 상기 서브 포인트 데이터 셋(2110)은 머신러닝을 이용하여 생성될 수 있다. 예를 들어, 라이다 장치의 제어부는 다양한 객체에 대하여 학습된 머신 러닝을 기초로, 상기 포인트 클라우드 데이터(2000)에 포함된 복수의 데이터 중 적어도 일부가 동일한 객체를 나타낸다고 판단할 수 있다.

또한, 상기 서브 포인트 데이터 셋(2110)은 상기 포인트 데이터 셋(2100)을 분할(segmentation)함으로써 생성될 수 있다. 이때, 라이다 장치의 제어부는 상기 포인트 데이터 셋(2100)을 소정의 세그먼트 단위로 분할할 수 있다. 또한, 상기 분할된 포인트 데이터 셋 중 적어도 하나의 세그먼트 단위는 상기 포인트 데이터 셋(2100)에 포함되는 제1 객체의 적어도 일부를 나타낼 수 있다. 또한, 상기 제1 객체를 나타내는 복수의 세그먼트 단위는 상기 서브 포인트 데이터 셋(2110)에 대응될 수 있다.

3.3. 속성 데이터 (Property Data)

도 10은 일 실시예에 따른 속성 데이터에 포함되는 복수의 정보를 설명하기 위한 도면이다.

도 10을 참조하면, 상기 라이다 장치는 속성 데이터(2200)를 획득할 수 있다. 예를 들어, 상기 속성 데이터(2200)는 상기 서브 포인트 데이터 셋(2110)이 나타내는 객체의 클래스 정보(2210), 중심 위치 정보(2220), 사이즈 정보(2230), 형상 정보(2240), 이동 정보(2250), 식별 정보(2260) 등을 포함할 수 있으나, 이에 한정되지 않는다.

이때, 상기 속성 데이터(2200)는 적어도 하나의 서브 포인트 데이터 셋(2110)을 기초로 결정될 수 있다. 보다 구체적으로, 상기 속성 데이터(2200)는 상기 적어도 하나의 서브 포인트 데이터 셋(2110)이 나타내는 객체의 종류, 크기, 속도, 방향 등 상기 객체의 다양한 속성에 대한 정보를 포함할 수 있다. 또한, 상기 속성 데이터(2200)는 상기 적어도 하나의 서브 포인트 데이터 셋(2110)의 적어도 일부분을 가공한 데이터일 수 있다.

또한, 상기 포인트 데이터 셋(2100)에 포함되는 상기 서브 포인트 데이터 셋(2110)으로부터 상기 속성 데이터(2200)를 생성하는 프로세스는 PCL library 알고리즘을 이용할 수 있다.

일 예로, 상기 PCL(Point Cloud Library)알고리즘을 이용한 상기 속성 데이터(2200) 생성과 관련된 제1 프로세스는 포인트 데이터 셋을 전처리 하는 단계, 배경 정보를 제거하는 단계, 특징점을 검출(feature/keypoin detection)하는 단계, 기술자(descriptor)를 정의하는 단계, 특징점을 매칭하는 단계, 및 객체의 속성을 추정하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.

이때, 상기 포인트 데이터 셋을 전처리 하는 단계는 포인트 데이터 셋을 PCL알고리즘에 적합한 형태로 가공하는 것을 의미할 수 있고, 상기 제1 프로세스에서 상기 포인트 데이터 셋(2100)에 포함되되 객체의 속성 데이터 추출과 관련되지 않은 포인트 데이터가 제거될 수 있다. 예를 들어, 상기 데이터를 전처리 하는 단계는 상기 포인트 데이터 셋(2100)에 포함되는 노이즈 데이터를 제거하는 단계 및 상기 포인트 데이터 셋(2100)에 포함되는 복수의 포인트 데이터를 리샘플링하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 배경 정보를 제거하는 단계를 통해, 상기 제1 프로세스에서 상기 포인트 데이터 셋(2100)에 포함된 상기 배경 정보가 제거되어 객체와 관련된 서브 포인트 데이터 셋(2110)이 추출될 수 있다.

또한, 상기 특징점을 검출하는 단계를 통해, 상기 제1 프로세스에서 상기 배경 정보를 제거하고 남은 객체와 관련된 상기 서브 포인트 데이터 셋(2110)에 포함된 복수의 포인트 데이터 중 상기 객체의 형상적인 특징을 잘 나타내는 특징점이 검출될 수 있다.

또한, 상기 기술자를 정의하는 단계를 통해, 상기 제1 프로세스에서 검출된 특징점들에 대해 해당 특징점 고유의 특성을 설명할 수 있는 기술자가 정의될 수 있다.

또한, 상기 특징점을 매칭하는 단계를 통해, 상기 제1 프로세스에서 상기 객체와 관련된 미리 저장된 템플릿 데이터에 포함된 특징점들의 기술자와 상기 서브 포인트 데이터 셋(2110)의 특징점들의 기술자를 비교해 대응되는 특징점이 선정될 수 있다.

또한, 상기 객체의 속성을 추정하는 단계를 통해, 상기 제1 프로세스에서 선정된 특징점들의 기하적인 관계를 이용해 상기 서브 포인트 데이터 셋(2110)이 나타내는 객체가 검출되고, 상기 속성 데이터(2200)가 생성될 수 있다.

다른 예로, 상기 속성 데이터(2200) 생성과 관련된 제2 프로세스는 데이터를 전처리 하는 단계, 객체에 대한 데이터를 검출하는 단계, 객체에 대한 데이터를 군집화(clustering)하는 단계, 군집 데이터를 분류하는 단계, 및 객체를 추적하는 단계 등을 포함할 수 있으나, 이에 한정되지 않는다.

이때, 상기 객체에 대한 데이터를 검출하는 단계를 통해, 상기 제2 프로세스에서 미리 저장된 배경 데이터를 활용하여 상기 포인트 데이터 셋(2100)에 포함된 복수의 포인트 데이터 중 객체를 나타내는 복수의 포인트 데이터가 추출될 수 있다.

또한, 상기 객체에 대한 데이터를 군집화하는 단계를 통해, 상기 제2 프로세스에서, 상기 복수의 포인트 데이터 중 하나의 객체를 나타내는 적어도 하나의 포인트 데이터를 군집화하여 서브 포인트 데이터 셋(2110)이 추출될 수 있다.

또한, 상기 군집 데이터를 분류하는 과정을 통해, 상기 제2 프로세스에서 사전에 학습된 머신러닝 모델 또는 딥러닝 모델을 이용해 상기 서브 포인트 데이터 셋(2110)의 클래스 정보가 분류되거나 판단될 수 있다.

또한, 상기 객체를 추적하는 단계를 통해, 상기 제2 프로세스에서 상기 서브 포인트 데이터 셋(2110)을 기초로 상기 속성 데이터(2200)가 생성될 수 있다. 예를 들어, 상기 제2 프로세스를 수행하는 컨트롤러는 복수의 서브 포인트 데이터 셋(2110)의 중심 위치 좌표 및 볼륨 등으로 객체의 위치를 표시할 수 있다. 이에 따라, 연속되는 프레임에서 획득된 복수의 서브 포인트 데이터 셋들 간의 거리 및 형상의 유사도 정보를 바탕으로 대응 관계를 정의해 상기 객체를 추적함으로써 상기 객체의 이동 방향 및 속도 등을 추정할 수 있다.

라이다 데이터는 상술한 포인트 클라우드 데이터 및 속성 데이터 뿐만 아니라, 라이다 장치가 디텍터를 통해 수신한 레이저를 기초로 생성하는 모든 종류의 데이터를 포괄하는 의미일 수 있다. 다만, 본 명세서에서 하술하는 라이다 데이터의 의미가 포인트 클라우드 데이터임을 가정하여 설명하지만, 이는 설명의 편의를 위한 것이지 실제로 이에 한정되는 것은 아니다.

4. 라이다 데이터 생성 방법

4.1. 일 실시예에 따른 라이다 데이터 생성 방법

도 11은 일 실시예에 따른 라이다 장치의 구동을 설명하기 위한 도면이다.

도 11을 통해 기술하는 내용들은 라이다 장치, 특히 옵틱부가 노딩미러, 회전미러 등 스캐닝 미러를 포함하는 라이다 장치에서 적용될 수 있으나, 이에 한정되지 않으며, 하술하는 내용들이 적용 가능한 다양한 구조의 라이다 장치에서 적용될 수 있다.

도 11을 참조하면, 일 실시예에 따른 라이다 장치는 적어도 하나의 프레임 데이터에 대응되는 포인트 데이터를 획득할 수 있다.

이 때, 상기 프레임 데이터는 하나의 화면을 구성하는 데이터 세트를 의미할 수 있으며, 일정 시간동안 획득된 포인트 데이터 세트를 의미할 수 있으며, 미리 결정된 형식으로 규정되는 포인트 데이터 세트를 의미할 수 있고, 일정 시간동안 획득되는 포인트 클라우드를 의미할 수 있으며, 미리 결정된 형식으로 규정되는 포인트 클라우드를 의미할 수 있고, 적어도 하나의 데이터 처리 알고리즘에 이용되는 포인트 데이터 세트를 의미할 수 있으며, 적어도 하나의 데이터 처리 알고리즘에 이용되는 포인트 클라우드를 의미할 수 있으나, 이에 한정되지 않으며, 통상의 기술자에게 프레임 데이터로 이해될 수 있는 다양한 개념들에 대응될 수 있다.

상기 적어도 하나의 프레임 데이터는 제1 프레임 데이터(3010)를 포함할 수 있다.

이 때, 도 11에 도시된 상기 제1 프레임 데이터(3010)는 설명의 편의를 위해서 2차원 이미지로 간단히 표현할 것일 뿐 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3010)는 제1 시간 구간(3020)동안 획득된 포인트 데이터 세트에 대응될 수 있으며, 상기 포인트 데이터 세트는 복수개의 포인트 데이터를 포함할 수 있다. 이 때, 포인트 데이터 세트 및 복수개의 포인트 데이터에 대하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

예를 들어, 도 11에 도시된 바와 같이, 상기 제1 프레임 데이터(3010)는 제1 포인트 데이터(3011) 및 제2 포인트 데이터(3012)를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3010)에 포함되는 각각의 포인트 데이터는 라이다 장치에 포함되는 레이저 출력부로부터 출력된 레이저가 대상체에서 반사된 경우 반사된 레이저를 센서부에서 수광함에 따라 상기 센서부로부터 출력되는 신호에 기초하여 획득될 수 있다.

따라서, 상기 제1 프레임 데이터(3010)를 획득하기 위한 상기 제1 시간 구간(3020)에는 적어도 하나의 포인트 데이터가 획득되는 복수개의 서브 시간 구간이 포함될 수 있다.

예를 들어, 상기 제1 프레임 데이터(3010)를 획득하기 위한 상기 제1 시간 구간(3020)에는 상기 제1 포인트 데이터(3011)를 획득하기 위한 제1 서브 시간 구간(3021) 및 상기 제2 포인트 데이터(3012)를 획득하기 위한 제2 서브 시간 구간(3022)이 포함될 수 있으나, 이에 한정되지 않는다.

또한, 상기 복수개의 서브 시간 구간 각각에서 상기 라이다 장치에 포함되는 레이저 출력부, 센서부 및 옵틱부가 동작될 수 있다.

예를 들어, 상기 복수개의 서브 시간 구간에 포함되는 상기 제1 서브 시간 구간(3021)에서 상기 라이다 장치에 포함되는 레이저 출력부, 센서부 및 옵틱부가 동작될 수 있으며, 상기 제2 서브 시간 구간(3022)에서 상기 라이다 장치에 포함되는 레이저 출력부, 센서부 및 옵틱부가 동작될 수 있으나, 이에 한정되지 않는다.

보다 구체적으로, 상기 레이저 출력부는 상기 옵틱부가 적어도 하나의 상태일 때 레이저를 출력하도록 동작될 수 있으며, 상기 센서부는 상기 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작될 수 있다.

예를 들어, 상기 제1 서브 시간 구간(3021)에서 상기 옵틱부가 제1 상태일 때 상기 레이저 출력부는 레이저를 출력하도록 동작될 수 있으며, 상기 센서부는 상기 옵틱부가 상기 제1 상태일 때 상기 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 제2 서브 시간 구간(3022)에서 상기 옵틱부가 제2 상태일 때 상기 레이저 출력부는 레이저를 출력하도록 동작될 수 있으며, 상기 센서부는 상기 옵틱부가 상기 제2 상태일 때 상기 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작될 수 있으나, 이에 한정되지 않는다.

또한, 상기 센서부가 상기 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작되는 시간 구간을 디텍팅 윈도우(detecting window)라고 할 때, 상기 디텍팅 윈도우는 상기 레이저 출력부로부터 상기 레이저가 출력된 시점 이후부터 특정 시간 길이를 가질 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 시간 구간(3021)에서 동작되는 레이저 출력부와 상기 제2 시간 구간(3022)에서 동작되는 레이저 출력부는 동일할 수 있으나, 상이할 수도 있다.

예를 들어, 상기 레이저 출력부는 제1 레이저 출력부 및 제2 레이저 출력부를 포함할 수 있으며, 상기 제1 시간 구간(3021)에서 동작되는 레이저 출력부와 상기 제2 시간 구간(3022)에서 동작되는 레이저 출력부가 동일할 수 있으나, 상기 제1 시간 구간(3021)에서 동작되는 레이저 출력부는 제1 레이저 출력부이며, 상기 제2 시간 구간(3022)에서 동작되는 레이저 출력부는 제2 레이저 출력부일 수도 있으나, 이에 한정되지 않는다.

또한, 상기 제1 시간 구간(3021)에서 동작되는 센서부와 상기 제2 시간 구간(3022)에서 동작되는 센서부는 동일할 수 있으나, 상이할 수도 있다.

예를 들어, 상기 센서부는 제1 센서부 및 제2 센서부를 포함할 수 있으며, 상기 제1 시간 구간(3021)에서 동작되는 센서부와 상기 제2 시간 구간(3022)에서 동작되는 센서부가 동일할 수 있으나, 상기 제1 시간 구간(3021)에서 동작되는 센서부는 제1 센서부며, 상기 제2 시간 구간(3022)에서 동작되는 센서부는 제2 센서부일 수도 있으나, 이에 한정되지 않는다.

또한, 상기 제1 시간 구간(3021)에서 상기 옵틱부의 제1 상태는 상기 제2 시간 구간(3022)에서 상기 옵틱부의 제2 상태와 상이할 수 있다.

예를 들어, 상기 옵틱부가 회전미러를 포함하는 경우 상기 제1 시간 구간(3021)에서 상기 옵틱부의 상기 제1 상태는 상기 회전미러가 제1 각도만큼 회전한 상태를 의미할 수 있으며, 상기 제2 시간 구간(3022)에서 상기 옵틱부의 상기 제2 상태는 상기 회전미러가 상기 제1 각도와 상이한 제2 각도만큼 회전한 상태를 의미할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3010)에 포함되는 복수개의 포인트 데이터 각각은 레이저 출력부로부터 레이저가 출력된 시간, 센서부에서 레이저가 감지된 시간 및 옵틱부의 상태 정보에 기초하여 획득될 수 있다.

예를 들어, 상기 제1 프레임 데이터(3010)에 포함되는 상기 제1 포인트 데이터(3011)는 상기 제1 시간 구간(3021)에서 상기 옵틱부가 상기 제1 상태일 때 상기 레이저 출력부로부터 상기 레이저가 출력된 시간 정보, 상기 레이저 출력부로부터 출력된 상기 레이저가 상기 센서부에서 감지된 시간 정보 및 상기 옵틱부의 상기 제1 상태 정보에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 제1 프레임 데이터(3010)에 포함되는 상기 제2 포인트 데이터(3012)는 상기 제2 시간 구간(3022)에서 상기 옵틱부가 상기 제2 상태일 때 상기 레이저 출력부로부터 상기 레이저가 출력된 시간 정보, 상기 레이저 출력부로부터 출력된 상기 레이저가 상기 센서부에서 감지된 시간 정보 및 상기 옵틱부의 상기 제2 상태 정보에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.

4.2. 히스토그램 데이터(Phothon Counting Histogram, PCH)를 이용한 라이다 데이터 생성

4.2.1. 히스토그램 데이터(PCH) 생성 방법

일 실시예에 따른 라이다 장치는 센서부를 통해 수신한 광을 기초로 히스토그램 데이터를 생성할 수 있다. 이때, 상기 센서부는 디텍터 어레이(detector array)를 포함할 수 있다. 예를 들어, 상기 센서부는 도 2에 도시된 것 같이 SPAD array를 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 2D SPAD array를 이용하여 히스토그램 데이터를 쌓을 수 있다. 이때, 라이다 장치는 히스토그램 데이터를 이용하여, 대상체로부터 반사되어 수광되는 레이저 빔의 수광 시점을 감지할 수 있다.

아래 도 12에 대한 설명에서는 히스토그램 데이터를 생성하는 기본 알고리즘과 히스토그램 데이터와 관련된 여러가지 용어를 정의한다.

또한, 아래 도 13에 대한 설명에서는 히스토그램 데이터를 생성하고 히스토그램 데이터를 기초로 depth 정보를 획득하는 구체적인 과정을 상세히 설명한다.

도 12는 일 실시예에 따른 라이다 장치가 히스토그램 데이터의 생성 방법을 도시한 도면이다.

도 12를 참조하면, 일 실시예에 따른 라이다 장치는 디텍터 어레이에 포함된 디텍터를 통해 디텍팅 윈도우(detecting window) 동안 광자(photon)를 수신할 수 있다(S1001).

이때, 상기 디텍팅 윈도우는 디텍터 어레이에 포함되는 각각의 디텍터에 정의되는 시간 구간으로서, 디텍터가 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작되는 시간 구간을 의미할 수 있다.

예를 들어, 상기 디텍팅 윈도우는 각각 단위 시간 길이를 가지는 복수개의 타임빈으로 분할되도록 구성될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 디텍팅 윈도우가 1.28μs로 구현되는 경우, 상기 디텍팅 윈도우는 1.25ns의 시간 길이를 가지는 1024개의 타임빈으로 분할되도록 구성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 디텍팅 윈도우를 구성하는 복수의 타임빈은 동일한 단위 시간 길이를 가질 수 있으나, 이에 한정되지 않고, 각기 상이한 시간 길이를 가질 수도 있다.

또한, 상기 디텍팅 윈도우는 디텍터로부터 획득된 신호를 기 설정된 상기 복수의 타임빈에 매칭시키기 위한 시간 구간일 수 있다. 보다 구체적으로, 상기 디텍팅 윈도우는 상기 디텍터로부터 획득된 신호를 상기 신호가 획득된 시점에 대응되는 타임빈에 매칭시키기 위한 시간 구간일 수 있다.

또한, 라이다 장치는 광자가 수신된 시간에 대응되는 타임빈(time-bin)에 카운팅 값(counting value)를 축적할 수 있다(S1002).

이때, 상기 라이다 장치는 디텍터에 의해 생성된 신호를 수치적으로 나타내기 위해 상기 카운팅 값(counting value)을 생성하여 저장할 수 있다. 구체적으로, 상기 카운팅 값은 디텍터가 광자를 수광하는 데에 대응하여 생성될 수 있다. 예를 들어, 디텍터가 광자를 수신하여 감지 신호를 획득한 경우, 라이다 장치의 제어부는 광이 수신된 시간에 대응되는 타임빈에 카운팅 값을 1 축적할 수 있으나, 이에 한정되지 않는다. 다시 말해, 상기 카운팅 값은 디텍터에 광자가 수신된 빈도를 나타내기 위해 1 이상의 자연수로 표현되는 값일 수 있으나, 이에 한정되지 않는다.

또한, 라이다 장치는 N회의 디텍팅 윈도우 동안 카운팅 값을 축적하여 히스토그램 데이터를 획득할 수 있다(S1003). 구체적으로, 상기 라이다 장치의 제어부는 레이저를 출력할 때마다 디텍팅 윈도우를 열어서 수신된 광자에 대응하여 적어도 하나의 타임빈에 카운팅 값을 축적할 수 있고, N회의 디텍팅 동안 카운팅 값을 반복적으로 축적함으로써 히스토그램 데이터를 획득할 수 있다.

또한, 라이다 장치는 상기 히스토그램 데이터를 처리하여 depth 정보를 획득할 수 있다(S1004). 구체적으로, 상기 라이다 장치의 제어부는 N회의 디텍팅 윈도우 동안 축적된 히스토그램 데이터를 소정의 알고리즘을 기초로 처리하여 depth 정보를 획득할 수 있다.

상기 라이다 장치의 제어부는 N회의 디텍팅 윈도우 동안 축적된 히스토그램 데이터로부터 적어도 하나의 특징을 추출하여, 추출된 특징을 기초로 depth 정보를 획득하는 알고리즘을 이용하여 depth 정보를 획득할 수 있다.

예를 들어, 상기 라이다 장치의 제어부는 N회의 디텍팅 윈도우 동안 축적된 히스토그램 데이터로부터 피크 값(peak value)을 추출하여 추출된 피크 값을 기초로 depth 정보를 획득하는 알고리즘을 이용할 수 있다. 이때, 상기 피크 값은 상기 히스토그램 데이터의 복수의 카운팅 값들 중 값이 큰 적어도 하나의 카운팅 값 또는 상기 적어도 하나의 카운팅 값에 대응되는 적어도 하나의 타임빈을 의미할 수 있다.

또한, 이에 한정되지 않고, 상기 제어부는 Rising edge, falling edge, center peak 등 다양한 특징을 이용하여 depth 정보를 획득하는 다양한 알고리즘들이 이용될 수 있다.

보다 구체적인 예를 들어, 상기 라이다 장치의 제어부는 상기 히스토그램 데이터 상에서 카운팅 값이 미리 정해진 임계값(threshold) 이상인 적어도 하나의 타임빈을 추출하고, 상기 적어도 하나의 타임빈을 대표할 수 있는 타임빈을 피크로 판단할 수 있으나, 이에 한정되지 않고, 상기 타임빈에 대응되는 카운팅 값을 피크로 판단할 수도 있다. 구체적인 예로, 제어부는 상기 히스토그램 데이터 상에서 가장 높은 카운팅 값에 대응되는 타임빈을 피크로 판단할 수 있으나, 이에 한정되지 않는다. 이 경우, 라이다 장치는 히스토그램 데이터를 이용하여, 히스토그램 데이터의 피크(peak) 시점을 대상체로부터 반사되어 수광되는 레이저 빔의 수광 시점으로 감지할 수 있다.

또한, 상기 depth 정보는 레이저 출력부로부터 출력된 레이저가 반사되어 디텍터를 통해 수신될 때 상기 레이저가 반사되는 감지 지점(detection point)까지의 거리값일 수 있다. 즉, 상기 depth 정보는 상기 라이다 장치로부터 상기 감지 지점까지의 거리를 의미할 수 있고, 상기 라이다 장치는 레이저의 비행 시간(TOF)을 기초로 거리값을 계산함으로써 상기 depth 정보를 획득할 수 있다. 레이저의 비행시간을 기초로 거리값을 계산하는 방법에 대한 구체적인 내용은 상술하였으므로 생략하기로 한다.

도 13은 일 실시예에 따른 라이다 장치가 히스토그램 데이터를 기초로 depth 정보를 획득하는 구체적인 방법을 설명하기 위한 도면이다.

일 실시예에 따른 라이다 장치의 디텍터는 광자를 디텍팅할 수 있다. 예를 들어, 상기 디텍터는 SPAD일 수 있으나, 이에 한정되지 않는다.

또한, 디텍터가 광자를 디텍팅한 후, 다시 광자를 디텍팅할 수 있는 상태로 되돌아가기까지 회복 시간(recovery time)이 필요할 수 있다. 예를 들어, SPAD가 광자를 디텍팅한 후 회복 시간이 지나지 않은 경우, 이때 광자가 SPAD에 입사가 되더라도, SPAD는 광자를 디텍팅할 수 없게 된다. 예를 들어, 상기 회복 시간은 하나 이상의 타임빈 만큼의 시간 간격일 수 있다.

또한, 상기 디텍터가 광자를 디텍팅할 경우, 상기 디텍터는 감지 신호를 생성하여 제어부에 전송할 수 있다. 또한, 라이다 장치의 제어부는 상기 감지 신호를 디지털 신호로 변환하여 카운팅 값을 생성하여 저장할 수 있다. 또한, 상기 제어부는 상기 카운팅 값을 상기 카운팅 값의 크기에 대응되는 히스토그램 형태로 저장할 수 있다.

일 실시예에 따르면, 디텍터는 레이저 출력부에서 레이저 빔이 출력되고 나서 디텍팅 윈도우(detecting window, 3125)동안 광자를 디텍팅할 수 있다. 구체적으로, 디텍터는 출력된 레이저가 조사되는 감지 지점에서 반사된 광자 및 이외의 광자를 상기 디텍팅 윈도우(3125) 동안 감지할 수 있다. 이때, 상기 이외의 광자는 주변광(ambient light, 예를 들어, 햇빛 및 라이다 내부 반사광) 및 다른 레이저에 의한 간섭광(interfering light) 등을 의미할 수 있으나, 이에 한정되지 않는다.

또한, 상기 디텍팅 윈도우(3125)의 시작 시점은 상기 레이저 출력부의 레이저 출력 시점과 동일할 수 있으나, 이에 한정되지 않고, 상이할 수도 있다.

또한, 상기 디텍팅 윈도우(3125)는 복수의 타임빈으로 나누어져 구성될 수 있다. 예를 들어, 상기 디텍팅 윈도우(3125)는 제1 타임빈(t1), 제2 타임빈(t2), ?? 제k 타임빈(tk)로 나누어져 구성될 수 있으나, 이에 한정되지 않는다.

또한, 디텍터가 광자를 디텍팅할 경우, 제어부는 디텍팅된 광자에 대응되는 카운팅 값(Cm)을 생성할 수 있다. 구체적으로, 상기 제어부는 상기 광자가 디텍팅된 시점에 대응되는 타임빈에 카운팅 값을 축적할 수 있다. 또한, 상기 제어부는 축적된 카운팅 값을 카운팅 값의 크기에 대응되는 히스토그램 형태로 저장할 수 있다.

또한, 디텍터는 n회의 디텍팅 윈도우 동안 광자를 디텍팅할 수 있고, 제어부는 상기 n회의 디텍팅 사이클 동안 카운팅 값을 축적하여 히스토그램 데이터를 생성할 수 있다. 이때, 상기 디텍팅 사이클은 레이저 출력부의 레이저 출력 시점으로부터 디텍팅 윈도우의 종료 시점까지의 시간 구간일 수 있다. 예를 들어, n은 128일 수 있으나, 이에 한정되지 않고, 라이다 장치에 미리 설정된 샘플링 레이트(sampling rate)를 기초로 결정되는 값일 수 있다.

아래에서는 히스토그램 데이터에 포함되는 복수개의 카운팅 값들 중 제m 타임빈(tm)에 축적된 카운팅 값에 대한 예시를 기초로 히스토그램 데이터를 생성하는 방법에 대하여 설명하기로 한다.

도 13을 참조하면, 디텍터는 레이저 출력부에서 첫번째 레이저 빔을 출력한 후 제1 사이클 동안 광자를 디텍팅 할 수 있다. 이때, 상기 제1 사이클은 디텍팅 윈도우에 대응될 수 있다. 보다 구체적으로, 상기 라이다 장치가 히스토그램 데이터를 획득하기 위해 N회의 디텍팅 윈도우 동안 카운팅 값을 축적할 때, 상기 제1 사이클은 첫 번째 디텍팅 윈도우에 대응되는 시간 구간일 수 있다.

이때, 제어부는 디텍터가 광자를 디텍팅한 시점에 대응되는 타임빈에 카운팅 값을 할당하여 저장할 수 있다. 예를 들어, 제어부는 디텍터에 의해 수신된 광자에 대응하여 제m 타임빈(tm)에 카운팅 값(Cm)을 할당할 수 있으나, 이에 한정되지 않는다. 이 경우, 상기 카운팅 값(Cm)은 1일 수 있으나, 이에 한정되지 않는다.

또한, 디텍터는 레이저 출력부에서 두번째 레이저 빔을 출력한 후 제2 사이클 동안 광자를 디텍팅 할 수 있다. 이때, 상기 제m 타임빈(tm)에 대응되는 시점에 광자가 수신되는 경우, 제어부는 제m 타임빈(tm)에 카운팅 값을 할당할 수 있다. 이 경우, 상기 제어부는 카운팅 값을 축적하여 상기 카운팅 값(Cm)을 2로 업데이트 할 수 있다. 다만, 이에 한정되는 것은 아니고, N회의 사이클이 진행된 후에 모든 카운팅 값들을 더함으로써 카운팅 값이 최종적으로 업데이트될 수도 있다.

또한, 디텍터는 레이저 출력부에서 세번째 레이저 빔을 출력한 후 제3 사이클 동안 광자를 디텍팅 할 수 있다. 이때, 상기 제m 타임빈(tm)에 대응되는 시점에 광자가 수신되지 않는 경우, 제어부는 제m 타임빈(tm)에 카운팅 값을 할당하지 않을 수 있다. 이 경우, 상기 제어부는 카운팅 값을 축적하지 않으므로 상기 카운팅 값(Cm)은 여전히 2일 수 있다.

또한, 디텍터는 레이저 출력부에서 n번째 레이저 빔을 출력한 후 제n 사이클 동안 광자를 디텍팅 할 수 있다. 이때, 상기 제m 타임빈(tm)에 할당된 카운팅 값은 n회의 디텍팅 사이클 동안 축적된 카운팅 값의 최종 값일 수 있다.

상기와 같이 라이다 장치의 제어부는 n회의 디텍팅 사이클 동안 카운팅 값들을 축적하여 히스토그램 데이터()를 생성할 수 있다.

아래에서는 히스토그램 데이터를 기초로 대상체의 감지 지점의 depth 정보를 획득하기 위해 히스토그램 데이터에서 실제 디텍팅 시점을 추출하기 위한 방법에 대해 설명한다.

4.2.2. 히스토그램 데이터를 기초로 한 depth 정보 획득 방법

일 실시예에 따른 라이다 장치는 디텍터로부터 수신된 광자를 기초로 히스토그램 데이터를 생성할 수 있다. 구체적으로, 상기 라이다 장치의 디텍터는 광자를 수신하여 감지 신호를 생성할 수 있고, 상기 라이다 장치의 제어부는 상기 감지 신호를 기초로 카운팅 값을 축적하여 히스토그램 데이터를 생성할 수 있다. 이때, 상기 감지 신호는 실제 감지 지점에서 반사된 광자를 수신하여 생성된 실제 신호 및 햇빛, 간섭광에서 도달한 광자를 수신하여 생성된 노이즈 신호를 포함할 수 있다. 예를 들어, 상기 히스토그램 데이터는 실제 감지 지점에서 반사된 광자를 수신하여 생성된 실제 신호에 대응하여 생성된 복수의 카운팅 값들 및 햇빛, 간섭광에서 도달한 광자를 수신하여 생성된 노이즈 신호에 대응하여 생성된 복수의 카운팅 값들을 포함할 수 있다.

또한, 일 실시예에 따른 라이다 장치의 제어부는 감지 지점의 depth 정보를 획득하기 위해 레이저의 비행 시간(TOF)을 계산할 수 있다. 이때, 레이저의 비행 시간은 레이저 출력부로부터 레이저가 출력된 시점으로부터 상기 출력된 레이저가 디텍터에 도달하는 시점 사이의 시간 구간일 수 있다. 이 경우, 출력된 레이저가 감지 지점에서 반사되어 디텍터에 도달하여 수신되는 시점은 레이저의 감지 시점으로 정의될 수 있다.

따라서, 상기 감지 지점의 정확한 depth 정보를 획득하기 위해 라이다 장치는 감지 지점에서 반사된 레이저의 정확한 감지 시점을 판단할 필요가 있다. 이에 따라, 디텍터 어레이를 포함하는 라이다 장치는 히스토그램 데이터를 생성하여 상기 히스토그램 데이터를 기초로 레이저의 감지 시점을 판단할 수 있다.

일 실시예에 따른 라이다 장치는 정확한 감지 시점을 판단하기 위해, 히스토그램 데이터를 이용할 수 있다. 구체적으로, 상기 제어부는 상기 히스토그램 데이터에서 감지 시점에 대응되는 타임빈을 추출할 수 있다. 예를 들어, 라이다 장치는 상기 히스토그램 데이터에서 실제 신호를 추출하여 실제 신호에 대응되는 타임빈을 추출할 수 있으나, 이에 한정되지 않는다.

상기 라이다 장치의 제어부는 다양한 방식을 이용하여 상기 히스토그램 데이터 상에서 실제 신호에 대응되는 카운팅 값 및 타임빈을 추출할 수 있다. 예를 들어, 라이다 장치는 히스토그램 데이터로부터 적어도 하나의 특징값을 추출할 수 있으며, 추출된 특징값에 대응되는 타임빈을 추출할 수 있다.

일 예로, 다시 도 13을 참조하면, 라이다 장치는 상기 히스토그램 데이터에서 복수의 카운팅 값들 카운팅 값이 가장 높은 피크값(peak) 추출할 수 있으며, 추출된 피크값에 대응되는 타임빈(tm)을 추출할 수 있다.

또한, 다른 예로, 라이다 장치의 제어부는 히스토그램 데이터()의 복수의 카운팅 값들 중 문턱값(768) 이상을 가지는 적어도 하나의 카운팅 값들을 추출할 수 있고, 상기 적어도 하나의 카운팅 값들에 대응되는 적어도 하나의 타임빈들을 추출할 수 있다.

또한, 일 실시예에 따른 라이다 장치의 제어부는 다양한 방식을 기초로 추출된 타임빈을 기초로 감지 시점을 판단할 수 있다. 이는, 레이저의 비행 시간을 계산하기 위한 레이저 도달 시점을 판단하려면 특정 시점에 대한 정보가 필요한데, 타임빈은 시간 구간으로 정의되기 때문에, 타임빈을 대표하기 위한 시점을 결정할 필요가 있기 때문이다.

예를 들어, 라이다 장치의 제어부가 히스토그램 데이터의 피크값에 대응되는 하나의 타임빈을 추출한 경우, 상기 추출된 타임빈의 중간값을 감지 시점으로 결정할 수 있다. 또한, 이 경우, 제어부는 레이저 출력 시점으로부터 상기 결정된 중간값까지의 시간 구간을 기초로 레이저의 비행 시간을 계산할 수 있다. 물론, 이에 한정되는 것은 아니고, 제어부는 상기 추출된 타임빈의 시작값, 또는 종료값 등을 감지 시점으로 결정할 수도 있다.

또한, 예를 들어, 라이다 장치의 제어부가 히스토그램 데이터의 피크값에 대응되는 복수의 타임빈들을 추출한 경우, 상기 추출된 복수의 타임빈들의 중간값을 감지 시점으로 결정할 수 있다. 또한, 이에 한정되지 않고, 상기 제어부는 상기 복수의 타임빈을 상기 복수의 타임빈들의 카운팅 값들을 기초로 보간하여 보간값을 계산할 수 있고, 상기 계산된 보간값을 감지 시점으로 결정할 수도 있다. 이때, 라이다 장치의 제어부가 데이터를 보간하는 방법은 카운팅 값들의 표준 편차를 기초로 수행될 수 있으나, 이에 한정되지 않고, 통상의 기술자가 데이터를 수학적으로 보간하는 다양한 방법들이 적용될 수 있다.

라이다 장치는 상술한 방법을 기초로 히스토그램 데이터를 이용하여 감지 시점을 결정할 수 있고, 레이저 출력 시점 및 상기 감지 시점의 시간 차이를 이용하여 감지 지점의 depth 정보를 획득할 수 있다.

4.2.3. 히스토그램 데이터를 기초로 한 인텐시티 정보 획득 방법

일 실시예에 따른 라이다 장치가 획득하는 라이다 데이터는 인텐시티 정보를 포함할 수 있다. 이때, 상기 인텐시티 정보는 의미론적으로 대상체로부터 반사된 레이저의 세기를 의미할 수 있으나, 이에 한정되지 않으며, 대상체로부터 반사된 레이저의 세기 또는 광자의 개수와 관련되어 도출되는 파라미터를 의미할 수 있다. 다시 말해, 상기 인텐시티 정보는 레이저가 반사되는 반사 강도를 나타내는 정보일 수 있다. 또한, 상기 인텐시티 정보는 반사강도 정보, 반사율 정보, 또는 반사도 정보 등의 용어로 표현될 수 있다.

또한, 상기 인텐시티 정보는 인텐시티값(intensity value)을 포함할 수 있다. 이때, 인텐시티값은 감지 지점에서 레이저가 반사되는 정도를 수치화한 값일 수 있다. 보다 구체적으로, 상기 라이다 장치는 복수의 감지 지점들 각각에 대한 인텐시티값을 계산할 수 있고, 상기 인텐시티 값으로 구성된 인텐시티 정보를 생성할 수 있다.

일 실시예에 따른 라이다 장치는 다양한 알고리즘들을 기초로 인텐시티 정보를 획득할 수 있다.

예를 들어, 일 실시예에 디텍터 어레이를 포함하는 라이다 장치는 히스토그램 데이터를 기초로 감지 지점의 인텐시티 정보를 획득할 수 있다.

보다 구체적으로, 라이다 장치의 제어부는 히스토그램 데이터 상에서 감지 지점에 대응되는 타임빈을 결정하고, 상기 타임빈에 매칭되는 카운팅 값을 상기 감지 지점의 인텐시티 값으로 결정할 수 있다.

예를 들어, 도 13을 참조하면, 라이다 장치의 제어부는 대상체의 감지 시점으로 판단된 제m 타임빈에 매칭되는 카운팅 값을 감지 지점의 인텐시티 값으로 결정할 수 있다.

또한, 이에 한정되지 않고, 라이다 장치의 제어부는 히스토그램 데이터 상에서 카운팅 값이 일정 값 이상인 적어도 하나의 타임빈들의 히스토그램 면적을 감지 지점의 인텐시티 값으로 결정할 수 있다. 이때, 히스토그램 면적 히스토그램 데이터 상에서 히스토그램이 크기를 나타내기 위한 값으로써, 타임빈의 크기에 카운팅 값을 곱한 값을 의미할 수 있으나, 이에 한정되지 않는다.

예를 들어, 도 13을 참조하면, 라이다 장치의 제어부는 히스토그램 데이터 상에서 일정 값(th) 이상의 카운팅 값을 가지는 제m 타임빈의 히스토그램 면적을 감지 지점의 인텐시티 값으로 결정할 수 있다.

히스토그램 데이터를 기초로 감지 지점의 인텐시티 정보를 획득하는 방법은 상술한 방법에 한정되는 것은 아니며, 히스토그램 데이터를 기초로 인텐시티 값을 계산하는 다양한 방법들이 적용될 수 있다.

라이다 장치는 상기와 같은 방법을 기초로 히스토그램 데이터를 이용하여 감지 지점의 depth 정보 및 인텐시티 정보를 획득할 수 있다.

또한, 라이다 장치는 상기와 같은 방법으로 획득된 감지 지점의 depth 정보 및 인텐시티 정보 중 적어도 하나를 이용하여, 라이다 데이터를 획득할 수 있다. 아래에서는 라이다 장치가 히스토그램 데이터를 이용한 라이다 데이터 생성하는 방법을 시계열적으로 설명한다.

4.2.4. 히스토그램 데이터를 이용한 라이다 데이터 생성 방법

도 14는 일 실시예에 따른 라이다 장치의 구동을 설명하기 위한 도면이다.

도 14를 통해 기술하는 내용들은 라이다 장치, 특히 센서부가 디텍터 어레이를 포함하는 플래시 타입 라이다 장치에서 적용될 수 있으나, 이에 한정되지 않으며, 하술하는 내용들이 적용 가능한 다양한 구조의 라이다 장치에서 적용될 수 있다.

이때, 플래시 타입 라이다 장치는 레이저 출력부가 레이저를 출력할 때 디텍터 어레이에 포함된 모든 디텍터들이 레이저를 수광하는 타입의 라이다 장치이다. 예를 들어, 플래시 타입의 라이다 장치는 레이저 출력부에 포함된 모든 이미터들이 레이저를 출력하고, 상기 출력된 레이저의 적어도 일부를 디텍터 어레이에 포함된 모든 디텍터들이 수광하여 대상체에 대한 depth 정보를 획득하도록 설계될 수 있다.

도 14를 참조하면, 일 실시예에 따른 라이다 장치는 적어도 하나의 프레임 데이터에 대응되는 포인트 데이터를 획득할 수 있다.

상기 적어도 하나의 프레임 데이터는 제1 프레임 데이터(3110)를 포함할 수 있다.

이 때, 도 14에 도시된 상기 제1 프레임 데이터(3110)는 설명의 편의를 위해서 2차원 이미지로 간단히 표현한 것일 뿐 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3110)는 제1 시간 구간(3120)동안 획득된 포인트 데이터 세트에 대응될 수 있으며, 상기 포인트 데이터 세트는 복수개의 포인트 데이터를 포함할 수 있다. 이 때, 포인트 데이터 세트 및 복수개의 포인트 데이터에 대하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

예를 들어, 도 14에 도시된 바와 같이, 상기 제1 프레임 데이터(3110)는 제1 포인트 데이터(3111) 및 제2 포인트 데이터(3112)를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3110)에 포함되는 각각의 포인트 데이터는 라이다 장치에 포함되는 레이저 출력부로부터 출력된 레이저가 대상체에서 반사된 경우 반사된 레이저를 센서부에서 수광함에 따라 상기 센서부로부터 출력되는 신호에 기초하여 획득될 수 있다.

따라서, 상기 제1 프레임 데이터(3110)를 획득하기 위한 상기 제1 시간 구간(3120)에는 적어도 하나의 디텍터에 대한 데이터 세트가 획득되는 복수개의 서브 시간 구간이 포함될 수 있다. 이 때, 적어도 하나의 디텍터에 대한 데이터 세트는 상기 적어도 하나의 디텍터로부터 출력된 신호를 대응되는 타임빈(time-bin)에 매칭시켜 획득된 카운팅 값(Counting value) 세트를 의미할 수 있으며, 상기 적어도 하나의 디텍터에 대한 데이터 세트는 상기 적어도 하나의 디텍터에 대한 히스토그램 데이터(histogram data)를 생성하는데 이용될 수 있다. 또한, 이 때, 상기 히스토그램 데이터는 복수개의 서브 시간 구간 각각에서 획득된 상기 데이터 세트를 복수개 축적하여 획득되는 데이터일 수 있으나, 이에 한정되지 않으며, 통상의 기술자에게 히스토그램 데이터로 이해되는 히스토그램 데이터의 의미를 포함할 수 있다.

예를 들어, 상기 제1 프레임 데이터(3110)를 획득하기 위한 상기 제1 시간 구간(3120)에는 복수개의 디텍터 각각에 대한 제1 데이터 세트를 획득하기 위한 제1 서브 시간 구간(3121) 및 상기 복수개의 디텍터 각각에 대한 제2 데이터 세트를 획득하기 위한 제2 서브 시간 구간(3122)이 포함될 수 있으나, 이에 한정되지 않는다.

또한, 상기 복수개의 서브 시간 구간 각각에서 상기 라이다 장치에 포함되는 레이저 출력부 및 센서부가 동작될 수 있다.

예를 들어, 상기 복수개의 서브 시간 구간에 포함되는 상기 제1 서브 시간 구간(3121)에서 상기 라이다 장치에 포함되는 레이저 출력부 및 센서부가 동작될 수 있으며, 상기 제2 서브 시간 구간(3122)에서 상기 라이다 장치에 포함되는 레이저 출력부 및 센서부가 동작될 수 있으나, 이에 한정되지 않는다.

보다 구체적으로, 상기 레이저 출력부는 특정 시점에 레이저를 출력하도록 동작될 수 있으며, 상기 센서부는 상기 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작될 수 있으며, 상기 센서부는 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키며, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값이 저장될 수 있다.

예를 들어, 상기 제1 서브 시간 구간(3121)에서 상기 레이저 출력부는 레이저를 출력하도록 동작될 수 있으며, 상기 센서부에 포함되는 제1 내지 제N 디텍터는 상기 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작될 수 있으며, 상기 제1 내지 제N 디텍터 각각은 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키며, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값이 저장될 수 있다. 도 14에서 각각의 디텍터의 디텍팅 윈도우 밑에 디텍팅 윈도우를 분할하는 방식으로 표시된 것은 각각의 타임빈을 의미할 수 있으며, 각각의 타임빈에 카운팅 값이 저장되는 것을 음영으로 표시한 것일 수 있다.

또한, 예를 들어, 상기 제2 서브 시간 구간(3122)에서 상기 레이저 출력부는 레이저를 출력하도록 동작할 수 있으며, 상기 센서부에 포함되는 제1 내지 제N 디텍터는 상기 레이저 출력부로부터 출력된 레이저를 감지하기 위하여 동작될 수 있으며, 상기 제1 내지 제N 디텍터 각각은 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키며, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값이 저장될 수 있다. 도 14에서 각각의 디텍터의 디텍팅 윈도우 밑에 디텍팅 윈도우를 분할하는 방식으로 표시된 것은 각각의 타임빈을 의미할 수 있으며, 각각의 타임빈에 카운팅 값이 저장되는 것을 음영으로 표시한 것일 수 있다.

또한, 각각의 서브 시간 구간에서 각각의 디텍터에 대한 디텍팅 윈도우 내에 감지된 빛에 기초하여 발생되는 신호를 기초로 각각의 디텍터에 대한 데이터 세트가 획득될 수 있다.

예를 들어, 상기 제1 서브 시간 구간(3121)에서 상기 제1 내지 제N 디텍터 각각에서 감지된 빛에 기초하여 발생된 신호를 기초로 상기 제1 내지 제N 디텍터 각각에 대한 제1 데이터 세트가 획득될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 제2 서브 시간 구간(3122)에서 상기 제1 내지 제N 디텍터 각각에서 감지된 빛에 기초하여 발생된 신호를 기초로 상기 제1 내지 제N 디텍터 각각에 대한 제2 데이터 세트가 획득될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 서브 시간 구간(3121)에서 동작되는 레이저 출력부와 상기 제2 서브 시간 구간(3122)에서 동작되는 레이저 출력부는 동일할 수 있으나, 상이할 수도 있다.

예를 들어, 상기 레이저 출력부는 제1 레이저 출력부 및 제2 레이저 출력부를 포함할 수 있으며, 상기 제1 서브 시간 구간(3121)에서 동작되는 레이저 출력부와 상기 제2 서브 시간 구간(3122)에서 동작되는 레이저 출력부가 동일할 수 있으나, 상기 제1 서브 시간 구간(3121)에서 동작되는 레이저 출력부는 제1 레이저 출력부이며, 상기 제2 서브 시간 구간(3122)에서 동작되는 레이저 출력부는 제2 레이저 출력부일 수도 있으나, 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3110)에 포함되는 복수개의 포인트 데이터 각각은 각각의 디텍터에 대한 복수개의 데이터 세트를 각각에 디텍터에 대해 축적한 각각의 디텍터에 대한 히스토그램 데이터에 기초하여 획득될 수 있다.

예를 들어, 상기 제1 프레임 데이터(3110)에 포함되는 상기 제1 포인트 데이터(3111)는 상기 제1 서브 시간 구간(3121)에서 획득된 제2 디텍터에 대한 제1 데이터 세트 및 상기 제2 서브 시간 구간(3122)에서 획득된 상기 제2 디텍터에 대한 제2 데이터 세트에 기초한 제1 히스토그램 데이터에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 제1 프레임 데이터(3110)에 포함되는 상기 제2 포인트 데이터(3112)는 상기 제1 시간 구간(3121)에서 획득된 제N-1 디텍터에 대한 제1 데이터 세트 및 상기 제2 시간 구간(3122)에서 획득된 상기 제N-1 디텍터에 대한 제2 데이터 세트에 기초한 제2 히스토그램 데이터에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.

도 15는 일 실시예에 따른 라이다 장치의 구동을 설명하기 위한 도면이다.

도 15를 통해 기술하는 내용들은 라이다 장치, 특히 센서부가 디텍터 어레이(Detector Array)를 포함하며, 레이저 출력부가 이미터 어레이(Emitter array)를 포함하는 라이다 장치에서 적용될 수 있다. 특히, 어드레서블(addressable)하게 레이저를 출력하는 레이저 출력부를 포함하는 라이다 장치에서 적용될 수 있다. 다만, 이에 한정되지 않으며, 하술하는 내용들이 적용 가능한 다양한 구조의 라이다 장치에서 적용될 수 있다.

어드레서블하게 레이저를 출력하는 레이저 출력부는 이미터 유닛별로 레이저 빔을 출력할 수 있다.

예를 들어, 레이저 출력부는 1행 1열의 이미터 유닛의 레이저 빔을 1번 출력한 후 1행 3열의 이미터 유닛의 레이저 빔을 1번 출력하고, 이후 2행 4열의 이미터 유닛의 레이저 빔을 1번 출력할 수 있다. 이와 같이, 레이저 출력부는 A행 B열의 이미터 유닛의 레이저 빔을 N번 출력한 후 C행 D열의 이미터 유닛의 레이저 빔을 M번 출력할 수 있다.

이때, SPAD 어레이는 대응되는 이미터 유닛으로부터 출력된 레이저 빔 중 대상체에 반사되어 되돌아오는 레이저 빔을 수광할 수 있다.

예를 들어, 레이저 출력부의 레이저 빔 출력 시퀀스(sequence) 중 1행 1열의 이미터 유닛이 N번 레이저 빔을 출력한 경우, 1행 1열과 대응되는 1행 1열의 SPAD 유닛이 대상체에 반사된 레이저 빔을 최대 N번 수광할 수 있다.

또한 예를 들어, 디텍터의 히스토그램 데이터에 반사된 레이저 빔을 N번 축적되어야 하고, 레이저 출력부의 이미터 유닛이 M개가 있는 경우, M개의 이미터 유닛을 한꺼번에 N번 동작시킬 수 있다. 또는 M개의 이미터 유닛을 1개씩 M*N번 동작시킬 수도 있고, M개의 이미터 유닛을 5개씩 M*N/5번 동작시킬 수도 있다.

또한, 도 15에서는 설명의 편의를 위해 레이저 출력부에 포함되는 이미터 세트(레이저를 출력하기 위한 적어도 하나의 이미터를 포함함)를 이용해서 기술하며, 상기 이미터 세트에 대응되는 적어도 하나의 디텍터 중 하나의 디텍터만을 이용해서 기술하기로 하나, 상기 이미터 세트에 대응되어 복수개의 디텍터가 동작될 수 있음을 포함하는 설명으로 이해될 수 있다.

도 15를 참조하면, 일 실시예에 따른 라이다 장치는 적어도 하나의 프레임 데이터에 대응되는 포인트 데이터를 획득할 수 있다.

상기 적어도 하나의 프레임 데이터는 제1 프레임 데이터(3210)를 포함할 수 있다.

이 때, 도 15에 도시된 상기 제1 프레임 데이터(3210)는 설명의 편의를 위해서 2차원 이미지로 간단히 표현한 것일 뿐 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3210)는 제1 시간 구간(3220)동안 획득된 포인트 데이터 세트에 대응될 수 있으며, 상기 포인트 데이터 세트는 복수개의 포인트 데이터를 포함할 수 있다. 이 때, 포인트 데이터 세트 및 복수개의 포인트 데이터에 대하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

예를 들어, 도 15에 도시된 바와 같이, 상기 제1 프레임 데이터(3210)는 제1 포인트 데이터(3211) 및 제2 포인트 데이터(3212)를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 프레임 데이터(3210)에 포함되는 각각의 포인트 데이터는 라이다 장치에 포함되는 레이저 출력부로부터 출력된 레이저가 대상체에서 반사된 경우 반사된 레이저를 센서부에서 수광함에 따라 상기 센서부로부터 출력되는 신호에 기초하여 획득될 수 있다.

따라서, 상기 제1 프레임 데이터(3210)를 획득하기 위한 상기 제1 시간 구간(3220)에는 적어도 하나의 포인트 데이터를 획득하기 위한 적어도 하나의 히스토그램 데이터를 획득하기 위한 복수개의 서브 시간 구간이 포함될 수 있다.

예를 들어, 상기 제1 프레임 데이터(3210)를 획득하기 위한 상기 제1 시간 구간(3220)에는 상기 제1 포인트 데이터(3211)를 획득하기 위한 제1 히스토그램 데이터를 획득하기 위한 제1 서브 시간 구간(3221) 및 상기 제2 포인트 데이터(3212)를 획득하기 위한 제2 히스토그램 데이터를 획득하기 위한 제2 서브 시간 구간(3222)이 포함될 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 복수개의 서브 시간 구간에 포함되는 상기 제1 서브 시간 구간(3221)에서 상기 라이다 장치에 포함되는 레이저 출력부 및 센서부가 동작될 수 있으며, 상기 제2 서브 시간 구간(3222)에서 상기 라이다 장치에 포함되는 레이저 출력부 및 센서부가 동작될 수 있으나, 이에 한정되지 않는다.

보다 구체적으로, 상기 레이저 출력부는 N번 레이저를 출력하도록 동작될 수 있으며, 상기 센서부는 상기 레이저 출력부로부터 N번 출력된 레이저를 감지하기 위하여 상기 레이저 출력부와 동기화되어 동작될 수 있으며, 상기 센서부는 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키며, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값을 저장할 수 있다.

예를 들어, 상기 제1 서브 시간 구간(3221)에서 상기 레이저 출력부에 포함되는 제1 이미터 세트가 레이저를 출력하도록 동작될 수 있으며, 상기 센서부에 포함되는 제1 디텍터는 상기 제1 이미터 세트로부터 출력된 레이저를 감지하기 위하여 동작될 수 있고, 상기 제1 디텍터는 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키기며, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값이 저장될 수 있다.

또한, 예를 들어, 상기 제1 서브 시간 구간(3221)에서 상기 제1 이미터 세트가 N번 레이저를 출력하도록 동작될 수 있으며, 상기 제1 디텍터는 각각의 레이저 출력에 대응되는 디텍팅 윈도우에서 동작되며, 각각의 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키기고, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값을 저장하여 데이터 세트를 생성하며, 이에 따라 N번 출력된 레이저에 대응되는 N 개의 데이터 세트에 기초하여 히스토그램 데이터가 획득될 수 있다.

또한, 예를 들어, 상기 제2 서브 시간 구간(3222)에서 상기 레이저 출력부에 포함되는 제2 이미터 세트가 레이저를 출력하도록 동작될 수 있으며, 상기 센서부에 포함되는 제2 디텍터는 상기 제2 이미터 세트로부터 출력된 레이저를 감지하기 위하여 동작될 수 있고, 상기 제2 디텍터는 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키며, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값이 저장될 수 있다.

또한, 예를 들어, 상기 제2 서브 시간 구간(3222)에서 상기 제2 이미터 세트가 N번 레이저를 출력하도록 동작될 수 있으며, 상기 제2 디텍터는 각각의 레이저 출력에 대응되는 디텍팅 윈도우에서 동작되며, 각각의 디텍팅 윈도우 내에서 감지된 빛에 의해 신호를 발생시키기고, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값을 저장하여 데이터 세트를 생성하며, 이에 따라 N번 출력된 레이저에 대응되는 N 개의 데이터 세트에 기초하여 히스토그램 데이터가 획득될 수 있다.

또한, 상기 제1 프레임 데이터(3210)에 포함되는 복수개의 포인트 데이터 각각은 각각의 디텍터에 대한 복수개의 데이터 세트를 각각에 디텍터에 대해 축적한 각각의 디텍터에 대한 히스토그램 데이터에 기초하여 획득될 수 있다.

예를 들어, 상기 제1 프레임 데이터(3210)에 포함되는 상기 제1 포인트 데이터(3211)는 상기 제1 서브 시간 구간(3221)에서 획득된 제1 히스토그램 데이터에 기초하여 획득될 수 있으며, 상기 제2 포인트 데이터(3212)는 상기 서브 제2 시간 구간(3222)에서 획득된 제2 히스토그램 데이터에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.

4.3. 히스토그램 데이터를 이용한 라이다 데이터 생성 방법의 문제점

도 16은 일 실시에에 따른 디텍터 어레이를 포함하는 라이다 장치의 신호 처리 방법을 설명하기 위한 도면이다.

도 16을 참조하면, 디텍터 어레이를 포함하는 라이다 장치는 디텍터 어레이에 포함되는 디텍터들 각각에 대해 개별적으로 히스토그램 데이터를 생성할 수 있다. 또한, 라이다 장치는 개별적으로 생성된 각각의 히스토그램 데이터를 기초로 각각의 depth 정보를 획득할 수 있다.

히스토그램 데이터를 이용하여 라이다 데이터를 생성하는 데이터 처리 방식은 공간적으로 연관된 데이터를 활용하지 않고, 디텍터들 각각이 개별적으로 데이터를 처리하기 때문에 여러가지 문제들을 야기할 수 있다.

일 예로, 라이다 장치가 획득하는 depth 정보의 정확성이 떨어질 수 있다. 구체적으로, 모든 디텍터가 개별적으로 신호를 처리하기 때문에, 디텍터들 각각은 동일한 거리에 위치하는 지점들에 대해 서로 상이한 depth 정보를 산출할 수 있다.

또한, 다른 예로, 히스토그램 데이터를 이용한 개별적인 라이다 데이터 처리 방식은 노이즈에 취약할 수 있다. 구체적으로, 하나의 디텍터로부터 획득된 데이터에만 의존하므로 실제 감지 신호와 햇빛 및 간섭광 등 노이즈 신호를 구별하기 어려울 수 있다.

5. 본 발명의 제안

본 명세서에서는 상술한 문제들을 해결하기 위해 공간적으로 인접한 디텍터에서 획득된 신호들을 함께 고려할 수 있는 새로운 형태의 데이터 구조를 제안한다.

구체적으로, 본 명세서에서는 디텍터 어레이에 대응되는 공간 도메인을 가지는 데이터 구조를 도입하여 디텍터 어레이를 포함하는 라이다 장치에서 인접한 디텍터의 감지 신호를 함께 고려할 수 있는 새로운 형태의 데이터 처리 알고리즘을 제안한다.

6. 본 발명에서 제안되는 라이다 장치의 구성

도 17은 일 실시예에 따른 라이다 장치의 구성을 설명하기 위한 도면이다.

도 17을 참조하면, 일 실시예에 따른 라이다 장치(4000)는 레이저 출력부(4100), 센서부(4200), 및 제어부(4300)를 포함할 수 있다.

이때, 상기 레이저 출력부에 대하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 상기 센서부(4200)는 디텍터 어레이를 포함할 수 있다. 보다 구체적으로, 상기 센서부(4200)는 어레이 형태로 배치된 복수개의 디텍터(4210)를 포함할 수 있다. 예를 들어, 상기 센서부(4200)는 제1 디텍터, 제2 디텍터, ?? 및 제n 디텍터를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 센서부에 대하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 상기 제어부(4300)는 프로세서(4310)를 포함할 수 있다. 이때, 상기 프로세서는 레이저 출력부(4100) 및 센서부(4200)를 제어할 수 있다. 상기 프로세서(4310)에 대하여는 상술한 제어부에 대한 설명(목차 1.4.)들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 상기 제어부(4300)는 데이터 처리부(4330)를 포함할 수 있다. 이때, 데이터 처리부(4330)는 센서부(4200)로부터 획득된 감지 신호를 기초로 데이터를 생성하거나, 생성된 데이터를 처리할 수 있다. 보다 구체적으로, 상기 데이터 처리부(4330)는 디텍터 어레이에 포함된 각각의 디텍터에 연결될 수 있고, 상기 각각의 디텍터로부터 감지 신호(4201)를 수신할 수 있다.

또한, 데이터 처리부(4330)는 디텍터로부터 수신된 감지 신호(4201)를 기설정된 알고리즘을 기초로 처리할 수 있다.

또한, 상기 데이터 처리부(4330)는 감지 신호(4201)를 처리하여 미리 정의된 형식을 가지는 데이터 셋을 생성할 수 있다. 구체적으로, 데이터 처리부(4330)는 대상체에서 반사된 레이저의 감지 시점 및 상기 레이저를 감지한 디텍터의 위치를 반영하는 시공간 데이터 셋(Spatio-temporal data set, 5000)을 생성할 수 있다. 다시 말해, 데이터 처리부(4330)는 감지 신호(4201)을 입력받아, 시공간 데이터 셋(5000)을 출력하거나 저장할 수 있다.

시공간 데이터 셋(5000)의 상세한 정의는 아래에서 자세히 설명한다.

또한, 상기 제어부(4300)는 상기 감지 신호(4201)를 적어도 하나의 메모리(4350)에 저장할 수 있다.

구체적으로, 상기 데이터 처리부(4330)는 상기 감지 신호(4201) 및 상기 감지 신호(4201)로부터 생성된 데이터를 적어도 하나의 메모리(4350)에 저장할 수 있다.

예를 들어, 상기 적어도 하나의 메모리(4350)는 디텍터 어레이에 포함되는 각각의 디텍터로부터 생성된 감지 신호(4201) 각각을 저장하기 위한 복수의 메모리 영역을 포함할 수 있다.

또한, 예를 들어, 상기 적어도 하나의 메모리(4350)는 상기 데이터 처리부(4330)로부터 생성된 카운팅 값을 저장하기 위한 복수의 메모리 영역을 포함할 수 있다.

이때, 상기 감지 신호(4201)가 저장되는 메모리와 상기 카운팅 값이 저장되는 메모리는 서로 분리된 메모리일 수 있으나, 이에 한정되지 않는다. 구체적으로, 상기 데이터 처리부(4330)는 상기 감지 신호(4201)를 제1 메모리에 저장할 수 있고, 상기 제1 메모리로부터 상기 감지 신호(4201)를 읽어와서 카운팅 값을 생성한 뒤, 상기 카운팅 값을 제2 메모리에 저장할 수 있다.

또한, 상기 데이터 처리부(4330)는 상기 감지 신호(4201)를 상기 적어도 하나의 메모리(4350)로부터 불러올 수 있다.

또한, 상기 데이터 처리부(4330)는 상기 불러온 감지 신호(4201)를 데이터 처리 알고리즘을 기초로 처리할 수 있다.

예를 들어, 상기 데이터 처리부(4330)는 상기 적어도 하나의 메모리(4350)로부터 불러온 상기 감지 신호(4201)를 기초로 누적 데이터 셋을 생성할 수 있다.

또한, 상기 데이터 처리부(4330)는 생성한 상기 누적 데이터 셋을 상기 적어도 하나의 메모리(4350)에 저장할 수 있다. 이때, 상기 적어도 하나의 메모리(4350)에서 상기 누적 데이터 셋이 저장되는 영역은 상기 적어도 하나의 메모리(4350)에서 감지 신호(4201)가 저장되는 영역과 상이할 수 있다.

또한, 예를 들어, 상기 데이터 처리부(4330)는 상기 적어도 하나의 메모리(4350)로부터 불러온 상기 감지 신호(4201)를 기초로 시공간 데이터 셋(5000)을 생성할 수 있다.

또한, 이 경우, 상기 데이터 처리부(4330)는 생성한 상기 시공간 데이터 셋(5000)을 상기 적어도 하나의 메모리(4350)에 저장할 수 있다. 이때, 상기 적어도 하나의 메모리(4350)에서 상기 시공간 데이터 셋(5000)이 저장되는 영역은 상기 적어도 하나의 메모리(4350)에서 감지 신호(4201)가 저장되는 영역과 상이할 수 있다.

또한, 상기 데이터 처리부(4330)는 상기 누적 데이터 셋을 상기 적어도 하나의 메모리(4350)로부터 불러올 수 있다.

또한, 상기 데이터 처리부(4330)는 상기 불러온 누적 데이터 셋을 데이터 처리 알고리즘을 기초로 처리할 수 있다. 예를 들어, 상기 데이터 처리부(4330)는 상기 적어도 하나의 메모리(4350)로부터 불러온 상기 누적 데이터 셋을 기초로 상기 시공간 데이터 셋(5000)을 생성할 수 있다.

또한, 이 경우, 상기 데이터 처리부(4330)는 생성한 상기 시공간 데이터 셋(5000)을 상기 적어도 하나의 메모리(4350)에 저장할 수 있다. 이때, 상기 적어도 하나의 메모리(4350)에서 상기 시공간 데이터 셋(5000)이 저장되는 영역은 상기 적어도 하나의 메모리(4350)에서 상기 감지 신호(4201) 및 상기 누적 데이터 셋이 저장되는 영역과 상이할 수 있다.

또한, 상기 데이터 처리부(4330)는 상기 시공간 데이터 셋(5000)을 상기 적어도 하나의 메모리(4350)로부터 불러올 수 있다.

또한, 상기 데이터 처리부(4330)는 상기 불러온 시공간 데이터 셋(5000)를 데이터 처리 알고리즘을 기초로 처리할 수 있다. 예를 들어, 상기 데이터 처리부(4330)는 상기 적어도 하나의 메모리(4350)로부터 불러온 상기 시공간 데이터 셋(5000)을 기초로 강화된 시공간 데이터 셋을 생성할 수 있다.

또한, 이 경우, 상기 데이터 처리부(4330)는 생성한 상기 강화된 시공간 데이터 셋을 상기 적어도 하나의 메모리(4350)에 저장할 수 있다. 이때, 상기 적어도 하나의 메모리(4350)에서 상기 강화된 시공간 데이터 셋이 저장되는 영역은 상기 적어도 하나의 메모리(4350)에서 상기 감지 신호(4201) 및 상기 시공간 데이터 셋(5000)이 저장되는 영역과 상이할 수 있다.

도 18은 일 실시예에 따른 라이다 데이터 처리 장치를 설명하기 위한 도면이다.

도 18을 참조하면, 라이다 장치(4000)는 디텍터 어레이로부터 생성된 감지 신호를 기초로 라이다 데이터를 생성할 수 있다. 구체적으로, 상기 라이다 장치(4000)의 제어부는 상기 감지 신호를 처리하여 라이다 데이터를 생성할 수 있다. 예를 들어, 상기 라이다 장치(4000)의 프로세서는 상기 감지 신호를 기초로 누적 데이터 셋, 시공간 데이터 셋, 또는 강화된 시공간 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다.

이때, 상기 라이다 데이터는 상기 라이다 장치(4000) 내부에 배치된 프로세서로부터 생성될 수도 있으나, 이에 한정되지 않고, 상기 라이다 장치(4000)와 연결된 라이다 데이터 처리 장치(4500)에 의해 생성될 수도 있다.

이 경우, 상기 라이다 데이터 처리 장치(4500)는 상기 라이다 장치(4000)의 제어부에 포함된 프로세서로서, 상기 라이다 장치(4000) 외부에 배치되는 외부 프로세서를 의미할 수 있으나, 이에 한정되지 않는다. 구체적으로, 상기 라이다 데이터 처리 장치(4500)는 라이다 장치(4000) 내부에 포함된 프로세서로부터 데이터를 전송받아 라이다 데이터를 생성하기 위한 장치일 수 있다. 예를 들어, 상기 라이다 데이터 처리 장치(4500)는 라이다 장치의 제어부와 라이다 장치가 배치되는 차량의 메인 컨트롤러를 연결하는 중계기일 수 있으나, 이에 한정되지 않는다.

이때, 상기 라이다 데이터 처리 장치(4500)는 유선 또는 무선 통신을 통해 데이터를 라이다 장치(4000)와 주고받을 수 있다.

일 실시예에 따른 라이다 데이터 처리 장치는(4500) 라이다 장치(4000)에 포함되는 디텍터로부터 감지 신호를 획득하고, 이를 처리하기 위한 장치일 수 있다.

일 예로, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치(4000)에 포함되는 디텍터로부터 감지신호를 획득하고, 획득된 감지 신호를 기초로 히스토그램 데이터를 생성할 수 있으나, 이에 한정되지 않는다. 또한, 상기 라이다 데이터 처리 장치는 상기 생성된 히스토그램 데이터를 저장할 수 있고, 상기 히스토그램 데이터를 상기 라이다 장치로 전송할 수 있다. 구체적인 예로, 도 18을 참조하면, 라이다 장치는 감지 신호를 포함하는 제1 데이터 셋(4300)을 라이다 데이터 처리 장치로 전송할 수 있고, 상기 라이다 데이터 처리 장치는 상기 감지 신호를 기초로 생성된 히스토그램 데이터를 포함하는 제2 데이터 셋(4400)을 상기 라이다 장치로 전송할 수 있으나, 이에 한정되지 않는다.

또한, 다른 예로, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치(4000)에 포함되는 디텍터로부터 감지 신호를 획득하고, 획득된 감지 신호를 기초로 시공간 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다. 또한, 상기 라이다 데이터 처리 장치(4500)는 상기 생성된 시공간 데이터 셋을 저장할 수 있고, 상기 시공간 데이터 셋을 상기 라이다 장치(4000)로 전송할 수 있다. 구체적인 예로, 도 18을 참조하면, 라이다 장치(4000)는 감지 신호를 포함하는 제1 데이터 셋(4300)을 라이다 데이터 처리 장치(4500)로 전송할 수 있고, 상기 라이다 데이터 처리 장치(4500)는 상기 감지 신호를 기초로 생성된 시공간 데이터 셋을 포함하는 제2 데이터 셋(4400)을 상기 라이다 장치(4000)로 전송할 수 있으나, 이에 한정되지 않는다.

또한, 다른 예로, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치(4000)에 포함되는 디텍터로부터 감지 신호를 획득하고, 획득된 감지 신호를 기초로 depth 정보를 생성할 수 있으나, 이에 한정되지 않는다. 구체적으로, 상기 라이다 데이터 처리 장치(4500)는 상기 감지 신호를 기초로 히스토그램 데이터를 생성하고, 상기 히스토그램 데이터를 기초로 depth 정보를 생성하거나, 상기 감지 신호를 기초로 시공간 데이터 셋을 생성하고, 상기 시공간 데이터 셋을 기초로 depth 정보를 생성하거나, 또는 상기 감지 신호를 기초로 히스토그램 데이터를 생성하고, 상기 히스토그램 데이터를 기초로 시공간 데이터 셋을 생성하고, 상기 시공간 데이터 셋을 기초로 depth 정보를 생성할 수 있으나, 이에 한정되지 않는다. 또한, 상기 라이다 데이터 처리 장치(4500)는 상기 생성된 depth 정보를 저장할 수 있고, 상기 depth 정보를 상기 라이다 장치(4000)로 전송할 수 있다. 구체적인 예로, 도 18을 참조하면, 라이다 장치(4000)는 감지 신호를 포함하는 제1 데이터 셋(4300)을 라이다 데이터 처리 장치(4500)로 전송할 수 있고, 상기 라이다 데이터 처리 장치(4500)는 상기 감지 신호를 기초로 생성된 depth 정보를 포함하는 제2 데이터 셋(4400)을 상기 라이다 장치(4000)로 전송할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치(4000)로부터 히스토그램 데이터를 획득하고, 이를 처리하기 위한 장치일 수 있다.

일 예로, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치(4000)에 포함되는 프로세서로부터 히스토그램 데이터를 획득하고, 획득된 히스토그램 데이터를 기초로 시공간 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다. 또한, 상기 라이다 데이터 처리 장치(4500)는 상기 생성된 시공간 데이터 셋을 저장할 수 있고, 상기 시공간 데이터 셋을 상기 라이다 장치(4000)로 전송할 수 있다. 구체적인 예로, 도 18을 참조하면, 라이다 장치(4000)는 히스토그램 데이터를 포함하는 제1 데이터 셋(4300)을 라이다 데이터 처리 장치(4500)로 전송할 수 있고, 상기 라이다 데이터 처리 장치(4500)는 상기 히스토그램 데이터를 기초로 생성된 시공간 데이터 셋을 포함하는 제2 데이터 셋(4400)을 상기 라이다 장치(4000)로 전송할 수 있으나, 이에 한정되지 않는다.

또한, 다른 예로, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치에 포함되는 프로세서로부터 히스토그램 데이터를 획득하고, 획득된 히스토그램 데이터를 기초로 depth 정보를 생성할 수 있으나, 이에 한정되지 않는다. 구체적으로, 상기 라이다 데이터 처리 장치(4500)는 상기 히스토그램 데이터를 기초로 depth 정보를 생성하거나, 또는 상기 히스토그램 데이터를 기초로 시공간 데이터 셋을 생성하고, 상기 시공간 데이터 셋을 기초로 depth 정보를 생성할 수 있으나, 이에 한정되지 않는다. 또한, 상기 라이다 데이터 처리 장치(4500)는 상기 생성된 depth 정보를 저장할 수 있고, 상기 depth 정보를 상기 라이다 장치(4000)로 전송할 수 있다. 구체적인 예로, 도 18을 참조하면, 라이다 장치는 히스토그램 데이터를 포함하는 제1 데이터 셋(4300)을 라이다 데이터 처리 장치로 전송할 수 있고, 상기 라이다 데이터 처리 장치는 상기 히스토그램 데이터를 기초로 생성된 depth 정보를 포함하는 제2 데이터 셋(4400)을 상기 라이다 장치로 전송할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치로부터 시공간 데이터 셋을 획득하고, 이를 처리하기 위한 장치일 수 있다.

일 예로, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치에 포함되는 프로세서로부터 시공간 데이터 셋을 획득하고, 획득된 시공간 데이터 셋을 기초로 강화된 시공간 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다. 구체적으로, 상기 라이다 데이터 처리 장치(4500)는 라이다 장치로부터 수신한 시공간 데이터 셋을 미리 저장된 데이터 처리 알고리즘을 기초로 처리하여 강화된 시공간 데이터 셋을 생성할 수 있다. 이때, 상기 강화된 시공간 데이터 셋의 정의는 아래에서 자세히 설명한다.

또한, 상기 라이다 데이터 처리 장치(4500)는 상기 강화된 시공간 데이터 셋을 저장할 수 있고, 상기 강화된 시공간 데이터 셋을 상기 라이다 장치(4000)로 전송할 수 있다. 구체적인 예로, 도 18을 참조하면, 라이다 장치(4000)는 시공간 데이터 셋을 포함하는 제1 데이터 셋(4300)을 라이다 데이터 처리 장치(4500)로 전송할 수 있고, 상기 라이다 데이터 처리 장치(4500)는 상기 시공간 데이터 셋을 기초로 생성된 강화된 시공간 데이터 셋을 포함하는 제2 데이터 셋(4400)을 상기 라이다 장치로 전송할 수 있으나, 이에 한정되지 않는다.

또한, 다른 예로, 일 실시예에 따른 라이다 데이터 처리 장치(4500)는 라이다 장치에 포함되는 프로세서로부터 시공간 데이터 셋을 획득하고, 획득된 시공간 데이터 셋을 기초로 depth 정보를 생성할 수 있으나, 이에 한정되지 않는다. 구체적으로, 상기 라이다 데이터 처리 장치(4500)는 상기 시공간 데이터 셋을 기초로 depth 정보를 생성하거나, 또는 상기 시공간 데이터 셋을 기초로 강화된 시공간 데이터 셋을 생성하고, 상기 강화된 시공간 데이터 셋을 기초로 depth 정보를 생성할 수 있으나, 이에 한정되지 않는다. 또한, 상기 라이다 데이터 처리 장치(4500)는 상기 생성된 depth 정보를 저장할 수 있고, 상기 depth 정보를 상기 라이다 장치(4000)로 전송할 수 있다. 구체적인 예로, 도 18을 참조하면, 라이다 장치는 시공간 데이터 셋을 포함하는 제1 데이터 셋(4300)을 라이다 데이터 처리 장치로 전송할 수 있고, 상기 라이다 데이터 처리 장치는 상기 시공간 데이터 셋을 기초로 생성된 depth 정보를 포함하는 제2 데이터 셋(4400)을 상기 라이다 장치로 전송할 수 있으나, 이에 한정되지 않는다.

또한, 상술한 데이터 처리 동작은 차량에 위치한 메인 컨트롤러에 의해 수행될 수도 있다. 구체적으로, 상기 차량의 메인 컨트롤러는 라이다 장치로부터 수신한 감지 신호를 기초로 누적 데이터 셋을 생성하거나, 상기 시공간 데이터 셋을 생성하거나, 상기 강화된 시공간 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다.

7. 시공간 데이터 셋(Spatio-temporal data set)

7.1. 시공간 데이터 셋의 정의

일 실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 프로세서는 3차원 데이터 형식을 가지는 시공간 데이터 셋을 생성할 수 있다. 이때, 3차원 데이터 형식의 의미는 2차원의 공간 차원에 대해 시간적으로 확장된 차원을 가지는 데이터 형식을 의미할 수 있다. 구체적으로, 라이다 장치 또는 라이다 데이터 처리 장치는 데이터의 시간적 차원뿐만 아니라 공간적 차원도 나타내는 3차원 시공간 데이터 셋을 생성할 수 있다. 또한, 이에 한정되지 않고, 상기 시공간 데이터 셋은 시공간 볼륨 데이터 셋, PCM(Photon counting matrix), 라이다 복셀(voxel) 데이터 셋 등의 용어로 표현될 수 있다.

구체적으로, 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서, 일정 시간 동안 상기 디텍터 어레이의 적어도 일부에서 감지된 감지 신호를 기초로 생성한 복수의 카운팅 값들을 정렬한 데이터를 의미할 수 있다.

예를 들어, 디텍터 어레이를 포함하는 라이다 장치에서, 라이다 장치는 1프레임 데이터를 획득하기 위한 시간 동안 상기 디텍터 어레이에 포함된 각각의 디텍터들로부터 감지된 감지 신호들을 기초로 시간 및 공간적으로 식별된 카운팅 값들을 생성할 수 있고, 시공간 데이터 셋은 상술한 방식으로 생성된 카운팅 값들을 정렬한 데이터 셋을 의미할 수 있다.

또한, 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서, 일정 시간 동안 상기 디텍터 어레이의 적어도 일부에서 감지된 감지 신호들을 하나의 그룹으로 처리하기 위한 데이터 처리 단위를 의미할 수 있다.

예를 들어, 상기 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서, 1프레임 데이터를 획득하기 위한 시간 동안 상기 디텍터 어레이에 포함된 각각의 디텍터들로부터 감지된 감지 신호들을 하나의 그룹으로 처리하기 위한 데이터 처리 단위를 의미할 수 있으나, 이에 한정되지 않는다.

또한, 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서, 일정 시간 동안 상기 디텍터 어레이의 적어도 일부에서 감지된 신호들을 하나의 그룹으로 처리하기 위하여 물리적으로 다른 시간대에서 감지된 신호들을 상대적 시간구간에 매칭시켜 정렬한 데이터 셋을 의미할 수 있다.

예를 들어, 상기 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서, 각각의 디텍터에서 감지된 신호를 각각의 디텍터에 대한 디텍팅 윈도우에 대한 상대적 시간 구간(ex. 타임빈)에 매칭시켜 정렬한 데이터 셋을 의미할 수 있으나, 이에 한정되지 않는다.

또한, 시공간 데이터 셋은 디텍터 어레이에 포함되는 각각의 디텍터 사이의 위치관계를 반영하여 정렬한 데이터 셋을 의미할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서, 상기 디텍터 어레이 상에서 레이저를 감지한 디텍터의 위치를 반영하여 상기 레이저를 감지한 디텍터의 위치에 대응되도록 정렬한 데이터 셋을 의미할 수 있으나, 이에 한정되지 않는다.

또한, 시공간 데이터 셋은 디텍터에 대응되는 위치 값과 디텍팅 윈도우에 대한 상대적 시간 구간에 대응되는 시간 값으로 각각의 카운팅 값을 어드레싱(addressing)하는 데이터 셋을 의미할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서, 상기 디텍터 어레이에 포함되는 각각의 디텍터로부터 획득한 감지 신호를 레이저를 감지한 디텍터의 위치에 대응되는 위치 값 및 레이저를 감지한 시점에 대응되는 시간 값(ex. 타임빈)에 카운팅 값을 어드레싱하여 생성되는 데이터 셋을 의미할 수 있으나, 이에 한정되지 않는다.

또한, 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서 복수의 디텍터들로부터 획득한 감지 신호를 각각의 디텍터의 위치에 대응되는 공간 및 감지된 시점에 대응되는 시간에 카운팅 값을 축적하는 방식으로 생성되는 데이터 셋을 의미할 수 있다.

또한, 시공간 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서 각각의 디텍터에 대한 히스토그램 데이터를 정렬함으로써 생성될 수 있다. 이 경우, 상기 라이다 장치는 디텍터 어레이에 포함되는 모든 디텍터들에서 획득한 히스토그램 데이터를 개념적으로 하나의 데이터 공간에 정렬함으로써 상기 시공간 데이터 셋을 생성할 수 있다.

다만, 이것은 결과론적인 측면에서 설명의 편의를 위한 것일 뿐, 실제로 히스토그램 데이터의 생성 방법 또는 히스토그램 데이터의 처리 방법과 시공간 데이터 셋의 생성 및 처리 방법은 매우 상이하다.

시공간 데이터 셋의 보다 구체적인 생성 방법에 대하여는 후술하기로 한다.

7.1.1. 시공간 데이터 셋의 구조

도 19는 일 실시예에 따른 시공간 데이터 셋의 구조를 설명하기 위한 도면이다.

도 20은 일 실시예에 따른 시공간 데이터 셋의 구조를 디텍터 어레이와 연관시켜 설명하기 위한 도면이다.

일 실시예에 따른 시공간 데이터 셋은 서로 다른 위치 값 및 시간 값에 의해 식별되는 복수개의 카운팅 값의 집합체일 수 있다. 구체적으로, 시공간 데이터 셋에 포함되는 각각의 카운팅 값은 대응되는 위치 값 및 시간 값을 기초로 시공간 데이터 셋 상에서의 시공간적 위치가 결정될 수 있고, 이를 기초로 상기 시공간 데이터 셋 상에 할당될 수 있다.

도 19 및 20을 참조하면, 시공간 데이터 셋은 복수의 카운팅 값(c)들이 볼륨 데이터 상에 할당된 데이터 셋일 수 있다. 도 19는 공간축인 u축과 v축, 시간축인 t축으로 구성된 3차원 볼륨 공간상에서 정육면체 형상의 단위 공간 내에 카운팅 값이 할당되는 것으로 도시되어 있지만, 이는 설명 및 이해의 편의를 위한 것이지 시공간 데이터 셋의 데이터 구조가 도 19에 도시된 사항으로 한정되는 것은 아니다.

시공간 데이터 셋에 포함되는 복수개의 카운팅 값 각각은 대응되는 위치 값 및 시간 값에 따라 시공간적으로 서로 상이한 값을 의미할 수 있다.

예를 들어, 제1 위치 값(

)과 제1 시간 값(t1)으로 식별되는 제1 카운팅 값(

)은 제1 위치 값(

)에 대응되는 제1 디텍터(4211)에서 감지된 신호 중 상기 제1 디텍터(4211)의 복수개의 디텍팅 윈도우 각각에서 상기 제1 타임빈(t1)에 대응되는 상대적 시간에 감지된 신호들에 대한 누적 값을 의미할 수 있다.

또한, 제2 위치 값(

)과 제2 시간 값(t2)으로 식별되는 제2 카운팅 값((

)`)은 제2 위치 값(

)에 대응되는 제2 디텍터(4221)에서 감지된 신호 중 상기 제2 디텍터(4221)의 복수개의 디텍팅 윈도우 각각에서 상기 제2 타임빈(t2)에 대응되는 상대적 시간에 감지된 신호들에 대한 누적 값을 의미할 수 있으나, 이에 한정되지 않는다.

7.1.2. 시공간 데이터 셋의 생성

라이다 장치 또는 라이다 데이터 처리 장치는 디텍터 어레이에 포함되는 적어도 하나의 디텍터로부터 감지 신호를 수신하여 시공간 데이터 셋을 생성할 수 있다. 예를 들어, 상기 라이다 장치 또는 라이다 데이터 처리 장치에 포함된 데이터 처리부는 기설정된 데이터 처리 알고리즘을 기초로 상술한 데이터 구조를 기초로 정렬되는 복수의 카운팅 값들의 집합체인 시공간 데이터 셋을 생성할 수 있다.

또한, 상기 데이터 처리부는 상기 감지 신호를 처리하여 카운팅 값을 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 감지 신호를 수신할 때마다, 상기 감지 신호를 기초로 카운팅 값을 생성할 수 있다. 이때, 상기 카운팅 값은 샘플링 결과를 반영하여 신호의 유무를 나타내기 위한 디지털화(digitalized)된 수일 수 있다. 또한, 상기 데이터 처리부는 위치 값 및 시간 값으로 식별되는 복수의 카운팅 값을 생성할 수 있다.

아래에서는 데이터 처리부가 감지 신호의 샘플링을 통해위치 값 및 시간 값에 의해 식별되는 카운팅 값을 생성하는 방법에 대해 설명하고, 이를 기초로 카운팅 값을 포함하는 시공간 데이터 셋을 생성하는 다양한 실시예를 설명한다.

7.1.2.1. 감지 신호의 샘플링 방법

도 21은 일 실시예에 따른 시공간 데이터 셋에 포함되는 카운팅 값의 생성 방법을 도시한 흐름도이다.

도 21을 참조하면, 일 실시예에 따른 라이다 장치는 광을 수신한 디텍터의 위치를 결정할 수 있다(S1005). 이는, 시공간 데이터 셋 상에서 카운팅 값이 생성될 위치 값을 결정하기 위한 것으로, 수신된 광에 대응하여 감지 신호를 생성한 디텍터의 위치에 따라 상기 위치 값이 결정될 수 있다.

또한, 라이다 장치는 상기 디텍터가 광을 감지한 시점에 대응되는 디텍팅 윈도우 상의 타임빈을 결정할 수 있다(S1006). 이는, 시공간 데이터 셋 상에서 카운팅 값이 생성될 시간 값을 결정하기 위한 것이다. 레이저 출력 시점으로부터 열린 디텍팅 윈도우 상에서 레이저가 감지된 시점에 대응되는 타임빈을 선택함으로써 상기 시간 값이 결정될 수 있다.

또한, 라이다 장치는 상기 결정된 디텍터의 위치 및 타임빈에 대응되는 카운팅 값을 생성할 수 있다(S1010). 구체적으로, 라이다 장치는 결정된 디텍터의 위치 값 및 상기 디텍터의 디텍팅 윈도우 상의 시간 값에 대응시켜 카운팅 값을 생성할 수 있다.

아래에서는 시공간 데이터 셋 상에서 복수의 카운팅 값들을 식별하게 하는 위치 값 및 시간 값의 결정 방법을 상세히 설명한다.

도 22는 일 실시예에 따른 데이터 처리부의 감지 신호 샘플링 방법을 나타내는 도면이다.

도 22를 참조하면, 라이다 장치의 제어부에 포함되는 데이터 처리부 또는 라이다 데이터 처리 장치에 포함되는 프로세서(하기에서, 설명의 편의를 위해 '데이터 처리부'로 지칭한다)는 적어도 하나의 디텍터(4231)로부터 감지 신호(4202)를 수신하여 시공간 데이터 셋(5001)을 생성할 수 있다.

또한, 데이터 처리부(4600)는 시공간 데이터 셋(5001)에 포함되는 카운팅 값에 대응되는 위치 값 및 시간 값을 결정함으로써, 상기 카운팅 값을 특정 위치 값 및 시간 값에 어드레싱(addressing)하고, 동일한 위치 값 및 시간 값에 어드레싱된 카운팅 값들을 누적하거나 업데이트하여 시공간 데이터 셋을 생성할 수 있다.

이때, 위치 값은 감지 신호를 전송한 디텍터의 위치를 반영하는 값일 수 있다. 구체적으로, 데이터 처리부(4600)는 감지 신호(4202)가 생성되는 디텍터의 위치를 기초로 위치 값을 결정할 수 있다. 예를 들어, 상기 위치 값은 상기 감지 신호(4202)를 생성한 디텍터(4231)의 위치 좌표(u,v)를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 디텍터 어레이에 포함된 디텍터 마다 상이한 위치 값이 할당될 수 있다. 구체적으로, 디텍터(4231)가 감지 신호(4202)를 생성하여 전송하는 경우, 상기 데이터 처리부(4600)는 상기 디텍터(4231)에 할당된 위치 값을 카운팅 값의 위치 값으로 결정할 수 있다. 다시 말해, 디텍터 어레이에 포함되는 디텍터 마다 대응되는 위치 값이 미리 설정되어 있을 수 있다.

또한, 데이터 처리부(4600)는 디텍터 어레이 상에서 감지 신호(4202)를 생성한 디텍터의 위치를 기초로 위치 값을 결정할 수 있다. 구체적으로, 상기 데이터 처리부(4600)는 적어도 하나의 디텍터로부터 감지 신호(4202)를 수신할 수 있고, 상기 적어도 하나의 디텍터의 상기 디텍터 어레이 상의 상대적 위치 좌표를 상기 위치 값으로 결정할 수 있다. 예를 들어, 상기 감지 신호(4202)를 전송한 적어도 하나의 디텍터가 디텍터 어레이 상 (1,1) 위치에 배치되는 경우, 상기 데이터 처리부(4600)은 상기 (1,1)을 위치 값으로 결정할 수 있으나, 이에 한정되지 않는다.

또한, 시간 값은 광자가 감지된 시점을 반영하는 값일 수 있다. 구체적으로, 상기 시간 값은 감지 신호의 샘플링 결과 디텍터의 디텍팅 윈도우 상에서 카운팅 값이 할당되는 타임빈을 포함할 수 있다.

또한, 데이터 처리부(4600)는 감지 신호를 생성한 적어도 하나의 디텍터의 디텍팅 윈도우 상에서 레이저가 감지된 시점에 대응되는 시간을 기초로 시간 값을 결정할 수 있다. 구체적으로, 상기 데이터 처리부(4600)는 적어도 하나의 디텍터로부터 감지 신호(4202)를 수신할 수 있고, 상기 적어도 하나의 디텍터의 디텍팅 윈도우 상에서 레이저의 감지 시점에 매칭되는 타임빈값을 시간 값으로 결정할 수 있다. 예를 들어, 적어도 하나의 디텍터가 제1 시점에 레이저를 감지하여 감지 신호(4202)를 생성한 경우, 상기 데이터 처리부(4600)는 상기 적어도 하나의 디텍터의 디텍팅 윈도우에서 제1 시점에 대응되는 제1 타임빈을 시간 값으로 결정할 수 있으나, 이에 한정되지 않는다.

도 23은 일 실시예에 따른 위치 값과 시간 값에 의해 식별되는 카운팅 값을 설명하기 위한 도면이다.

도 23을 참조하면, 데이터 처리부(4600)는 디텍터 어레이(4201)에 포함되는 디텍터들 각각으로부터 감지 신호를 수신할 수 있고, 상기 감지 신호를 기초로 위치 값 및 시간 값에 의해 식별되는 복수의 카운팅 값들을 생성할 수 있다. 또한, 이 경우, 상기 데이터 처리부(4600)는 상기 복수의 카운팅 값들을 하나의 시공간 데이터 셋으로 저장할 수 있다.

예를 들어, 상기 디텍터 어레이(4201)는 제1 디텍터(4241) 및 제2 디텍터(4243)를 포함할 수 있고, 상기 제1 디텍터(4241) 및 상기 제2 디텍터(4243) 각각은 데이터 처리부(4600)로 감지 신호를 전송할 수 있고, 상기 데이터 처리부(4600)는 상기 제1 디텍터(4241) 및 상기 제2 디텍터(4243) 각각에 대응되는 카운팅 값들을 생성할 수 있으나, 이에 한정되지 않는다.

이 경우, 상기 데이터 처리부(4600)는 상기 디텍터 어레이(4201)에 포함된 각각의 디텍터에 개별적으로 어드레싱된 복수의 서브 데이터 처리부를 포함할 수 있다. 예를 들어, 상기 데이터 처리부(4600)는 상기 제1 디텍터(4241)로부터 감지 신호를 수신하는 제1 서브 데이터 처리부(4601) 및 상기 제2 디텍터(4243)로부터 감지 신호를 수신하는 제2 서브 데이터 처리부(4603)를 포함할 수 있다. 또한, 이때, 상기 제1 서브 데이터 처리부(4601)는 상기 제1 디텍터(4241)에 대응되는 카운팅 값을 생성할 수 있고, 상기 제2 서브 데이터 처리부(4603)는 상기 제2 디텍터(4243)에 대응되는 카운팅 값을 생성할 수 있다. 물론, 이에 한정되는 것은 아니고, 상기 디텍터 어레이(4201)에 포함된 모든 디텍터들은 하나의 데이터 처리부에 연결될 수 있고, 상기 하나의 데이터 처리부가 통합적으로 상기 디텍터들에 대응되는 카운팅 값들을 생성할 수도 있다.

예를 들어, 상기 제1 서브 데이터 처리부(4361)는 상기 제1 디텍터(4241)로부터 감지 신호를 수신하여 제1 카운팅 값(c1)을 생성할 수 있다. 이때, 상기 제1 카운팅 값(c1)은 제1 위치 값((u,v)1) 및 제1 시간 값(t1)에 의해 어드레싱될 수 있다. 구체적인 예로, 디텍터 어레이(4241) 상에서 (1,1) 위치에 배치된 제1 디텍터(4241)가 디텍팅 윈도우의 제1 타임빈에 대응되는 시점에 레이저를 감지한 경우, 상기 제1 위치 값((u,v)1)은 (1,1) 일 수 있고, 상기 제1 시간 값(t1)은 제1 타임빈일 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 제2 서브 데이터 처리부(4363)는 상기 제2 디텍터(4243)로부터 감지 신호를 수신하여 제2 카운팅 값(c2)을 생성할 수 있다. 이때, 상기 제2 카운팅 값(c2)은 제2 위치 값((u,v)2) 및 제2 시간 값(t2)에 의해 어드레싱될 수 있다. 구체적인 예로, 디텍터 어레이(4241) 상에서 (8,3) 위치에 배치된 제2 디텍터(4243)가 디텍팅 윈도우의 제2 타임빈에 대응되는 시점에 레이저를 감지한 경우, 상기 제2 위치 값((u,v)2)은 (8,3) 일 수 있고, 상기 제2 시간 값(t2)은 제2 타임빈일 수 있으나, 이에 한정되지 않는다.

또한, 상기에서는 하나의 디텍터에 대한 하나의 카운팅 값을 생성하는 방법을 기초로 설명하였으나, 실시예에 따라 데이터 처리부는 상기 카운팅 값을 그룹 별로 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 복수의 디텍터를 포함하는 디텍터 그룹으로부터 수신된 감지 신호들을 기초로 카운팅 값 세트를 생성할 수 있으나, 이에 한정되지 않는다. 이??, 상기 디텍터 그룹은 동시에 동작하는 복수의 디텍터들을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부(4600)는 상기 카운팅 값을 업데이트할 수 있다. 구체적으로, 상기 데이터 처리부(4600)는 감지 신호를 샘플링하여 카운팅 값을 생성할 수 있고, 상기 감지 신호를 샘플링함에 따라 상기 카운팅 값을 업데이트할 수 있다. 예를 들어, 상기 데이터 처리부(4600)는 특정 위치 값 및 시간 값이 할당된 카운팅 값을 생성할 수 있고, 감지 신호 샘플링 결과 상기 특정 위치 값 및 시간 값에 카운팅 값이 할당되는 경우, 이미 생성된 카운팅 값을 업데이트할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부(4600)는 미리 정해진 샘플링 레이트(sampling rate)로 복수의 디텍팅 윈도우 동안 감지 신호를 샘플링할 수 있다. 이때, 상기 샘플링 레이트는 감지 신호를 샘플링하기 위해 열리는 디텍팅 윈도우의 빈도와 관련될 수 있다. 구체적으로, 상기 데이터 처리부(4600)에 감지 신호를 샘플링하기 위해 디텍팅 윈도우를 여는 빈도가 미리 설정되어 있을 수 있고, 상기 샘플링 과정동안 획득된 카운팅 값들을 업데이트함으로써 시공간 데이터 셋을 생성할 수 있다.

또한, 상기 데이터 처리부(4600)는 생성된 카운팅 값들을 정렬하여 저장할 수 있다. 구체적으로, 상기 데이터 처리부(4600)는 상기 생성된 카운팅 값들을 미리 정해진 방식으로 정렬함으로써 시공간 데이터 셋을 생성할 수 있다.

예를 들어, 상기 데이터 처리부(4600)는 서로 상이한 시간 구간 동안 생성된 적어도 하나의 카운팅 값들을 정렬하여 저장할 수 있다. 구체적으로, 데이터 처리부(4600)는 제1 시간 구간 동안 생성한 제1 카운팅 값 세트를 저장하고, 상기 제1 시간 구간과 상이한 제2 시간 구간 동안 생성한 제2 카운팅 값 세트를 상기 제1 카운팅 값 세트와 정렬하여 저장할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 데이터 처리부(4600)는 서로 상이한 디텍팅 윈도우 동안 생성된 적어도 하나의 카운팅 값들을 정렬하여 저장할 수 있다. 구체적으로, 데이터 처리부(4600)는 제1 디텍팅 윈도우 동안 생성한 제1 카운팅 값 세트를 저장하고, 상기 제1 시간 구간과 상이한 제2 시간 구간 동안 생성한 제2 카운팅 값 세트를 상기 제1 카운팅 값 세트와 정렬하여 저장할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 동시에 동작하는 디텍터 그룹에 대응되는 카운팅 값 세트를 정렬하여 저장할 수 있다. 구체적으로, 데이터 처리부(4600)는 제1 디텍터 그룹으로부터 수신된 감지 신호들을 기초로 제1 카운팅 값 세트를 생성할 수 있다. 또한, 상기 데이터 처리부는 제1 디텍터 그룹과 인접한 제2 디텍터 그룹으로부터 수신된 감지 신호들을 기초로 제2 카운팅 값 세트를 생성할 수 있다. 이때, 상기 데이터 처리부는 상기 제2 카운팅 값 세트를 상기 제1 카운팅 값 세트와 정렬하여 저장할 수 있다.

또한, 예를 들어, 데이터 처리부(4600)는 상기 생성된 카운팅 값들을 적어도 하나의 메모리에 저장할 수 있다. 구체적으로, 데이터 처리부(4600)는 제1 시간 구간 동안 생성한 제1 카운팅 값 세트를 메모리의 제1 구간에 저장할 수 있고, 상기 제1 시간 구간과 상이한 제2 시간 구간 동안 생성한 제2 카운팅 값 세트를 상기 메모리의 제1 구간과 상이한 제2 구간에 저장할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 데이터 처리부(4600)는 디텍터 어레이가 동작하는 시간 구간에 따라 상이한 방식으로 카운팅 값을 생성할 수 있다. 구체적으로, 디텍터 어레이가 동작하는 시간 구간에 따라 기존 생성된 카운팅 값을 업데이트하거나, 새로운 카운팅 값을 생성하여 정렬할 수 있다.

구체적인 예로, 데이터 처리부(4600)는 제1 시간 구간 동안 디텍터 어레이에서 생성된 감지 신호들을 기초로 제1 카운팅 값 세트를 생성할 수 있다. 또한, 데이터 처리부(4600)는 제2 시간 구간 동안 상기 디텍터 어레이에서 생성된 감지 신호들을 기초로 상기 제1 카운팅 값 세트를 업데이트할 수 있다. 이때, 상기 제1 시간 구간 및 상기 제2 시간 구간은 동일한 디텍터 그룹이 동작하는 시간 구간일 수 있으나, 이에 한정되지 않는다. 또한, 상기 데이터 처리부(4600)는 제3 시간 구간 동안 상기 디텍터 어레이에서 생성된 감지 신호들을 기초로 제2 카운팅 값 세트를 생성할 수 있다. 또한, 이 경우, 상기 데이터 처리부는 상기 제2 카운팅 값 세트를 상기 제1 카운팅 값 세트와 정렬하여 저장할 수 있다. 또한, 데이터 처리부는 상기 제1 카운팅 값 세트 및 상기 제2 카운팅 값 세트를 기초로 하나의 디텍터에 대응되는 depth 값을 획득할 수 있으나, 이에 한정되지 않는다.

7.1.2.2. 디텍터 어레의 동작에 따른 시공간 데이터 셋 생성 방법

도 24는 일 실시예에 따른 디텍터 어레이의 구동 동작에 따라 한 프레임의 시공간 데이터 셋을 생성하는 방법을 설명하기 위한 도면이다.

도 25는 도 24의 방법이 수행되는 과정을 도시한 흐름도이다.

도 24를 참조하면, 일 실시예에 따른 디텍터 어레이(4202)를 포함하는 라이다 장치는 소정의 구동 매커니즘을 기초로 디텍터 어레이를 동작시킬 수 있다. 구체적으로, 상기 라이다 장치의 제어부는 상기 디텍터 어레이(4202)를 그룹별로 동작시킬 수 있다. 예를 들어, 상기 라이다 장치의 제어부는 상기 디텍터 어레이를 1열(column)씩 구동시키거나, 1행(row)씩 구동시킬 수 있으나, 이에 한정되지 않고, 복수의 열씩 구동시키거나, 복수의 행씩 구동시키는 등 미리 정해진 순서에 따라 상기 디텍터 어레이(4202)를 구동시킬 수 있다. 구체적인 예로, 도 24와 같이, 상기 라이다 장치는 제1 디텍터 그룹(4251), 제2 디텍터 그룹(4252),?? 및 제n 디텍터 그룹(4255)을 순차적으로 동작시킬 수 있으나, 이에 한정되지 않는다.

또한, 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 디텍터 어레이(4202)에 포함된 디텍터로부터 감지 신호를 수신하여 시공간 데이터 셋(5002)을 생성할 수 있다. 이 경우, 데이터 처리부는 상술한 디텍터 어레이의 구동 매커니즘과 대응되도록 동작할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 디텍터 어레이(4202)에 포함된 디텍터들 중 구동된 디텍터로부터 감지 신호를 수신할 수 있고, 상기 감지 신호를 기초로 카운팅 값을 생성할 수 있고, 상기 카운팅 값을 기초로 시공간 데이터 셋을 생성할 수 있다. 예를 들어, 구동된 디텍터가 레이저를 감지하여 감지 신호를 데이터 처리부에 전송하는 경우, 상기 데이터 처리부는 상기 감지 신호를 기초로 위치 값 및 시간 값이 할당된 카운팅 값을 생성할 수 있으나, 이에 한정되지 않는다.

구체적인 예로, 데이터 처리부는 제1 디텍터 그룹(4251)이 동작하는 경우, 제1 카운팅 값 세트(5100)를 축적할 수 있고, 제2 디텍터 그룹(4252)이 동작하는 동안 제2 카운팅 값 세트(5200)를 축적할 수 있고, 제n 디텍터 그룹(4255)이 동작하는 동안 제n 카운팅 값 세트(5500)를 축적할 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부는 상기 제1 카운팅 값 세트(5100) 내지 제n 카운팅 값 세트(5500)를 기초로 한 프레임의 시공간 데이터 셋(5002)을 생성할 수 있다. 구체적으로, 상기 한 프레임의 시공간 데이터 셋(5002)은 디텍터 어레이의 미리 정해진 구동 매커니즘이 완료되는 동안 생성된 카운팅 값 세트들의 집합일 수 있다.

보다 구체적으로, 상기 디텍터 어레이(4202)의 구동 매커니즘이 한 사이클 완료됨에 따라 한 프레임의 시공간 데이터 셋(5002)이 생성될 수 있다. 구체적으로, 모든 디텍터에 대해 미리 정해진 샘플링 레이트로 카운팅 값의 생성이 완료됨에 따라 한 프레임의 시공간 데이터 셋(5002)이 생성될 수 있다. 이때, 모든 디텍터에 대해 동일한 샘플링 레이트로 카운팅 값을 생성할 수 있지만, 이에 한정되지 않고, 각각의 디텍터는 상이한 샘플링 레이트로 카운팅 값을 생성할 수도 있다. 예를 들어, 데이터 처리부는 라이다 장치의 샘플링 레이트(sampling rate)를 기초로 정해진 시간 및 빈도를 기초로 카운팅 값을 위치 값 및 시간 값으로 식별하여 축적할 수 있고, 이에 따라 한 프레임의 시공간 데이터 셋(5002)을 생성할 수 있으나, 이에 한정되지 않는다.

도 25의 흐름도를 통해 상술한 디텍터 어레이의 구동에 따른 시공간 데이터 셋의 생성 방법을 나열하면 다음과 같다.

일 실시예에 따른 라이다 장치는 제1 디텍터 그룹(4251)을 구동하여 디텍팅 윈도우 동안 광을 수신할 수 있다(S1007).

또한, 상기 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 수신된 광을 기초로 시공간 데이터 셋의 카운팅 값을 생성할 수 있다(S1008). 예를 들어, 상기 라이다 장치는 상기 제1 디텍터 그룹(4251)을 구동하여 한 사이클의 디텍팅 윈도우 동안 생성된 제1 서브 카운팅 값 세트를 생성할 수 있다. 또한, 상기 라이다 장치는 상기 단계 S1007 및 단계 S1008를 M회 반복할 수 있다. 이 경우, 도 24를 참조하면, 상기 제1 디텍터 그룹(4251)에 대응되는 상기 시공간 데이터 셋 상의 제1 카운팅 값 세트(5100)가 축적될 수 있다. 또한, 이때, 상술한 단계를 M회 반복하는 이유는 유의미한 크기의 카운팅 값을 축적하기 위함일 수 있다. 다시 말해, M회의 사이클의 디텍팅 윈도우 동안 누적하여 카운팅 값들을 축적함으로써 유의미한 카운팅 값을 가지는 시공간 데이터 셋을 생성할 수 있다. 예를 들어, 데이터 처리부는 제1 디텍터 그룹(4251)에서 전송된 감지 신호들을 M회의 디텍팅 윈도우 동안 샘플링하여 상기 제1 서브 카운팅 값 세트를 업데이트함으로써 제1 카운팅 값 세트(5100)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 라이다 장치는 제2 디텍터 그룹(4252)을 구동하여 디텍팅 윈도우 동안 광을 수신할 수 있다(S1009).

또한, 상기 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 수신된 광을 기초로 시공간 데이터 셋의 카운팅 값을 생성할 수 있다(S1010). 예를 들어, 상기 라이다 장치는 상기 제2 디텍터 그룹(4252)을 구동하여 한 사이클의 디텍팅 윈도우 동안 생성된 제2 서브 카운팅 값 세트를 생성할 수 있다.

또한, 상기 라이다 장치는 상기 단계 S1009 및 단계 S1010를 K회 반복할 수 있다. 이 경우, 도 24를 참조하면, 상기 제2 디텍터 그룹(4252)에 대응되는 상기 시공간 데이터 셋 상의 제2 카운팅 값 세트(5200)가 축적될 수 있다. 예를 들어, 데이터 처리부는 제2 디텍터 그룹(4252)에서 전송된 감지 신호들을 K회의 디텍팅 윈도우 동안 샘플링하여 상기 제2 서브 카운팅 값 세트를 업데이트함으로써 제2 카운팅 값 세트(5200)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 제2 카운팅 값 세트(5200)를 상기 제1 카운팅 값 세트(5100)와 정렬하여 저장할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 제1 디텍터 그룹(4251) 및 상기 제2 디텍터 그룹(4252)의 위치 관계를 반영하여, 상기 위치 관계에 대응되도록 상기 제1 카운팅 값 세트(5100) 및 상기 제2 카운팅 값 세트(5200)를 정렬하여 저장할 수 있다.

또한, 상기 라이다 장치는 제N 디텍터 그룹(4255)을 구동하여 디텍팅 윈도우 동안 광을 수신할 수 있다(S1011).

또한, 상기 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 수신된 광을 기초로 시공간 데이터 셋의 카운팅 값을 생성할 수 있다(S1012). 예를 들어, 상기 라이다 장치는 상기 제n 디텍터 그룹(4255)을 구동하여 한 사이클의 디텍팅 윈도우 동안 생성된 제n 서브 카운팅 값 세트를 생성할 수 있다.

또한, 상기 라이다 장치는 상기 단계 S1011 및 단계 S1012를 L회 반복할 수 있다. 이 경우, 도 24를 참조하면, 상기 제n 디텍터 그룹(4255)에 대응되는 상기 시공간 데이터 셋 상의 제n 카운팅 값 세트(5500)가 축적될 수 있다. 예를 들어, 데이터 처리부는 제n 디텍터 그룹(4255)에서 전송된 감지 신호들을 L회의 디텍팅 윈도우 동안 샘플링하여 상기 제n 서브 카운팅 값 세트를 업데이트함으로써 상기 제n 카운팅 값 세트(5500)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 제1 카운팅 값 세트(5100) 내지 제n 카운팅 값 세트(5500)를 정렬하여 저장함으로써 시공간 데이터 셋(5002)을 생성할 수 있다.

도 26은 일 실시예에 따른 시공간 데이터 셋 생성 방법을 시계열 적으로 설명하기 위한 도면이다.

도 26을 참조하면, 일 실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 위치 값 및 시간 값이 할당된 카운팅 값들을 포함하는 시공간 데이터 셋을 획득할 수 있다. 예를 들어, 상기 데이터 처리부는 한 프레임의 제1 시공간 데이터 셋(5003)을 획득할 수 있다.

또한, 상기 제1 시공간 데이터 셋(5003)은 제1 시간 구간(3220) 동안 획득된 카운팅 값의 세트에 대응될 수 있으며, 상기 카운팅 값의 세트에 위치 값 및 시간 값이 할당되어 상기 시공간 데이터 셋을 구성할 수 있다. 이때, 상기 위치 값 및 시간 값 각각은 레이저를 수신하는 디텍터의 위치 및 레이저의 감지 시점에 대응되는 타임빈을 기초로 결정될 수 있다. 또한, 카운팅 값 및 타임빈에 대하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 상기 제1 시공간 데이터 셋(5003)에 포함되는 각각의 카운팅 값은 라이다 장치에 포함되는 레이저 출력부로부터 출력된 레이저가 대상체에서 반사된 경우 반사된 레이저를 센서부에서 수광함에 따라 상기 센서부로부터 출력되는 신호에 기초하여 획득될 수 있다.

따라서, 상기 제1 시공간 데이터 셋(5003)을 획득하기 위한 상기 제1 시간 구간(3220)에는 동시에 작동하는 적어도 하나의 디텍터 그룹에 대응되는 서브 시공간 데이터 셋에 카운팅 값을 축적하기 위한 복수개의 서브 시간 구간들이 포함될 수 있다.

예를 들어, 상기 제1 시공간 데이터 셋(5003)을 획득하기 위한 상기 제1 시간 구간(3220)에는 제1 디텍터 그룹에 대응되는 제1 서브 시공간 데이터 셋(5300)에 카운팅 값을 축적하기 위한 복수의 제1 서브 시간 구간(3221) 및 제2 디텍터 그룹에 대응되는 제2 서브 시공간 데이터 셋(5400)에 카운팅 값을 축적하기 위한 복수의 제2 서브 시간 구간(3222)이 포함될 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 복수개의 서브 시간 구간에 포함되는 제1 서브 시간 구간(3221)에서 상기 라이다 장치에 포함되는 레이저 출력부 및 센서부가 동작될 수 있으며, 상기 제2 서브 시간 구간(3222)에서 상기 라이다 장치에 포함되는 레이저 출력부 및 센서부가 동작될 수 있으나, 이에 한정되지 않는다.

보다 구체적으로, 상기 레이저 출력부는 N번 레이저를 출력하도록 동작될 수 있으며, 상기 센서부는 상기 레이저 출력부로부터 N번 출력된 레이저를 감지하기 위하여 상기 레이저 출력부와 동기화되어 동작될 수 있다. 또한, 상기 센서부는 디텍팅 윈도우 내에서 감지된 광에 의해 감지 신호를 발생시키며, 발생된 신호에 기초하여 대응되는 타임빈에 카운팅 값을 저장할 수 있다.

예를 들어, 상기 제1 서브 시간 구간(3221)에서 상기 레이저 출력부에 포함되는 제1 이미터 세트가 레이저를 출력하도록 동작될 수 있으며, 상기 센서부에 포함되는 제1 디텍터 그룹은 상기 제1 이미터 세트로부터 출력된 레이저를 감지하기 위하여 동작될 수 있다. 또한, 이 경우, 상기 제1 디텍터 그룹은 감지된 광에 의해 감지 신호를 발생시킬 수 있다. 또한, 이에 따라, 라이다 장치의 제어부는 상기 감지 신호를 발생시킨 디텍터의 위치 및 광이 감지된 시점에 대응되는 타임빈에 카운팅 값을 저장할 수 있다.

또한, 예를 들어, 상기 제1 서브 시간 구간(3221)에서 상기 제1 이미터 세트가 N번 레이저를 출력하도록 동작될 수 있으며, 상기 제1 디텍터 그룹은 각각의 레이저 출력에 대응되는 디텍팅 윈도우에서 동작될 수 있다. 또한, 상기 제1 디텍터 그룹은 각각의 디텍팅 윈도우 내에서 감지된 광에 의해 감지 신호를 발생시킬 수 있다. 또한, 이 경우, 제어부는 발생된 감지 신호에 기초하여 대응되는 디텍터 및 타임빈에 카운팅 값을 저장할 수 있다. 상기와 같이 N회 반복하여 카운팅 값을 누적하여 저장함으로써 제어부는 제1 디텍터 그룹에 포함되는 각각의 디텍터의 카운팅 값 세트를 획득할 수 있다.

예를 들어, 상기 제2 서브 시간 구간(3222)에서 상기 레이저 출력부에 포함되는 제2 이미터 세트가 레이저를 출력하도록 동작될 수 있으며, 상기 센서부에 포함되는 제2 디텍터 그룹은 상기 제2 이미터 세트로부터 출력된 레이저를 감지하기 위하여 동작될 수 있다. 또한, 이 경우, 상기 제2 디텍터 그룹은 디텍팅 윈도우 내에서 감지된 광에 의해 감지 신호를 발생시킬 수 있다. 또한, 이에 따라, 라이다 장치의 제어부는 상기 감지 신호를 발생시킨 디텍터의 위치 및 광이 감지된 시점에 대응되는 타임빈에 카운팅 값을 저장할 수 있다.

또한, 예를 들어, 상기 제2 서브 시간 구간(3222)에서 상기 제2 이미터 세트가 N번 레이저를 출력하도록 동작될 수 있으며, 상기 제2 디텍터 그룹은 각각의 레이저 출력에 대응되는 디텍팅 윈도우에서 동작될 수 있다. 또한, 상기 제2 디텍터 그룹은 각각의 디텍팅 윈도우 내에서 감지된 광에 의해 감지 신호를 발생시킬 수 있다. 또한, 이 경우, 제어부는 발생된 감지 신호에 기초하여 대응되는 디텍터 및 타임빈에 카운팅 값을 저장할 수 있다. 상기와 같이 N회 반복하여 카운팅 값을 누적하여 저장함으로써 제어부는 제2 디텍터 그룹에 포함되는 각각의 디텍터의 카운팅 값 세트를 획득할 수 있다.

또한, 상기 제1 시공간 데이터 셋(5003)은 각의 디텍터 그룹의 서브 시공간 데이터 셋에 대응되는 복수의 카운팅 값 세트에 기초하여 획득될 수 있다.

예를 들어, 상기 제1 서브 시공간 데이터 셋(5300)에 포함되는 제1 카운팅 값 세트(5301)는 상기 제1 디텍터 그룹에 포함되는 제1 디텍터가 상기 제1 서브 시간 구간(3221)동안 축적한 카운팅 값에 기초하여 획득될 수 있다. 구체적으로, 상기 제1 카운팅 값 세트(5301)에는 제1 디텍터가 상기 제1 서브 시간 구간(3221) 동안 적어도 하나의 타임빈에 할당한 모든 카운팅 값의 집합체를 의미할 수 있다.

또한, 상기 제2 서브 시공간 데이터 셋(5400)에 포함되는 제2 카운팅 값 세트(5401)는 상기 제2 디텍터 그룹에 포함되는 제2 디텍터가 상기 제2 서브 시간 구간(3222)동안 축적한 카운팅 값에 기초하여 획득될 수 있다. 구체적으로, 상기 제2 카운팅 값 세트(5401)에는 제2 디텍터가 상기 제2 서브 시간 구간(3222) 동안 적어도 하나의 타임빈에 할당한 모든 카운팅 값의 집합체를 의미할 수 있다.

7.2. 시공간 데이터 셋의 다양한 실시예

상술한 시공간 데이터 셋은 상술한 내용 외에 다양한 실시예로서 정의될 수 있다.

7.2.1. 누적 데이터 셋을 포함하는 시공간 데이터 셋

도 27은 일 실시예에 따른 시공간 데이터 셋을 누적 데이터 셋을 기초로 정의한 도면이다.

도 27을 참조하면, 일 실시예에 따른 시공간 데이터 셋(5004)은 복수의 누적 데이터 셋을 포함할 수 있다. 이때, 상기 누적 데이터 셋은 디텍터 어레이에 포함되는 디텍터들 각각에 대응되되, 미리 정해진 시간 구간 동안 카운팅 값을 축적시켜 생성된 데이터 셋일 수 있다. 구체적으로, 시공간 데이터 셋(5004) 디텍터 어레이(4203)를 포함하는 라이다 장치에서, 상기 디텍터 어레이에 포함되는 디텍터들 각각에 대응되는 누적 데이터 셋을 정렬시킨 데이터 셋일 수 있다.

구체적으로, 상기 시공간 데이터 셋(5004)에 포함되는 복수의 누적 데이터 셋들 각각은 상기 디텍터 어레이(4203)에 포함되는 디텍터들 각각에 대응될 수 있다. 예를 들어, 상기 시공간 데이터 셋(5004)은 제1 누적 데이터 셋(5510), 제2 누적 데이터 셋(5520), 및 제3 누적 데이터 셋(5530)을 포함할 수 있고, 이 경우, 상기 제1 누적 데이터 셋(5510)은 제1 디텍터(4251)에 대응되고, 상기 제2 누적 데이터 셋(5520)은 제2 디텍터(4252)에 대응되고, 상기 제3 누적 데이터 셋(5530)은 제3 디텍터(4253)에 대응될 수 있으나, 이에 한정되지 않는다. 다시 말해, 시공간 데이터 셋(5004) 상기 디텍터 어레이에 포함되는 디텍터의 수와 동일한 수의 누적 데이터 셋을 포함할 수 있다. 물론, 이에 한정되는 것은 아니며, 2개 이상의 디텍터에 하나의 누적 데이터 셋이 대응될 수도 있다.

또한, 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 소정의 알고리즘을 기초로 누적 데이터 셋을 생성하고, 상기 누적 데이터 셋을 미리 정해진 방법으로 정렬하여 시공간 데이터 셋(5004)을 생성할 수 있다.

이때, 상기 누적 데이터 셋을 생성하는 소정의 알고리즘은 목차 4.2.1.에서 상술한 히스토그램 생성 방법이 그대로 이용될 수 있다. 다시 말해, 상기 누적 데이터 셋은 히스토그램 데이터일 수 있고, 상기 시공간 데이터 셋(5004)은 디텍터 각각에 대응되는 모든 히스토그램 데이터를 정렬시킨 데이터일 수 있다.

또한, 상기 누적 데이터 셋을 정렬시키는 방법은 디텍터 어레이에 포함되는 디텍터들의 위치를 기초로 결정될 수 있다. 보다 구체적으로, 적어도 하나의 누적 데이터 셋은 상기 적어도 하나의 누적 데이터 셋이 대응되는 디텍터의 디텍터 어레이 상에 대응되는 위치에 정렬될 수 있다. 예를 들어, 상기 제1 누적 데이터 셋(5510)은 상기 제1 누적 데이터 셋(5510)이 대응되는 제1 디텍터(4251)의 디텍터 어레이(4203) 상의 위치에 대응되는 시공간 데이터 셋(5004) 상의 위치에 정렬될 수 있으나, 이에 한정되지 않는다.

예를 들어, 제1 누적 데이터 셋(5510)에 할당된 위치 값 및 상기 제2 누적 데이터 셋(5520)에 할당된 위치 값의 차이는 상기 제3 누적 데이터 셋(5530)에 할당된 위치 값 및 상기 제1 누적 데이터 셋(5510)에 할당된 위치 값의 차이보다 작을 수 있다.

또한, 데이터 처리부는 복수의 누적 데이터 셋 각각을 상이한 시간 구간에 생성할 수 있다. 구체적으로, 상기 복수의 누적 데이터 셋들 각각은 상이한 시간 구간에 개별적으로 생성될 수 있다. 또한, 상기 데이터 처리부는 상이한 시간 구간에 개별적으로 생성된 상기 복수의 누적 데이터 셋을 정렬함으로써 하나의 시공간 데이터 셋을 생성할 수 있다. 예를 들어, 상기 데이터 처리부는 제1 시간 구간 동안 제1 누적 데이터 셋(5510)을 생성할 수 있고, 상기 제1 시간 구간과 상이한 제2 시간 구간 동안 제2 누적 데이터 셋(5520)을 생성할 수 있다. 이때, 상기 데이터 처리부는 상기 제1 누적 데이터 셋(5510) 및 상기 제2 누적 데이터 셋(5520)을 정렬하여 저장할 수 있다. 다시 말해, 상기 데이터 처리부는 서로 상이한 시간 구간 동안 생성된 누적 데이터 셋을 한 번에 처리하기 위해 상기 누적 데이터 셋들을 모아서 저장할 수 있다.

7.2.2. 단위 공간을 포함하는 시공간 데이터 셋

도 28은 일 실시예에 따른 시공간 데이터 셋을 단위 공간을 기초로 정의한 도면이다.

도 28을 참조하면, 일 실시예에 따른 시공간 데이터 셋(5005)은 시간 축 및 공간 축으로 정의되는 데이터 공간일 수 있다. 구체적으로, 상기 시공간 데이터 셋(5005)은 2차원 공간 축으로 정의되는 공간 도메인(u,v) 및 시간 축으로 정의되는 시간 도메인(t)을 포함할 수 있다.

예를 들어, 상기 시공간 데이터 셋(5005)은 소정의 단위 공간의 집합일 수 있다. 여기서, 단위 공간(5600)은 본 명세서의 시공간 데이터 셋의 구조에 대한 설명의 편의를 위해 임의로 정의한 공간이지, 실제로 스케일을 가지거나 규격화된 데이터 공간이 아닐 수 있다. 즉, 단위 공간은 소정의 구조를 가지는 데이터에 데이터 값(value)이 할당되는 가상의 공간일 수 있다.

보다 구체적으로, 상기 시공간 데이터 셋은 단위 영역(5610) 및 이에 대응되는 단위 시간(5610)으로 정의되는 단위 공간(5600)의 집합일 수 있다. 이때, 상기 단위 영역(5610)은 상기 시공간 데이터 셋(5005)의 공간 도메인을 구성하고, 상기 단위 시간(5630)은 상기 시공간 데이터 셋(5005)의 시간 도메인을 구성할 수 있다.

또한, 상기 시공간 데이터 셋(5005)의 공간 도메인은 디텍터 어레이에 대응될 수 있다.

구체적으로, 상기 시공간 데이터 셋(5005)의 공간 도메인은 디텍터 어레이에 포함된 각각의 디텍터들의 위치를 기초로 결정될 수 있다.

보다 구체적으로, 상기 디텍터 어레이에 포함되는 각각의 디텍터의 위치에 따라 상기 시공간 데이터 셋(5005)의 공간 도메인 상의 대응되는 좌표가 결정될 수 있다. 예를 들어, 디텍터 어레이 상의 (1,1) 위치에 배치된 제1 디텍터(4261)는 상기 시공간 데이터 셋의 공간 도메인 상의 (1,1) 위치에 대응될 수 있다. 또한, 예를 들어, 디텍터 어레이 상의 (8,3) 위치에 배치된 제2 디텍터(4262)는 상기 시공간 데이터 셋의 공간 도메인 상의 (8,3) 위치에 대응될 수 있다.

또한, 이에 한정되지 않고, 상기 디텍터 어레이에 포함되는 각각의 디텍터의 위치에 따라 상기 시공간 데이터 셋의 공간 도메인 상의 대응되는 단위 영역이 결정될 수 있다. 예를 들어, 디텍터 어레이 상의 (1,1) 위치에 배치된 제1 디텍터(4261)는 상기 시공간 데이터 셋(5005)의 공간 도메인 상의 (1,1) 위치의 제1 영역(5611)에 대응될 수 있다. 또한, 예를 들어, 디텍터 어레이 상의 (8,3) 위치에 배치된 제2디텍터는 상기 시공간 데이터 셋의 공간 도메인 상의 (8,3) 위치의 제2 영역(5622)에 대응될 수 있다.

또한, 시공간 데이터 셋(5005)의 시간 도메인은 센서부의 디텍팅 윈도우를 기초로 결정될 수 있다. 구체적으로, 상기 시공간 데이터 셋(5005)은 디텍터에 의해 감지되는 레이저에 대응되는 데이터를 생성하기 위한 데이터 공간이므로, 상기 시공간 데이터 셋의 시간 도메인 상 최대 시간은 레이저를 감지하기 위한 디텍팅 윈도우의 크기에 대응될 수 있다. 디텍팅 윈도우에 대한 설명은 상술하였으므로 중복되는 설명은 생략하기로 한다.

또한, 시공간 데이터 셋(5005)의 시간 도메인을 구성하는 단위 시간(5630)은 디텍팅 윈도우를 구성하는 타임빈을 기초로 결정될 수 있다. 구체적으로, 상기 시간 도메인은 k개의 타임빈으로 나누어질 수 있고, 각각의 타임빈은 단위 시간(5630)으로써 상기 시공간 데이터 셋(5005)의 시간 도메인을 구성할 수 있다. 타임빈에 대한 설명은 상술하였으므로 중복되는 설명은 생략하기로 한다.

또한, 시공간 데이터 셋의 각각의 단위 공간은 데이터 값을 가질 수 있다. 예를 들어, 디텍터 어레이를 포함하는 라이다 장치가 생성하는 시공간 데이터 셋의 각각의 단위 공간(5600)은 카운팅 값을 가질 수 있다. 카운팅 값에 대한 설명은 상술하였으므로 중복되는 설명은 생략하기로 한다.

7.2.3. 플레인 데이터 셋을 포함하는 시공간 데이터 셋

도 29는 일 실시예에 따른 시공간 데이터 셋을 플레인 데이터 셋을 기초로 정의한 도면이다.

도 29를 참조하면, 일 실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 디텍터 어레이에 대응되는 플레인 데이터 셋(plane data set)을 디텍팅 윈도우를 구성하는 각각의 타임빈을 기초로 정렬한 시공간 데이터 셋(5006)을 생성할 수 있다. 다시 말해, 시공간 데이터 셋(5006)은 복수의 플레인 데이터 셋을 포함할 수 있다.

이때, 상기 플레인 데이터 셋은 디텍터 어레이를 포함하는 라이다 장치에서 특정 타임빈에 대응되는 카운팅 값들의 집합일 수 있다. 보다 구체적으로, 상기 플레인 데이터 셋은 디텍터 어레이에 포함되는 모든 디텍터들로부터 수신된 광자를 기초로 생성된 카운팅 값들 중 특정 타임빈에 할당되고, 모든 디텍터들에 대응되는 카운팅 값들의 집합일 수 있다.

또한, 상기 플레인 데이터 셋은 상기 시공간 데이터 셋(5006)을 시간 값 별로 구분한 데이터 셋일 수 있다. 보다 구체적으로, 상기 플레인 데이터 셋은 데이터 처리부로부터 생성된 시공간 데이터 셋(5006)에 포함된 복수의 카운팅 값들 중 동일한 시간 값을 가지는 카운팅 값들의 집합일 수 있다. 예를 들어, 상기 플레인 데이터 셋은 시공간 데이터 셋(5006)에 포함된 복수의 카운팅 값들 중 디텍팅 윈도우 상에 동일한 타임빈에 할당된 카운팅 값들의 집합일 수 있다.

또한, 시공간 데이터 셋(5006)을 구성하는 각각의 플레인 데이터 셋에는 시간 값이 할당될 수 있다. 구체적으로, 플레인 데이터 셋은 시공간 데이터 셋(5006)의 카운팅 값들 중 특정 시간 값에 할당된 카운팅 값들의 집합일 수 있다. 예를 들어, 플레인 데이터 셋은 시공간 데이터 셋(5006)의 카운팅 값들 중 디텍팅 윈도우 상의 특정 타임빈에 할당된 카운팅 값들의 집합일 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 플레인 데이터 셋은 위치 값이 서로 상이하되, 시간 값이 동일한 카운팅 값들의 집합일 수 있다. 구체적으로, 플레인 데이터 셋에 포함되는 복수의 카운팅 값들 각각은 대응되는 디텍터의 위치는 서로 상이하나, 디텍팅 윈도우 상에서 광자가 감지된 타임빈은 동일할 수 있다.

예를 들어, 제1 플레인 데이터 셋(5710)은 디텍터 어레이로부터 감지된 광자를 기초로 제1 타임빈(t1)에 할당된 카운팅 값들의 집합일 수 있고, 제2 플레인 데이터 셋(5720)은 디텍터 어레이로부터 감지된 광자를 기초로 제2 타임빈(t2)에 할당된 카운팅 값들의 집합일 수 있고, 제3 플레인 데이터 셋(5730)은 디텍터 어레이로부터 감지된 광자를 기초로 제3 타임빈(t3)에 할당된 카운팅 값들의 집합일 수 있고, 제n 플레인 데이터 셋(5740)은 디텍터 어레이로부터 감지된 광자를 기초로 제n 타임빈(tn)에 할당된 카운팅 값들의 집합일 수 있으나, 이에 한정되지 않는다.

일 실시예에 따른 시공간 데이터 셋(5006)을 구성하는 각각의 플레인 데이터 셋에 할당된 시간 값의 크기는 동일할 수 있다. 구체적으로, 각각의 플레인 데이터 셋에 대응되는 타임빈의 크기는 동일할 수 있다. 예를 들어, 제1 플레인 데이터 셋(5710)에 대응되는 제1 타임빈(t1)의 크기, 제2 플레인 데이터 셋(5720)에 대응되는 제2 타임빈(t2)의 크기, 제3 플레인 데이터 셋(5730)에 대응되는 제3 타임빈(t3)의 크기, 및 제n 플레인 데이터 셋(5740)에 대응되는 제n 타임빈(tn)의 크기는 모두 동일할 수 있다. 다만, 이에 한정되는 것은 아니고, 실시예에 따라 각각의 타임빈의 크기가 상이할 수도 있다.

일 실시예에 따른 플레인 데이터 셋에 포함된 카운팅 값들의 수는 디텍터 어레이에 포함되는 디텍터의 수에 대응될 수 있다. 구체적으로, 플레인 데이터 셋은 시간 값이 동일하고, 디텍터 어레이에 포함된 각각의 디텍터의 위치에 대응되는 위치 값을 가지는 카운팅 값들의 집합이므로, 상기 플레인 데이터 셋은 디텍터의 수와 대응되는 수의 카운팅 값을 포함할 수 있다. 예를 들어, 상기 플레인 데이터 셋은 디텍터 어레이에 포함되는 디텍터의 수와 동일한 수의 카운팅 값을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 이에 한정되지 않고, 플레인 데이터 셋에 포함된 카운팅 값들의 수는 디텍터 어레이에 포함되는 디텍터의 수와 상이할 수 있다. 구체적으로, 데이터 처리부는 소정의 기준을 기초로 각각의 플레인 데이터 셋이 포함하는 카운팅 값의 수를 결정할 수 있다. 예를 들어, 각각의 플레인 데이터 셋에 할당된 시간 값을 기준으로 각각의 플레인 데이터 셋이 포함하는 카운팅 값의 수가 결정될 수 있다. 구체적인 예로, 데이터 처리부는 소정의 임계치 이상의 시간 값이 할당된 플레인 데이터 셋에 하나의 디텍터에 대해 복수개의 카운팅 값을 할당할 수 있으나, 이에 한정되지 않는다. 이는, 카운팅 값이 할당되는 시간 값이 커질수록 라이다 장치로부터 대상 지점까지의 거리가 멀어지므로, 일정 시간 값 이상에서는 라이다 장치의 해상도 향상을 위해 하나의 디텍터에 복수의 카운팅 값이 할당될 수 있기 때문이다.

7.3. 이미지 플레인을 통한 시공간 데이터 셋의 시각화(Visualization)

일 실시예에 따른 라이다 장치는 생성된 시공간 데이터 셋을 시각적으로 나타낼 수 있다.

도 30은 일 실시예에 따른 시공간 데이터 셋을 이미지 플레인을 기초로 시각화한 도면이다.

도 30을 참조하면, 일 실시예에 따른 라이다 장치의 제어부는 시공간 데이터 셋을 시계열적 이미지 데이터(5007)로 나타낼 수 있다. 구체적으로, 라이다 장치의 제어부는 시공간 데이터 셋에 포함된 카운팅 값들을 기초로 복수의 이미지 플레인을 포함하는 시계열적 이미지 데이터(5007)를 생성할 수 있다. 예를 들어, 상기 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 복수의 카운팅 값들을 포함하는 시공간 데이터 셋을 생성할 수 있고, 상기 생성된 시공간 데이터 셋을 복수의 이미지 플레인으로 변환할 수 있고, 상기 변환된 복수의 이미지 플레인을 포함하는 시계열적 이미지 데이터(5007)를 출력할 수 있으나, 이에 한정되지 않는다. 물론, 시계열적 이미지 데이터는 시공간 데이터 셋을 기초로 생성된 데이터일 수 있지만, 이에 한정되는 것은 아니고, 시공간 데이터 셋을 시각적으로 나타내기 위해 본 명세서에서 임의로 정의된 데이터일 수 있다.

예를 들어, 상기 시계열적 이미지 데이터(6000)는 제1 이미지 플레인(5810), 제2 이미지 플레인(5820), 제3 이미지 플레인(5830),?? 및 제n 이미지 플레인(5840)을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 시계열적 이미지 데이터(6000)에 포함되는 이미지 플레인은 상기 시공간 데이터 셋의 특정 시간 값에 대응되는 이미지일 수 있다. 구체적으로, 상기 시계열적 이미지 데이터(6000)에 포함되는 복수의 이미지 플레인 각각에는 시간 값이 할당될 수 있다. 예를 들어, 상기 제1 이미지 플레인(5810)은 제1 타임빈(t1)에 대응될 수 있고, 상기 제2 이미지 플레인(5820)은 제2 타임빈(t2)에 대응될 수 있고, 상기 제3 이미지 플레인(5830)은 제3 타임빈(t3)에 대응될 수 있고, ?? 상기 제n 이미지 플레인(5840)은 제n 타임빈(tn)에 대응될 수 있으나, 이에 한정되지 않는다.

또한, 상기 시계열적 이미지 데이터(6000)에 포함되는 이미지 플레인은 상기 시공간 데이터 셋의 특정 시간 값에 대응되는 카운팅 값들을 기초로 생성될 수 있다. 예를 들어, 라이다 장치의 제어부는 상기 시공간 데이터 셋에 포함된 카운팅 값들 중 제1 타임빈(t1)에 할당된 카운팅 값들을 기초로 제1 이미지 플레인(5810)을 생성할 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부는 상술한 플레인 데이터 셋을 기초로 이미지 플레인을 생성하여 시계열적 이미지 데이터를 생성할 수 있다. 보다 구체적으로, 복수의 이미지 플레인 각각은 상술한 복수의 플레인 데이터 셋 각각을 기초로 생성될 수 있다. 예를 들어, 제1 이미지 플레인(5810)은 상기 도 29의 제1 플레인 데이터 셋(5710)을 기초로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 이미지 플레인은 복수의 픽셀 데이터로 구성될 수 있다. 이때, 상기 픽셀 데이터는 픽셀 좌표 및 픽셀 값을 포함할 수 있다. 구체적으로, 상기 이미지 플레인은 카운팅 값의 위치 값을 기초로 결정되는 픽셀 좌표 및 카운팅 값의 크기를 기초로 결정되는 픽셀 값을 가지는 픽셀 데이터를 포함할 수 있다. 예를 들어, 상기 제1 이미지 플레인(5810)은 제1 픽셀 데이터(5811)를 포함할 수 있다. 이때, 상기 제1 픽셀 데이터(5811)는 상기 제1 픽셀 데이터에 대응되는 제1 카운팅 값의 위치 값을 기초로 결정되는 제1 픽셀 좌표 및 상기 제1 카운팅 값의 크기를 기초로 결정되는 제1 픽셀 값을 가질 수 있으나, 이에 한정되지 않는다.

도 31은 다른 실시예에 따른 이미지 플레인을 통해 시공간 데이터 셋을 시각화한 도면이다.

도 31을 참조하면, 일 실시예에 따른 시계열적 이미지 데이터(5008)는 타임빈 별로 상이한 스케일을 가지는 복수의 이미지 플레인을 포함할 수 있다. 예를 들어, 상기 시계열적 이미지 데이터(5008)는 제1 타임빈(t1)에 대응되는 제1 이미지 플레인(5910), 제2 타임빈(t2)에 대응되는 제2 이미지 플레인(5920), 및 제k 타임빈(tk)에 대응되는 제k 이미지 플레인(5930)을 포함할 수 있으나, 이에 한정되지 않는다.

구체적으로, 소정의 시야각을 가지는 라이다 장치는 라이다 장치로부터 거리가 멀어질수록 더 넓은 범위의 감지 영역을 가지므로, 상기 라이다 장치의 제어부는 타임빈이 증가할수록 넓은 영역을 나타내는 이미지 플레인을 생성할 수 있다.

일 예로, 상기 라이다 장치 또는 라이다 데이터 처리 장치는 대응되는 타임빈이 증가할수록 이미지 플레인을 통해 시각화되는 영역의 너비가 점차적으로 증가하도록 시계열적 이미지 데이터(5008)를 생성할 수 있다. 구체적인 예로, 상기 제1 이미지 플레인(5910)이 시각화하는 영역의 너비는 상기 제2 이미지 플레인(5920)이 시각화하는 영역의 너비 보다 작을 수 있다.

다른 예로, 상기 라이다 장치 또는 라이다 데이터 처리 장치는 소정의 타임빈을 기준으로 이미지 플레인을 통해 시각화되는 영역의 너비가 변하도록 시계열적 이미지 데이터(5008)를 생성할 수 있다. 구체적으로, 상기 라이다 장치 또는 라이다 데이터 처리 장치는 제k 타임빈(tk) 전후로 이미지 플레인이 시각화하는 영역의 너비가 상이하도록 상기 시계열적 이미지 데이터(5008)를 생성할 수 있다. 이 경우, 상기 제1 이미지 플레인(5910)이 시각화하는 영역의 너비는 상기 제2 이미지 플레인(5920)이 시각화하는 영역의 너비와 동일할 수 있고, 상기 제1 이미지 플레인(5910)이 시각화하는 영역의 너비는 상기 제k 이미지 플레인(5930)이 시각화하는 영역의 너비보다 작을 수 있으나, 이에 한정되지 않는다.

8. 시공간 데이터 셋의 가공

도 32는 일 실시예에 따른 시공간 데이터 셋을 소정의 데이터 처리 방법을 기초로 가공한 강화된 시공간 데이터 셋(Enhanced Spatio-temporal data set)을 설명하기 위한 도면이다.

도 32를 참조하면, 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋(5000)을 기초로 강화된 시공간 데이터 셋(6000)을 생성할 수 있다. 이때, 상기 강화된 시공간 데이터 셋(6000)은 상기 시공간 데이터 셋(5000)이 소정의 데이터 처리 방법을 기초로 가공된 데이터 셋을 의미할 수 있다.

예를 들어, 상기 데이터 처리부는 데이터 가공 알고리즘, 학습 데이터를 이용한 머신 러닝(machine-learning)등을 기초로 시공간 데이터 셋(5000)을 가공하여 강화된 시공간 데이터 셋(6000)을 생성할 수 있다.

8.1. 데이터 가공 알고리즘을 이용한 시공간 데이터 셋 가공

일 실시예에 따른 데이터 처리부는 시공간 데이터 셋에 포함되는 복수의 카운팅 값들을 기초로 상기 시공간 데이터 셋을 가공할 수 있다. 구체적으로, 상기 데이터 처리부는 특정 카운팅 값을 가공하기 위해, 상기 특정 카운팅 값과 시공간적으로 연관된 적어도 하나의 카운팅 값들을 이용할 수 있다.

또한, 상기 데이터 처리부는 시공간 데이터 셋 상에 포함되는 복수의 카운팅 값들을 보정함으로써 상기 시공간 데이터 셋을 가공할 수 있다.

보다 구체적으로, 상기 데이터 처리부는 상기 특정 카운팅 값과 시간적으로 인접한 적어도 하나의 카운팅 값 및 상기 특정 카운팅 값과 공간적으로 인접한 적어도 하나의 카운팅 값을 기초로 상기 특정 카운팅 값을 보정할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 데이터 처리부는 특정 카운팅 값과 동일한 디텍터에 대응되고, 상기 특정 카운팅 값이 할당된 타임빈의 이전 또는 다음 타임빈에 할당된 카운팅 값을 기초로 상기 특정 카운팅 값을 보정할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 데이터 처리부는 특정 카운팅 값과 동일한 타임빈에 할당되고, 상기 특정 카운팅 값이 대응되는 디텍터와 이웃한 디텍터에 대응되는 카운팅 값을 기초로 상기 특정 카운팅 값을 보정할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 데이터 처리부는 특정 카운팅 값이 대응되는 디텍터와 이웃한 디텍터에 대응되고, 상기 특정 카운팅 값이 할당된 타임빈의 이전 또는 다음 타임빈에 할당되는 카운팅 값을 기초로 상기 특정 카운팅 값을 보정할 수 있으나, 이에 한정되지 않는다.

데이터 처리부는 상술한 바와 같이 시공간 데이터 셋에 포함되는 특정 카운팅 값을 보정하여 시공간 데이터 셋을 가공할 수 있으나, 이에 한정되지 않고, 상기 시공간 데이터 셋에 포함된 모든 카운팅 값들 또는 일부 카운팅 값들을 상술한 방법을 기초로 각각 보정하여 시공간 데이터 셋을 가공할 수도 있다.

일 실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 다양한 방식의 데이터 가공 알고리즘을 기초로 시공간 데이터 셋을 가공하여 강화된 시공간 데이터 셋을 생성할 수 있다. 예를 들어, 상기 데이터 처리부는 스크리닝(screening) 알고리즘을 기초로 스크리닝 동작을 수행하여 상기 시공간 데이터 셋(5000)을 가공할 수 있다.

또한, 예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋(5000)에 포함되는 플레인 데이터 셋의 타입을 결정하기 위한 분류(Classification) 알고리즘을 기초로 상기 시공간 데이터 셋(5000)을 가공할 수 있다.

또한, 예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋(5000)에 포함되는 복수의 카운팅 값들 중 노이즈에 대응되는 카운팅 값을 제거하기 위한 디노이징(Denoising) 알고리즘을 기초로 상기 시공간 데이터 셋(5000)을 가공할 수 있다.

상술한 데이터 가공 알고리즘에 대한 내용은 아래에서 상세히 설명한다.

8.1.1. 스크리닝(screening) 알고리즘을 이용한 시공간 데이터 셋 가공

도 33은 일 실시예에 따른 스크리닝 알고리즘을 이용한 시공간 데이터 셋의 가공 방법을 설명하기 위한 도면이다.

일 실시예에 따른 데이터 처리부는 소정의 스크리닝 알고리즘을 이용하여 시공간 데이터 셋에 스크리닝 동작을 수행할 수 있다. 이때, 상기 스크리닝 동작은 상기 데이터 처리부가 미리 정해진 목적에 따라 시공간 데이터 셋을 가공하기 위해 시공간 데이터 셋에 포함되는 모든 카운팅 값들을 스캐닝(scanning)하는 동작을 의미할 수 있다. 또한, 상기 스크리닝 알고리즘은 상기 스크리닝 동작을 수행하기 위해 수반되는 데이터 처리부 내에 미리 저장된 알고리즘을 의미할 수 있다.

또한, 데이터 처리부는 상기 스크리닝 알고리즘을 수행하기 위해 다양한 형태의 필터를 이용할 수 있다. 예를 들어, 상기 데이터 처리부는 planar 필터(6510), 커널형 필터(6530), 또는 Matched 필터(6550)를 이용할 수 있으나, 이에 한정되지 않는다.

도 33의 (a)를 참조하면, 상기 데이터 처리부는 planar 필터(6510)를 이용하여 복수의 플레인 데이터 셋을 포함하는 시공간 데이터 셋(5007)에 대해 스크리닝 동작을 수행할 수 있다. 이때, 상기 planar 필터(6510)는 상기 시공간 데이터 셋(5007)의 플레인 데이터 셋에 대응될 수 있다. 구체적으로, 상기 planar 필터(6510)는 한번에 하나의 플레인 데이터 셋을 가공할 수 있도록 설계될 수 있다.

구체적으로, 데이터 처리부는 복수의 타임빈들에 대응되는 복수의 플레인 데이터를 포함하는 시공간 데이터 셋(5007)에 대하여, Planar 필터(6510)를 제1 플레인 데이터 셋(5750)에 적용할 수 있다.

또한, 상기 planar 필터를 이용한 스크리닝 알고리즘에는 추가적인 데이터 가공 알고리즘이 수반될 수 있다. 예를 들어, 상기 데이터 처리부는 planar 필터를 이용하여, 하술하는 분류 알고리즘 또는 디노이징 알고리즘을 수행하여 제1 플레인 데이터 셋을 가공할 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부는 상기 planar 필터(6510)를 대응되는 타임빈의 순서에 따라 순차적으로 플레인 데이터 셋에 적용할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 planar 필터(6510)를 제1 순서(S1)에 따라 상기 제1 플레인 데이터 셋(5750)에 적용한 후 상기 제1 플레인 데이터 셋(5750)의 타임빈의 다음 타임빈에 대응되는 제2 플레인 데이터 셋(5760)에 적용할 수 있으나, 이에 한정되지 않는다.

또한, 도 33의 (b)를 참조하면, 상기 데이터 처리부는 커널형 필터(6530)를 이용하여 복수의 카운팅 값들을 포함하는 시공간 데이터 셋(5008)에 대해 스크리닝 동작을 수행할 수 있다. 이때, 상기 커널형 필터(6530)는 상기 시공간 데이터 셋에 포함되는 일정 수의 카운팅 값들에 대응될 수 있다. 보다 구체적으로, 상기 커널형 필터(6530)는 한 번에 일정 개수의 카운팅 값을 포함하는 카운팅 값 세트를 가공하도록 설계될 수 있다. 예를 들어, 상기 커널형 필터(6530)는 한 번에 3*3*3의 카운팅 값들을 포함하는 카운팅 값 세트를 이용하여 상기 카운팅 값 세트 중 적어도 일부를 가공할 수 있도록 설계될 수 있으나, 이에 한정되지 않는다.

구체적으로, 데이터 처리부는 복수의 카운팅 값들을 포함하는 시공간 데이터 셋(5008)에 대하여, 제1 카운팅 값 세트(5050)에 적용할 수 있다.

또한, 상기 커널형 필터를 이용한 스크리닝 알고리즘에는 추가적인 데이터 가공 알고리즘이 수반될 수 있다. 예를 들어, 상기 데이터 처리부는 planar 필터를 이용하여, 하술하는 분류 알고리즘 또는 디노이징 알고리즘을 수행하여 제1 카운팅 값 세트를 가공할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 미리 정해진 순서에 따라 시공간 데이터 셋(5008)에 커널형 필터(6530)를 적용할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋 전체를 제2 순서(S2)에 따라 커널형 필터(6530)를 적용시킬 수 있다. 예를 들어, 상기 데이터 처리부는 제1 카운팅 값 세트(5050)에 대하여 커널형 필터(6530)를 적용한 후, 상기 제1 카운팅 값 세트(5050)에 대응되는 모든 타임빈에 할당된 카운팅 값들에 대하여 상기 커널형 필터(6530)를 적용하고, 다음 타임빈에 할당된 카운팅 값들에 대하여 상기 커널형 필터(6530)를 적용할 수 있으나, 이에 한정되지 않는다.

또한, 도 33의 (c)를 참조하면, 상기 데이터 처리부는 matched 필터(6550)를 이용하여 복수의 누적 데이터 셋을 포함하는 시공간 데이터 셋(5009)에 대해 스크리닝 동작을 수행할 수 있다. 이때, 상기 matched 필터(6550)는 상기 시공간 데이터 셋(5009)의 누적 데이터 셋에 대응될 수 있다. 구체적으로, 상기 matched 필터(6510)는 한 번에 하나의 누적 데이터 셋을 가공할 수 있도록 설계될 수 있다.

구체적으로, 데이터 처리부는 디텍터 어레이를 포함하는 라이다 장치에서, 상기 디텍터 어레이의 각각의 디텍터에 대응되는 복수의 누적 데이터 셋을 포함하는 시공간 데이터 셋(5009)에 대하여, matched 필터(6550)를 제1 누적 데이터 셋(5540)에 적용할 수 있다.

또한, 상기 matched 필터를 이용한 스크리닝 알고리즘에는 추가적인 데이터 가공 알고리즘이 수반될 수 있다. 예를 들어, 상기 데이터 처리부는 matched 필터를 이용하여, 하술하는 분류 알고리즘 또는 디노이징 알고리즘을 수행하여 제1 누적 데이터 셋을 가공할 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부는 상기 matched 필터(6550)를 미리 정해진 순서에 따라 디텍터 어레이에 포함되는 각각의 디텍터에 대응되는 누적 데이터 셋에 적용할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 matched 필터(6550)를 제3 순서(S3)에 따라 제1 디텍터에 대응되는 상기 제1 누적 데이터 셋(5540)에 적용한 후, 제1 디텍터에 인접한 제2 디텍터에 대응되는 제2 누적 데이터 셋(5550)에 적용할 수 있으나, 이에 한정되지 않는다.

8.1.2. 분류(Classification) 알고리즘을 이용한 시공간 데이터 셋의 가공

일 실시예에 따른 데이터 처리부는 분류 알고리즘을 기초로 시공간 데이터 셋을 목적에 따라 분류할 수 있다. 이때, 상기 데이터 처리부는 상기 시공간 데이터 셋에 포함되는 복수의 플레인 데이터 셋 또는 상기 시공간 데이터 셋에 포함되는 복수의 누적 데이터 셋을 미리 정해진 기준에 따라 분류할 수 있다. 여기서 상기 플레인 데이터 셋 및 누적 데이터 셋에 대한 기술적 특징은 상술한 특징이 그대로 적용될 수 있다. 보다 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋에 포함된 플레인 데이터 셋 또는 누적 데이터 셋을 상기 시공간 데이터 셋에 포함된 카운팅 값들을 기초로 분류할 수 있다.

일 예로, 상기 데이터 처리부는 상기 시공간 데이터 셋에 포함된 카운팅 값들의 분포(distribution)을 기초로 플레인 데이터 셋 또는 누적 데이터 셋을 적어도 하나의 타입으로 분류할 수 있다. 보다 구체적으로, 상기 데이터 처리부는 상기 카운팅 값들의 공간적 분포를 기초로 플레인 데이터 셋을 분류할 수 있고, 상기 카운팅 값들의 시간적 분포를 기초로 누적 데이터 셋을 분류할 수 있다.

8.1.2.1. 플레인 데이터 셋의 분류

도 34는 일 실시예에 따른 데이터 처리부가 카운팅 값의 공간적 분포를 기초로 플레인 데이터 셋을 분류하는 방법을 설명하기 위한 도면이다.

일 실시예에 따른 데이터 처리부는 카운팅 값들이 공간적으로 인접한 디텍터로부터 생성되었는지 여부를 기초로 카운팅 값들의 공간적 분포를 판단할 수 있다. 예를 들어, 데이터 처리부는 상기 시공간 데이터 셋에 포함된 상기 카운팅 값들의 위치 값의 인접성을 기초로 공간적 분포를 판단할 수 있다.

도 34를 참조하면, 데이터 처리부는 시공간 데이터 셋에 포함되는 복수의 플레인 데이터 셋 중 하나의 플레인 데이터 셋을 선택할 수 있다(S1013). 예를 들어, 상기 데이터 처리부는 시공간 데이터 셋(5010)에 포함되는 복수의 플레인 데이터 셋들 중 제1 플레인 데이터 셋(5770)을 선택할 수 있다.

또한, 상기 데이터 처리부는 분류 알고리즘을 기초로 상기 제1 플레인 데이터 셋(5770)을 분류할 수 있다(S1014). 이때, 데이터 처리부는 planar 필터를 이용하여 상기 분류 알고리즘을 수행할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 planar 필터를 상기 제1 플레인 데이터 셋(5770)에 적용함으로써 분류 알고리즘을 수행할 수 있다.

또한 상기 분류 단계는 아래 세부 단계들을 더 포함할 수 있다.

상기 데이터 처리부는 상기 제1 플레인 데이터 셋(5770)에 포함되는 카운팅 값들의 공간적 분포를 확인할 수 있다(S1015). 여기서, 상기 공간적 분포는 상기 제1 플레인 데이터 셋(5770)상에서 상기 카운팅 값들에 대응되는 위치 값들의 분포를 포함할 수 있다.

이때, 상기 공간적 분포를 확인하는 단계(S1015)는 상기 데이터 처리부가 상기 제1 플레인 데이터 셋(5770)에 포함되는 카운팅 값들의 공간적 밀집도(Density)를 확인하는 단계를 포함할 수 있다.

구체적으로, 상기 데이터 처리부는 상기 제1 플레인 데이터 셋(5750)에 포함되는 카운팅 값들 중 유사한 크기를 가지는 카운팅 값들에 대응되는 위치 값들이 인접한지 여부를 기초로 상기 공간적 밀집도를 확인할 수 있다.

또는, 상기 데이터 처리부는 상기 제1 플레인 데이터 셋(5750)에서, 카운팅 값이 유사한 복수의 카운팅 값들이 유사한 크기를 가지는 카운팅 값들에 대응되는 디텍터들이 위치적으로 인접한지 여부를 기초로 상기 공간적 밀집도를 확인할 수 있다.

또한, 상기 데이터 처리부는 상기 카운팅 값들의 공간적 밀집도가 확인된 경우, 상기 제1 플레인 데이터 셋(5770)을 제1 타입의 플레인으로 결정할 수 있다(S1016).

예를 들어, 상기 제1 타입의 플레인은 Object 플레인을 포함할 수 있다. 구체적으로, 데이터 처리부는 유사한 크기의 카운팅 값들이 상기 제1 플레인 데이터 셋(5770) 상에서 공간적으로 밀집되어 있는 경우, 상기 제1 플레인 데이터 셋(5770)은 객체(object)에 대응되는 카운팅 값이 포함된 플레인(Object 플레인)으로 판단할 수 있다.

또한, 상기 데이터 처리부는 상기 카운팅 값들의 공간적 밀집도가 확인되지 않은 경우, 상기 제1 플레인 데이터 셋(5770)을 제2 타입의 플레인으로 결정할 수 있다(S1017).

예를 들어, 상기 제1 타입의 플레인은 Noise 플레인을 포함할 수 있다. 구체적으로, 데이터 처리부는 유사한 크기의 카운팅 값들이 상기 제1 플레인 데이터 셋(5770) 상에서 공간적으로 밀집되어 있지 않은 경우(다시 말해, 카운팅 값들이 공간적으로 산재되어 있는 경우), 상기 제1 플레인 데이터 셋(5770)은 객체에 대응되는 카운팅 값이 포함되지 않고 노이즈에 대응되는 카운팅 값만 포함된 플레인(noise 플레인)으로 판단할 수 있다.

또한, 상기 데이터 처리부는 남은 플레인 데이터 셋들을 상술한 단계들을 기초로 분류할 수 있다(S1018). 구체적으로, 상기 데이터 처리부는 상기 제1 플레인 데이터 셋(5770)을 분류한 후, 상술한 planar 필터를 이용한 스크리닝 알고리즘을 기초로 미리 정해진 순서에 따라 남은 플레인 데이터 셋들에 상술한 분류 알고리즘을 수행할 수 있다.

또한, 이에 한정되지 않고, 상기 플레인 데이터 셋의 분류 알고리즘은 상기 데이터 처리부가 상기 플레인 데이터 셋에 포함되는 카운팅 값들의 크기를 기초로 상기 카운팅 값들을 평준화(normalization)함으로써 수행될 수 있다.

구체적으로, 상기 데이터 처리부는 최대 카운팅 값을 기초로 상기 플레인 데이터 셋에 포함되는 모든 카운팅 값들을 평준화할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 최대 카운팅 값 및 각각의 카운팅 값 사이의 편차를 계산하고, 상기 편차 값으로 구성된 평준화된 플레인 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다.

또한, 카운팅 값들을 평준화하는 방법은 상술한 방법에 한정되는 것은 아니고, 통상의 기술자가 데이터를 평준화하는 일반적인 방법들이 적용될 수 있음은 물론이다.

또한, 상기 데이터 처리부는 상기 평준화된 플레인 데이터 셋의 편차 값의 분포를 기초로 상기 플레인 데이터 셋을 분류할 수 있다.

구체적으로, 상기 데이터 처리부는 상기 평준화된 플레인 데이터 셋에 포함된 편차 값이 균일한(uniform) 경우, 상기 플레인 데이터 셋을 noise 플레인으로 결정할 수 있으나, 이에 한정되지 않는다. 이때, 데이터 처리부는 편차 값의 최대값 및 최소값의 차이가 임계치 이하인 경우 편차 값이 균일하다는 결정을 내릴 수 있다. 이는, 편차 값이 균일한 경우는 상기 플레인 데이터 셋에 포함되는 카운팅 값들이 대부분 유사한 크기를 가진다는 의미이므로, 상기 플레인 데이터 셋에는 객체에 대응되는 카운팅 값들이 포함되어 있지 않을 확률이 크기 때문이다.

또한, 상기 데이터 처리부는 상기 평준화된 플레인 데이터 셋에 포함된 편차 값이 불균일한(ununiform) 경우, 상기 플레인 데이터 셋을 object 플레인으로 결정할 수 있으나, 이에 한정되지 않는다. 이때, 데이터 처리부는 편차 값의 최대값 및 최소값의 차이가 임계치 이상인 경우 편차 값이 불균일하다는 결정을 내릴 수 있다. 이는, 편차 값이 불균일한 경우는 상기 플레인 데이터 셋에 포함되는 카운팅 값들 중 다른 카운팅 값들에 비해 높은 값을 가지는 카운팅 값 세트가 존재한다는 의미이므로, 상기 플레인 데이터 셋에는 객체에 대응되는 카운팅 값들이 포함되어 있을 확률이 크기 때문이다.

8.1.2.2. 누적 데이터 셋의 분류

도 35는 일 실시예에 따른 데이터 처리부가 카운팅 값의 시간적 분포를 기초로 누적 데이터 셋을 분류하는 방법을 설명하기 위한 도면이다.

일 실시예에 따른 데이터 처리부는 카운팅 값들이 라이다 장치에 미리 저장된 레퍼런스 데이터와 유사한 분포도를 가지는지 여부를 기초로 카운팅 값들의 시간적 분포를 판단할 수 있다.

도 35를 참조하면, 데이터 처리부는 시공간 데이터 셋에 포함되는 복수의 누적 데이터 셋 중 하나의 누적 데이터 셋을 선택할 수 있다(S1019). 예를 들어, 상기 데이터 처리부는 시공간 데이터 셋(5011)에 포함되는 복수의 누적 데이터 셋들 중 제1 누적 데이터 셋(5560)을 선택할 수 있다.

또한, 상기 데이터 처리부는 분류 알고리즘을 기초로 상기 제1 누적 데이터 셋(5560)을 분류할 수 있다(S1020). 이때, 상기 데이터 처리부는 matched 필터를 이용하여 상기 분류 알고리즘을 수행할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 matched 필터를 상기 제1 누적 데이터 셋(5560)에 적용함으로써 분류 알고리즘을 수행할 수 있다.

또한, 상기 분류 단계는 아래 세부 단계들을 더 포함할 수 있다.

상기 데이터 처리부는 상기 제1 누적 데이터 셋(5560)에 포함되는 카운팅 값들의 시간적 분포를 확인할 수 있다(S1021). 여기서, 상기 시간적 분포는 상기 제1 누적 데이터 셋(5560)상에서 시간 값에 따른 상기 카운팅 값의 분포를 포함할 수 있다.

이때, 상기 시간적 분포를 확인하는 단계(S1021)는 상기 데이터 처리부가 상기 제1 누적 데이터 셋(5560)에 포함되는 카운팅 값들을 레퍼런스 데이터 셋(5090)과 비교하는 단계를 포함할 수 있다.

이때, 상기 레퍼런스 데이터 셋(5090)은 라이다 장치에 미리 저장된 데이터 셋으로서, 미리 정해진 패턴(predetermined pattern)을 가지는 데이터 셋일 수 있다. 구체적으로, 상기 데이터 처리부는 객체에 대한 감지 신호들이 나타내는 카운팅 값의 패턴을 가지도록 상기 레퍼런스 데이터 셋(5090)을 생성하여 미리 저장할 수 있다. 예를 들어, 객체에 반사된 광자를 기초로 생성된 데이터는 중앙 값이 높은 값을 가지는 삼각형 패턴을 가지므로, 상기 데이터 처리부는 상기 삼각형 패턴을 가지는 레퍼런스 데이터 셋(5090)을 생성하여 미리 저장할 수 있으나, 이에 한정되지 않는다.

또한, 상기 레퍼런스 데이터 셋(5090)은 미리 정해진 패턴을 가지는 matched 필터 형태로 구현될 수 있다. 이 경우, 데이터 처리부는 상기 matched 필터를 상기 제1 누적 데이터 셋(5560)에 적용함으로써 상기 제1 누적 데이터 셋(5560)에 포함된 카운팅 값들을 상기 matched 필터가 가지는 미리 정해진 패턴과 비교할 수 있다.

또한, 상기 데이터 처리부는 상기 제1 누적 데이터 셋(5560)에 포함되는 카운팅 값들의 패턴 및 상기 레퍼런스 데이터 셋(5090)의 패턴의 유사성을 판단할 수 있다. 예를 들어, 상기 제1 누적 데이터 셋(5560)에 포함된 카운팅 값들과 상기 레퍼런스 데이터 셋(5090)에 포함된 데이터 값(value)과의 차이를 기초로 상기 유사성을 판단할 수 있으나, 이에 한정되지 않는다. 이 경우, 상기 차이가 임계치 이상인 경우 상기 데이터 처리부는 상기 제1 누적 데이터 셋(5560)의 패턴과 상기 레퍼런스 데이터 셋(5090)의 패턴이 비유사하다고 판단할 수 있고, 상기 차이가 임계치 이하인 경우 상기 데이터 처리부는 상기 제1 누적 데이터 셋(5560)의 패턴과 상기 레퍼런스 데이터 셋(5090)의 패턴이 유사하다고 판단할 수 있다.

또한, 상기 데이터 처리부는 상기 판단 결과에 따라 패턴이 유사한 경우, 상기 제1 누적 데이터 셋(5560)을 제1 타입의 누적 데이터로 결정할 수 있다(S1022).

예를 들어, 상기 제1 타입의 누적 데이터는 객체에 대응되는 카운팅 값을 포함하는 데이터 셋일 수 있다. 구체적으로, 데이터 처리부는 상기 제1 누적 데이터 셋(5560)이 객체의 반사 패턴을 반영한 상기 레퍼런스 데이터 셋(5090)과 유사한 패턴을 가지는 경우, 상기 제1 누적 데이터 셋(5560)을 객체에 대응되는 카운팅 값을 포함하는 누적 데이터로 판단할 수 있다.

또한, 상기 데이터 처리부는 상기 판단 결과에 따라 패턴이 비유사한 경우, 상기 제1 누적 데이터 셋(5560)을 제2 타입의 누적 데이터로 결정할 수 있다(S1023).

예를 들어, 상기 제2 타입의 누적 데이터는 객체에 대응되는 카운팅 값을 포함하지 않고, 노이즈에 대응되는 카운팅 값만을 포함하는 데이터 셋일 수 있다. 구체적으로, 데이터 처리부는 상기 제1 누적 데이터 셋(5560)이 객체의 반사 패턴을 반영한 상기 레퍼런스 데이터 셋(5090)과 비유사한 패턴을 가지는 경우, 상기 제1 누적 데이터 셋(5560)을 객체에 대응되는 카운팅 값을 포함하지 않고, 노이즈에 대응되는 카운팅 값을 포함하는 누적 데이터로 판단할 수 있다.

또한, 상기 데이터 처리부는 남은 누적 데이터 셋들을 상술한 단계들을 기초로 분류할 수 있다(S1024). 구체적으로, 상기 데이터 처리부는 상기 제1 누적 데이터 셋(5560)을 분류한 후, 상술한 matched 필터를 이용한 스크리닝 알고리즘을 기초로 미리 정해진 순서에 따라 남은 누적 데이터 셋들에 상술한 분류 알고리즘을 수행할 수 있다.

또한, 이에 한정되지 않고, 상기 누적 데이터 셋의 분류 알고리즘은 상기 데이터 처리부가 누적 데이터 셋 포함되는 카운팅 값들을 임계값과 비교함으로써 수행될 수 있다. 구체적으로, 상기 데이터 처리부는 상기 누적 데이터 셋에 포함되는 복수의 카운팅 값들 중 임계값보다 높은 값을 가지는 카운팅 값이 존재하는지 여부를 판단할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 누적 데이터 셋에 임계값 보다 높은 값을 가지는 카운팅 값이 포함되는 경우, 상기 누적 데이터 셋을 객체에 대응되는 카운팅 값을 가지는 제1 타입의 누적 데이터로 판단할 수 있으나, 이에 한정되지 않는다. 이는, 객체에 대응되는 카운팅 값은 최소 임계값 이상의 값을 가지도록 라이다 장치가 상기 임계값을 설정하기 때문이다.

또한, 상기 데이터 처리부는 상기 누적 데이터 셋에 포함된 모든 카운팅 값들이 임계값 보다 낮은 값을 가지는 경우, 상기 누적 데이터 셋을 객체에 대응되는 카운팅 값을 가지지 않는 제2 타입의 누적 데이터로 판단할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상술한 것과 같이 분류 알고리즘을 기초로 상기 시공간 데이터 셋을 구성하는 플레인 데이터 셋 또는 누적 데이터 셋을 분류할 수 있으나, 이에 한정되지 않고, 상기 시공간 데이터 셋을 프레임 별로 분류할 수도 있다.

8.1.2.3. 시공간 데이터 셋의 프레임 별 분류

도 36은 일 실시예에 따른 데이터 처리부가 카운팅 값의 시공간적 분포를 기초로 시공간 데이터 셋을 분류하는 방법을 설명하기 위한 도면이다.

일 실시예에 따른 데이터 처리부는 한 프레임의 시공간 데이터 셋에 대하여, 상기 시공간 데이터 셋이 객체에 대응되는 카운팅 값 세트를 포함하는지 여부를 기초로 카운팅 값의 시공간적 분포를 판단할 수 있다.

도 36을 참조하면, 일 실시예에 따른 데이터 처리부는 여러 프레임의 시공간 데이터 셋 중 한 프레임의 시공간 데이터 셋을 선택할 수 있다(S1025). 예를 들어, 상기 데이터 처리부는 복수의 프레임의 시공간 데이터 셋들 중 제1 프레임의 시공간 데이터 셋(5012)을 선택할 수 있다. 또한, 상기 데이터 처리부는 상기 선택 단계(S1025)를 거치지 않고, 한 프레임의 시공간 데이터 셋을 생성할 때마다 하술할 분류 알고리즘을 수행할 수도 있다.

또한, 상기 데이터 처리부는 분류 알고리즘을 기초로 제1 프레임의 시공간 데이터 셋(5012)을 분류할 수 있다(S1026). 이때, 상기 데이터 처리부는 커널형 필터를 이용하여 상기 분류 알고리즘을 수행할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 커널형 필터를 상기 제1 프레임의 시공간 데이터 셋(5012)에 포함되는 카운팅 값들 중 일부에 적용함으로써 분류 알고리즘을 수행할 수 있다.

상기 데이터 처리부는 상기 제1 프레임의 시공간 데이터 셋(5012)에 포함되는 카운팅 값들의 시공간적 분포를 확인할 수 있다(S1027). 여기서, 상기 시공간적 분포는 복수의 위치 값 및 복수의 타임빈에 대응되는 복수의 카운팅 값들의 분포를 포함할 수 있다.

이때, 상기 시공간적 분포를 확인하는 단계(S1027)는 상기 데이터 처리부가 상기 제1 프레임의 시공간 데이터 셋(5012) 내에 객체에 대응되는 특정 카운팅 값 세트가 존재하는지 여부를 판단하는 단계를 포함할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 제1 프레임 데이터 셋(5012)이 객체의 반사 패턴과 유사한 패턴을 나타내는 카운팅 값 세트를 객체에 대응되는 특정 카운팅 값 세트로 판단할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 데이터 처리부는 커널형 필터를 이용하여 상기 제1 프레임 데이터 셋(5012)에 포함되는 카운팅 값들 중 객체에 대응되는 특정 카운팅 값 세트가 존재하는지 여부를 판단할 수 있으나, 이에 한정되지 않는다. 이 경우, 상기 데이터 처리부는 객체의 반사 패턴을 반영하는 커널형 필터를 이용할 수 있다.

보다 구체적으로, 상기 데이터 처리부는 상기 커널형 필터를 상기 제1 프레임 데이터 셋(5012) 내의 제1 카운팅 값 세트에 적용시킬 수 있고, 상기 제1 카운팅 값 세트가 객체에 대응되는 특정 카운팅 값 세트인지 여부를 판단할 수 있다. 또한, 상기 데이터 처리부는 상기 커널형 필터를 상기 제1 프레임의 시공간 데이터 셋(5012)에 대하여 미리 정해진 순서에 따라 스크리닝함으로써 상기 특정 카운팅 값 세트가 존재하는지 여부를 확인할 수 있다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 planar 필터 또는 matched 필터를 이용하여 상술한 단계를 수행할 수도 있다.

또한, 상기 데이터 처리부는 객체에 대응되는 특정 카운팅 값 세트를 확인한 경우, 상기 제1 프레임의 시공간 데이터 셋(5012)을 제1 타입의 데이터 셋으로 결정할 수 있다(S1028). 이때, 상기 제1 타입의 데이터 셋은 객체에 대한 카운팅 값이 존재하는 데이터 셋일 수 있다.

또한, 상기 데이터 처리부는 객체에 대응되는 특정 카운팅 값 세트를 확인하지 않은 경우, 상기 제1 프레임의 시공간 데이터 셋(5012)을 제2 타입의 데이터 셋으로 결정할 수 있다. 이때, 상기 제2 타입의 데이터 셋은 객체에 대한 카운팅 값이 존재하지 않는 노이즈 시공간 데이터 셋일 수 있다(S1029).

또한, 상기 데이터 처리부는 남은 프레임의 시공간 데이터 셋을 상술한 단계들을 기초로 분류할 수 있다(S1030).

8.1.2.4. 분류 알고리즘의 후처리 방법

일 실시예에 따른 데이터 처리부는 상기 분류 알고리즘을 기초로 데이터를 분류한 후 후처리를 통해 데이터를 가공할 수 있다. 보다 구체적으로, 상기 데이터 처리부는 상기 분류 알고리즘의 결과에 따라 상이한 방식으로 데이터를 가공할 수 있으나, 이에 한정되지 않고, 동일한 방식으로 데이터를 가공할 수도 있다.

예를 들어, 상기 데이터 처리부는 상기 분류 알고리즘의 결과에 따라 데이터 셋의 카운팅 값을 조정할지 여부를 판단할 수 있다.

또한, 예를 들어, 상기 데이터 처리부는 상기 분류 알고리즘의 결과에 관계없이 데이터 셋에 대해 하술할 디노이징 알고리즘을 수행할 수 있다.

도 37은 일 실시예에 따른 데이터 처리부가 데이터를 분류하고 후처리하는 방법을 도시한 도면이다.

도 37을 참조하면, 데이터 처리부는 데이터 셋을 분류할 수 있다(S1031). 이때, 상기 데이터 셋은 한 프레임의 시공간 데이터 셋, 시공간 데이터 셋에 포함되는 플레인 데이터 셋 또는 시공간 데이터 셋에 포함되는 누적 데이터 셋을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 분류 결과에 따라, 상기 데이터 셋을 제1 타입의 데이터 셋으로 결정할 수 있다(S1032). 이때, 상기 제1 타입의 데이터 셋은 객체에 대응되는 적어도 하나의 카운팅 값을 포함하는 데이터 셋일 수 있다. 예를 들어, 상기 제1 타입의 데이터 셋은 상술한 제1 타입의 시공간 데이터 셋(예를 들어, 객체에 대응되는 카운팅 값 세트를 포함하는 프레임 시공간 데이터 셋), 제1 타입의 플레인(예를 들어, object 플레인) 또는 제1 타입의 누적 데이터(예를 들어, 객체의 반사 패턴을 나타내는 누적 데이터 셋) 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 제1 타입의 데이터 셋으로 결정된 데이터 셋에 포함되는 카운팅 값을 조정하지 않을 수 있다(S1033). 이는, 상기 제1 타입의 데이터 셋은 객체에 대한 정보를 반영하므로 상기 데이터 셋의 카운팅 값을 보존하기 위함일 수 있다. 물론, 이에 한정되지 않고, 실시예에 따라 상기 데이터 처리부는 하술할 스무딩(smoothing)등의 목적에 따라 상기 데이터 셋의 카운팅 값을 조정할 수도 있다.

또는, 상기 데이터 처리부는 상기 데이터 셋에 대해 하술할 디노이징 알고리즘을 수행할 수 있다(S1034). 디노이징 알고리즘에 대한 상세한 내용은 아래에서 설명한다.

또한, 상기 데이터 처리부는 분류 결과에 따라, 상기 데이터 셋을 제2 타입의 데이터 셋으로 결정할 수 있다(S1035). 이때, 상기 제2 타입의 데이터 셋은 노이즈에 대응되는 적어도 하나의 카운팅 값을 포함하는 데이터 셋일 수 있다. 예를 들어, 상기 제2 타입의 데이터 셋은 상술한 제2 타입의 시공간 데이터 셋(예를 들어, 객체에 대응되는 카운팅 값이 존재하지 않는 프레임 시공간 데이터 셋), 제2 타입의 플레인(예를 들어, noise 플레인) 또는 제2 타입의 누적 데이터(예를 들어, 객체에 대응되는 카운팅 값이 존재하지 않는 누적 데이터 셋) 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 제2 타입의 데이터 셋으로 결정된 데이터 셋에 포함되는 카운팅 값을 조정할 수 있다(S1036). 이는, 상기 제2 타입의 데이터 셋은 객체에 대한 정보를 반영하지 않으므로, 데이터 처리부는 상기 제2 타입의 데이터 셋을 노이즈 데이터로 판단할 수 있기 때문이다. 예를 들어, 상기 데이터 처리부는 상기 제2 타입의 데이터 셋으로 결정된 데이터 셋에 포함되는 모든 카운팅 값을 0으로 조정할 수 있다. 또한, 이에 한정되는 것은 아니고, 상기 데이터 처리부는 상기 제2 타입의 데이터 셋으로 결정된 데이터 셋에 포함되는 카운팅 값들 중 일부를 0으로 조정할 수도 있다. 또한, 이에 한정되는 것은 아니고, 상기 데이터 처리부는 상기 제2 타입의 데이터 셋으로 결정된 데이터 셋을 삭제할 수도 있다.

8.1.3. 디노이징(denoising) 알고리즘을 이용한 시공간 데이터 셋 가공

일 실시예에 따른 데이터 처리부는 디노이징 알고리즘을 기초로 시공간 데이터 셋에 포함되는 노이즈 데이터를 제거할 수 있다.

보다 구체적으로, 상기 데이터 처리부는 상기 디노이징 알고리즘을 기초로 시공간 데이터 셋에 포함되는 복수의 카운팅 값들 중 노이즈에 대응되는 카운팅 값들을 추출하거나 제거할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 디노이징 알고리즘을 기초로 노이즈에 대응되는 카운팅 값들을 0으로 조정할 수 있으나, 이에 한정되지 않는다.

8.1.3.1. 커널형 필터를 이용한 디노이징 알고리즘

일 예로, 상기 데이터 처리부는 커널형 필터를 이용하여 시공간 데이터 셋을 디노이징 할 수 있다

도 38은 일 실시예에 따른 데이터 철리부가 커널형 필터를 이용하여 시공간 데이터 셋을 디노이징하는 방법을 설명하기 위한 도면이다.

도 38를 참조하면, 라이다 장치 또는 라이다 데이터 처리 장치에 포함되는 데이터 처리부는 시공간 데이터 셋(5013)에 포함되는 복수의 카운팅 값들 중 일부인 제1 카운팅 값 세트(5060)에 공간 필터를 적용시킬 수 있다(S1037).

이때, 상기 제1 카운팅 값 세트(5060)은 제1 카운팅 값(5016)을 포함하는 복수의 카운팅 값들일 수 있다. 예를 들어, 상기 제1 카운팅 값 세트(5060)는 상기 제1 카운팅 값(5016)을 포함하여, 상기 제1 카운팅 값(5016) 주변의 카운팅 값들을 포함할 수 있다.

또한, 데이터 처리부는 디노이징 알고리즘을 기초로 제1 카운팅 값 세트(5060) 중 적어도 일부를 가공할 수 있다(S1038).

이때, 상기 데이터 처리부는 가우시안 필터링을 기초로 디노이징 알고리즘을 수행할 수 있다. 또한, 상기 커널형 필터는 가우시안 필터링을 수행하기 위한 필터일 수 있다. 이에 따라, 상기 커널형 필터가 적용되는 카운팅 값 세트는 가우시안 필터링을 통해 디노이징될 수 있다.

구체적으로, 데이터 처리부는 상기 커널형 필터가 적용되는 제1 카운팅 값 세트(5060) 중 제1 카운팅 값(5016)을 선택할 수 있다(S1039). 이때, 상기 제1 카운팅 값(5016) 상기 제1 카운팅 값 세트(5060) 중 중앙에 위치하는 카운팅 값일 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 제1 카운팅 값 세트(5060) 중 제1 카운팅 값을 제외한 주변 카운팅 값들을 기초로 상기 선택된 제1 카운팅 값(5016)을 조정할 수 있다(S1040).

구체적으로, 상기 데이터 처리부는 상기 제1 카운팅 값(5016)을 상기 제1 카운팅 값(5016)에 인접한 카운팅 값들을 기초로 조정할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 제1 카운팅 값(5016)을 상기 제1 카운팅 값(5016)과 위치 값이 동일하고 이웃한 시간 값에 대응되는 제2 카운팅 값(5017) 및 상기 제1 카운팅 값(5016)과 동일한 시간 값에 대응되고 이웃한 위치 값을 가지는 제3 카운팅 값(5018) 그룹을 포함할 수 있으나, 이에 한정되지 않는다.

구체적인 예로, 제1 위치 값 및 제1 타임빈에 대응되는 제1 카운팅 값(5016)은 상기 제1 위치 값 및 상기 제1 타임빈 이전의 제2 타임빈에 대응되는 제2 카운팅 값(5017) 및 상기 제1 위치 값과 인접한 제2 위치 값 및 상기 제1 타임빈에 대응되는 제3 카운팅 값(5018)을 기초로 조정될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 제1 디텍터에 대응되고, 제1 플레인 데이터 셋에 포함되는 제1 카운팅 값(5016)은 상기 제1 디텍터에 대응되고, 상기 제1 플레인 데이터 셋에 이웃한 제2 플레인 데이터 셋에 포함되는 제2 카운팅 값(5017) 및 상기 제1 디텍터에 이웃한 제2 디텍터에 대응되고, 상기 제1 플레인 데이터 셋에 포함되는 제3 카운팅 값(5018)을 기초로 조정될 수 있다.

또한, 예를 들어, 제1 타임빈에 대응되고, 제1 누적 데이터 셋에 포함되는 제1 카운팅 값(5016)은 상기 제1 누적 데이터 셋에 포함되고, 상기 제1 타임빈 이전의 제2 타임빈에 대응되는 제2 카운팅 값(5017) 및 상기 제1 타임빈에 대응되고, 상기 제1 누적 데이터 셋과 공간적으로 이웃한 제2 누적 데이터 셋에 포함되는 제3 카운팅 값(5018)을 기초로 조정될 수 있다.

또한, 예를 들어, 제1 이미지 플레인에 포함되고, 제1 픽셀 좌표에 대응되는 제1 카운팅 값(5016)은 상기 제1 이미지 플레인 이전의 제2 이미지 플레인에 포함되고, 상기 제1 픽셀 좌표와 동일한 제2 픽셀 좌표에 대응되는 제2 카운팅 값(5017) 및 상기 제1 이미지 플레인에 포함되고, 상기 제1 픽셀 좌표와 이웃한 제3 픽셀 좌표에 대응되는 제3 카운팅 값(5018)을 기초로 조정될 수 있다.

또한, 상기 데이터 처리부는 미리 정해진 순서에 따라 시공간 데이터 셋(5012)에 디노이징 알고리즘을 수행할 수 있다(S1041). 구체적으로, 상기 데이터 처리부는 상술한 스크리닝 동작을 수행함으로써 상기 시공간 데이터 셋에 포함되는 모든 카운팅 값들에 대하여 상술한 디노이징 알고리즘을 수행할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋(5012)에 포함된 모든 카운팅 값들 각각을 상기 커널형 필터의 중앙에 위치시킴으로써 상기 모든 카운팅 값들을 조정할 수 있으나, 이에 한정되지 않는다.

8.1.3.2. 디노이징 알고리즘의 추가 실시예

또한, 데이터 처리부는 디노이징의 대상이 되는 대상 카운팅 값과 상기 대상 카운팅 값의 주변 카운팅 값들의 차이를 기초로 상기 대상 카운팅 값을 조정할 수 있다.

구체적으로, 상기 데이터 처리부는 커널형 필터가 적용되는 카운팅 값 세트에 포함되는 대상 카운팅 값 및 상기 카운팅 값 세트에 포함되는 대상 카운팅 값 주변의 적어도 하나의 카운팅 값들의 차이를 계산할 수 있다.

또한, 상기 데이터 처리부는 상기 차이들의 합을 임계치와 비교할 수 있다.

구체적으로, 상기 데이터 처리부는 상기 대상 카운팅 값 및 주변 카운팅 값들의 차이의 합이 임계치 이상인 경우, 상기 대상 카운팅 값을 0으로 변경하거나, 상기 대상 카운팅 값을 삭제할 수 있으나, 이에 한정되지 않는다. 이는, 차이의 합이 임계치 이상인 경우는 상기 대상 카운팅 값이 주변 카운팅 값과 상이하기 때문에 상기 대상 카운팅 값이 노이즈 데이터일 수 있기 때문이다.

또한, 상기 데이터 처리부는 상기 차이가 임계치 이하인 경우, 상기 대상 카운팅 값을 상기 주변 카운팅 값들을 기초로 보정할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 대상 카운팅 값을은 상기 대상 카운팅 값 및 주변 카운팅 값들의 평균 값으로 조정할 수 있으나, 이에 한정되지 않는다. 이를 통해, 상기 데이터 처리부는 하술할 카운팅 값의 스무딩(smoothing)효과를 달성할 수 있다.

또한, 상기 데이터 처리부는 상기 대상 카운팅 값을 조정할 때, 주변 카운팅 값과의 인접성을 기초로 보정할 수 있다. 보다 구체적으로, 상기 데이터 처리부는 상기 대상 카운팅 값이 대응되는 대상 디텍터에 인접한 디텍터의 카운팅 값을 더 반영하여 상기 대상 카운팅 값을 보정할 수 있다.

일 예로, 상기 데이터 처리부는 상기 대상 디텍터에 인접할수록 높은 가중치를 부여함으로써 상기 대상 카운팅 값을 보정할 수 있다. 예를 들어, 상기 데이터 처리부는 대상 디텍터에 이웃한 제1 디텍터에 대응되는 카운팅 값에는 제1 가중치를 부여할 수 있고, 상기 대상 디텍터에 이웃하지 않은 제2 디텍터에는 상기 제1 가중치 보다 작은 제2 가중치를 부여할 수 있으나, 이에 한정되지 않는다. 이 경우, 상기 데이터 처리부는 상기 가중치가 부여된 주변 카운팅 값들을 기초로 상기 대상 카운팅 값을 조정할 수 있다.

또한, 상기 데이터 처리부는 복수의 이미지 플레인을 포함하는 시공간 데이터 셋을 디노이징 알고리즘을 기초로 가공할 수 있다. 이 경우, 상기 데이터 처리부는 상기 복수의 이미지 플레인 각각에 대해 디노이징 알고리즘을 수행할 수도 있고, 상기 시공간 데이터 셋 전체에 대해 디노이징 알고리즘을 수행할 수 있다. 예를 들어, 상기 데이터 처리부는 planar 필터를 이용하여 상기 복수의 이미지 플레인 각각을 디노이징할 수 있고, 상기 커널형 필터를 이용하여 상기 시공간 데이터 셋 전체를 스크리닝하여 디노이징 할 수도 있다.

또한, 상기 데이터 처리부는 상기 시공간 데이터 셋을 가공하여 outlier가 삭제된 이미지 플레인을 포함하는 강화된 시공간 데이터 셋을 생성할 수 있다. 이때, 상기 outlier는 이미지 플레인 상의 노이즈 데이터를 의미할 수 있다. 또한, 이 경우, 상기 데이터 처리부는 상기 outlier가 삭제된 이미지 플레인을 포함하는 강화된 시공간 데이터 셋을 시각화할 수 있다.

8.2. 머신 러닝 모델을 이용한 시공간 데이터 셋 가공

도 39는 일 실시예에 따른 머신 러닝 모델을 이용한 시공간 데이터 셋 가공 방법을 도시한 도면이다.

도 39를 참조하면, 데이터 처리부는 머신 러닝 모델(7000)을 이용하여 시공간 데이터 셋을 가공할 수 있다. 이때, 상기 머신 러닝 모델(7000)은 인풋 데이터(7050)을 입력 받으면 아웃풋 데이터(7080)을 출력할 수 있다. 특히, 상기 머신 러닝 모델(7000)은 딥러닝(deep-learning) 모델일 수 있으나, 이에 한정되지 않는다.

또한, 상기 머신 러닝 모델(7000)은 상기 데이터 처리부 내에 저장되어 있을 수 있지만, 이에 한정되지 않고, 상기 데이터 처리부와 별도의 외부 프로세서에 저장되어 있을 수도 있다. 이 경우, 상기 데이터 처리부는 상기 머신 러닝 모델(7000)에 인풋 데이터(7050)를 전송할 수 있고, 상기 머신 러닝 모델(7000)로부터 아웃풋 데이터(7080)를 수신할 수 있다.

또한, 상기 데이터 처리부 또는 외부 프로세서는 상기 머신 러닝 모델(7000)을 학습시킬 수 있다. 이때, 상기 머신 러닝 모델(7000)을 학습시키는 방법은 지도 학습, 준지도 학습, 자율 학습, 또는 강화 학습 등 머신 러닝을 학습시키는 통상적인 방법이 이용될 수 있다.

또한, 상기 데이터 처리부 또는 외부 프로세서는 적어도 하나의 학습 데이터(7100)를 이용하여 상기 머신 러닝 모델(7000)을 학습시킬 수 있다. 이??, 상기 학습 데이터(7100)는 상기 머신 러닝 모델(7000)이 인풋 데이터(7050)를 기초로 목표하는 아웃풋 데이터(7080)를 출력하기 위해 상기 머신 러닝 모델(7000)에 제공되는 데이터일 수 있다.

예를 들어, 상기 데이터 처리부 또는 외부 프로세서는 제1 학습 데이터(7110) 및 제2 학습 데이터(7120)를 포함할 수 있으나, 이에 한정되지 않는다. 이때, 상기 제1 학습 데이터(7110)는 머신 러닝 모델(7000)을 통해 가공할 데이터와 동일한 레이어의 데이터일 수 있다. 또한, 상기 제2 학습 데이터(7120)는 머신 러닝 모델(7000)을 통해 획득하고자 하는 정답 데이터일 수 있다.

구체적으로, 상기 제1 학습 데이터(7110)는 상기 인풋 데이터(7050)에 대응될 수 있고, 상기 제2 학습 데이터(7120)는 상기 아웃풋 데이터(7080)에 대응될 수 있다.

구체적으로, 상기 데이터처리부 또는 외부 프로세서는 상기 머신 러닝 모델(7000)를 상기 제1 학습 데이터(7110)와 같은 레이어의 데이터가 입력되면 상기 제2 학습 데이터(7120)와 같은 레이어의 데이터를 출력하도록 학습시킬 수 있다.

예를 들어, 상기 데이터 처리부 또는 외부 프로세서는 데이터 처리부로부터 생성된 시공간 데이터 셋(5013)를 제1 학습 데이터(7110)로 이용할 수 있다. 또한, 상기 데이터 처리부 또는 외부 프로세서는 상술한 강화된 시공간 데이터 셋(6001)을 제2 학습 데이터(7120)로 이용할 수 있다. 구체적으로, 상기 데이터 처리부 또는 외부 프로세서는 머신 러닝을 통해 시공간 데이터 셋을 분류(classification) 하거나, 디노이징(denoising)하거나, 스크리닝(screening) 할 수 있다.

이 경우, 상기 머신 러닝 모델(7000)에 데이터 처리부로부터 생성된 시공간 데이터 셋(5014)이 입력되는 경우, 상기 머신 러닝 모델(7000)은 상기 시공간 데이터 셋을 가공하여 강화된 시공간 데이터 셋(6002)을 출력할 수 있다.

또한, 예를 들어, 상기 데이터 처리부 또는 외부 프로세서는 레이저 출력 파워가 낮은 라이다 장치로부터 생성된 시공간 데이터 셋을 제1 학습 데이터(7110)로 이용할 수 있다. 또한, 상기 데이터 처리부 또는 외부 프로세서는 레이저 출력 파워가 높은 라이다 장치로부터 생성된 시공간 데이터 셋을 제2 학습 데이터(7120)로 이용할 수 있다. 구체적으로, 상기 데이터 처리부 또는 외부 프로세서는 머신 러닝을 통해 거리 해상도가 향상되거나, 밝기가 향상된 시공간 데이터 셋을 획득할 수 있다.

이 경우, 상기 머신 러닝 모델(7000)에 출력 파워가 낮은 라이다 장치로부터 생성된 시공간 데이터 셋이 입력되는 경우, 상기 머신 러닝 모델(7000)은 레이저 출력 파워가 높은 라이다 장치로부터 생성된 시공간 데이터 셋과 유사한 고해상도 시공간 데이터 셋을 출력할 수 있다.

8.3. 목적에 따른 시공간 데이터 셋 가공의 실시예

또한, 상기 데이터 처리부는 다양한 목적을 기초로 상기 시공간 데이터 셋을 가공할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋에서 타겟 데이터 셋을 추출하기 위해, 상기 시공간 데이터 셋을 가공할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋을 스무딩(smoothing)하기 위해, 상기 시공간 데이터 셋을 가공할 수 있으나, 이에 한정되지 않는다.

아래에서는, 상술한 데이터 가공의 목적에 따른 시공간 데이터 셋 가공 방법에 대해 상세히 설명한다.

8.3.1. 타겟 데이터 셋 추출을 위한 시공간 데이터 셋 가공

실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋을 가공하여, 소정의 패턴을 가지는 타겟 데이터 셋을 추출할 수 있다. 여기서, 상기 타겟 데이터 셋은 시공간 데이터 셋에 포함되는 카운팅 값들 중 소정의 분포 패턴을 가지는 카운팅 값 세트를 의미할 수 있다. 예를 들어, 상기 타겟 데이터 셋은 시공간 데이터 셋 내에서 제1 객체의 반사 패턴을 나타내는 카운팅 값 세트를 의미할 수 있으나, 이에 한정되지 않는다.

이때, 상기 데이터 처리부는 상술한 분류 알고리즘을 기초로 타겟 데이터 셋을 추출할 수 있지만, 이에 한정되지 않고, 상술한 디노이징 알고리즘, 스크리닝 알고리즘 또는 머신 러닝을 기초로 타겟 데이터 셋을 추출할 수 있다.

아래에서는, 대표적인 실시예로서, 커널형 필터를 이용하여 스크리닝 알고리즘을 수행함으로써 타겟 데이터 셋을 추출하는 방법을 설명한다.

도 40은 일 실시예에 따른 데이터 처리부가 시공간 데이터 셋 내에서 타겟 데이터 셋을 추출하기 위한 방법을 도시한 흐름도이다.

도 40을 참조하면, 데이터 처리부는 시공간 데이터 셋(5014)에 포함되는 카운팅 값들 중 제1 카운팅 값 세트(5070)에 공간 필터를 적용할 수 있다(S1042).

또한, 상기 데이터 처리부는 상기 제1 카운팅 값 세트(5070)와 레퍼런스 데이터 셋(5091)의 카운팅 값 분포 패턴을 비교할 수 있다(S1043). 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋 내에서 제1 객체에 대응되는 카운팅 값들을 포함하는 카운팅 값 세트를 추출하기 위해, 상기 제1 객체의 반사 패턴에 대한 레퍼런스(reference) 데이터 셋을 미리 저장할 수 있다.

또한, 상기 커널형 필터는 상기 레퍼런스 데이터 셋(5091)을 포함할 수 있다. 구체적으로, 상기 커널형 필터는 소정의 분포 패턴을 가지는 카운팅 값으 구성된 레퍼런스 데이터 셋(5091)을 포함할 수 있고, 상기 데이터 처리부는 상기 커널형 필터가 위치하는 상기 제1 카운팅 값 세트(5070)의 카운팅 값 분포 패턴을 상기 커널형 필터의 카운팅 값 분포 패턴을 비교할 수 있다.

또한, 상기 데이터 처리부는 미리 정해진 순서에 따라 시공간 데이터 셋에 커널형 필터를 적용할 수 있다(S1044). 예를 들어, 상기 데이터 처리부는 스크리닝 동작을 수행함으로써 상기 시공간 데이터 셋 전체에 상기 커널형 필터를 이용하여 상술한 단계(S1042, S1043)를 수행할 수 있다.

또한, 상기 데이터 처리부는 상기 시공간 데이터 셋(5014)에서 타겟 데이터 셋(6002)을 추출할 수 있다(S1045). 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋 내에서 상기 레퍼런스 데이터 셋과 카운팅 값의 분포 패턴이 유사한 카운팅 값 세트를 추출할 수 있고, 추출된 카운팅 값 세트를 타겟 데이터 셋으로 결정할 수 있다. 예를 들어, 상기 타겟 데이터 셋(6002)은 상기 시공간 데이터 셋(5014)에 포함된 카운팅 값들 중 카운팅 값 분포 패턴이 상기 레퍼런스 데이터 셋(5091)과 유사한 카운팅 값 세트일 수 있으나, 이에 한정되지 않는다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 planar 필터를 상기 시공간 데이터 셋의 각각의 플레인 데이터 셋에 적용할 수 있고, 상기 플레인 데이터 셋에서 레퍼런스 데이터 셋과 유사한 분포 패턴을 가지는 카운팅 값 세트를 타겟 데이터 셋으로서 추출할 수 있다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 matched 필터를 상기 시공간 데이터 셋의 각각의 누적 데이터 셋에 적용할 수 있고, 상기 누적 데이터 셋에서 레퍼런스 데이터 셋과 유사한 분포 패턴을 가지는 카운팅 값 세트를 타겟 데이터 셋으로서 추출할 수 있다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 시공간 데이터 셋을 상기 머신 러닝 모델에 입력하는 경우 타겟 데이터 셋이 출력되도록 상기 시공간 데이터 셋 및 상기 레퍼런스 데이터 셋을 머신 러닝 모델에 학습시킬 수 있다.

8.3.2. 데이터 스무딩(Smoothing)을 위한 시공간 데이터 셋 가공

일 실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋을 가공하여, 데이터가 스무딩(smoothing)된 강화된 시공간 데이터 셋을 생성할 수 있다. 이때, 데이터 스무딩(smoothing)은 시공간 데이터 셋에 포함되는 카운팅 값들을 데이터 처리부가 처리하기 알맞은 형태로 평탄화 하는 데이터 전처리(pre-processing) 방법 중 하나일 수 있다. 예를 들어, 데이터 처리부가 시공간 데이터 셋을 생성하는 과정에서 발생하는 지터(jitter)에 의해 시공간 데이터 셋의 카운팅 값이 왜곡되거나 변형될 수 있고, 상기 왜곡되거나 변형된 카운팅 값을 데이터 스무딩을 통해 평탄화 시킬 수 있다.

예를 들어, 데이터 처리부는 디노이징 알고리즘을 기초로 카운팅 값을 조정함으로써 시공간 데이터 셋을 스무딩할 수 있지만, 이에 한정되지 않고, 상술한 머신 러닝을 이용하여 카운팅 값을 조정함으로써 시공간 데이터 셋을 스무딩할 수도 있다.

9. 시공간 데이터 셋의 활용

9.1. 시공간 데이터 셋을 이용한 depth 정보 및 인텐시티 정보의 생성

일 실시예에 따른 데이터 처리부는 시공간 데이터 셋을 기초로 감지 지점의 depth 정보를 획득할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋에 포함되는 복수의 카운팅 값들을 기초로 레이저의 감지 시점을 추출할 수 있고, 상기 레이저의 감지 시점 및 레이저 조사 시점을 기초로 depth 정보를 획득할 수 있다.

또한, 일 실시예에 따른 데이터 처리부는 시공간 데이터 셋을 기초로 감지 지점의 인텐시티 정보를 획득할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋에 포함되는 복수의 카운팅 값들을 기초로 감지 지점에서 반사된 레이저의 세기를 판단함으로써 감지 지점의 인텐시티 정보를 획득할 수 있다.

또한, 상기 데이터 처리부는 특정 디텍터에서 감지한 객체에 대한 depth 정보를 획득하기 위해, 상기 특정 디텍터 주변의 적어도 하나의 디텍터들로부터 수신한 감지 신호들을 이용할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋 상에서 특정 디텍터에 대응되는 특정 카운팅 값 및 상기 특정 디텍터 주변의 디텍터들에 대응되는 적어도 하나의 카운팅 값들을 기초로 상기 특정 디텍터에 대응되는 depth 정보를 획득할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 특정 디텍터에서 감지한 객체에 대한 인텐시티 정보를 획득하기 위해, 상기 특정 디텍터 주변의 적어도 하나의 디텍터들로부터 수신한 감지 신호들의 세기를 이용할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋 상에서 특정 디텍터에 대응되는 특정 카운팅 값 및 상기 특정 디텍터 주변의 디텍터들에 대응되는 적어도 하나의 카운팅 값들의 크기를 기초로 상기 특정 디텍터에 대응되는 인텐시티 값을 획득할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 시공간 데이터 셋을 가공한 강화된 시공간 데이터 셋을 기초로 감지 지점의 depth 정보를 획득할 수 있다.

예를 들어, 상기 데이터 처리부는 생성된 시공간 데이터 셋을 디노이징함으로써 노이즈에 대응되는 데이터가 제거된 강화된 시공간 데이터 셋 생성하고, 상기 강화된 시공간 데이터 셋을 기초로 depth 정보를 획득할 수 있으나, 이에 한정되지 않는다.

9.1.1. 주변 카운팅 값을 이용한 depth 정보 획득 방법

일 실시예에 따른 데이터 처리부는 복수의 카운팅 값들을 포함하는 시공간 데이터 셋을 생성할 수 있다. 이때, 상기 데이터 처리부는 상기 복수의 카운팅 값들 중 적어도 일부를 기초로 감지 지점의 depth 정보를 결정할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 복수의 카운팅 값들 중 시공간적으로 인접한 복수의 카운팅 값들을 기초로 감지 지점의 depth 정보를 결정할 수 있다. 이때, 상기 데이터 처리부는 상기 인접한 복수의 카운팅 값들이 할당되는 적어도 하나의 타임빈들을 기초로 레이저 감지 시점을 추출할 수 있고, 상기 레이저 감지 시점을 기초로 감지 지점의 depth 정보를 결정할 수 있다.

예를 들어, 제1 디텍터에 대응되고, 제1 타임빈에 할당된 제1 카운팅 값 및 상기 제1 카운팅 값 주변의 카운팅 값들을 기초로 상기 제1 디텍터에 대응되는 depth 정보를 획득할 수 있으나, 이에 한정되지 않는다. 이때, 상기 주변의 카운팅 값들은 상기 제1 카운팅 값과 시공간적으로 인접한 적어도 하나의 카운팅 값을 포함할 수 있다. 예를 들어, 상기 주변의 카운팅 값들은 상기 제1 디텍터에 대응되되 상기 제1 타임빈 이전 또는 다음의 타임빈에 할당된 카운팅 값, 상기 제1 디텍터에 이웃한 제2 디텍터에 대응되되 상기 제1 타임빈에 할당된 카운팅 값 및 상기 제1 디텍터에 이웃한 제2 디텍터에 대응되되 상기 제1 타임빈 이전 또는 다음의 타임빈에 할당된 카운팅 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 인접한 복수의 카운팅 값들의 크기를 기초로 감지 지점의 인텐시티 값을 계산할 수 있다.

또한, 일 실시예에 따른 데이터 처리부는 복수의 누적 데이터 셋들을 포함하는 시공간 데이터 셋을 생성할 수 있다. 이때, 상기 데이터 처리부는 상기 복수의 누적 데이터 셋들 중 적어도 일부를 기초로 감지 지점의 depth 정보를 결정할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 복수의 누적 데이터 셋들 중 공간적으로 인접한 복수의 누적 데이터 셋들에 포함되는 카운팅 값들을 기초로 감지 지점의 depth 정보를 결정할 수 있다.

예를 들어, 데이터 처리부는 제1 디텍터에 대응되는 제1 누적 데이터 셋 및 상기 제1 누적 데이터 셋 주변의 누적 데이터 셋들을 기초로 제1 디텍터에 대응되는 depth 정보를 획득할 수 있으나, 이에 한정되지 않는다. 이때, 상기 주변의 누적 데이터 셋들은 상기 제1 누적 데이터 셋과 공간적으로 인접한 적어도 하나의 누적 데이터 셋들을 포함할 수 있다. 구체적으로, 상기 주변의 누적 데이터 셋들은 상기 제1 디텍터와 이웃한 적어도 하나의 디텍터에 대응되는 적어도 하나의 누적 데이터 셋들을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 인접한 복수의 누적 데이터 셋들에 포함된 카운팅 값들의 크기를 기초로 감지 지점의 인텐시티 값을 계산할 수 있다.

또한, 일 실시예에 따른 데이터 처리부는 복수의 플레인 데이터 셋들을 포함하는 시공간 데이터 셋을 생성할 수 있다. 이때, 상기 데이터 처리부는 상기 복수의 플레인 데이터 셋들 중 적어도 일부를 기초로 감지 지점의 depth 정보를 결정할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 복수의 플레인 데이터 셋들 중 시간적으로 인접한 복수의 플레인 데이터 셋들에 포함되는 카운팅 값들을 기초로 감지 지점의 depth 정보를 결정할 수 있다.

예를 들어, 데이터 처리부는 제1 타임빈에 대응되는 제1 플레인 데이터 셋 및 상기 제1 플레인 데이터 셋 주변의 플레인 데이터 셋들을 기초로 제1 디텍터에 대응되는 depth 정보를 획득할 수 있으나, 이에 한정되지 않는다. 이때, 상기 주변의 플레인 데이터 셋들은 상기 제1 플레인 데이터 셋과 시간적으로 인접한 적어도 하나의 플레인 데이터 셋들을 포함할 수 있다. 구체적으로, 상기 주변의 플레인 데이터 셋들은 상기 제1 타임빈 이전 또는 다음의 타임빈에 대응되는 적어도 하나의 플레인 데이터 셋들을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 인접한 복수의 플레인 데이터 셋들에 포함된 카운팅 값들의 크기를 기초로 감지 지점의 인텐시티 값을 계산할 수 있다.

또한, 일 실시예에 따른 데이터 처리부는 복수의 단위 공간들을 포함하는 시공간 데이터 셋을 생성할 수 있다. 이때, 상기 데이터 처리부는 상기 복수의 단위 공간들에 중 적어도 일부를 기초로 감지 지점의 depth 정보를 결정할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 복수의 단위 공간들 중 시공간적으로 인접한 복수의 단위 공간들에 할당된 카운팅 값들을 기초로 감지 지점의 depth 정보를 결정할 수 있다.

예를 들어, 데이터 처리부는 제1 디텍터에 대응되는 제1 단위 영역 및 제1 타임빈에 대응되는 제1 단위 시간으로 정의되는 제1 단위 공간 및 상기 제1 단위 공간 주변의 단위 공간들을 기초로 제1 디텍터에 대응되는 depth 정보를 획득할 수 있으나, 이에 한정되지 않는다. 이때, 상기 주변의 단위 공간들은 상기 제1 단위 공간과 시공간적으로 인접한 적어도 하나의 단위 공간들을 포함할 수 있다. 구체적으로, 상기 주변의 단위 공간들은 상기 제1 디텍터와 이웃한 적어도 하나의 디텍터에 대응되는 단위 영역 및 제1 타임빈 이전 또는 다음의 타임빈에 대응되는 단위 시간으로 정의되는 적어도 하나의 단위 공간들을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 인접한 복수의 단위 공간들에 할당된 카운팅 값들의 크기를 기초로 감지 지점의 인텐시티 값을 계산할 수 있다.

또한, 일 실시예에 따른 데이터 처리부는 복수의 이미지 플레인들을 포함하는 시공간 데이터 셋을 생성할 수 있다. 이때, 상기 데이터 처리부는 상기 복수의 이미지 플레인들 중 적어도 일부를 기초로 감지 지점의 depth 정보를 결정할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 복수의 이미지 플레인들 중 시간적으로 인접한 복수의 이미지 플레인들에 포함되는 픽셀 데이터들을 기초로 감지 지점의 depth 정보를 결정할 수 있다.

예를 들어, 데이터 처리부는 제1 타임빈에 대응되는 제1 이미지 플레인 및 상기 제1 이미지 플레인 주변의 이미지 플레인들을 기초로 제1 디텍터에 대응되는 depth 정보를 획득할 수 있으나, 이에 한정되지 않는다. 이때, 상기 주변의 이미지 플레인들은 상기 제1 이미지 플레인과 시간적으로 인접한 적어도 하나의 이미지 플레인들을 포함할 수 있다. 구체적으로, 상기 주변의 이미지 플레인들은 상기 제1 타임빈 이전 또는 다음의 타임빈에 대응되는 적어도 하나의 이미지 플레인들을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 인접한 복수의 이미지 플레인들에 포함된 픽셀 데이터들의 픽셀 값들의 크기를 기초로 감지 지점의 인텐시티 값을 계산할 수 있다.

일 예로, 도 41를 통해 복수의 플레인 데이터 셋들을 포함하는 시공간 데이터 셋을 기초로 depth 정보를 획득하는 방법을 설명한다.

도 41은 일 실시예에 따른 시공간 데이터 셋을 기초로 depth 정보를 획득하는 방법을 도시한 도면이다.

일 실시예에 따른 데이터 처리부는 특정 디텍터에 대응되는 depth 정보를 획득하기 위해, 상기 특정 디텍터에 대응되는 데이터 셋뿐만아니라 상기 특정 디텍터와 공간적으로 인접한 디텍터들에 대응되는 데이터 셋들을 더 이용할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 특정 디텍터에 대응되되 특정 타임빈에 할당된 특정 카운팅 값 및 상기 특정 디텍터 주변에 위치한 적어도 하나의 디텍터들에 대응되되 상기 특정 타임빈 및 상기 특정 타임빈 주변의 타임빈에 할당된 적어도 하나의 카운팅 값들을 기초로 상기 특정 디텍터에 대응되는 depth 정보를 획득할 수 있다.

도 41을 참조하면, 데이터 처리부는 복수의 플레인 데이터 셋을 포함하는 시공간 데이터 셋(5015)을 생성할 수 있다. 이때, 상기 복수의 플레인 데이터 셋 각각은 디텍팅 윈도우를 구성하는 복수의 타임빈들 각각에 대응될 수 있다. 예를 들어, 상기 시공간 데이터 셋(5015)은 제1 타임빈(t1)에 대응되는 제1 플레인 데이터 셋(5780), 제2 타임빈(t2)에 대응되는 제2 플레인 데이터 셋(5785), 및 제3 타임빈(t3)에 대응되는 제3 플레인 데이터 셋(5790)을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 플레인 데이터 셋은 복수의 카운팅 값들을 포함할 수 있다. 이때, 상기 플레인 데이터 셋에 포함되는 복수의 카운팅 값 각각은 디텍터 어레이에 포함된 디텍터들 각각에 대응될 수 있다. 예를 들어, 상기 제1 플레인 데이터 셋(5780)은 제1 디텍터에 대응되는 제1 카운팅 값(5781)을 포함할 수 있고, 상기 제2 플레인 데이터 셋(5785)은 상기 제1 디텍터에 포함되는 제2 카운팅 값(5786) 및 상기 제1 디텍터에 인접한 제2 디텍터에 대응되는 제3 카운팅 값(5787)을 포함할 수 있고, 상기 제3 플레인 데이터 셋(5790)은 상기 제1 디텍터에 대응되는 제4 카운팅 값(5791)을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 복수의 플레인 데이터 셋들에 포함되는 카운팅 값들을 기초로 상기 제1 디텍터에 대응되는 depth 정보를 획득할 수 있다. 이때, 상기 데이터 처리부는 상기 제1 디텍터에 대응되는 특정 카운팅 값 및 상기 특정 카운팅 값 주변의 카운팅 값들을 기초로 상기 제1 디텍터에 대응되는 depth 정보를 획득할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 제1 디텍터에 대응되되 상기 제2 플레인 데이터 셋(5785)에 포함된 상기 제2 카운팅 값(5786) 및 상기 제2 카운팅 값 주변의 카운팅 값들을 기초로 상기 제1 디텍터에 대응되는 depth 정보를 획득할 수 있다.

이때, 상기 주변의 카운팅 값들은 상기 제2 카운팅 값(5786)과 공간적으로 인접한 적어도 하나의 카운팅 값들을 포함할 수 있다. 구체적인 예로, 상기 주변의 카운팅 값들은 상기 제1 디텍터와 인접한 제2 디텍터에 대응되되 상기 제2 플레인 데이터 셋(5785)에 포함되는 제3 카운팅 값(5787), 을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 주변의 카운팅 값들은 상기 제2 카운팅 값(5786)과 시간적으로 인접한 적어도 하나의 카운팅 값들을 포함할 수 있다. 구체적인 예로, 상기 데이터 처리부는 상기 제2 카운팅 값(5786)이 할당되는 상기 제2 타임빈(t2) 이전의 제1 타임빈(t1)에 할당되고, 상기 제1 디텍터에 대응되는 상기 제1 카운팅 값(5781) 및 제2 카운팅 값(5786)이 할당되는 상기 제2 타임빈(t2) 다음의 상기 제3 타임빈(t3)에 할당되고, 상기 제1 디텍터에 대응되는 상기 제4 카운팅 값(5791)을 포함할 수 있으나, 이에 한정되지 않는다.

9.1.2. 강화된 시공간 데이터 셋을 이용한 depth 정보 및 인텐시티 정보 획득 방법

일 실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋을 가공하여 강화된 시공간 데이터 셋 생성할 수 있고, 상기 강화된 시공간 데이터 셋을 기초로 감지 지점의 depth 정보 및 인텐시티 정보를 획득할 수 있다. 구체적으로, 데이터 처리부는 디텍터 어레이를 포함하는 라이다 장치에서, 생성한 시공간 데이터 셋을 depth 정보 또는 인텐시티 정보를 획득하기에 적절한 형태로 가공할 수 있다. 이때, 상기 시공간 데이터 셋을 가공하는 방법은 상술한 대목차 8에서 서술한 기술적 특징들이 그대로 적용될 수 있다.

구체적으로, 데이터 처리부는 복수의 카운팅 값들을 포함하는 시공간 데이터 셋을 상기 복수의 카운팅 값들 중 서로 인접한 카운팅 값들을 기초로 가공하여 강화된 시공간 데이터 셋을 생성할 수 있다. 또한, 상기 데이터 처리부는 생성된 상기 강화된 시공간 데이터 셋에 포함되는 복수의 보정된 카운팅 값들을 기초로 depth 정보를 획득할 수 있다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에 포함된 복수의 보정된 카운팅 값들의 크기를 기초로 인텐시티 값을 계산할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋을 디노이징하여 노이즈와 관련된 데이터를 제거하고 객체와 관련된 데이터를 강화함으로써 강화된 시공간 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다.

이 경우, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에서 객체와 관련된 데이터를 기초로 객체의 depth 정보 또는 인텐시티 정보를 획득할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에서 객체가 존재할 확률이 높은 복수의 카운팅 값들을 기초로 depth 정보 또는 인텐시티 정보를 획득할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에서 임계치 이상의 값을 가지는 특정 카운팅 및 상기 특정 카운팅 값 주변의 카운팅 값들을 기초로 depth 정보 또는 인텐시티 정보를 획득할 수 있다.

일 예로, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에서 임계치 이상의 값을 가지는 특정 카운팅 및 상기 특정 카운팅 값 주변의 카운팅 값들이 할당된 적어도 하나의 타임빈들을 기초로 depth 정보를 획득할 수 있다.

다른 예로, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에서 임계치 이상의 값을 가지는 특정 카운팅 및 상기 특정 카운팅 값 주변의 카운팅 값들의 크기를 기초로 인텐시티 정보를 획득할 수 있다.

또한, 예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋에서 객체와 관련되는 데이터를 분류함으로써 강화된 시공간 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다.

이 경우, 상기 데이터 처리부는 상기 강화된 시공가 데이터 셋에서 객체와 관련된 데이터로 분류된 데이터를 기초로 객체의 depth 정보 또는 인텐시티 정보를 획득할 수 있다. 예를 들어, 상기 데이터 처리부는 복수의 플레인 데이터 셋을 포함하는 시공간 데이터 셋에서 object 플레인으로 분류된 적어도 하나의 플레인 데이터 셋에 포함되는 카운팅 값들을 기초로 depth 정보 또는 인텐시티 정보를 획득할 수 있으나, 이에 한정되지 않는다.

일 예로, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에서 셋에서 object 플레인으로 분류된 적어도 하나의 플레인 데이터 셋에 포함되는 카운팅 값들이 할당된 적어도 하나의 타임빈들을 기초로 depth 정보를 획득할 수 있다.

다른 예로, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋에서 셋에서 object 플레인으로 분류된 적어도 하나의 플레인 데이터 셋에 포함되는 카운팅 값들의 크기를 기초로 인텐시티 정보를 획득할 수 있다.

9.1.3. 시공간 데이터 셋 상에서 피크값 추출을 통한 depth 정보 및 인텐시티 정보 획득 방법

일 실시예에 따른 데이터 처리부는 시공간 데이터 셋에 포함된 복수의 카운팅 값들 중 피크 값(peak value)을 추출할 수 있다. 본 명세서에서 상기 피크 값은 감지 지점에 대응되는 적어도 하나의 카운팅 값 또는 상기 적어도 하나의 카운팅 값에 대응되는 적어도 하나의 타임빈을 의미할 수 있다. 예를 들어, 상기 피크 값은 감지 지점에 대응되는 적어도 하나의 카운팅 값(C) 또는 상기 적어도 하나의 카운팅 값에 대응되는 적어도 하나의 타임빈(t) 또는 상기 적어도 하나의 카운팅 값 및 상기 적어도 하나의 타임빈의 세트(C,t)로 나타날 수 있으나, 이에 한정되지 않는다.

이때, 상기 데이터 처리부는 디텍터 어레이를 포함하는 라이다 장치에서, 상기 디텍터 어레이를 구성하는 각각의 디텍터 별로 피크 값을 추출할 수 있다. 구체적으로, 상기 데이터 처리부는 디텍터 어레이에 포함되는 각각의 디텍터에 대하여, 각각의 디텍터에 대응되는 카운팅 값들을 기초로 각각의 디텍터에 대응되는 피크 값들을 추출할 수 있다.

또한, 이 경우, 상기 디텍터 어레이에 포함되는 디텍터들 중 상기 피크 값이 존재하지 않는 디텍터가 존재할 수 있다. 예를 들어, 제1 디텍터에 대응되는 누적 데이터 셋에 포함되는 카운팅 값들이 객체에 대응되는 카운팅 값은 포함하지 않고 노이즈에 대응되는 카운팅 값들만 포함하는 경우, 상기 제1 디텍터에 대응되는 카운팅 값들에는 피크 값이 없을 수 있다.

이때, 상기 데이터 처리부는 상기 피크 값을 다양한 방법으로 추출할 수 있다.

일 예로, 상기 데이터 처리부는 상기 시공간 데이터 셋의 제1 디텍터에 대응되는 복수의 카운팅 값들 중 가장 높은 값을 가지는 카운팅 값을 피크 값으로 결정할 수 있으나, 이에 한정되지 않는다.

다른 예로, 상기 데이터 처리부는 임계값을 이용하여 상기 시공간 데이터 셋의 피크 값을 추출할 수 있으나, 이에 한정되지 않는다. 이때, 상기 시공간 데이터 셋은 복수의 피크 값들을 포함할 수 있으나, 이에 한정되지 않고, 하나의 피크 값만 포함할 수도 있고, 피크 값을 포함하지 않을 수도 있다. 다만, 아래에서는 상기 시공간 데이터 셋이 최소한 하나 이상의 피크 값을 포함하는 경우를 가정하여 설명한다.

보다 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋에 포함되는 복수의 카운팅 값들 중 상기 임계값 이상의 값을 가지는 적어도 하나의 카운팅 값을 추출할 수 있다. 이 경우, 상기 데이터 처리부는 상기 적어도 하나의 카운팅 값 각각을 피크 값으로 결정할 수 있다.

또한, 상기 피크 값으로 결정된 카운팅 값이 실제로 객체에 대응되는 카운팅 값이 아닐 수 있다. 이에 대한 자세한 내용은 하기(목차 )에서 설명한다.

또한, 일 실시예에 따른 데이터 처리부는 시공간 데이터 셋을 기초로 감지 지점의 depth 정보 또는 인텐시티 정보를 획득할 수 있다. 보다 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋에 포함되는 복수의 카운팅 값들 중 적어도 하나의 피크 값을 결정할 수 있고, 상기 적어도 하나의 피크 값들을 기초로 적어도 하나의 감지 지점에 대한 depth 값 또는 인텐시티 값들을 계산할 수 있다.

도 42는 일 실시예에 따른 인접 카운팅 값들을 기초로 depth 정보를 획득하는 방법을 도시한 도면이다.

도 42를 참조하면, 상기 데이터 처리부는 디텍터 어레이에 포함되는 특정 디텍터에 대응되는 피크 값을 결정할 수 있다(S1052). 구체적으로, 상기 데이터 처리부는 상기 특정 디텍터에 대응되고, 특정 타임빈에 할당된 특정 카운팅 값을 피크 값으로 결정할 수 있다. 이때, 상기 피크 값을 결정하는 방법은 상술한 기술적 수단이 그대로 적용될 수 있다.

또한, 상기 데이터 처리부는 상기 피크 값으로 결정된 카운팅 값과 인접한 적어도 하나의 카운팅 값들을 선택할 수 있다(S1053).

구체적으로, 상기 데이터 처리부는 상기 피크 값과 공간적으로 인접한 적어도 하나의 카운팅 값을 선택할 수 있다. 보다 구체적으로, 상기 데이터 처리부는 상기 피크 값에 대응되는 디텍터와 인접한 디텍터에 대응되고, 상기 피크 값과 동일한 타임빈에 할당되는 적어도 하나의 카운팅 값을 선택할 수 있다.

또한, 상기 데이터 처리부는 상기 피크 값과 시간적으로 인접한 적어도 하나의 카운팅 값을 선택할 수 있다. 보다 구체적으로, 상기 데이터 처리부는 상기 피크 값이 할당되는 타임빈에 인접한 적어도 하나의 타임빈에 할당되고, 상기 피크 값이 대응되는 디텍터에 대응되는 적어도 하나의 카운팅 값을 선택할 수 있다.

또한, 상기 데이터 처리부는 상기 피크 값 및 상기 선택된 적어도 하나의 카운팅 값들을 기초로 피크 시점을 결정할 수 있다(S1054). 이때, 상기 피크 시점은 라이다 장치에 레이저가 감지되는 감지 시점에 대응될 수 있다. 또한, 상기 피크 시점은 상기 피크 값에 대응되는 시간 값(예를 들어, 타임빈의 중간 값)일 수 있으나, 상술한 바와 같이 상기 피크 값 및 상기 피크 값에 인접한 카운팅 값들을 기초로 결정된 시점일 수 있다.

또한, 상기 데이터 처리부는 라이다 장치의 레이저 출력 시점 및 상기 피크 시점을 기초로 특정 디텍터에 대응되는 depth 값을 계산할 수 있다(S1055). 이때, 상기 데이터 처리부는 레이저의 비행 시간(TOF)을 기초로 빛의 속력을 이용하여 상기 depth 값을 계산할 수 있다.

도 43은 일 실시예에 따른 시공간 데이터 셋을 이용하여 감지 지점의 인텐시티 정보를 획득하기 위한 방법을 도시한 도면이다.

도 43을 참조하면, 데이터 처리부는 디텍터 어레이에 포함되는 특정 디텍터에 대응되는 피크 값을 결정할 수 있다(S1056). 상기 결정 단계는 상술한 단계 S1052의 기술적 내용이 그대로 적용될 수 있다.

또한, 상기 데이터 처리부는 상기 피크 값으로 결정된 카운팅 값과 인접한 적어도 하나의 카운팅 값들을 선택할 수 있다(S1057). 상기 선택 단계는 상술한 단계 S1053의 기술적 내용이 그대로 적용될 수 있다.

또한, 상기 데이터 처리부는 상기 피크 값 및 상기 선택된 적어도 하나의 카운팅 값들을 기초로 피크 카운팅 값을 결정할 수 있다(S1058). 이때, 상기 피크 카운팅 값은 감지 지점의 반사 강도에 대응될 수 있다. 또한, 상기 피크 카운팅 값은 상기 피크 값에 대응되는 카운팅 값일 수 있으나, 상술한 바와 같이 상기 피크 값 및 상기 피크 값에 인접한 카운팅 값들을 기초로 결정된 값일 수 있다. 복수의 카운팅 값들을 기초로 카운팅 값을 보정하는 방법은 대목차 8에서 상술한 기술적 특징들이 적용될 수 있다.

또한, 상기 데이터 처리부는 상기 피크 카운팅 값을 기초로 특정 디텍터에 대응되는 감지 지점의 인텐시티 값을 계산할 수 있다(S1059). 카운팅 값을 기초로 인텐시티 값을 계산하는 구체적인 방법은 상술하였으므로 생략하기로 한다.

9.2. 시공간 데이터 셋을 이용한 주변광에 의한 노이즈 제거 방법

디텍터 어레이를 포함하는 라이다 장치에서, 상기 디텍터 어레이가 감지하는 광에는 라이다 장치로부터 조사되어 객체에서 반사된 레이저 뿐만 아니라, 객체에서 반사된 햇빛 광, 직접 디텍터 어레이로 수광되는 햇빛 광, 또는 다른 라이다 장치로부터 조사된 간섭 광 등이 포함될 수 있다.

본 명세서에서는 상기 라이다 장치가 수광하는 광들 중 라이다 장치로부터 조사되어 객체에서 반사된 레이저를 제외한 다른 광들을 주변광(ambient light)으로 통칭한다.

라이다 장치가 생성하는 라이다 데이터는 디텍터가 주변광을 수광함에 따라 생성하는 노이즈 데이터를 포함할 수 있다. 상기 노이즈 데이터에 의해, 상기 라이다 장치는 실제 객체에 대응되는 데이터를 추출하기 어렵다. 특히, 햇빛이 강한 낮에는, 라이다 장치의 디텍터가 햇빛에 의한 주변광을 많이 수광할 수 있어서, 상기 주변광에 의한 노이즈 데이터와 실제 객체에 대응되는 데이터의 구분이 힘들 수 있다.

예를 들어, 라이다 장치 또는 라이다 장치의 데이터 처리부가 생성하는 시공간 데이터 셋은 실제 객체에 대응되는 카운팅 값들과 주변광에 대응되는 카운팅 값들이 포함할 수 있다.

도 44는 주변광이 많은 낮 환경에 생성된 시공간 데이터 셋과 주변광이 적은 밤 환경에 생성된 시공간 데이터 셋을 도시한 도면이다.

도 44의 (a)는 주변광이 적은 밤 환경에 생성된 시공간 데이터 셋의 일부르 나타낸 도면이다.

도 44의 (a)를 참조하면, 밤 환경에는 주변광이 적어 객체(10)에 대응되는 데이터가 뚜렷하게 구분되는 것을 확인할 수 있다.

도 44의 (b)는 주변광이 많은 낮 환경에 생성된 시공간 데이터 셋의 일부를 나타낸 도면이다.

도 44의 (b)를 참조하면, 데이터 처리부는 주변광에 노이즈에 의해 객체에 대응되는 데이터가 구분되지 않는 것을 확인할 수 있다.

상술한 문제를 해결하기 위해, 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋 이용할 수 있다.

도 45는 일 실시예에 따른 데이터 처리부가 시공간 데이터 셋을 이용하여 주변광에 의한 노이즈를 디노이징하는 방법을 도시한 도면이다.

도 45를 참조하면, 데이터 처리부는 복수의 이미지 플레인을 포함하는 시공간 데이터 셋(5016)에 대하여, 상기 시공간 데이터 셋(5016)에 포함되는 복수의 이미지 플레인 각각을 분류(classification)할 수 있다(S1060). 이때, 상기 분류 단계는 상기 데이터 처리부가 상술한 분류 알고리즘을 수행함으로써 수행될 수 있다. 또한, 이 경우, 상기 데이터 처리부는 상술한 스크리닝 알고리즘을 기초로 스크리닝 동작을 수행함으로써 상기 시공간 데이터 셋(5016)에 포함되는 모든 이미지 플레인들을 분류할 수 있다.

또한, 상기 데이터 처리부는 분류 결과 Noise 플레인으로 판단된 제1 이미지 플레인 세트(5851)에 대하여, 상기 제1 이미지 플레인 세트(5851)에 포함되는 모든 카운팅 값들을 0으로 조정할 수 있다(S1061). 다시 말해, 상기 데이터 처리부는 상기 noise 플레인을 실질적으로 삭제할 수 있다.

또한, 상기 데이터 처리부는 분류 결과 object 플레인으로 판단된 제2 이미지 플레인 세트(5853)에 대하여, 상기 제2 이미지 플레인 데이터 셋(5853)에 포함되는 복수의 카운팅 값들을 디노이징(denoising)할 수 있다(S1062). 이때, 상기 디노이징 단계는 상기 데이터 처리부가 상술한 디노이징 알고리즘을 수행함으로써 수행될 수 있다. 또한, 이 경우, 상기 데이터 처리부는 상술한 스크리닝 알고리즘을 기초로 스크리닝 동작을 수행함으로써 상기 제2 이미지 플레인 세트(5853)에 포함되는 모든 이미지 플레인들을 디노이징할 수 있다.

또한, 상기 조정 단계(S1061) 및 상기 디노이징 단계(S1062)는 도 46에 도시된 바와 같이 병렬적으로 수행될 수도 있지만, 이에 한정되지 않고, 상기 조정 단계(S1061)가 수행된 후에 상기 디노이징 단계(S1062)가 수행될 수도 있다.

또한, 상기 데이터 처리부는 상기 분류 및 후처리의 결과를 기초로, 강화된 시공간 데이터 셋(6003)을 생성할 수 있다(S1063). 이때, 상기 강화된 시공간 데이터 셋(6003)은 주변광에 대응되는 노이즈 카운팅 값들이 디노이징되고, 객체에 대응되는 카운팅 값들이 스무딩된 데이터 셋일 수 있다.

또한, 이에 한정되지 않고, 상기 데이터 처리부는 상기 강화된 시공간 데이터 셋(6003)을 기초로 depth 정보를 획득할 수 있다. 구체적으로, 상기 데이터 처리부는 디노이징된 object 플레인에 포함되는 카운팅 값들을 기초로 상술한 depth 정보 획득 방법을 이용하여 감지 지점의 depth 정보를 획득할 수 있다.

9.3. 시공간 데이터 셋을 이용한 Flaring Artifact Removal

라이다 장치로부터 출력된 레이저가 반사율이 굉장히 높은 레트로(retro) 재질의 객체에 조사되는 경우, flaring artifact가 발생할 수 있다.

아래에서는 Flaring artifact가 발생하는 원인에 기초하여 flaring artifact에 대해 정의한다.

이때, 상기 레트로 재질의 객체는 재귀 반사도가 높은 객체를 의미할 수 있다. 에를 들어, 상기 레트로 재질의 객체는 도로 표지판, 차량 후미등, 도로 가드레일, 비상 표지판, 도로 분리대 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 재귀 반사도는 조사된 레이저거 조사 경로를 따라 그대로 되돌아오는 정도를 의미할 수 있다. 다시 말해, 재귀 반사도가 높은 물체일수록 조사되는 레이저를 그대로 튕겨낼 가능성이 높다. 예를 들어, 라이다 장치로부터 출력된 레이저가 재귀 반사도가 높은 레트로(retro) 재질의 객체의 표면에서 반사되는 경우, 상기 라이다 장치로 되돌아오는 레이저의 양이 매우 많을 수 있다.

이와 같이, 레트로 물체로부터 반사된 레이저는 넓은 범위로 강한 강도를 가지고 라이다 장치로 수광될 수 있다. 이 경우, 상기 레트로 물체에서 반사된 레이저를 수광하기 위한 시야각을 가지는 디텍터뿐만 아니라, 상기 디텍터의 주변 디텍터들에도 레이저가 수광될 수 있다.

이에 따라, 하나의 물체에서 반사된 레이저가 복수의 디텍터에 의해 수광될 수 있고, 상기 복수의 디텍터가 수광된 레이저를 기초로 감지 신호를 생성할 수 있다.

상술한 바와 같이, 특정 디텍터의 시야각에 대응되는 물체가 없음에도 불구하고 인접 디텍터의 시야각에 포함된 물체에서 반사된 레이저가 일정량 이상 수광됨으로써 라이다 데이터에 유령 신호(ghost signal)이 발생하는 현상을 flaring artifact라 한다.

도 46은 일 실시예에 따른 Flaring artifact가 발생한 시공간 데이터 셋을 도시한 도면이다.

도 46을 참조하면, 일 실시예에 따른 시공간 데이터 셋의 제1 영역(A1)에는 객체에 대응되는 카운팅 값들이 포함될 수 있다. 다만, 상기 시공간 데이터 셋의 제2 영역(A2)에는 실제로 객체가 없음에도 불구하고 flaring artifact로 발생한 유령 신호에 의해 카운팅 값들이 존재하는 것을 확인할 수 있다.

상술한 문제를 해결하기 위해, 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋을 이용하여 flaring artifact를 보정할 수 있다.

구체적으로, 상기 데이터 처리부는 flaring artifact에 대응되는 카운팅 값들을 추출하여 제거할 수 있다. 예를 들어, 상기 데이터 처리부는 시공간 데이터 셋을 기초로 flaring artifact의 발생 여부를 확인할 수 있고, 확인된 flaring artifact에 대응되는 적어도 하나의 카운팅 값들을 추출할 수 있고, 상기 추출된 적어도 하나의 카운팅 값들을 0으로 조정할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 시공간적으로 인접한 적어도 하나의 카운팅 값들을 기초로 flaring artifact를 검출할 수 있다. 구체적으로, 상기 데이터 처리부는 공간적으로 인접한 적어도 하나의 디텍터들에 대응되고, 시간적으로 인접한 타임빈들에 할당된 적어도 하나의 카운팅 값들을 기초로 flaring artifact를 확인할 수 있다.

또한, 이에 한정되지 않고, 상기 데이터 처리부가 상기 시공간 데이터 셋을 기초로 flaring artifact 발생 여부를 확인하는 방법은 다양할 수 있다.

일 예로, 상기 데이터 처리부는 미리 저장된 flaring 패턴을 나타내는 레퍼런스 데이터 셋을 기초로 시공간 데이터 셋에서 flaring artifact를 확인할 수 있다.

도 47은 일 실시예에 따른 flaring artifact 확인 방법을 도시한 도면이다.

도 47을 참조하면, 데이터 처리부는 시공간 데이터 셋(5017) 상에서 flaring 여부를 확인할 대상 카운팅 값 그룹(5795)를 선택할 수 있다(S1064). 이때, 상기 대상 카운팅 값 그룹(5795)은 디텍터 어레이의 동작 시퀀스를 기초로 선택될 수 있다. 예를 들어, 디텍터 어레이가 n 열(column)씩 동작하는 경우, n 열(column)의 디텍터에 대응되는 카운팅 값들이 대상 카운팅 값 그룹으로 선택될 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 대상 카운팅 값 그룹(5795)의 카운팅 값 분포 패턴을 레퍼런스 데이터(5092)와 비교할 수 있다(S1065). 이때, 상기 레퍼런스 데이터(5092)는 라이다 장치에 미리 저장된 flaring 패턴일 수 있다.

구체적으로, 상기 레퍼런스 데이터(5092)는 레트로 물체에 의해 flaring artifact가 발생하는 경우의 카운팅 값의 분포 패턴을 반영하므로, 레트로 물체에 대응되는 패턴 및 flaring에 대응되는 패턴을 포함할 수 있다. 또한, 상기 레퍼런스 데이터(5092)는 레트로 물체의 종류 별로 상이하게 저장될 수 있다. 예를 들어, 상기 레퍼런스 데이터(5092)는 레트로 물체의 종류에 따라 룩업 테이블 형태로 저장될 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부는 물체까지의 거리 또는 반사 강도에 따라 상이한 프로파일을 가지는 레퍼런스 데이터 세트를 룩업테이블(LUT)로 저장할 수 있다. 구체적으로, 물체까지의 거리가 멀어지거나 반사강도가 낮을수록 flaring artifact가 발생하는 범위가 줄어들기 때문에, 해당 범위를 반영하여 다양한 프로파일을 가지는 레퍼런스 데이터들을 미리 저장할 수 있고, 실제 물체를 감지하는 경우, 상기 물체의 거리 및 반사강도를 반영한 레퍼런스 데이터를 불러올 수 있다.

또한, 상기 데이터 처리부는 상기 대상 카운팅 값 그룹(5795)의 카운팅 값 분포 패턴이 상기 레퍼런스 데이터(5092)와 유사한 경우, 상기 대상 카운팅 값 그룹에 flaring에 대응되는 카운팅 값들이 포함된다고 판단할 수 있다(S1066).

또한, 상기 데이터 처리부는 상기 대상 카운팅 값 그룹(5795)에서 flaring에 대응되는 카운팅 값들을 추출하여 조정할 수 있다(S1067). 이때, 상기 데이터 처리부는 flaring artifact를 제거하기 위해, 상기 추출된 카운팅 값들을 0으로 조정하거나, 삭제할 수 있으나, 이에 한정되지 않는다.

다른 예로, 상기 데이터 처리부는 미리 저장된 복수의 임계치를 기초로 flaring artifact를 확인할 수 있다. 구체적으로, 상기 데이터 처리부는 카운팅 값들의 레벨을 기초로 객체 및 노이즈의 성질을 구분하기 위해, 복수의 임계치를 미리 저장할 수 있다. 예를 들어, 상기 데이터 처리부는 노이즈 및 물체를 구분하기 위한 임계치, 물체 및 레트로 물체를 구분하기 위한 임계치, 또는 물체 및 flaring을 구분하기 위한 임계치 등을 미리 저장할 수 있으나, 이에 한정되지 않는다. 이에 따라, 상기 데이터 처리부는 물체 및 flaring을 구분하기 위한 임계치를 기초로 flaring에 대응되는 카운팅 값들을 확인할 수 있으나, 이에 한정되지 않는다.

또 다른 예로, 상기 데이터 처리부는 레트로 물체에 대응되는 카운팅 값을 감지함으로써 flaring을 확인할 수 있다. 보다 구체적으로, 시공간 데이터 셋 상에서 레트로 물체에 대응되는 카운팅 값이 포함되는 경우, 상기 레트로 물체에 대응되는 카운팅 값에 인접한 위치에 flaring에 대응되는 카운팅 값이 존재할 수 있다. 이에 따라, 상기 데이터 처리부는 시공간 데이터 셋 상에서 레트로 물체에 대응되는 카운팅 값들을 감지함으로써, 상기 레트로 물체에 대응되는 카운팅 값들 주변의 일정 영역에 포함되는 카운팅 값들을 flaring에 대응되는 카운팅 값으로 결정할 수 있으나, 이에 한정되지 않는다.

예를 들어, 데이터 처리부는 시공간 데이터 셋 내에서 재귀 반사의 발생(occurrence of retro-reflection)을 나타내는 카운팅 값 그룹을 감지할 수 있다. 또한, 상기 데이터 처리부는 재귀 반사의 발생을 감지하는데에 대응하여, 상기 시공간 데이터 셋 내에서 flaring에 대응되는 카운팅 값들을 확인할 수 있다. 또한, 상기 데이터 처리부는 상기 시공간 데이터 셋 내에서 flaring에 대응되는 카운팅 값들을 0으로 조정하거나 삭제할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 미리 정해진 기준을 기초로 시공간 데이터 셋 상에서 flaring artifact를 확인할 범위를 규정할 수 있다.

예를 들어, 데이터 처리부는 동시에 동작하는 디텍터 그룹을 기초로 flaring artifact의 확인 범위를 설정할 수 있다. 구체적으로, 상기 데이터 처리부는 시공간 데이터 셋 상에서 동시에 동작하는 디텍터 그룹에 대응되는 카운팅 값들에 대해 flaring 발생 여부를 확인할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부가 상기 flaring artifact를 제거하는 방법은 다양할 수 있다.

일 예로, 상술한 것처럼 상기 데이터 처리부는 카운팅 값을 임의로 조정함으로써 flaring artifact를 제거할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋 상에서 flaring artifact에 대응되는 카운팅 값들을 0으로 조정하거나, 삭제함으로써 flaring artifact를 제거할 수 있으나, 이에 한정되지 않는다.

다른 예로, 상기 데이터 처리부는 flaring에 대한 adaptive 임계치가 설정된 필터를 이용하여 flaring artifact를 제거할 수 있다. 구체적으로, 상기 데이터 처리부는 flaring에 대응되는 카운팅 값을 확인한 경우, 상기 flaring에 대응되는 카운팅 값보다 높은 레벨의 임계치를 적용함으로써, 상기 flaring에 대응되는 카운팅 값을 제거할 수 있다.

9.4. 시공간 데이터 셋을 이용한 포인트 클라우드 데이터 생성

일 실시예에 따른 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋을 이용하여 포인트 클라우드(Point Cloud) 데이터를 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋으로부터 획득된 객체에 대한 정보를 기초로 각각의 감지 지점에 대한 포인트 데이터(point data)를 생성할 수 있고, 상기 포인트 데이터들을 이용하여 상기 포인트 클라우드 데이터를 생성할 수 있다.

이때, 상기 포인트 클라우드 데이터는 포인트 클라우드 맵(Point Cloud Map)을 의미할 수 있으나, 이에 한정되지 않고, 감지 지점의 위치 정보 및 인텐시티 정보를 포함하는 (x,y,z,I)형태의 포인트 데이터 셋을 의미할 수도 있다.

일 예로, 상기 데이터 처리부는 상술한 방법으로 획득된 감지 지점의 depth 정보 또는 인텐시티 정보를 기초로 포인트 클라우드 데이터를 생성할 수 있으나, 이에 한정되지 않는다.

도 48은 일 실시예에 따른 시공간 데이터 셋을 기초로 포인트 클라우드 데이터를 생성하는 방법을 도시한 도면이다.

도 48을 참조하면, 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 복수의 카운팅 값들을 포함하는 시공간 데이터 셋을 생성할 수 있다(S1046). 이때, 상기 시공간 데이터 셋을 생성하는 방법은 상술한 기술적 내용들이 그대로 적용될 수 있다.

또한, 상기 데이터 처리부는 상기 시공간 데이터 셋을 기초로 복수의 감지 지점에 대한 depth 정보를 획득할 수 있다(S1047). 이때, 상기 감지 지점은 라이다 장치로부터 출력된 레이저가 조사되어 반사되는 영역을 의미할 수 있따. 또한, 상기 depth 정보는 depth 값(value)으로 나타날 수 있으나, 이에 한정되지 않고, 모든 감지 지점들에 대한 depth 값들의 집합체를 의미할 수도 있다.

또한, 상기 데이터 처리부는 선택적으로 상기 depth 정보를 기초로 depth 맵을 생성할 수 있다(S1048). 이때, 상기 depth 맵은 모든 감지 지점들에 대한 depth 값을 2d 이미지를 이용하여 시각화한 맵을 의미할 수 있다. 구체적으로, 상기 depth 맵은 복수의 픽셀을 포함할 수 있고, 각각의 픽셀은 대응되는 디텍터의 위치 좌표를 픽셀 좌표로 포함할 수 있고, 상기 디텍터에 대응되는 depth 값을 픽셀 값으로 포함할 수 있다. 예를 들어, 상기 depth 맵의 각각의 픽셀은 ((u,v),D) 형태의 픽셀 데이터 일 수 있고, 상기 (u,v)는 대응되는 디텍터의 위치 좌표일 수 있고, D는 대응되는 depth 값일 수 있다.

또한, 상기 데이터 처리부는 상기 시공간 데이터 셋을 기초로 복수의 감지 지점에 대한 인텐시티 정보를 획득할 수 있다(S1049). 이때, 상기 인텐시티 정보는 인텐시티 값(value)으로 나타날 수 있으나, 이에 한정되지 않고, 모든 감지 지점들에 대한 인텐시티 값들의 집합체를 의미할 수도 있다.

또한, 상기 데이터 처리부는 선택적으로 상기 인텐시티 정보를 기초로 인텐시티 맵을 생성할 수 있다(S1050). 이때, 상기 인텐시티 맵은 모든 감지 지점들에 대한 인텐시티 값을 2d 이미지를 이용하여 시각화한 맵을 의미할 수 있다. 구체적으로, 상기 인텐시티 맵은 복수의 픽셀을 포함할 수 있고, 각각의 픽셀은 대응되는 디텍터의 위치 좌표를 픽셀 좌표로 포함할 수 있고, 상기 디텍터에 대응되는 인텐시티 값을 픽셀 값으로 포함할 수 있다. 예를 들어, 상기 depth 맵의 각각의 픽셀은 ((u,v),I) 형태의 픽셀 데이터 일 수 있고, 상기 (u,v)는 대응되는 디텍터의 위치 좌표일 수 있고, I는 대응되는 인텐시티 값일 수 있다.

또한, 상기 데이터 처리부는 상기 depth 정보 및 상기 인텐시티 정보를 기초로 포인트 클라우드 데이터를 생성할 수 있다(S1051). 다만, 이에 한정되는 것은 아니고, 실시예에 따라 상기 데이터 처리부는 상기 depth 정보만을 기초로 상기 포인트 클라우드를 생성할 수도 있다. 이 경우, 상기 포인트 클라우드 데이터는 감지 지점의 인텐시티 정보를 반영하지 못하므로, 상기 데이터 처리부는 이를 보강하기 위해 상기 인텐시티 맵을 생성할 수 있으나, 이에 한정되지 않는다.

다른 예로, 상기 데이터 처리부는 시공간 데이터 셋을 가공하여 강화된 시공간 데이터 셋을 생성하고, 상기 강화된 시공간 데이터 셋을 기초로 depth 정보 또는 인텐시티 정보를 획득함으로써 포인트 클라우드 데이터를 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋을 디노이징하여 노이즈 데이터를 제거하고, depth 정보 및 인텐시티를 획득함으로써 포인트 클라우드 데이터를 생성할 수 있다.

또 다른 예로, 상기 데이터 처리부는 시공간 데이터 셋을 기초로 flaring artifact를 제거하고, depth 정보 및 인텐시티 정보를 획득함으로써 포인트 클라우드 데이터를 생성할 수 있다.

또 다른 예로, 상기 데이터 처리부는 시공간 데이터 셋을 기초로 주변광에 의한 노이즈를 제거하고, depth 정보 및 인텐시티 정보를 획득함으로써 포인트 클라우드 데이터를 생성할 수 있다.

또 다른 예로, 상기 데이터 처리부는 시공간 데이터 셋을 처리함으로써 포인트 클라우드 데이터를 생성할 수 있다.

9.5. 시공간 데이터 셋의 기타 활용예

아래에서는, 라이다 장치가 객체를 검출하고 객체에 대한 depth 정보를 획득함에 있어서 발생할 수 있는 여러가지 문제적 상황들을 시공간 데이터 셋을 활용하여 해결하는 예시에 대해서 설명한다.

라이다 장치의 레이저 출력부와 센싱부의 미스얼라인먼트(misalignment) 등의 문제에 의해 라이다 장치의 시야각의 특정 영역에서 반사된 레이저가 센싱부에 의해 감지되지 못함에 따라 데이터를 획득하지 못하는 데드존(dead zone)이 발생할 수 있다. 특히, 라이다 장치로부터 근거리에 위치하는 객체에서 반사된 레이저가 센싱부에 의해 수광되지 못하여 상기 데드존이 발생할 수 있다.

이를 해결하기 위해, 상기 라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 시공간 데이터 셋을 이용하여 상기 데드존을 검출할 수 있다.

구체적으로, 상기 데이터 처리부는 데드존을 상기 시공간 데이터 셋의 카운팅 값을 기초로 판단할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 시공간 데이터 셋 내에서 카운팅 값이 0에 가까운 소정의 영역을 데드존으로 판단할 수 있다.

또한, 이 경우, 상기 라이다 장치의 제어부는 상기 데드존에 대한 데이터를 획득하기 위해 동작할 수 있다. 예를 들어, 상기 제어부는 상기 데드존으로 판단된 영역에 대한 데이터를 획득하기 위해 레이저 출력부의 파워, 출력 레피티션 등을 조정할 수 있으나, 이에 한정되지 않는다.

원거리에 존재하는 객체에서 반사되어 수광되는 레이저의 양 임계치 보다 작아서 상기 객체에 대한 depth 정보를 획득하지 못하고 데이터가 손실될 수 있다.

이를 해결하기 위해, 상기 데이터 처리부는 시공간 데이터 셋을 이용하여 상기 원거리 객체에 대응되는 카운팅 값 세트를 검출할 수 있다.

구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋 상에서 유사한 값을 가지는 카운팅 값들이 일정 영역에 밀집해 있는 경우, 상기 카운팅 값들이 임계치를 넘지 못하는 경우라고 하더라도, 상기 카운팅 값들을 객체에 대응되는 카운팅 값 세트로 판단할 수 있다.

또한, 이 경우, 상기 데이터 처리부는 상기 카운팅 값 세트에 임계치를 적용하지 않고, 상기 카운팅 값 세트를 기초로 depth 정보를 획득할 수 있다.

10. 시공간 데이터 셋의 변형예

라이다 장치 또는 라이다 데이터 처리 장치의 데이터 처리부는 상술한 형태의 시공간 데이터 셋뿐만 아니라 상기 시공간 데이터 셋의 일부를 추출하거나, 상기 시공간 데이터 셋을 변형한 데이터 셋을 생성할 수 있다.

예를 들어, 데이터 처리부는 실시예에 따라, 상기 시공간 데이터 셋에 포함되는 카운팅 값들 중 일부를 포함하는 서브 시공간 데이터 셋을 생성하거나, 상기 시공간 데이터 셋에 포함되는 카운팅 값들의 합을 기초로 summation 데이터 셋을 생성할 수 있으나, 이에 한정되지 않는다.

상기 서브 시공간 데이터 셋 및 summation 데이터 셋에 대한 자세한 내용은 아래에서 설명한다.

10.1. 서브 시공간 데이터 셋

10.1.1. 서브 시공간 데이터 셋의 정의

일 실시예에 따른 데이터 처리부는 상술한 시공간 데이터 셋에 포함되는 복수의 카운팅 값들 중 일부를 포함하는 서브 시공간 데이터 셋을 생성할 수 있다.

구체적으로, 상기 서브 시공간 데이터 셋은 위치 값 및 시간 값으로 식별되는 카운팅 값들의 집합체일 수 있다. 이때, 상기 위치 값은 상기 카운팅 값이 생성되는 디텍터의 위치를 반영하는 값일 수 있고, 상기 시간 값은 상기 디텍터의 디텍팅 윈도우 상에서 상기 카운팅 값이 할당되는 타임빈일 수 있으나, 이에 한정되지 않는다.

또한, 서브 시공간 데이터 셋은 피크 값 및 상기 피크 값에 인접한 적어도 하나의 카운팅 값을 포함할 수 있다. 이때, 상기 피크 값은 복수의 카운팅 값들 중 상술한 기준을 만족하는 카운팅 값을 의미할 수 있고, 주로 depth 값을 계산하기 위해 객체에 대응되는 카운팅 값을 의미할 수 있다.

구체적으로, 상기 서브 시공간 데이터 셋은 피크 값에 공간적으로 인접한 적어도 하나의 카운팅 값을 포함할 수 있다. 예를 들어, 상기 서브 시공간 데이터 셋은 상기 피크 값이 할당된 타임빈에 동일한 타임빈에 할당되고, 상기 피크 값에 대응되는 디텍터와 이웃한 적어도 하나의 디텍터에 대응되는 적어도 하나의 카운팅 값을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 서브 시공간 데이터 셋은 피크 값에 시간적으로 인접한 적어도 하나의 카운팅 값을 포함할 수 있다. 예를 들어, 상기 서브 시공간 데이터 셋은 상기 피크 값이 대응되는 디텍터와 동일한 디텍터에 대응되고, 상기 피크 값이 할당된 타임빈에 인접한 적어도 하나의 타임빈에 할당된 적어도 하나의 카운팅 값을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 서브 시공간 데이터 셋은 피크 값에 시공간적으로 인접한 적어도 하나의 카운팅 값을 포함할 수 있다. 예를 들어, 상기 서브 시공간 데이터 셋은 상기 피크 값에 대응되는 디텍터와 이웃한 적어도 하나의 디텍터에 대응되고, 상기 피크 값이 할당된 타임빈에 인접한 적어도 하나의 타임빈에 할당된 적어도 하나의 카운팅 값을 포함할 수 있으나, 이에 한정되지 않는다.

구체적인 예로, 상기 서브 시공간 데이터 셋은 피크 값을 중심으로 하는 3*3*3의 볼륨을 가지는 카운팅 값들을 포함할 수 있으나, 이에 한정되지 않는다.

10.1.2. 서브 시공간 데이터 셋의 생성 및 활용

도 49는 일 실시예에 따른 서브 시공간 데이터 셋의 생성 및 활용 방법을 도시한 도면이다.

도 49를 참조하면, 데이터 처리부는 서브 시공간 데이터 셋을 생성하여 제1 디텍터에 대응되는 depth 값을 생성할 수 있다.

구체적으로, 데이터 처리부는 제1 디텍터에 대응되는 피크 값을 추출할 수 있다(S1068). 이때, 상기 추출 단계(S1068)에는 상술한 피크 값을 추출하는 방법에 대한 기술적 내용이 그대로 적용될 수 있다. 예를 들어, 상기 데이터 처리부는 상기 제1 디텍터에 대응되는 제1 누적 데이터 셋(5570)에 대하여, 제1 카운팅 값(5571)을 피크 값으로 추출할 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부는 상기 피크 값 주변의 적어도 하나의 카운팅 값을 선택할 수 있다 (S1069). 이때, 상기 적어도 하나의 카운팅 값은 상기 피크 값으로부터 시간적 또는 공간적으로 인접한 적어도 하나의 카운팅 값을 포함할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 제1 디텍터와 인접한 제2 디텍터에 대응되고, 상기 제1 카운팅 값(5571)과 동일한 타임빈에 할당된 제2 카운팅 값(5576)을 선택할 수 있으나, 이에 한정되지 않는다.

또한, 데이터 처리부는 상기 피크 값 및 상기 주변의 카운팅 값을 포함하는 제1 서브 시공간 데이터 셋(5080)을 생성할 수 있다(S1070). 이때, 상기 서브 시공간 데이터 셋(5080)은 상기 피크 값인 제1 카운팅 값(5571), 상기 제2 카운팅 값(5576)뿐만 아니라, 상기 제1 카운팅 값의 주변에 위치한 카운팅 값을 더 포함할 수 있다.

또한, 데이터 처리부는 상기 제1 서브 시공간 데이터 셋(5080)을 기초로 상기 피크 값을 보정하고, 상기 제1 디텍터에 대응되는 depth 값을 계산할 수 있다(S1071). 구체적으로, 상기 데이터 처리부는 피크 값으로 추출된 제1 카운팅 값(5571) 및 상기 제1 카운팅 값(5080) 주변의 상기 제1 서브 시공간 데이터 셋(5080에 포함되는 카운팅 값들을 기초로 피크 값을 보정할 수 있다. 또한, 상기 데이터 처리부는 상기 보정된 피크 값을 기초로 레이저의 비행 시간을 기초로 상기 제1 디텍터에 대응되는 depth 값을 계산할 수 있다.

도 50은 다른 실시예에 따른 서브 시공간 데이터 셋의 생성 및 활용 방법을 도시한 도면이다.

도 50을 참조하면, 일 실시예에 따른 데이터 처리부는 복수의 서브 시공간 데이터 셋을 생성하여 디텍터에 대응되는 depth 값을 계산할 수 있다.

구체적으로, 데이터 처리부는 제1 디텍터에 대응되는 복수의 서브 피크 값을 추출할 수 있다(S1072). 이때, 상기 추출 단계(S1072)에는 상술한 피크 값을 추출하는 방법에 대한 기술적 내용이 그대로 적용될 수 있다. 예를 들어, 상기 데이터 처리부는 상기 제1 디텍터에 대응되는 제1 누적 데이터 셋(5580)에 대하여, 제1 카운팅 값(5581) 및 제2 카운팅 값(5582)를 피크 값으로 추출할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 복수의 피크 값 각각에 대하여, 상기 복수의 피크 값 주변의 카운팅 값들을 선택할 수 있다(S1073). 예를 들어, 상기 데이터 처리부는 상기 제1 카운팅 값(5581)과 공간적으로 인접한 제3 카운팅 값(5586)을 선택할 수 있고, 상기 제2 카운팅 값(5582)과 공간적으로 인접한 제4 카운팅 값(5588)을 선택할 수 있다. 이때, 상기 제3 카운팅 값(5586)은 상기 제1 디텍터와 이웃한 제2 디텍터에 대응되고, 상기 제1 카운팅 값(5581)이 할당된 타임빈과 동일한 타임빈에 할당될 수 있으나, 이에 한정되지 않는다. 또한, 상기 제4 카운팅 값(5588)은 상기 제1 디텍터와 이웃한 제2 디텍터에 대응되고, 상기 제2 카운팅 값(5582)이 할당된 타임빈과 동일한 타임빈에 할당될 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 복수의 피크 값들 및 상기 주변 카운팅 값들을 기초로 복수의 서브 시공간 데이터 셋들을 생성할 수 있다(S1074). 예를 들어, 상기 데이터 처리부는 상기 제1 카운팅 값(5581) 및 상기 제3 카운팅 값(5586)을 포함하는 제1 서브 시공간 데이터 셋(5090)을 생성할 수 있다. 또한, 상기 데이터 처리부는 상기 제2 카운팅 값(5582) 및 상기 제4 카운팅 값(5588)을 포함하는 제2 서브 시공간 데이터 셋(5095)을 생성할 수 있다.

또한, 상기 데이터 처리부는 상기 복수의 서브 시공간 데이터 셋들을 기초로 메인 피크 값을 추출하고, 상기 메인 피크 값을 기초로 상기 제1 디텍터에 대응되는 depth 값을 계산할 수 있다(S1075).

구체적으로, 상기 데이터 처리부는 상기 복수의 서브 시공간 데이터 셋에 포함되는 카운팅 값들의 차이를 계산하여 비교할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 제1 서브 시공간 데이터 셋(5090)에 포함된 상기 제1 카운팅 값(5581) 및 상기 제3 카운팅 값(5586)의 차이 및 상기 제2 서브 시공간 데이터 셋(5095)에 포함된 상기 제2 카운팅 값(5582) 및 상기 제4 카운팅 값(5588)의 차이를 비교할 수 있으나, 이에 한정되지 않는다.

이때, 상기 데이터 처리부는 상기 카운팅 값의 차이가 작은 서브 시공간 데이터 셋을 추출할 수 있고, 상기 추출된 서브 시공간 데이터 셋을 기초로 메인 피크 값을 추출할 수 있다. 예를 들어,

기초로 상기 복수의 서브 시공간 데이터 셋들 중 하나를 추출함으로써 메인 피크 값을 추출할 수 있다. 상기 제1 카운팅 값(5581) 및 상기 제3 카운팅 값(5586)의 차이가 상기 제2 카운팅 값(5582) 및 상기 제4 카운팅 값(5588)의 차이 보다 작은 경우, 상기 데이터 처리부는 상기 제1 서브 시공간 데이터 셋(5090)에 포함된 제1 카운팅 값(5081)을 메인 피크 값으로 추출할 수 있다.

또한, 상기 데이터 처리부는 상기 메인 피크 값을 기초로 상기 제1 디텍터에 대응되는 depth 값을 계산할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 메인 피크 값으로 추출된 제1 카운팅 값(5581)의 시간 값을 기초로 레이저의 비행 시간을 이용하여 상기 제1 디텍터에 대응되는 depth 값을 계산할 수 있으나, 이에 한정되지 않는다.

10.2. 융합 이미지(Summation image)

10.2.1. 융합 이미지의 정의 및 생성

일 실시예에 따른 융합 이미지는 디텍터 어레이를 포함하는 라이다 장치에서, 각각의 디텍터에 대응되는 카운팅 값들을 모두 합한 값을 하나의 평면에 정렬한 데이터일 수 있다.

또한, 융합 이미지는 시공간 데이터 셋 상에서 모든 타임빈에 대응되는 이미지 플레인을 융합하여 하나의 이미지로 압축한 데이터일 수 있다.

또한, 융합 이미지는 각각의 디텍터에 대응되는 누적 데이터 셋에 포함되는 모든 카운팅 값들을 합한 값을 하나의 이미지에 정렬한 데이터일 수 있다.

또한, 융합 이미지는 노이즈에 대응되는 카운팅 값 및 객체에 대응되는 카운팅 값을 융합한 데이터일 수 있다.

도 51은 일 실시예에 따른 융합 이미지를 설명하기 위한 도면이다.

도 51을 참조하면, 데이터 처리부는 디텍터 어레이에 대응되는 융합 이미지(6500)를 생성할 수 있다. 이때, 상기 융합 이미지(6500)는 복수의 픽셀 데이터들을 포함할 수 있다.

또한, 상기 복수의 픽셀 데이터들 각각은 상기 디텍터 어레이에 포함되는 각각의 디텍터에 대응될 수 있다. 또한, 픽셀 데이터의 픽셀 좌표는 대응되는 디텍터의 위치를 기초로 결정될 수 있다.

또한, 픽셀 데이터의 픽셀 값은 디텍터에 대응되는 카운팅 값들의 합을 기초로 결정될 수 있다. 구체적으로, 상기 융합 이미지(6500)에 포함되는 각각의 픽셀 값은 각각의 픽셀에 대응되는 디텍터로부터 수신된 감지 신호를 기초로 생성된 카운팅 값의 합계(sum)일 수 있다.

또한, 상기 데이터 처리부는 상기 디텍터 어레이의 디텍터로부터 감지 신호를 수신하고, 상기 감지 신호를 기초로 융합 이미지(6500)를 생성할 수 있다.

또한, 상기 데이터 처리부는 상기 디텍터 어레이의 디텍터로부터 감지 신호를 수신하고, 상기 감지 신호를 기초로 카운팅 값을 생성하고, 상기 카운팅 값을 기초로 융합 이미지(6500)를 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 각각의 디텍터에 대응되는 모든 카운팅 값들을 합하여 상기 융합 이미지(6500)를 생성할 수 있다. 예를 들어, 상기 데이터 처리부는 제1 디텍터에 대응되는 모든 카운팅 값들을 합하여 제1 픽셀 값을 가지는 제1 픽셀 데이터를 생성할 수 있고, 제2 디텍터에 대응되는 모든 카운팅 값들을 합하여 제2 픽셀 값을 가지는 제2 픽셀 데이터를 생성할 수 있고, 이에 따라 상기 제1 픽셀 데이터 및 상기 제2 픽셀 데이터를 포함하는 융합 이미지(6500)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 디텍터 어레이의 디텍터로부터 감지 신호를 수신하고, 상기 감지 신호를 기초로 히스토그램 데이터를 생성하고, 상기 히스토그램 데이터를 기초로 융합 이미지(6500)를 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 각각의 디텍터에 대응되는 히스토그램 데이터에 포함되는 모든 카운팅 값들을 합하여 상기 융합 이미지(6500)를 생성할 수 있다. 예를 들어, 상기 데이터 처리부는 제1 디텍터에 대응되는 히스토그램 데이터에 포함되는 모든 카운팅 값들을 합하여 제1 픽셀 값을 가지는 제1 픽셀 데이터를 생성할 수 있고, 제2 디텍터에 대응되는 히스토그램 데이터에 포함되는 모든 카운팅 값들을 합하여 제2 픽셀 값을 가지는 제2 픽셀 데이터를 생성할 수 있고, 이에 따라 상기 제1 픽셀 데이터 및 상기 제2 픽셀 데이터를 포함하는 융합 이미지(6500)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 디텍터 어레이의 디텍터로부터 감지 신호를 수신하고, 상기 감지 신호를 기초로 복수의 플레인 데이터 셋들을 생성하고, 상기 복수의 플레인 데이터 셋들을 기초로 융합 이미지(6500)를 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 복수의 타임빈들 각각에 대응되는 복수의 플레인 데이터 셋들을 생성할 수 있고, 상기 복수의 플레인 데이터 셋들에서 동일한 디텍터에 대응되는 카운팅 값들을 모두 합하여 융합 이미지(6500)를 생성할 수 있다. 예를 들어, 상기 데이터 처리부는 제1 디텍터에 대응되는 모든 플레인 데이터 셋의 카운팅 값을 합하여 제1 픽셀 데이터를 생성할 수 있고, 제2 디텍터에 대응되는 모든 플레인 데이터 셋의 카운팅 값을 합하여 제2 픽셀 데이터를 생성할 수 있고, 이에 따라 상기 제1 픽셀 데이터 및 상기 제2 픽셀 데이터를 포함하는 융합 이미지(6500)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 디텍터 어레이의 디텍터로부터 감지 신호를 수신하고, 상기 감지 신호를 기초로 복수의 이미지 플레인을 생성하고, 상기 복수의 이미지 플레인들을 기초로 융합 이미지(6500)를 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 복수의 타임빈들 각각에 대응되는 복수의 이미지 플레인들을 생성할 수 있고, 상기 복수의 이미지 플레인들에서 동일한 디텍터에 대응되는 픽셀 값들을 모두 합하여 융합 이미지(6500)를 생성할 수 있다. 예를 들어, 상기 데이터 처리부는 제1 디텍터에 대응되는 모든 이미지 플레인의 픽셀 값을 합하여 제1 픽셀 데이터를 생성할 수 있고, 제2 디텍터에 대응되는 모든 이미지 플레인의 픽셀 값을 합하여 제2 픽셀 데이터를 생성할 수 있고, 이에 따라 상기 제1 픽셀 데이터 및 상기 제2 픽셀 데이터를 포함하는 융합 이미지(6500)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 디텍터 어레이의 디텍터로부터 감지 신호를 수신하고, 상기 감지 신호를 기초로 시공간 데이터 셋을 생성하고, 상기 시공간 데이터 셋을 기초로 융합 이미지(6500)를 생성할 수 있다. 구체적으로, 상기 데이터 처리부는 상기 시공간 데이터 셋 상에서 동일한 디텍터에 대응되는 모든 카운팅 값들을 합하여 융합 이미지(6500)를 생성할 수 있다. 예를 들어, 상기 데이터 처리부는 시공간 데이터 셋 상에서 제1 디텍터에 대응되는 모든 카운팅 값들을 합하여 제1 픽셀 데이터를 생성할 수 있고, 제2 디텍터에 대응되는 모든 카운팅 값들을 합하여 제2 픽셀 데이터를 생성할 수 있고, 이에 따라 상기 제1 픽셀 데이터 및 상기 제2 픽셀 데이터를 포함하는 융합 이미지(6500)를 생성할 수 있으나, 이에 한정되지 않는다.

10.2.2. 융합 이미지를 활용한 depth 정보 획득

도 52는 일 실시예에 따른 융합 이미지의 활용 방법을 도시한 도면이다.

도 52를 참조하면, 일 실시예에 따른 데이터 처리부는 디텍터 어레이를 포함하는 라이다 장치에서, 각각의 디텍터로부터 수신한 감지 신호를 기초로 융합 이미지(6500)를 생성할 수 있다(S1076).

구체적으로, 상기 데이터 처리부는 감지 신호를 기초로 복수의 이미지 플레인(5018)을 생성할 수 있고, 상기 복수의 이미지 플레인(5018)에서 동일한 디텍터에 대응되는 픽셀 값들을 합하여 융합 이미지(6500)를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 상기 데이터 처리부는 상기 융합 이미지(6500)로부터 적어도 하나의 객체에 대응되는 적어도 하나의 영역을 추출할 수 있다(S1077).

구체적으로, 상기 데이터 처리부는 상기 융합 이미지(6500)에 포함되는 복수의 픽셀 데이터들의 픽셀 값의 분포를 기초로 적어도 하나의 객체에 대응되는 적어도 하나의 영역을 추출할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 융합 이미지(6500)에서 유사한 픽셀 값을 가지는 복수의 픽셀 데이터들이 특정 영역에 밀집해있는 경우, 상기 특정 영역을 객체에 대응되는 영역으로 결정할 수 있으나, 이에 한정되지 않는다.

도 52를 참조하면, 상기 데이터 처리부는 상기 융합 이미지(6500)에서 제1 객체에 대응되는 제1 밀집 영역(6510) 및 제2 객체에 대응되는 제2 밀집 영역(6520)을 추출할 수 있다.

또한, 데이터 처리부는 상기 융합 이미지(6500)를 기초로 노이즈 레벨을 판단할 수 있고, 상기 노이즈 레벨을 기초로 객체에 대응되는 적어도 하나의 영역들을 추출할 수 있다.

구체적으로, 상기 데이터 처리부는 융합 이미지에 포함된 복수의 픽셀 데이터들의 픽셀 값들을 기초로 노이즈 레벨을 판단할 수 있다. 일 예로, 상기 데이터 처리부는 상기 복수의 픽셀 값들의 평균값 또는 중간값을 노이즈 레벨로 판단할 수 있으나, 이에 한정되지 않는다. 다른 예로, 상기 데이터 처리부는 상기 복수의 픽셀 값들 중 일정 범위 내에 있는 픽셀 값들의 평균값 또는 중간값을 노이즈 레벨로 판단할 수 있으나, 이에 한정되지 않는다. 구체적으로, 상기 데이터 처리부는 융합 이미지의 픽셀 값들 중 최대 값 및 최소 값을 기초로 일정 범위를 설정할 수 있고, 상기 일정 범위 내에 포함된 픽셀 값들의 평균값 또는 중간값을 노이즈 레벨로 판단할 수 있다.

또한, 데이터 처리부는 상기 판단된 노이즈 레벨을 상기 융합 이미지(6500)에 적용함으로써 객체에 대응되는 적어도 하나의 영역을 추출할 수 있다. 구체적으로, 데이터 처리부는 상기 융합 이미지에 포함되는 복수의 픽셀 데이터들 중 판단된 노이즈 레벨 보다 높은 픽셀 값을 가지는 적어도 하나의 픽셀 데이터들을 객체에 대응되는 영역을 판단할 수 있다.

또한, 상기 데이터 처리부는 상기 적어도 하나의 영역 각각에 대응되는 이미지 플레인을 추출할 수 있다(S1078).

구체적으로, 상기 데이터 처리부는 상기 융합 이미지(6500)에 포함되는 적어도 하나의 밀집 영역에 대응되는 객체가 상기 복수의 이미지 플레인(5018) 상에서 어떤 이미지 플레인에 포함되어 있는지를 확인할 수 있다.

보다 구체적으로, 상기 데이터 처리부는 상기 융합 이미지(6500)로부터 복수의 이미지 플레인(5018)를 역추적하여 상기 적어도 하나의 밀집 영역에 대응되는 픽셀 데이터들이 존재하는 이미지 플레인을 추출할 수 있다. 예를 들어, 상기 데이터 처리부는 상기 복수의 이미지 플레인(5018)에 스크리닝 동작을 수행함으로써 상기 적어도 하나의 밀집 영역에 대응되는 적어도 하나의 이미지 플레인을 추출할 수 있다.

이를 위해, 상기 복수의 이미지 플레인(5018)은 상기 융합 이미지(6500)가 저장되는 메모리 영역과 다른 메모리 영역에 저장되어 있을 수 있다. 구체적으로, 상기 데이터 처리부는 메모리의 제1 구간에 저장된 융합 이미지(6500)로부터 적어도 하나의 밀집 영역을 추출하고, 메모리의 제2 구간에 저장된 복수의 이미지 플레인(5018)을 스크리닝함으로써 상기 적어도 하나의 밀집 영역에 대응되는 이미지 플레인을 추출할 수 있다.

예를 들어, 상기 데이터 처리부는 상기 융합 이미지(6500)에 포함되는 제1 밀집 영역(6510)에 대응되는 제1 이미지 플레인(5940)을 추출할 수 있고, 상기 제2 밀집 영역(6520)에 대응되는 제2 이미지 플레인(5950)을 추출할 수 있다.

도 52에서는 설명의 편의를 위해 밀집 영역에 대응되는 이미지 플레인이 하나인 것을 가정하여 설명하였으나, 실시예에 따라, 인접한 복수의 이미지 플레인들이 상기 밀집 영역에 대응될 수 있다.

또한, 상기 데이터 처리부는 상기 추출된 이미지 플레인에 할당된 타임빈을 기초로 상기 적어도 하나의 객체의 depth 정보를 결정할 수 있다(S1079).

예를 들어, 상기 데이터 처리부는 상기 제1 이미지 플레인(5940)에 할당된 제1 타임빈을 기초로 제1 객체에 대한 depth 정보를 획득할 수 있고, 상기 제2 이미지 플레인(5950)에 할당된 제2 타임빈을 기초로 제2 객체에 대한 depth 정보를 획득할 수 있다.

또한, 실시예에 따라, 서로 인접한 복수의 이미지 플레인이 상기 밀집 영역에 대응되는 경우, 상기 데이터 처리부는 상기 복수의 이미지 플레인에 대응되는 복수의 타임빈들을 기초로 대표값을 계산하고, 상기 대표값을 기초로 depth 정보를 획득할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

하나 이상의 프로세서에 의해, 복수의 디텍터 유닛들을 포함하는 디텍터 어레이로부터 생성된 감지 신호를 기초로 획득된 데이터를 처리하는 방법에 있어서,
상기 디텍터 어레이로부터 생성된 감지 신호들을 기초로 복수의 카운팅 값들 - 이때, 상기 복수의 카운팅 값들 각각은 상기 복수의 디텍터 유닛들 각각에 대응되고, 적어도 하나의 타임빈으로 어드레싱됨 - 을 포함하는 시공간 데이터 셋을 생성하는 단계;
상기 시공간 데이터 셋을 처리하여 상기 복수의 디텍터 유닛들 각각에 대응되는 복수의 거리 값들을 포함하는 거리 정보를 생성하는 단계;를 포함하되,
상기 거리 정보를 생성하는 단계는,
상기 시공간 데이터 셋에 포함되는 제1 카운팅 값 그룹을 기초로 상기 거리 정보에 포함되며, 제1 디텍터 유닛에 대응되는 제1 거리 값을 생성하는 단계를 포함하며,
상기 제1 카운팅 값 그룹은 상기 시공간 데이터 셋에 포함되며, 적어도 제1 디텍터 유닛 및 제1 타임빈으로 어드레싱되는 제1 카운팅 값, 상기 제1 디텍터 유닛과 인접한 제2 디텍터 유닛 및 상기 제1 타임빈과 인접한 제2 타임빈으로 어드레싱되는 제2 카운팅 값 및 상기 제1 디텍터 유닛 및 상기 제2 타임빈으로 어드레싱되는 제3 카운팅 값을 포함하는
데이터 처리 방법.
제1항에 있어서,
상기 적어도 하나의 타임빈은 상기 디텍터 어레이가 광을 감지하는 시간 구간을 미리 정해진 간격으로 분할함으로써 규정되는 단위 시간 구간인
데이터 처리 방법.
제1항에 있어서,
상기 제1 거리 값을 생성하는 단계는,
상기 제1 카운팅 값 그룹을 기초로 피크 값 및 상기 피크 값에 대응되는 시간 값을 추출하는 단계, 및
상기 추출된 시간 값을 기초로 상기 제1 거리 값을 계산하는 단계를 포함하는
데이터 처리 방법.
제1항에 있어서,
상기 제1 카운팅 값 그룹은 소정의 사이즈로 규정되는 커널 필터가 적용되는 카운팅 값들로 정의되는
데이터 처리 방법.
제4항에 있어서,
상기 시공간 데이터 셋은 제2 카운팅 값 그룹을 포함하고,
상기 제2 카운팅 값 그룹을 정의하는 커널 필터의 사이즈는 상기 제1 카운팅 값 그룹을 정의하는 커널 필터의 사이즈보다 큰
데이터 처리 방법.
제1항에 있어서,
상기 제1 카운팅 값 및 상기 제3 카운팅 값은 상기 제1 디텍터 유닛에 의해 생성된 감지 신호를 기초로 생성되고,
상기 제2 카운팅 값은 상기 제2 디텍터 유닛에 의해 생성된 감지 신호를 기초로 생성되는
데이터 처리 방법.
하나 이상의 프로세서에 의해, 복수의 디텍터 유닛들을 포함하는 디텍터 어레이로부터 생성된 감지 신호를 기초로 획득된 데이터를 처리하는 방법에 있어서,
상기 디텍터 어레이로부터 생성된 감지 신호들을 기초로 복수의 카운팅 값들 - 이때, 상기 복수의 카운팅 값들 각각은 상기 복수의 디텍터 유닛들 각각에 대응되고, 적어도 하나의 타임빈으로 어드레싱됨 - 을 포함하는 시공간 데이터 셋을 생성하는 단계;
상기 시공간 데이터 셋을 처리하여 강화된 시공간 데이터 셋을 생성하는 단계; 및
상기 강화된 시공간 데이터 셋을 기초로 포인트 클라우드를 생성하는 단계;를 포함하되,
상기 강화된 시공간 데이터 셋을 생성하는 단계는,
상기 시공간 데이터 셋에 포함되는 제1 카운팅 값 그룹을 기초로 상기 강화된 시공간 데이터 셋에 포함되는 제1 값을 생성하는 단계를 포함하며,
상기 제1 카운팅 값 그룹은 상기 시공간 데이터 셋에 포함되며, 적어도 제1 디텍터 유닛 및 제1 타임빈으로 어드레싱되는 제1 카운팅 값, 상기 제1 디텍터 유닛과 인접한 제2 디텍터 유닛 및 상기 제1 타임빈과 인접한 제2 타임빈으로 어드레싱되는 제2 카운팅 값 및 상기 제1 디텍터 유닛 및 상기 제2 타임빈으로 어드레싱되는 제3 카운팅 값을 포함하는
데이터 처리 방법.
제7항에 있어서,
상기 적어도 하나의 타임빈은 상기 디텍터 어레이가 광을 감지하는 시간 구간을 미리 정해진 간격으로 분할함으로써 규정되는 단위 시간 구간인
데이터 처리 방법.
제7항에 있어서,
상기 제1 카운팅 값 그룹은 소정의 사이즈로 규정되는 커널 필터가 적용되는 카운팅 값들로 정의되는
데이터 처리 방법.
제9항에 있어서,
상기 시공간 데이터 셋은 제2 카운팅 값 그룹을 포함하고,
상기 제2 카운팅 값 그룹을 정의하는 커널 필터의 사이즈는 상기 제1 카운팅 값 그룹을 정의하는 커널 필터의 사이즈보다 큰
데이터 처리 방법.
제7항에 있어서,
상기 제1 카운팅 값 및 상기 제3 카운팅 값은 상기 제1 디텍터 유닛에 의해 생성된 감지 신호를 기초로 생성되고,
상기 제2 카운팅 값은 상기 제2 디텍터 유닛에 의해 생성된 감지 신호를 기초로 생성되는
데이터 처리 방법.
제7항에 있어서,
상기 강화된 시공간 데이터 셋이 포함하는 값들의 수는 상기 시공간 데이터 셋이 포함하는 카운팅 값들의 수에 대응되는
데이터 처리 방법.
제7항에 있어서,
상기 강화된 시공간 데이터 셋이 포함하는 값들의 수는 상기 시공간 데이터 셋이 포함하는 카운팅 값들의 수와 상이한
데이터 처리 방법.
제7항에 있어서,
상기 강화된 시공간 데이터 셋은 상기 시공간 데이터 셋과 상이한 메모리에 저장되는
데이터 처리 방법.
제7항에 있어서,
상기 제1 값은 상기 제1 카운팅 값, 상기 제2 카운팅 값 및 상기 제3 카운팅 값들의 크기를 기초로 상기 제1 카운팅 값을 보간함으로써 생성되는
데이터 처리 방법.
제7항에 있어서,
상기 제1 값은 상기 제1 카운팅 값, 상기 제2 카운팅 값 및 상기 제3 카운팅 값 중 최대값을 기초로 상기 제1 카운팅 값을 정규화함으로써 생성되는
데이터 처리 방법.
제7항에 있어서,
상기 강화된 시공간 데이터 셋을 기초로 포인트 클라우드를 생성하는 단계는
상기 강화된 시공간 데이터 셋을 기초로 적어도 하나의 거리 값을 획득하는 단계; 및
상기 적어도 하나의 거리 값 및 상기 복수의 디텍터 유닛의 상기 디텍터 어레이 내의 위치를 기초로 포인트 클라우드를 생성하는 단계;를 포함하는
데이터 처리 방법.
제17항에 있어서,
상기 강화된 시공간 데이터 셋을 기초로 적어도 하나의 거리 값을 획득하는 단계는
상기 제1 값을 기초로 상기 제1 디텍터 유닛에 대응되는 제1 거리 값을 획득하는 단계를 포함하며,
상기 적어도 하나의 거리 값 및 상기 복수의 디텍터 유닛의 상기 디텍터 어레이 내의 위치를 기초로 포인트 클라우드를 생성하는 단계는
상기 제1 거리 값 및 상기 제1 디텍터 유닛의 상기 디텍터 어레이 내의 위치를 기초로 제1 포인트 데이터를 생성하는 단계를 포함하는
데이터 처리방법.
제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 포함되는, 컴퓨터에서 판독 가능한 기록 매체.