KR20220044777A - 포인트 클라우드 데이터 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 포인트 클라우드 데이터 처리 방법 및 장치를 제공하며, 상기 방법은 레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득하는 단계; 상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계; 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 단계를 포함한다.

Description

포인트 클라우드 데이터 처리 방법 및 장치

관련 출원의 상호 참조

본 특허출원은 2020년 7월 22일에 제출한 출원 번호가 202010713989.6이고 발명 명칭이 '포인트 클라우드 데이터 처리 방법 및 장치'인 중국특허출원의 우선권을 주장하며, 해당 출원을 인용의 방식으로 본 명세서에 병합한다.

본 발명은 정보 처리 기술분야에 관한 것으로서, 특히 포인트 클라우드 데이터 처리 방법 및 장치에 관한 것이다.

과학기술의 발전에 따라, 라이다는 정확한 거리 측정 능력으로 인해 자동 운전, 무인기 탐사, 측량 제도 등 분야에서 널리 사용되고 있다. 자율주행을 예로 들면, 자율주행의 응용 시나리오에서, 일반적으로 라이다에 의해 수집된 포인트 클라우드 데이터를 처리하여 차량에 대한 위치 확인 및 장애물의 인식을 구현한다. 포인트 클라우드 데이터를 처리할 때, 일반적으로 많은 컴퓨팅 자원이 소모되는데, 포인트 클라우드 데이터를 처리하는 전자 기기의 컴퓨팅 자원이 제한되고 모든 포인트 클라우드 데이터가 차량에 대한 위치 확인 및 장애물의 인식에 작용하는 것은 아니므로, 이러한 컴퓨팅 방법은 컴퓨팅 효율이 낮고 컴퓨팅 자원에 대한 이용률이 낮다.

본 발명의 실시예는 적어도 포인트 클라우드 데이터 처리 방법 및 장치를 제공한다.

제1 측면에서, 본 발명의 실시예는 포인트 클라우드 데이터 처리 방법을 제공하며, 상기 방법은 레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득하는 단계; 상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계; 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 단계를 포함한다.

상술한 방법에 기초하여, 목표 시나리오에 대응하는 유효 감지 범위 정보를 기반으로 목표 시나리오에서 레이더 장치에 의해 수집된 처리할 포인트 클라우드 데이터를 선별하되, 선별된 목표 포인트 클라우드 데이터는 목표 시나리오에서 대응하는 목표 포인트 클라우드 데이터이므로, 선별된 포인트 클라우드 데이터를 기반으로, 목표 시나리오에서 검출 및 계산을 수행하여, 계산량을 줄이고, 계산 효율 및 목표 시나리오에서 컴퓨팅 자원의 이용률을 향상시킬 수 있다.

가능한 실시방식에서, 처리 기기의 컴퓨팅 자원 정보를 획득하고; 상기 컴퓨팅 자원 정보를 기반으로, 상기 컴퓨팅 자원 정보에 매칭되는 상기 유효 감지 범위 정보를 결정하는 방식으로, 상기 목표 시나리오에 대응하는 유효 감지 범위 정보를 결정한다.

이러한 방식을 통해, 동일한 목표 시나리오에서 처리할 포인트 클라우드 데이터를 처리하는 서로 다른 전자 기기를 위해 서로 다른 유효 감지 범위 정보를 결정할 수 있으며, 이에 따라 서로 다른 전자 기기에 적용될 수 있다.

가능한 실시방식에서, 상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계는, 상기 유효 감지 범위 정보를 기반으로, 유효 좌표 범위를 결정하는 단계; 상기 유효 좌표 범위를 기반으로, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계를 포함한다.

가능한 실시방식에서, 상기 유효 감지 범위 정보를 기반으로, 유효 좌표 범위를 결정하는 단계는, 상기 유효 감지 범위 내에서 기준 위치 포인트의 위치 정보, 및 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 기반으로, 상기 목표 시나리오에 대응하는 유효 좌표 범위를 결정하는 단계를 포함한다.

가능한 실시방식에서, 상기 유효 좌표 범위를 기반으로, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계는, 대응하는 좌표 정보가 상기 유효 좌표 범위 내에 있는 레이더 스캔 포인트를 상기 목표 포인트 클라우드 데이터의 레이더 스캔 포인트로 하는 단계를 포함한다.

가능한 실시방식에서, 상기 레이더 장치가 설치된 스마트 주행 기기의 위치 정보를 획득하고; 상기 스마트 주행 기기의 위치 정보를 기반으로 상기 스마트 주행 기기가 위치한 도로의 도로 유형을 결정하며; 상기 도로 유형에 매칭되는 기준 위치 포인트의 좌표 정보를 획득하여 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보로 하는 방식으로, 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 결정한다.

여기서, 스마트 주행 기기는 서로 다른 도로 유형의 도로에 위치하는 경우 처리해야 하는 포인트 클라우드 데이터도 서로 다를 수 있으므로, 도로 유형에 매칭되는 기준 위치 포인트의 좌표 정보를 획득하여, 스마트 주행 기기를 위해 현재 위치한 도로 유형에 맞는 유효 좌표 범위를 결정하여, 대응하는 도로 유형에서 포인트 클라우드 데이터를 선별함으로써, 서로 다른 도로 유형에서 스마트 주행 기기의 검출 결과의 정확도를 향상시킬 수 있다.

가능한 실시방식에서, 상기 검출 결과는 상기 목표 시나리오에서 인식할 객체의 위치를 포함하며, 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 단계는, 상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여 래스터 행렬을 얻는 단계 - 상기 래스터 행렬 중 각 요소의 값은, 대응하는 래스터에 목표 포인트가 존재하는지 여부를 나타냄 - ; 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계; 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계를 포함한다.

가능한 실시방식에서, 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계는, 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 목표 요소에 대해 적어도 한번 팽창 처리 조작 또는 침식 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계를 포함하며, 상기 목표 요소의 값은, 대응하는 래스터에 상기 목표 포인트가 존재함을 나타낸다.

가능한 실시방식에서, 상기 팽창 처리 조작 또는 침식 처리 조작은 시프트 처리 및 논리 연산 처리를 포함하며, 상기 희소 행렬의 좌표 범위와 상기 인식할 객체의 사이즈 간의 차이 값은 사전 설정된 임계치 범위 내에 있다.

가능한 실시방식에서, 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 요소에 대해 적어도 한번 팽창 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계는, 금번 팽창 처리 조작 전의 래스터 행렬 중 요소에 대해 제1 반전 조작을 수행하여, 제1 반전 조작 후 래스터 행렬을 얻는 단계; 제1 사전 설정된 컨볼루션 커널을 기반으로 상기 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻는 단계 - 상기 사전 설정된 희소성은 상기 목표 시나리오에서 인식할 객체의 사이즈 정보로 결정됨 - ; 상기 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬 중 요소에 대해 제2 반전 조작을 수행하여 상기 희소 행렬을 얻는 단계를 포함한다.

가능한 실시방식에서, 상기 금번 팽창 처리 조작 전의 래스터 행렬 중 요소에 대해 제1 반전 조작을 수행하여, 제1 반전 조작 후 래스터 행렬을 얻는 단계는, 제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전의 래스터 행렬 중의 상기 목표 요소를 제외한 다른 요소에 대해 컨볼루션 연산을 수행하여 제1 반전 요소를 얻고, 제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전 래스터 행렬 중 목표 요소에 대해 컨볼루션 연산을 수행하여 제2 반전 요소를 얻는 단계; 상기 제1 반전 요소 및 상기 제2 반전 요소를 기반으로, 제1 반전 조작 후 래스터 행렬을 얻는 단계를 포함한다.

가능한 실시방식에서, 상기 제1 사전 설정된 컨볼루션 커널을 기반으로 상기 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻는 단계는, 첫번째 컨볼루션 연산에 대해, 상기 제1 반전 조작 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻는 단계; 지난번 컨볼루션 연산 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 금번 컨볼루션 연산 후 래스터 행렬을 얻는 단계를, 상기 사전 설정된 희소성을 가진 래스터 행렬을 얻을 때까지 중복하는 단계를 포함한다.

가능한 실시방식에서, 상기 제1 사전 설정된 컨볼루션 커널은 가중치 행렬 및 해당 가중치 행렬에 대응하는 오프셋을 가지며; 첫번째 컨볼루션 연산에 대해, 상기 제1 반전 조작 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻는 단계는, 첫번째 컨볼루션 연산에 대해, 제1 사전 설정된 컨볼루션 커널의 사이즈 및 사전 설정된 스텝 크기에 따라, 상기 제1 반전 조작 후 래스터 행렬에서 각 래스터 서브 행렬을 선택하는 단계; 선택된 각 상기 래스터 서브 행렬에 대해, 해당 래스터 서브 행렬을 상기 가중치 행렬과 곱셈 연산하여 제1 연산 결과를 얻고, 상기 제1 연산 결과를 상기 오프셋과 덧셈 연산하여 제2 연산 결과를 얻는 단계; 각 상기 래스터 서브 행렬에 대응하는 제2 연산 결과를 기반으로, 첫번째 컨볼루션 연산 후 래스터 행렬을 결정하는 단계를 포함한다.

가능한 실시방식에서, 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 요소에 대해 적어도 한번 침식 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계는, 제3 사전 설정된 컨볼루션 커널을 기반으로 처리할 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻는 단계 - 상기 사전 설정된 희소성은 상기 목표 시나리오에서 인식할 객체의 사이즈 정보로 결정됨 - ; 상기 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을, 상기 인식할 객체에 대응하는 희소 행렬로 결정하는 단계를 포함한다.

가능한 실시방식에서, 상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여 래스터 행렬을 얻는 단계는, 상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 행렬 및 해당 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 얻는 단계를 포함하며, 상기 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치 범위를 결정하는 단계는, 상기 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 기반으로, 생성된 상기 희소 행렬 중 각 목표 요소에 대응하는 목표 포인트의 좌표 정보를 결정하는 단계; 상기 희소 행렬 중 각 상기 목표 요소에 대응하는 목표 포인트의 좌표 정보를 조합하여, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계를 포함한다.

가능한 실시방식에서, 상기 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계는, 훈련된 컨볼루션 신경망을 기반으로, 생성된 상기 희소 행렬 중 각 목표 요소에 대해 적어도 한번 컨볼루션 처리를 수행하여, 컨볼루션 결과를 얻는 단계; 상기 컨볼루션 결과를 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계를 포함한다.

가능한 실시방식에서, 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 후, 상기 포인트 클라우드 데이터 처리 방법은, 상기 검출 결과를 기반으로 상기 레이더 장치가 설치된 스마트 주행 기기를 제어하는 단계를 더 포함한다.

제2 측면에서, 본 발명의 실시예는 포인트 클라우드 데이터 처리 장치를 더 제공하며, 상기 장치는 레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득하는 획득 모듈; 상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 선별 모듈; 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 검출 모듈을 포함한다.

제3 측면에서, 본 발명의 실시예는 프로세서, 메모리 및 버스를 포함하는 컴퓨터 기기를 더 제공하며, 상기 메모리에는 상기 프로세서가 실행 가능한 머신 판독 가능한 명령이 저장되어 있고, 상기 프로세서는, 컴퓨터 기기가 실행될 때 버스를 통해 상기 메모리와 통신하며, 상기 머신 판독 가능한 명령은 상기 프로세서에 의해 실행되면 상술한 제1 측면, 또는 제1 측면 중 어느 한 가능한 실시방식 중 단계를 수행한다.

제4 측면에서, 본 발명의 실시예는 프로세서에 의해 실행되면 상술한 제1 측면, 또는 제1 측면 중 어느 한 가능한 실시방식 중 단계를 수행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장매체를 더 제공한다.

상술한 포인트 클라우드 데이터 처리 장치, 컴퓨터 기기, 및 컴퓨터 판독 가능한 저장매체에 대한 효과 설명은 상술한 포인트 클라우드 데이터 처리 방법의 설명을 참조하면 되므로, 여기서 상세한 설명을 생략한다.

본 발명의 상술한 목적, 특징 및 장점이 더욱 명확해지고 이해하기 쉽도록, 이하 바람직한 실시예를 예로 들어 첨부 도면을 결합하여 상세히 설명한다.

본 발명의 실시예에 따른 기술적 방안을 더 명확하게 설명하기 위하여, 이하 실시예에 사용될 첨부도면을 간단히 소개한다. 이러한 첨부 도면은 본 발명에 부합하는 실시예를 도시하며, 명세서와 함께 본 발명의 기술적 방안을 설명한다. 이해할 것은, 아래의 첨부도면은 단지 본 발명의 일부 실시예를 도시하였을 뿐이며, 이에 따라 범위에 대한 한정으로 간주되어서는 안된다. 통상의 기술자에게 있어서 창조성 노동을 하지 않고 이러한 도면들에 따라 다른 관련된 도면을 획득할 수도 있다.
도 1은 본 발명의 실시예에 의해 제공된 포인트 클라우드 데이터 처리 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 의해 제공된 직육면체의 각 위치 포인트를 도시한 좌표 개략도이다.
도 3은 본 발명의 실시예에 의해 제공된 상기 참조 위치 포인트의 좌표 정보를 결정하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 실시예에 의해 제공된 검출 결과 결정 방법을 도시한 흐름도이다.
도 5a는 본 발명의 실시예 1에 의해 제공된 코딩 전 래스터 행렬을 도시한 개략도이다.
도 5b는 본 발명의 실시예 1에 의해 제공된 희소 행렬을 도시한 개략도이다.
도 5c는 본 발명의 실시예 1에 의해 제공된 코딩 후 래스터 행렬을 도시한 개략도이다.
도 6a는 본 발명의 실시예 1에 의해 제공된 왼쪽으로 이동한 후의 래스터 행렬을 도시한 개략도이다.
도 6b는 본 발명의 실시예 1에 의해 제공된 논리 OR 연산을 도시한 개략도이다.
도 7a는 본 발명의 실시예 1에 의해 제공된 제1 반전 조작 후의 래스터 행렬을 도시한 개략도이다.
도 7b는 본 발명의 실시예 1에 의해 제공된 컨볼루션 연산 후의 래스터 행렬을 도시한 개략도이다.
도 8은 본 발명의 실시예에 의해 제공된 포인트 클라우드 데이터 처리 장치를 도시한 아키텍처 개략도이다.
도 9는 본 발명의 실시예에 의해 제공된 컴퓨터 기기를 도시한 구성 개략도이다.

본 발명의 실시예의 목적, 기술적 방안 및 장점이 더욱 명확해지도록, 이하 본 발명의 실시예 중 도면을 결부하여 본 발명의 실시예 중의 기술적 방안을 명확하고 완전하게 설명한다. 설명된 실시예가 단지 본 발명의 일부 실시예이지 전부 실시예가 아님은 자명하다. 일반적으로 여기의 도면에 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치 및 설계될 수 있다. 따라서, 이하 도면에 제공된 본 발명의 실시예에 대한 상세한 설명은 청구하는 본 발명의 범위를 한정하려는 것이 아니라 본 발명의 선정된 실시예를 나타내는 것에 불과하다. 본 발명의 실시예를 기반으로, 통상의 기술자가 창조성 노동 없이 획득한 모든 다른 실시예는 모두 본 발명의 보호 범위에 속한다.

관련 기술에서, 포인트 클라우드 데이터를 처리할 때, 일반적으로 많은 컴퓨팅 자원이 소모되는데, 수집된 모든 포인트 클라우드 데이터가 필요한 계산 결과에 작용하는 것이 아니고, 일부 불필요한 포인트 클라우드 데이터가 계산 과정에 참여하므로, 컴퓨팅 자원의 낭비를 초래한다.

이를 기반으로, 본 발명은 포인트 클라우드 데이터 처리 방법 및 장치를 제공하며, 목표 시나리오에 대응하는 유효 감지 범위 정보를 기반으로 목표 시나리오에서 레이더 장치에 의해 수집된 처리할 포인트 클라우드 데이터를 선별하되, 선별된 목표 포인트 클라우드 데이터는 목표 시나리오에서 유효한 포인트 클라우드 데이터이므로, 선별된 포인트 클라우드 데이터를 기반으로, 목표 시나리오에서 검출 및 계산을 수행하여, 계산량을 줄이고, 계산 효율 및 목표 시나리오에서 컴퓨팅 자원의 이용률을 향상시킬 수 있다.

이상의 방안에 존재하는 결점은 모두 발명자가 실천을 거쳐 자세히 연구하여 얻은 결과이므로, 상술한 문제의 발견 과정 및 이하 본 발명에서 상술한 문제에 대해 제출된 해결방안은 모두 발명자가 본 발명의 과정에서 본 발명에 대한 공헌이다.

주의할 것은, 유사한 부호 및 자모는 아래의 도면에서 유사한 항목을 나타내므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 더 정의 및 해석될 필요가 없다.

본 실시예에 대한 이해를 돕기 위하여, 먼저 본 발명의 실시예에 의해 개시된 포인트 클라우드 데이터 처리 방법을 상세히 소개한다. 본 발명의 실시예에 의해 제공된 포인트 클라우드 데이터 처리 방법의 수행 주체는 일반적으로 일정한 계산 능력이 구비된 컴퓨터 기기이며, 상기 컴퓨터 기기는 예를 들어 단말 기기 또는 서버 또는 다른 처리 기기를 포함하고, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 개인 디지털 비서(Personal Digital Assistant, PDA), 컴퓨팅 기기, 차량 탑재 기기 등 일 수 있다. 일부 가능한 구현방식에서, 상기 포인트 클라우드 데이터 처리 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령을 호출하는 방식으로 구현될 수 있다.

도 1을 참조하면, 본 발명의 실시예는 포인트 클라우드 데이터 처리 방법을 제공하며, 상기 방법은 101 단계 내지 103 단계를 포함한다.

101 단계: 레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득한다.

102 단계: 상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별한다.

103 단계: 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는다.

이하, 상술한 101 단계 내지 103 단계를 상세히 소개한다.

상기 레이더 장치는 스마트 주행 기기에 배치될 수 있으며, 스마트 주행 기기의 주행 과정에, 레이더 장치는 스캔을 수행하여 처리할 포인트 클라우드 데이터를 획득할 수 있다.

상기 유효 감지 범위 정보는 기준 좌표계에서 각 좌표 차원에서의 좌표 임계치를 포함할 수 있으며, 상기 기준 좌표계는 3 차원 좌표계이다.

예시적으로, 유효 감지 범위 정보는 직육면체를 구성하는 설명 정보일 수 있다. 예를 들어, 해당 설명 정보는 해당 직육면체의 길이, 폭, 높이가 기준 좌표계에서 각 좌표 차원에서의 좌표 임계치일 수 있으며, x축 방향의 최대치 x_max 및 최소치 x_min, y축 방향의 최대치 y_max 및 최소치 y_min, 및 z축 방향의 최대치 z_max 및 최소치 z_min를 포함한다.

예시적으로, 도 2는 x축 방향의 최대치 x_max 및 최소치 x_min, y축 방향의 최대치 y_max 및 최소치 y_min, 및 z축 방향의 최대치 z_max 및 최소치 z_min로 구성된 직육면체의 각 위치 포인트의 좌표를 도시하며, 좌표 원점은 직육면체의 왼쪽 하단 정점일 수 있으며, 그 좌표 값은 (x_min, y_min, z_min)이다.

다른 가능한 실시방식에서, 유효 감지 범위 정보는 구체, 정육면체 등의 설명 정보일 수도 있다. 예를 들어, 구체의 반지름 또는 정육면체의 길이, 폭, 높이만 제공한다. 구체적인 유효 감지 범위 정보는 실제 응용 시나리오에 따라 설명될 수 있으며, 본 발명은 이에 대해 제한하지 않는다.

구체적인 실시에서, 레이더 장치의 스캔 범위가 제한되어 있기 때문에(예를 들어, 제일 먼 스캔 거리는 200 미터), 유효 감지 범위가 처리할 포인트 클라우드 데이터에 대한 제약을 보장하기 위하여, 유효 감지 범위에 대한 제약 조건을 사전 설정할 수 있다. 예시적으로, x_max, y_max, z_max의 값을 모두 200 미터보다 작거나 같은 것으로 설정할 수 있다.

가능한 응용 시나리오에서, 포인트 클라우드 데이터 기반 계산은 포인트 클라우드 기반 3 차원 공간 정보 계층별 학습 네트워크(VoxelNet)와 같은 포인트 클라우드 데이터에 대응하는 공간 복셀을 기반으로 한 연산이므로, 이러한 응용 시나리오에서, 기준 좌표계에서 각 좌표 차원에서의 기준 레이더 스캔 포인트의 좌표 임계치를 제한하는 경우, 각 좌표 차원에서의 기준 레이더 스캔 포인트의 공간 복셀의 개수가 공간 복셀 임계치를 초과하지 않도록 제한할 수도 있다.

예시적으로, 각 좌표 차원에서의 공간 복셀 개수는 아래의 공식으로 계산할 수 있다.

N_x = (x_max - x_min) / x_gridsize,

N_y = (y_max - y_min) / y_gridsize,

N_z = (z_max - z_min) / z_gridsize.

여기서, x_gridsize, y_gridsize, z_gridsize는 각각 사전 설정된 각 차원에 대응하는 해상도를 나타내고, N_x는 x축 방향의 공간 복셀 수를 나타내고, N_y는 y축 방향의 공간 복셀 수를 나타내고, N_z는 z축 방향의 공간 복셀 수를 나타낸다.

다른 가능한 응용 시나리오에서, 포인트 클라우드 데이터 기반 계산은 포인트 클라우드 기반 쾌속 목표 검출 프레임워크(PointPillars)와 같은 평면도 면적 범위 내의 포인트 클라우드 데이터를 기반으로 계산하는 알고리즘일 수도 있으므로, 평면 상 복셀 면적, 예를 들어 N_x*N_y의 값을 제한할 수 있다.

가능한 실시방식에서, 상기 목표 시나리오에 대응하는 유효 감지 범위 정보를 결정하는 경우, 실험을 기반으로 사전에 획득한 유효 감지 범위 정보를 획득할 수 있으며, 해당 유효 감지 범위 정보는 목표 시나리오에서 사전 설정되고 고정불변한 값으로 될 수 있으며, 해당 유효 감지 범위 정보도 상술한 제한 조건을 따른다.

다른 가능한 실시방식에서, 목표 시나리오에 대응하는 유효 감지 범위 정보를 결정하는 경우, 처리 기기의 컴퓨팅 자원 정보를 먼저 획득한 후, 상기 컴퓨팅 자원 정보를 기반으로, 상기 컴퓨팅 자원 정보에 매칭되는 상기 유효 감지 범위 정보를 결정할 수도 있다.

상기 컴퓨팅 자원 정보는 중앙 처리 장치(CPU)의 메모리, 그래픽 프로세서(GPU)의 그래픽 메모리, 현장 프로그래머블 게이트 어레이(FPGA)의 컴퓨팅 자원 중 적어도 하나의 정보를 포함한다.

구체적으로, 컴퓨팅 자원 정보를 기반으로 컴퓨팅 자원 정보에 매칭되는 유효 감지 범위 정보를 결정하는 경우, 각 레벨의 컴퓨팅 자원 정보와 유효 감지 범위 정보 간의 대응 관계를 사전에 설정한 후, 본 발명에 의해 제공된 방법을 서로 다른 전자 기기에 적용할 때, 해당 대조 관계를 기반으로 해당 전자 기기의 컴퓨팅 자원 정보에 매칭되는 유효 감지 범위 정보를 검색하거나, 전자 기기의 컴퓨팅 자원 정보의 변화를 검출하면, 유효 감지 범위 정보를 동적으로 조정할 수 있다.

컴퓨팅 자원 정보가 중앙 처리 장치(CPU)의 메모리를 포함하는 것을 예로 들면, 각 레벨의 컴퓨팅 자원 정보와 유효 감지 범위 정보의 대응 관계는 아래의 표 1에 나타낸 바와 같을 수 있다.

CPU의 메모리 레벨	유효 감지 범위 정보
저급	x_max1, x_min1, y_max1, y_min1, z_max1, z_min1
중급	x_max2, x_min2, y_max2, y_min2, z_max2, z_min2
고급	x_max3, x_min3, y_max3, y_min3, z_max3, z_min3

상술한 각 레벨의 컴퓨팅 자원 정보와 유효 감지 범위 정보의 대응 관계는 사전에 실험 테스트를 통해 얻은 것일 수 있다. [68] 이러한 방식을 통해, 동일한 목표 시나리오에서 처리할 포인트 클라우드 데이터를 처리하는 서로 다른 전자 기기를 위해 서로 다른 유효 감지 범위 정보를 결정할 수 있으며, 이에 따라 서로 다른 전자 기기에 적용될 수 있다.

가능한 실시방식에서, 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별할 때, 먼저 유효 감지 범위 정보를 기반으로 유효 좌표 범위를 결정한 후, 유효 좌표 범위를 기반으로 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별할 수 있다.

여기서, 유효 감지 범위 정보 및 유효 좌표 범위가 모두 고정되고 변하지 않는 경우, 유효 좌표 범위가 유효 감지 범위 정보의 변경에 따라 변경될 수 있는 경우의 두 경우를 포함할 수 있다.

첫번째 경우에 있어서, 예시적으로, 유효 감지 범위 정보는 직육면체의 설명 정보일 수 있으며, 직육면체의 길이, 폭, 높이를 포함하고, 레이더 장치를 직육면체의 체대각선의 교차점으로 한다. 직육면체의 체대각선 교차점의 위치가 변하지 않으면 직육면체는 고정되고 변하지 않으며, 직육면체 내의 좌표 범위는 유효 좌표 범위이므로, 유효 좌표 범위도 고정되고 변하지 않는다.

두번째 경우에 있어서, 유효 감지 범위 정보를 기반으로 유효 좌표 범위를 결정하는 경우, 상기 유효 감지 범위 내에서 기준 위치 포인트의 위치 정보, 및 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 기반으로, 상기 목표 시나리오에 대응하는 유효 좌표 범위를 결정할 수 있다.

예시적으로, 유효 감지 범위 정보는 직육면체의 설명 정보일 수 있으며, 기준 위치 포인트는 직육면체의 체대각선의 교차점일 수 있으면, 기준 위치 포인트의 변경에 따라, 서로 다른 목표 시나리오에서 유효 감지 범위 정보도 변경되므로, 대응하는 유효 좌표 범위도 변경된다.

목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보는 목표 시나리오에 대응하는 레이더 좌표계에서 기준 위치 포인트의 좌표 정보일 수 있으며, 상기 레이더 좌표계는 목표 시나리오에서 포인트 클라우드 데이터를 수집하기 위한 레이더 장치를 좌표 원점으로 설정된 3 차원 좌표계이다.

상기 유효 감지 범위 정보가 직육면체의 설명 정보이면, 기준 위치 포인트는 직육면체의 체대각선의 교차점일 수 있고, 유효 감지 범위 정보가 구체의 설명 정보이면, 기준 위치 포인트는 구체의 구심이거나, 기준 위치 포인트는 유효 감지 범위 정보 내의 어느 한 기준 레이더 스캔 포인트일 수 있다.

구체적인 실시에서, 상기 유효 감지 범위 내에서 기준 위치 포인트의 위치 정보, 및 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 기반으로, 상기 목표 시나리오에 대응하는 유효 좌표 범위를 결정하는 경우, 레이더 좌표계에서 상기 기준 위치 포인트의 좌표 정보를 기반으로, 상기 유효 감지 범위 정보 중 기준 좌표계에서 각 좌표 차원에서의 좌표 임계치를 상기 레이더 좌표계에서 각 좌표 차원에서의 좌표 임계치로 변환할 수 있다.

구체적으로, 기준 위치 포인트는 기준 좌표계에서 대응하는 제1 좌표 정보를 가질 수 있고, 레이더 좌표계에서 대응하는 제2 좌표 정보를 가질 수 있으며, 기준 위치 포인트의 제1 좌표 정보 및 제2 좌표 정보를 기반으로, 기준 좌표계와 레이더 좌표계 간의 변환 관계를 결정할 수 있으며, 해당 변환 관계를 기반으로, 상기 유효 감지 범위 정보 중 기준 레이더 스캔 포인트가 기준 좌표계에서 각 좌표 차원에서의 좌표 임계치를 상기 레이더 좌표계에서 각 좌표 차원에서의 좌표 임계치로 변환할 수 있다.

다른 가능한 실시방식에서, 먼저 유효 감지 범위 정보 중 기준 좌표계에서 기준 레이더 스캔 포인트의 각 좌표 차원에서의 좌표 임계치에 대응하는 임계치 좌표 포인트와 기준 위치 포인트 간의 상대적 위치 관계를 결정한 후, 해당 상대적 위치 관계를 기반으로, 유효 감지 범위 정보 중 기준 레이더 스캔 포인트가 기준 좌표계에서 각 좌표 차원에서의 좌표 임계치가 레이더 좌표계에서 각 좌표 차원에서의 좌표 임계치를 결정할 수 있다.

여기서, 기준 위치 포인트의 좌표 정보가 변경된 후, 기준 위치 포인트의 좌표 정보를 기반으로 결정된 유효 감지 범위 정보 중 기준 레이더 스캔 포인트가 레이더 좌표계에서 각 좌표 차원에서의 좌표 임계치도 상응하게 변경된다. 즉 목표 시나리오에 대응하는 유효 좌표 범위도 변경되므로, 기준 위치 포인트의 좌표 정보를 제어하여, 서로 다른 목표 시나리오 중 유효 좌표 범위에 대한 제어를 구현할 수 있다.

가능한 실시방식에서, 상기 유효 좌표 범위를 기반으로 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 경우, 대응하는 좌표 정보가 상기 유효 좌표 범위 내에 있는 레이더 스캔 포인트를 상기 목표 포인트 클라우드 데이터의 레이더 스캔 포인트로 할 수 있다.

구체적으로, 레이더 스캔 포인트를 저장할 때, 레이더 스캔 포인트의 3 차원 좌표 정보를 저장한 후, 레이더 스캔 포인트의 3 차원 좌표 정보를 기반으로, 해당 레이더 스캔 포인트가 유효 좌표 범위 내에 있는지 여부를 판단할 수 있다.

예시적으로, 레이더 스캔 포인트의 3 차원 좌표 정보가 (x, y, z)이면, 해당 레이더 스캔 포인트가 목표 포인트 클라우드 데이터의 레이더 스캔 포인트인지 여부를 판단할 때, 상기 레이더 스캔 포인트의 3 차원 좌표 정보가 아래의 조건을 충족하는지 여부를 판단할 수 있다.

x_min<x<x_max이고 y_min<y<y_max이고 z_min<z<z_max이다.

이하, 구체적인 응용 시나리오를 결합하여, 상술한 포인트 클라우드 데이터 처리 방법의 응용을 전개하여 소개한다. 가능한 실시방식에서, 상술한 포인트 클라우드 데이터 처리 방법은 자율주행 시나리오에 응용될 수 있다.

가능한 응용 시나리오에서, 스마트 주행 기기에는 레이더 장치가 설치되어 있으며, 기준 위치 포인트의 좌표 정보를 결정할 때, 도 3에 도시된 바와 같은 방법을 통해 상기 기준 위치 포인트의 좌표 정보를 결정할 수 있으며, 해당 방법은 301 단계 내지 303 단계를 포함한다.

301 단계: 상기 레이더 장치가 설치된 스마트 주행 기기의 위치 정보를 획득한다.

스마트 주행 기기의 위치 정보를 획득할 때, 예를 들어 위치항법장치(Global Positioning System, GPS)를 기반으로 획득할 수 있으며, 본 발명은 스마트 주행 기기의 위치 정보를 획득할 수 있는 다른 방식에 대해 제한하지 않는다.

302 단계: 상기 스마트 주행 기기의 위치 정보를 기반으로 상기 스마트 주행 기기가 위치한 도로의 도로 유형을 결정한다.

구체적인 실시에서, 스마트 주행 기기가 주행할 수 있는 범위 내의 각 도로의 도로 유형을 사전에 설정할 수 있다. 상기 도로 유형은 예를 들어 사거리, T자형 교차로, 고속도로, 주차장 등을 포함할 수 있다. 상기 스마트 주행 기기의 위치 정보를 기반으로 상기 스마트 주행 기기가 위치한 도로를 결정할 수 있으며, 그 후 사전 설정된 스마트 주행 기기가 주행할 수 있는 범위 내의 각 도로의 도로 유형에 따라, 스마트 주행 기기가 위치한 도로의 도로 유형을 결정할 수 있다.

303 단계: 상기 도로 유형에 매칭되는 기준 위치 포인트의 좌표 정보를 획득한다.

서로 다른 도로 유형이 중점적으로 처리해야 할 포인트 클라우드 데이터의 위치는 다를 수 있다. 예를 들어, 스마트 주행 기기가 고속도로에 위치하면, 스마트 주행 기기가 처리해야 할 포인트 클라우드 데이터는 스마트 주행 기기 전방의 포인트 클라우드 데이터일 수 있고, 스마트 주행 기기가 사거리에 위치하면, 스마트 주행 기기가 처리해야 할 포인트 클라우드 데이터는 스마트 주행 기기 주변의 포인트 클라우드 데이터일 수 있다. 따라서, 서로 다른 도로 유형에 매칭되는 기준 위치 포인트의 좌표 정보를 사전에 설정하여, 서로 다른 도로 유형에서 포인트 클라우드 데이터의 선별을 구현할 수 있다.

여기서, 스마트 주행 기기는 서로 다른 도로 유형의 도로에 위치하는 경우 처리해야 하는 포인트 클라우드 데이터도 서로 다를 수 있으므로, 도로 유형에 매칭되는 기준 위치 포인트의 좌표 정보를 획득하여, 스마트 주행 기기를 위해 현재 위치한 도로 유형에 맞는 유효 좌표 범위를 결정하여, 대응하는 도로 유형에서 포인트 클라우드 데이터를 선별함으로써, 포인트 클라우드 데이터를 선별하는 정확도를 향상시킬 수 있다.

가능한 실시방식에서, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별한 후, 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻고, 검출 결과를 기반으로, 레이더 장치가 설치된 스마트 주행 기기를 제어할 수도 있다.

예시적으로, 목표 포인트 클라우드 데이터를 선별한 후, 선별된 목표 포인트 클라우드 데이터를 기반으로, 스마트 주행 기기의 주행 과정에서 인식할 객체(예를 들어, 장애물일 수 있음)에 대한 검출을 구현할 수 있으며, 검출 결과를 기반으로, 레이더 장치가 설치된 스마트 주행 기기의 주행을 제어할 수 있다.

스마트 주행 기기의 주행을 제어하는 것은 스마트 주행 기기의 가속, 감속, 조향, 제동 등을 제어하는 것일 수 있다.

103 단계에 대해, 가능한 실시방식에서, 검출 결과는 목표 시나리오에서 인식할 객체의 위치를 포함하며, 이하 구체적인 실시예를 결합하여 목표 포인트 클라우드 데이터를 검출하는 과정을 전개하여 상세히 설명한다. 도 4를 참조하면, 본 발명의 실시예는 검출 결과 결정 방법을 제공하며, 아래의 몇몇 단계들을 포함한다.

401 단계: 상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여 래스터 행렬을 얻으며, 상기 래스터 행렬 중 각 요소의 값은, 대응하는 래스터에 목표 포인트가 존재하는지 여부를 나타낸다. 여기서, 목표 포인트 클라우드 데이터에 대응하는 포인트를 목표 포인트로 칭한다.

402 단계: 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 인식할 객체에 대응하는 희소 행렬을 생성한다.

403 단계: 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정한다.

본 발명의 실시예에서, 목표 포인트 클라우드 데이터에 대해, 먼저 래스터화 처리를 수행한 후, 래스터화 처리에서 얻어진 래스터 행렬에 대해 희소 처리를 수행하여, 희소 행렬을 생성할 수 있다. 여기서, 래스터화 처리의 과정은 공간 분포의, 각 목표 포인트를 포함하는 목표 포인트 클라우드 데이터를 설정된 래스터 내에 매핑하고, 래스터에 대응하는 목표 포인트를 기반으로 래스터 코딩(0-1 행렬에 대응함)을 수행하는 과정일 수 있다. 희소 처리의 과정은 목표 시나리오에서 인식할 객체의 사이즈 정보를 기반으로 상술한 0-1 행렬에 대해 팽창 처리 조작(0-1 행렬 중 1로 표시된 요소를 증가하는 처리 결과에 대응함)을 수행하거나 침식 처리 조작(0-1 행렬 중 1로 표시된 요소를 감소하는 처리 결과에 대응함)을 수행하는 과정일 수 있다. 다음으로, 상술한 래스터화 처리의 과정 및 희소 처리의 과정을 더 설명한다.

여기서, 상술한 래스터화 처리 과정에서, 데카르트 연속 실수 좌표계에 분포된 목표 포인트들은 래스터화 이산 좌표계로 변환될 수 있다.

상술한 래스터화 처리 과정에 대한 이해를 돕기 위해, 다음으로 하나의 실예를 결합하여 구체적으로 설명한다. 본 발명의 실시예는 포인트 A (0.32m, 0.48m), 포인트 B (0.6m, 0.4801m) 및 포인트 C (2.1m, 3.2m) 등 목표 포인트를 포함하고, 1m를 래스터 폭으로 래스터화 처리를 수행하며, (0m, 0m) 내지 (1m, 1m)의 범위는 제1 래스터에 대응하고, (0m, 1m) 내지 (1m, 2m)의 범위는 제2 래스터에 대응하며, 이와 같이 유추된다. 래스터화된 A' (0, 0), B' (0, 0)는 모두 제1행, 제1열의 래스터에 있고, C' (2, 3)은 제2행, 제3열의 래스터에 있을 수 있으며, 이에 따라 데카르트 연속 실수 좌표계에서 이산 좌표계로의 변환을 구현할 수 있다. 목표 포인트에 관한 좌표 정보는 기준 데이터 포인트(예를 들어, 포인트 클라우드 데이터를 수집하는 레이더 기기가 위치한 위치)에 의해 결정되며, 여기서 상세한 설명을 생략한다.

본 발명의 실시예에서 2 차원 래스터화를 수행할 수도 있고, 3 차원 래스터화를 수행할 수도 있다. 3 차원 래스터화는 2 차원 래스터화에 비해 2 차원 래스터화를 기초로 높이 정보를 추가한다. 다음으로, 2 차원 래스터화를 예로 구체적으로 설명한다.

2 차원 래스터화의 경우, 유한 공간을 N*M의 래스터로 분할할 수 있으며, 일반적으로 등간격으로 분할하며, 간격 크기를 구성할 수 있다. 이때, 0-1 행렬(즉, 상술한 래스터 행렬)를 사용하여 래스터화된 목표 포인트 클라우드 데이터를 코딩할 수 있으며, 각 래스터는 행번호 및 열번호로 구성된 유일한 좌표로 표시될 수 있다. 해당 래스터에 하나 이상의 목표 포인트가 존재하면, 해당 래스터를 1로 코딩하고, 존재하지 않으면, 0으로 코딩하여, 코딩된 0-1 행렬을 얻을 수 있다.

상술한 방법에 따라 래스터 행렬을 결정한 후, 목표 시나리오의 인식할 객체의 사이즈 정보에 따라, 상술한 래스터 행렬 중 요소에 대해 희소 처리 조작을 수행하여 대응하는 희소 행렬을 생성할 수 있다.

인식할 객체에 관한 사이즈 정보는 사전에 획득된 것일 수 있다. 여기서, 목표 포인트 클라우드 데이터와 함께 수집된 이미지 데이터를 결합하여 인식할 객체의 사이즈 정보를 결정할 수도 있고, 구체적인 응용 시나리오를 기반으로 상술한 인식할 대상의 사이즈 정보를 대략 추정할 수도 있다. 예를 들어, 자율주행분야의 경우, 차량 전방의 물체는 차량일 수 있으며, 통상의 사이즈 정보를 4m×4m로 결정할 수 있다. 이 외에, 본 발명의 실시예는 다른 방식을 기반으로 인식할 객체의 사이즈 정보를 결정할 수도 있으며, 본 발명의 실시예는 이에 대해 구체적으로 제한하지 않는다.

본 발명의 실시예에서, 희소 처리 관련 연산은 래스터 행렬 중 목표 요소(즉, 대응하는 래스터에 목표 포인트가 존재함을 나타내는 요소)에 대해 적어도 한번 팽창 처리 조작을 수행하는 것일 수 있다. 여기서, 팽창 처리 조작은 래스터 행렬의 좌표 범위가 목표 시나리오에서 인식할 객체의 사이즈보다 작은 경우 수행될 수 있다. 즉, 하나 또는 복수 번의 팽창 처리 조작을 통해, 대응하는 래스터에 목표 포인트가 존재함을 나타내는 요소 범위를 레벨별로 확대하여 확대된 요소 범위가 인식할 대상에 매칭되도록 함으로써, 위치의 결정을 구현할 수 있다. 이 외에, 본 발명의 실시예에서, 희소 처리 조작은 래스터 행렬 중 목표 요소에 대해 적어도 한번 침식 처리 조작을 수행하는 것일 수 있다. 여기서, 침식 처리 조작은 래스터 행렬의 좌표 범위가 목표 시나리오에서 인식할 객체의 사이즈보다 큰 경우 수행될 수 있다. 즉, 하나 또는 복수 번의 침식 처리 조작을 통해, 대응하는 래스터에 목표 포인트가 존재함을 나타내는 요소 범위를 레벨별로 축소하여 축소된 요소 범위가 인식할 대상에 매칭되도록 함으로써, 위치의 결정을 구현할 수 있다.

구체적인 응용에서, 한번 팽창 처리 조작, 복수 번 팽창 처리 조작, 한번 침식 처리 조작, 복수 번 침식 처리 조작 중 어느 것을 수행할 것인지는 적어도 한번의 시프트 처리 및 논리 연산 처리를 수행하여 얻어진 희소 행렬의 좌표 범위와 상기 목표 시나리오에서 인식할 객체의 사이즈 간의 차이값이 사전 설정된 임계치 범위에 속하는지에 따른다. 즉, 본 발명에서 적용한 팽창 및 침식 처리 조작은 인식할 객체의 사이즈 정보의 제약을 기반으로 수행되어 결정된 희소 행렬이 나타내는 정보가 인식할 객체의 관련 정보에 더 부합하도록 한다.

이해할 것은, 팽창 처리 조작을 기반으로 하든지 침식 처리 조작을 기반으로 하든지 막론하고, 구현되는 희소 처리의 목적은 모두 생성된 희소 행렬이 인식할 객체의 더 정확한 관련 정보를 나타낼 수 있도록 하기 위함이다.

본 발명의 실시예에서, 상술한 팽창 처리 조작은 시프트 조작 및 논리 OR 조작을 기반으로 구현될 수도 있고, 반전한 후 컨볼루션, 컨볼루션 후 다시 반전하여 구현될 수도 있다. 두 가지 조작은 서로 다른 방법을 적용하였지만, 최종 생성된 희소 행렬의 효과는 일치할 수 있다.

또한, 상술한 침식 처리 조작은 시프트 조작 및 논리 AND 조작을 기반으로 구현될 수도 있고, 직접 컨볼루션 조작을 기반으로 구현될 수도 있다. 마찬가지로, 두 가지 조작은 서로 다른 방법을 적용하였지만, 최종 생성된 희소 행렬의 효과는 일치할 수 있다.

다음으로, 팽창 처리 조작을 예로 도 5a 내지 도 5b에 도시된 희소 행렬을 생성하는 구체적인 실예도를 결합하여, 상술한 희소 행렬의 생성 과정을 더 설명한다.

도 5a는 래스터화 처리 후 얻어진 래스터 행렬(코딩 전에 대응함)의 개략도이며, 해당 래스터 행렬 중 각 목표 요소(충진 효과가 있는 래스터에 대응함)에 대해 8 개 인접 영역의 팽창 조작을 한번 수행하면, 대응하는 희소 행렬 5B를 얻을 수 있다. 알 수 있듯이, 본 발명의 실시예는 5A 중 대응하는 래스터에 목표 포인트가 존재하는 목표 요소에 대해 8 개 인접 영역의 팽창 조작을 수행하여 각 목표 요소가 팽창 후 하나의 요소 집합으로 되도록 하며, 해당 요소 집합에 대응하는 래스터 폭은 인식할 객체의 사이즈에 매칭되는 것일 수 있다.

상술한 8 개 인접 영역의 팽창 조작은 상술한 목표 요소의 횡좌표 또는 종좌표와의 차이의 절대치가 모두 1을 초과하지 않는 요소를 결정하는 과정일 수 있다. 도 5b에 도시된 바와 같이, 래스터 가장자리의 요소를 제외하고, 일반적으로 하나의 요소의 인접 영역 내에 모두 8 개 요소(상술한 요소 집합에 대응함)가 존재하며, 팽창 처리 결과의 입력은 6 개 목표 요소의 좌표 정보일 수 있고, 출력은 해당 목표 요소의 8 개 인접 영역 내의 요소 집합의 좌표 정보일 수 있다.

설명할 것은, 실제 응용에서, 상술한 8 개 인접 영역의 팽창 조작을 수행할 수 있을 뿐만 아니라, 4 개 인접 영역의 팽창 조작을 수행할 수도 있으며, 후자 및 다른 팽창 조작은 여기서 더 구체적으로 제한하지 않는다. 이 외에, 본 발명의 실시예는 복수 번 팽창 조작을 수행할 수도 있다. 예를 들어, 도 5b에 도시된 팽창 결과를 기초로, 팽창 조작을 더 수행하여, 더 큰 요소 집합 범위의 희소 행렬을 얻을 수 있으며, 여기서 상세한 설명을 생략한다.

본 발명의 실시예에서 생성된 희소 행렬을 기반으로, 목표 시나리오에서 인식할 객체의 위치를 결정할 수 있다. 본 발명의 실시예에서 아래의 두 개 측면을 통해 구체적으로 구현할 수 있다.

제1 측면: 여기서 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 기반으로 인식할 객체의 위치 범위를 결정할 수 있으며, 구체적으로 아래의 단계들을 통해 구현될 수 있다.

1 단계: 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 기반으로, 생성된 희소 행렬 중 각 목표 요소에 대응하는 목표 포인트의 좌표 정보를 결정한다.

2 단계: 희소 행렬 중 각 목표 요소에 대응하는 목표 포인트의 좌표 정보를 조합하여, 목표 시나리오에서 인식할 객체의 위치를 결정한다.

여기서, 상술한 래스터화 처리에 관한 관련 설명으로부터 알 수 있듯이, 래스터 행렬 중 각 목표 요소는 복수 개의 목표 포인트에 대응할 수 있으며, 이에 따라 관련 요소와 복수 개의 목표 포인트에 대응하는 목표 포인트 좌표 범위 정보는 사전에 결정된 것일 수 있다. 여기서, 여전히 N*M 차원의 래스터 행렬을 예로 들면, 목표 포인트가 존재하는 목표 요소는 P 개 목표 포인트에 대응할 수 있으며, 각 포인트의 좌표는 (Xi, Yi)이고, i는 0 내지 P-1에 속하고, Xi, Yi는 래스터 행렬에서 목표 포인트의 위치이며, 0<=Xi<N, 0<=Yi<M이다.

이와 같이, 희소 행렬을 생성한 후, 사전 설정된 상술한 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 기반으로 해당 희소 행렬 중 각 목표 요소에 대응하는 목표 포인트의 좌표 정보를 결정할 수 있다. 즉, 역 래스터화의 처리 조작을 수행한다.

설명할 것은, 희소 행렬은 래스터 행렬 중 대응하는 래스터에 목표 포인트가 존재함을 나타내는 요소를 기반으로 희소 처리를 수행하여 얻어진 것이므로, 여기의 희소 행렬 중 목표 요소도 대응하는 래스터에 목표 포인트가 존재하는 요소를 나타낼 수 있다.

상술한 역 래스터화 처리 과정에 대한 이해를 돕기 위해, 다음으로 하나의 실예를 결합하여 구체적으로 설명한다. 여기서 희소 행렬로 지시되는 포인트 A' (0, 0) 및 포인트 B' (0, 0)이 제1행, 제1열 래스터에 위치하고 포인트 C' (2, 3)이 제2행, 제3열의 래스터에 위치하는 것을 예로 들면, 역 래스터화 처리를 수행하는 과정에, 첫번째 래스터 (0, 0)이 그 중심을 이용하여 데카르트 좌표계로 매핑된 후, (0.5m, 0.5m)을 얻을 수 있고, 제2행, 제3열의 래스터 (2, 3)이 그 중심을 이용하여 데카르트 좌표계로 매핑된 후, (2.5m, 3.5m)을 얻을 수 있다. 즉, (0.5m, 0.5m) 및 (2.5m, 3.5m)을 매핑 후 좌표 정보로 결정할 수 있으며, 이에 따라 매핑 후 좌표 정보를 조합하면, 목표 시나리오에서 인식할 객체의 위치를 결정할 수 있다.

본 발명의 실시예는 상술한 희소 행렬과 목표 검출 결과의 근사 관계를 기반으로 인식할 객체의 위치 범위에 대한 결정을 구현할 수 있을 뿐만 아니라, 훈련된 컨볼루션 신경망을 기반으로 인식할 객체의 위치 범위를 결정할 수도 있다.

제2 측면: 본 발명의 실시예는 먼저 훈련된 컨볼루션 신경망을 기반으로, 생성된 희소 행렬에 대해 적어도 한번 컨볼루션 처리를 수행한 후, 컨볼루션 처리에 의해 얻어진 컨볼루션 결과를 기반으로 인식할 객체의 위치 범위를 결정할 수 있다.

컨볼루션 신경망을 이용하여 목표 검출을 구현하는 관련 기술에서는 입력 데이터를 전부 트래버스해야 하며, 입력 포인트의 인접 영역 포인트를 차례로 찾아내 컨볼루션 연산을 수행하고, 마지막에 모든 인접 영역 포인트의 집합을 출력하는 반면, 본 발명의 실시예에 의해 제공된 방법은 희소 행렬 중 목표 요소만을 쾌속적으로 트래버스하여 유효 포인트가 위치한 위치(즉, 0-1 행렬 중 값이 1인 요소)를 찾아 컨볼루션 연산하면 되므로, 컨볼루션 신경망의 계산 과정을 크게 가속화하고, 인식할 객체의 위치 범위를 결정하는 효율을 향상시킨다.

희소 처리 조작이 본 발명의 실시예에 의해 제공된 포인트 클라우드 데이터 처리 방법에 대한 관건적인 작용을 감안하여, 이하 아래의 두 개 측면을 통해 각각 설명할 수 있다.

제1 측면: 희소 처리 조작이 팽창 처리 조작인 경우, 본 발명의 실시예는 시프트 처리 및 논리 연산을 결합하여 구현될 수도 있고, 반전한 후 컨볼루션, 컨볼루션 후 다시 반전하는 것을 기반으로 구현될 수도 있다.

1. 본 발명의 실시예에서, 적어도 한번의 시프트 처리 및 논리 OR 연산을 기반으로 팽창 처리 조작을 한번 또는 복수 번 수행할 수 있다. 구체적인 구현 과정에서, 구체적인 팽창 처리 조작의 횟수는 목표 시나리오에서 인식할 객체의 사이즈 정보를 결합하여 결정할 수 있다.

여기서, 첫번째 팽창 처리 조작에 대해, 대응하는 래스터에 목표 포인트가 존재함을 나타내는 목표 요소에 대해 복수 개의 사전 설정된 방향의 시프트 처리를 수행하여, 대응하는 복수 개의 시프트된 래스터 행렬을 얻은 후, 래스터 행렬 및 첫번째 팽창 처리 조작에 대응하는 복수 개의 시프트된 래스터 행렬에 대해 논리 OR 연산을 수행하여, 첫번째 팽창 처리 조작 후 희소 행렬을 얻을 수 있다. 여기서, 얻어진 희소 행렬의 좌표 범위가 인식할 객체의 사이즈보다 작은지 여부, 그리고 대응하는 차이 값이 충분히 큰지 여부(예를 들어, 사전 설정된 임계치보다 큼)를 판단할 수 있다. 예이면, 상술한 방법에 따라 첫번째 팽창 처리 조작 후 희소 행렬 중 목표 요소에 대해 복수 개의 사전 설정된 방향의 시프트 처리 및 논리 OR 연산을 수행하여, 두번째 팽창 처리 조작 후 희소 행렬을 얻을 수 있으며, 이와 같이 유추되는바, 최신 얻어진 희소 행렬의 좌표 범위와 목표 시나리오에서 인식할 객체의 사이즈 간의 차이 값이 사전 설정된 범위에 속하는 것으로 결정되는 경우, 희소 행렬이 결정된다.

설명할 것은, 희소 행렬은 어느 팽창 처리 조작 후 얻어진 것이든지 막론하고 본질적으로 하나의 0-1 행렬이다. 팽창 처리 조작의 횟수가 증가됨에 따라, 얻어진 희소 행렬 중 대응하는 래스터에 목표 포인트가 존재함을 나타내는 목표 요소의 개수도 증가되며, 0-1 행렬이 매핑하는 래스터는 폭 정보를 구비하므로, 여기서 희소 행렬 중 각 목표 요소에 대응하는 좌표 범위를 이용하여 목표 시나리오에서 인식할 객체의 사이즈에 도달하였는지 여부를 인증할 수 있으며, 이에 따라 후속 목표 검출 응용의 정확도를 향상시킨다.

상술한 논리 OR 연산은 아래의 단계에 따라 구현될 수 있다.

1 단계: 복수 개의 시프트된 래스터 행렬 중에서 하나의 시프트된 래스터 행렬을 선택한다.

2 단계: 금번 팽창 처리 조작 전의 래스터 행렬을 선택된 시프트된 래스터 행렬과 논리 OR 연산하여, 연산 결과를 얻는다.

3 단계: 시프트된 복수 개의 래스터 행렬 중에서 연산에 참여하지 않은 래스터 행렬을 선택하고 선택된 래스터 행렬을 마지막 연산 결과와 논리 OR 연산하는 단계를 모든 래스터 행렬을 선택할 때까지 중복 수행하여, 현재 팽창 처리 조작 후 희소 행렬을 얻는다.

여기서, 먼저 시프트된 복수 개의 래스터 행렬 중에서 하나의 시프트된 래스터 행렬을 선택할 수 있다. 이와 같이, 금번 팽창 처리 조작 전 래스터 행렬을 선택된 시프트된 래스터 행렬과 논리 OR 연산을 수행하여 연산 결과를 얻을 수 있다. 여기서, 시프트된 복수 개의 래스터 행렬 중에서 연산에 참여하지 않은 래스터 행렬을 선택하여 논리 OR 연산에 참여시키는 단계를 모든 시프트된 래스터 행렬을 선택할 때까지 중복 수행하여, 현재 팽창 처리 조작 후 희소 행렬을 얻을 수 있다.

본 발명의 실시예 중 팽창 처리 조작은 목표 요소를 중심으로 하는 4 개 인접 영역의 팽창 조작일 수도 있고, 목표 요소를 중심으로 하는 8 개 인접 영역의 팽창 조작일 수도 있으며, 다른 인접 영역 처리 조작 방식일 수도 있다. 구체적인 응용에서, 인식할 객체의 사이즈 정보를 기반으로 대응하는 인접 영역 처리 조작 방식을 선택할 수 있으며, 여기서 구체적으로 제한하지 않는다.

설명할 것은, 서로 다른 인접 영역 처리 조작 방식에 대해, 대응하는 시프트 처리의 사전 설정된 방향은 동일하지 않다. 4 개 인접 영역의 팽창 조작을 예로 들면, 래스터 행렬을 4 개 사전 설정된 방향에 따라 각각 시프트 처리할 수 있으며, 각각 왼쪽으로 이동, 오른쪽으로 이동, 위로 이동 및 아래로 이동이다. 8 개 인접 영역의 팽창 조작을 예로 들면, 래스터 행렬을 8 개 사전 설정된 방향에 따라 각각 시프트 처리할 수 있으며, 각각 왼쪽으로 이동, 오른쪽으로 이동, 위로 이동, 아래로 이동, 왼쪽으로의 이동을 전제로 하는 위로 이동 및 아래로 이동, 및 오른쪽으로의 이동을 전제로 하는 위로 이동 및 아래로 이동이다. 이 외에, 후속 논리 OR 연산에 적응하기 위하여, 복수 개의 시프트 방향을 기반으로 시프트된 래스터 행렬을 결정한 후, 먼저 논리 OR 연산을 한번 수행한 후, 논리 OR 연산 결과에 대해 복수 개의 시프트 방향의 시프트 조작을 수행한 후, 다음번 논리 OR 연산을 수행할 수 있으며, 이런 식으로 팽창 처리된 희소 행렬을 얻을 때까지 계속된다.

상술한 팽창 처리 조작에 대한 이해를 돕기 위하여, 먼저 도 5a에 도시된 코딩 전 래스터 행렬을 도 5c에 도시된 코딩된 래스터 행렬로 변환한 후, 도 6a 내지 도 6b를 결합하여 첫번째 팽창 처리 조작을 예시적으로 설명할 수 있다.

도 5c에 도시된 래스터 행렬은 0-1 행렬로서, 행렬 중 모든 '1'의 위치는 목표 요소가 위치하는 래스터를 나타낼 수 있고, 행렬 중 모든 '0'은 배경을 나타낼 수 있다.

본 발명의 실시예에서, 먼저 행렬 시프트를 사용하여 0-1 행렬 중 요소 값이 1인 모든 요소의 인접 영역을 결정할 수 있다. 여기서, 4 개의 사전 설정된 방향의 시프트 처리를 정의할 수 있는 바, 각각 왼쪽으로 이동, 오른쪽으로 이동, 위로 이동 및 아래로 이동이다. 왼쪽으로 이동은 도 6a에 도시된 바와 같이, 0-1 행렬 중 요소 값이 1인 모든 요소에 대응하는 열 좌표에서 1을 감한다. 오른쪽으로 이동은 0-1 행렬 중 요소 값이 1인 모든 요소에 대응하는 열 좌표에 1을 더한다. 위로 이동은 0-1 행렬 중 요소 값이 1인 모든 요소에 대응하는 행 좌표에서 1을 감한다. 아래로 이동은 0-1 행렬 중 요소 값이 1인 모든 요소에 대응하는 행 좌표에 1을 더한다.

다음으로, 본 발명의 실시예는 행렬 논리 OR 조작을 사용하여 모든 인접 영역의 결과를 병합할 수 있다. 행렬 논리 OR 조작은, 두 개의 크기가 동일한 0-1 행렬의 입력을 수신한 경우, 두 개 행렬의 동일한 위치의 0-1에 대해 차례로 논리 OR 조작을 수행하여 얻어진 결과로 하나의 신규 0-1 행렬을 구성하여 출력하며, 도 6b에 도시된 것은 하나의 논리 OR 연산의 구체적인 실예이다.

논리 OR 조작을 구현하는 구체적인 과정에서, 왼쪽으로 이동된 래스터 행렬, 오른쪽으로 이동된 래스터 행렬, 위로 이동된 래스터 행렬, 아래로 이동된 래스터 행렬을 차례로 선택하여 논리 OR 연산에 참여시킬 수 있다. 예를 들어, 먼저 래스터 행렬을 왼쪽으로 이동된 래스터 행렬과 논리 OR 연산을 수행할 수 있으며, 얻어진 연산 결과를 다시 오른쪽으로 이동된 래스터 행렬과 논리 OR 연산을 수행할 수 있으며, 얻어진 연산 결과에 대해 다시 위로 이동된 래스터 행렬과 논리 OR 연산을 수행할 수 있으며, 얻어진 연산 결과에 대해, 다시 아래로 이동된 래스터 행렬과 논리 OR 연산을 수행하여, 첫번째 팽창 처리 조작 후 희소 행렬을 얻을 수 있다.

설명할 것은, 상술한 평행 이동된 래스터 행렬에 대한 선택 순서는 단지 하나의 구체적인 실예일 뿐이며, 실제 응용에서, 다른 방식을 결합하여 선택할 수도 있다. 평행 이동 조작의 대칭성을 감안하여, 여기서 위로 이동과 아래로 이동을 선택하여 페어링한 후 논리 OR 연산을 수행하고, 왼쪽으로 이동과 오른쪽 이동을 선택하여 페어링한 후 논리 OR 연산을 수행할 수 있으며, 두 개의 논리 OR 연산은 동기적으로 수행될 수 있어, 계산 시간을 절약할 수 있다.

2. 본 발명의 실시예에서, 컨볼루션 및 2 차의 반전 처리를 결합하여 팽창 처리 조작을 구현할 수 있으며, 구체적으로 아래의 단계를 통해 구현할 수 있다.

1 단계: 금번 팽창 처리 조작 전의 래스터 행렬 중 요소에 대해 제1 반전 조작을 수행하여, 제1 반전 조작 후 래스터 행렬을 얻는다.

2 단계: 제1 사전 설정된 컨볼루션 커널을 기반으로 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻으며, 사전 설정된 희소성은 목표 시나리오에서 인식할 객체의 사이즈 정보에 의해 결정된다.

3 단계: 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬 중 요소에 대해 제2 반전 조작을 수행하여 희소 행렬을 얻는다.

본 발명의 실시예는 반전한 후 컨볼루션, 컨볼루션 후 다시 반전하는 조작을 통해 팽창 처리 조작을 구현할 수 있으며, 얻어진 희소 행렬은 일정한 정도에서 인식할 객체의 관련 정보를 나타낼 수 있다. 이 외에, 상술한 컨볼루션 조작이 후속 목표 검출 등 응용에 적용되는 컨볼루션 신경망과 자동적으로 결합될 수 있는 것을 감안하여, 일정한 정도에서 검출 효율을 향상시킬 수 있다.

본 발명의 실시예에서, 반전 조작은 컨볼루션 연산을 기반으로 구현될 수도 있고 다른 반전 조작 방식을 기반으로 구현될 수도 있다. 후속 응용 네트워크(예를 들어, 목표 검출에 적용되는 컨볼루션 신경망)의 배합을 돕기 위하여, 여기서, 컨볼루션 연산을 적용하여 구체적으로 구현할 수 있으며, 이하 상술한 제1 반전 조작을 구체적으로 설명한다.

여기서, 제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전의 래스터 행렬에서 목표 요소를 제외한 다른 요소에 대해 컨볼루션 연산을 수행하여 제1 반전 요소를 얻을 수 있으며, 제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전 래스터 행렬 중 목표 요소에 대해 컨볼루션 연산을 수행하여 제2 반전 요소를 더 얻을 수 있으며, 상술한 제1 반전 요소 및 제2 반전 요소를 기반으로 제1 반전 조작 후 래스터 행렬을 결정할 수 있다.

제2 반전 조작에 관한 구체적인 과정은 상술한 제1 반전 조작의 구현 과정을 참조하면 되며, 여기서 상세한 설명을 생략한다.

본 발명의 실시예에서, 제1 사전 설정된 컨볼루션 커널을 이용하여 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여 사전 설정된 희소성을 가진 래스터 행렬을 얻을 수 있다. 팽창 처리 조작이 래스터 행렬 중 목표 요소 개수를 증가하는 수단으로 될 수 있으면, 상술한 컨볼루션 연산은 래스터 행렬 중 목표 요소 개수를 감소하는 과정(침식 처리 조작에 대응함)으로 볼 수 있다. 본 발명의 실시예 중 컨볼루션 연산은 제1 반전 조작 후 래스터 행렬에 대해 수행하므로, 반전 조작과 침식 처리 조작을 결합하고 다시 반전 조작을 수행하는 구현은 상술한 팽창 처리 조작의 등가 조작과 등가적이다.

첫번째 컨볼루션 연산에 대해, 제1 반전 조작 후 래스터 행렬을 제1 사전 설정된 컨볼루션 커널과 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻고, 첫번째 컨볼루션 연산 후 래스터 행렬의 희소성이 사전 설정된 희소성에 도달하지 못한 것으로 판단되면, 첫번째 컨볼루션 연산 후 래스터 행렬을 제1 사전 설정된 컨볼루션 커널과 다시 컨볼루션 연산을 수행하여 두번째 컨볼루션 연산 후 래스터 행렬을 얻을 수 있으며, 이런 식으로 사전 설정된 희소성을 가진 래스터 행렬을 결정할 때까지 계속될 수 있다.

상술한 희소성은 래스터 행렬 중 목표 요소와 비 목표 요소의 비율 분포에 따라 결정될 수 있으며, 목표 요소의 비율이 클수록 이가 나타내는 인식할 객체의 사이즈 정보는 크며, 반면, 목표 요소의 비율이 작을수록, 이가 나타내는 인식할 객체의 사이즈 정보는 작으며, 본 발명의 실시예는 비율 분포가 사전 설정된 희소성에 도달하면, 컨볼루션 연산을 정지할 수 있다.

본 발명의 실시예 중 컨볼루션 연산은 한번일 수도 있고 복수 번일 수도 있으며, 여기서 첫번째 컨볼루션 연산의 구체적인 연산 과정을 예로 설명할 수 있으며, 아래와 같은 단계를 포함한다.

1 단계: 첫번째 컨볼루션 연산에 대해, 제1 사전 설정된 컨볼루션 커널의 사이즈 및 사전 설정된 스텝 크기에 따라, 제1 반전 조작 후 래스터 행렬에서 각 래스터 서브 행렬을 선택한다.

2 단계: 선택된 각 래스터 서브 행렬에 대해, 해당 래스터 서브 행렬을 가중치 행렬과 곱셈 연산하여 제1 연산 결과를 얻고, 제1 연산 결과를 오프셋과 덧셈 연산하여 제2 연산 결과를 얻는다.

3 단계: 각 래스터 서브 행렬에 대응하는 제2 연산 결과를 기반으로, 첫번째 컨볼루션 연산 후 래스터 행렬을 결정한다.

여기서, 트래버스 방식으로 제1 반전 조작 후 래스터 행렬을 트래버스할 수 있으며, 이에 따라 트래버스된 각 래스터 서브 행렬에 대해, 래스터 서브 행렬을 가중치 행렬과 곱셈 연산하여, 제1 연산 결과를 얻고, 제1 연산 결과를 오프셋과 덧셈 연산하여 제2 연산 결과를 얻을 수 있으며, 이에 따라 각 래스터 서브 행렬에 대응하는 제2 연산 결과를 대응하는 행렬 요소에 조합하면, 첫번째 컨볼루션 연산 후 래스터 행렬을 얻을 수 있다.

상술한 팽창 처리 조작에 대한 이해를 돕기 위하여, 여기서 여전히 도 5c에 도시된 코딩 후 래스터 행렬을 예로, 도 7a 내지 도 7b를 결합하여 팽창 처리 조작을 예시적으로 설명한다.

여기서, 하나의 1*1의 컨볼루션 커널(즉, 제2 사전 설정된 컨볼루션 커널)을 이용하여 제1 반전 조작을 구현할 수 있으며, 해당 제2 사전 설정된 컨볼루션 커널의 가중치는 -1이고, 오프셋은 1이며, 이때 가중치 및 오프셋을 컨볼루션 공식 {출력=입력된 래스터 행렬*가중치+오프셋}에 대입하며, 입력이 래스터 행렬 중 목표 요소이면, 그 대응 값은 1이고, 출력=1*-1+1=0이며, 입력이 래스터 행렬 중 비 목표 요소이면, 그 값은 0이고, 출력=0*-1+1=1이다. 따라서, 1*1 컨볼루션 커널이 입력에 작용하여, 0-1 행렬이 반전될 수 있도록 하며, 도 7a에 도시된 바와 같이, 요소 값 0이 1로 되고, 요소 값 1이 0으로 된다.

상술한 침식 처리 조작에 대해, 구체적인 응용에서, 하나의 3*3 컨볼루션 커널(즉, 제1 사전 설정된 컨볼루션 커널) 및 하나의 정류된 선형 유닛(Rectified Linear Unit, ReLU)를 이용하여 구현할 수 있다. 상술한 제1 사전 설정된 컨볼루션 커널 가중치 행렬에 포함된 각 가중치는 모두 1이고 오프셋은 8이다. 따라서, 공식 {출력=ReLU(입력된 제1 반전 조작 후 래스터 행렬*가중치+오프셋)}을 이용하여 상술한 침식 처리 조작을 구현할 수 있다.

여기서, 입력된 3*3의 래스터 서브 행렬 내 모든 요소가 1인 경우, 출력=ReLU(9-8)=1이고, 그렇지 않으면 출력=ReLU(입력된 래스터 서브 행렬*1-8)=0이며, 여기서 (입력된 래스터 서브 행렬*1-8)<0이고, 도 7b에 도시된 것은 컨볼루션 연산 후 래스터 행렬이다.

여기서, 제2 사전 설정된 컨볼루션 커널을 가진 컨볼루션 네트워크를 한 계층 내포할 때마다 침식 조작을 한번 중첩할 수 있으며, 이에 따라 고정된 희소성의 래스터 행렬을 얻을 수 있으며, 다시 반전 조작을 수행하면 한번의 팽창 처리 조작과 등가적일 수 있으며, 이에 따라 희소 행렬의 생성을 구현할 수 있다.

제2 측면: 희소 처리 조작이 침식 처리 조작인 경우, 본 발명의 실시예는 시프트 처리 및 논리 연산을 결합하여 구현될 수도 있고, 컨볼루션 연산을 기반으로 구현될 수도 있다.

1. 본 발명의 실시예에서, 적어도 한번의 시프트 처리 및 논리 AND 연산을 기반으로 침식 처리 조작을 한번 또는 복수 번 수행할 수 있다. 구체적인 구현 과정에서, 구체적인 침식 처리 조작의 횟수는 목표 시나리오에서 인식할 객체의 사이즈 정보를 결합하여 결정할 수 있다.

제1 측면 중 시프트 처리 및 논리 OR 연산을 기반으로 팽창 처리를 구현하는 것과 유사한 것은, 침식 처리 조작을 수행하는 과정에서도 먼저 래스터 행렬의 시프트 처리를 수행할 수 있으며, 상술한 팽창 처리와 다른 것은 여기의 논리 연산은 시프트된 래스터 행렬에 대해 논리 AND 연산을 수행하는 것이다. 시프트 처리 및 논리 AND 연산을 기반으로 침식 처리 조작을 구현하는 관련 과정은 구체적으로 상술한 설명 내용을 참조하면 되며, 여기서 상세한 설명을 생략한다.

마찬가지로, 본 발명의 실시예 중 침식 처리 조작은 목표 요소를 중심으로 하는 4 개 인접 영역의 침식일 수도 있고, 목표 요소를 중심으로 하는 8 개 인접 영역의 침식일 수도 있으며, 다른 인접 영역 처리 조작 방식일 수도 있다. 구체적인 응용에서, 인식할 객체의 사이즈 정보를 기반으로 대응하는 인접 영역의 처리 조작 방식을 선택할 수 있으며, 여기서 구체적으로 제한하지 않는다.

2. 본 발명의 실시예에서, 컨볼루션 처리를 결합하여 침식 처리 조작을 구현할 수 있으며, 구체적으로 아래의 단계를 통해 구현할 수 있다.

1 단계: 제3 사전 설정된 컨볼루션 커널을 기반으로 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻으며, 사전 설정된 희소성은 목표 시나리오에서 인식할 객체의 사이즈 정보에 의해 결정된다.

2 단계: 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을, 인식할 객체에 대응하는 희소 행렬로 결정한다.

상술한 컨볼루션 연산은 래스터 행렬 중 목표 요소 개수를 감소하는 과정, 즉 침식 처리 과정으로 볼 수 있다. 첫번째 컨볼루션 연산에 대해, 래스터 행렬을 제1 사전 설정된 컨볼루션 커널과 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻고, 첫번째 컨볼루션 연산 후 래스터 행렬의 희소성이 사전 설정된 희소성에 도달하지 못한 것으로 판단되면, 첫번째 컨볼루션 연산 후 래스터 행렬을 제3 사전 설정된 컨볼루션 커널과 다시 컨볼루션 연산을 수행하여 두번째 컨볼루션 연산 후 래스터 행렬을 얻을 수 있으며, 이런 식으로 사전 설정된 희소성을 가진 래스터 행렬을 결정할 때까지 계속하면, 인식할 객체에 대응하는 희소 행렬을 얻는다.

본 발명의 실시예에서 컨볼루션 연산은 한번일 수도 있고 복수 번일 수도 있으며, 컨볼루션 연산에 관한 구체적인 과정은 상술한 제1 측면 중 컨볼루션 및 반전을 기반으로 팽창 처리를 구현하는 관련 설명을 참조하면 되며, 여기서 상세한 설명을 생략한다.

설명할 것은, 구체적인 응용에서, 서로 다른 데이터 처리 비트 폭의 컨볼루션 신경망을 적용하여 희소 행렬의 생성을 구현할 수 있다. 예를 들어, 4 비트(bit)로 네트워크의 입력, 출력 및 계산에 사용되는 파라미터(예를 들어 래스터 행렬의 요소 값(0 또는 1), 가중치, 오프셋 등)을 나타낼 수 있다. 이 외에, 네트워크 처리 비트 폭에 적응하고 연산 효율을 향상시키도록, 8 bit로 나타낼 수도 있다.

상술한 방법에 기초하여, 목표 시나리오에 대응하는 유효 감지 범위 정보를 기반으로 목표 시나리오에서 레이더 장치에 의해 수집된 처리할 포인트 클라우드 데이터를 선별하되, 선별된 목표 포인트 클라우드 데이터는 목표 시나리오에서 대응하는 유효 포인트 클라우드 데이터이므로, 선별된 목표 포인트 클라우드 데이터를 기반으로, 목표 시나리오에서 검출 및 계산을 수행하여, 계산량을 줄이고, 계산 효율 및 목표 시나리오에서 컴퓨팅 자원의 이용률을 향상시킬 수 있다.

통상의 기술자는 구체적인 실시방식의 상술한 방법에서 각 단계의 기재 순서가 엄격한 수행 순서를 의미하지 않고, 실시 과정에 대해 어떠한 한정을 구성하는 것이 아니며, 각 단계의 구체적인 수행 순서가 그 기능 및 가능한 내재적 논리로 확정되어야 함을 이해할 수 있다.

동일한 발명 컨셉을 기반으로, 본 발명의 실시예는 포인트 클라우드 데이터 처리 방법에 대응하는 포인트 클라우드 데이터 처리 장치를 더 제공하며, 본 발명의 실시예 중 장치가 문제를 해결하는 원리는 본 발명의 실시예의 상술한 포인트 클라우드 데이터 처리 방법과 유사하므로, 장치의 실시는 방법의 실시를 참조하면 되며, 중복된 내용은 더 설명하지 않는다.

도 8을 참조하면, 도 8은 본 발명의 실시예에 의해 제공된 포인트 클라우드 데이터 처리 장치를 도시한 아키텍처 개략도이며, 상기 장치는 획득 모듈(801), 선별 모듈(802) 및 검출 모듈(803)을 포함하며,

획득 모듈(801)은 레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득하고;

선별 모듈(802)은 상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하며;

검출 모듈(803)은 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는다.

가능한 실시방식에서, 상기 선별 모듈(802)은 또한 아래의 방식에 따라 상기 목표 시나리오에 대응하는 유효 감지 범위 정보를 결정한다.

처리 기기의 컴퓨팅 자원 정보를 획득하고;

상기 컴퓨팅 자원 정보를 기반으로, 상기 컴퓨팅 자원 정보에 매칭되는 상기 유효 감지 범위 정보를 결정한다.

가능한 실시방식에서, 상기 선별 모듈(802)은 상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별할 때,

상기 유효 감지 범위 정보를 기반으로, 유효 좌표 범위를 결정하고;

상기 유효 좌표 범위를 기반으로, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별한다.

가능한 실시방식에서, 상기 선별 모듈(802)은 상기 유효 감지 범위 정보를 기반으로, 유효 좌표 범위를 결정할 때,

상기 유효 감지 범위 내에서 기준 위치 포인트의 위치 정보, 및 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 기반으로, 상기 목표 시나리오에 대응하는 유효 좌표 범위를 결정한다.

가능한 실시방식에서, 상기 선별 모듈(802)은 상기 유효 좌표 범위를 기반으로, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별할 때,

대응하는 좌표 정보가 상기 유효 좌표 범위 내에 있는 레이더 스캔 포인트를 상기 목표 포인트 클라우드 데이터의 레이더 스캔 포인트로 한다.

가능한 실시방식에서, 상기 선별 모듈(802)은 또한 아래의 방식에 따라 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 결정한다.

상기 레이더 장치가 설치된 스마트 주행 기기의 위치 정보를 획득하고;

상기 스마트 주행 기기의 위치 정보를 기반으로 상기 스마트 주행 기기가 위치한 도로의 도로 유형을 결정하며;

상기 도로 유형에 매칭되는 기준 위치 포인트의 좌표 정보를 획득한다.

가능한 실시방식에서, 상기 검출 결과는 상기 목표 시나리오에서 인식할 객체의 위치를 포함하며,

상기 검출 모듈(803)은 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻을 때,

상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여 래스터 행렬을 얻으며 - 상기 래스터 행렬 중 각 요소의 값은, 대응하는 래스터에 목표 포인트가 존재하는지 여부를 나타냄 - ;

상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 인식할 객체에 대응하는 희소 행렬을 생성하고;

생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정한다.

가능한 실시방식에서, 상기 검출 모듈(803)은 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 인식할 객체에 대응하는 희소 행렬을 생성할 때,

상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 목표 요소에 대해 적어도 한번 팽창 처리 조작 또는 침식 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성하며,

상기 목표 요소의 값은, 대응하는 래스터에 상기 목표 포인트가 존재함을 나타낸다.

가능한 실시방식에서, 상기 검출 모듈(803)은 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 목표 요소에 대해 적어도 한번 팽창 처리 조작 또는 침식 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성할 때, 상기 래스터 행렬 중 목표 요소에 대해 적어도 한번 시프트 처리 및 논리 연산 처리를 수행하여, 상기 인식할 객체에 대응하는 희소 행렬을 얻으며, 상기 희소 행렬의 좌표 범위와 상기 목표 시나리오에서 상기 인식할 객체의 사이즈 간의 차이 값은 사전 설정된 임계치 범위 내에 있다.

가능한 실시방식에서, 상기 검출 모듈(803)은 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 요소에 대해 적어도 한번 팽창 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성할 때,

금번 팽창 처리 조작 전의 래스터 행렬 중 요소에 대해 제1 반전 조작을 수행하여, 제1 반전 조작 후 래스터 행렬을 얻고;

제1 사전 설정된 컨볼루션 커널을 기반으로 상기 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻으며 - 상기 사전 설정된 희소성은 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 의해 결정됨 - ;

상기 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬 중 요소에 대해 제2 반전 조작을 수행하여 상기 희소 행렬을 얻는다.

가능한 실시방식에서, 상기 검출 모듈(803)은 금번 팽창 처리 조작 전의 래스터 행렬 중 요소에 대해 제1 반전 조작을 수행하여, 제1 반전 조작 후 래스터 행렬을 얻을 때,

제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전의 래스터 행렬 중의 상기 목표 요소를 제외한 다른 요소에 대해 컨볼루션 연산을 수행하여 제1 반전 요소를 얻고, 제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전 래스터 행렬 중 목표 요소에 대해 컨볼루션 연산을 수행하여 제2 반전 요소를 얻고;

상기 제1 반전 요소 및 상기 제2 반전 요소를 기반으로, 제1 반전 조작 후 래스터 행렬을 얻는다.

가능한 실시방식에서, 상기 검출 모듈(803)은 제1 사전 설정된 컨볼루션 커널을 기반으로 상기 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻을 때,

첫번째 컨볼루션 연산에 대해, 상기 제1 반전 조작 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻고;

지난번 컨볼루션 연산 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 금번 컨볼루션 연산 후 래스터 행렬을 얻는 단계를, 사전 설정된 희소성을 가진 래스터 행렬을 얻을 때까지 중복하여 수행한다.

가능한 실시방식에서, 상기 검출 모듈(803)은 제1 사전 설정된 컨볼루션 커널이 가중치 행렬 및 해당 가중치 행렬에 대응하는 오프셋을 가지며, 첫번째 컨볼루션 연산에 대해, 상기 제1 반전 조작 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻을 때,

첫번째 컨볼루션 연산에 대해, 제1 사전 설정된 컨볼루션 커널의 사이즈 및 사전 설정된 스텝 크기에 따라, 상기 제1 반전 조작 후 래스터 행렬에서 각 래스터 서브 행렬을 선택하고;

선택된 각 상기 래스터 서브 행렬에 대해, 해당 래스터 서브 행렬을 상기 가중치 행렬과 곱셈 연산하여 제1 연산 결과를 얻고, 상기 제1 연산 결과를 상기 오프셋과 덧셈 연산하여 제2 연산 결과를 얻으며;

각 상기 래스터 서브 행렬에 대응하는 제2 연산 결과를 기반으로, 첫번째 컨볼루션 연산 후 래스터 행렬을 결정한다.

가능한 실시방식에서, 상기 검출 모듈(803)은 상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 요소에 대해 적어도 한번 침식 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성할 때,

제3 사전 설정된 컨볼루션 커널을 기반으로 처리할 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻으며 - 상기 사전 설정된 희소성은 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 의해 결정됨 - ;

상기 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을, 상기 인식할 객체에 대응하는 희소 행렬로 결정한다.

가능한 실시방식에서, 상기 검출 모듈(803)은 상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여 래스터 행렬을 얻을 때,

상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 행렬 및 해당 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 얻는다.

상기 검출 모듈(803)은 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치 범위를 결정할 때,

상기 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 기반으로, 생성된 상기 희소 행렬 중 각 목표 요소에 대응하는 목표 포인트의 좌표 정보를 결정하고;

상기 희소 행렬 중 각 상기 목표 요소에 대응하는 목표 포인트의 좌표 정보를 조합하여, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정한다.

가능한 실시방식에서, 상기 검출 모듈(803)은 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정할 때,

훈련된 컨볼루션 신경망을 기반으로, 생성된 상기 희소 행렬 중 각 목표 요소에 대해 적어도 한번 컨볼루션 처리를 수행하여, 컨볼루션 결과를 얻고;

상기 컨볼루션 결과를 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정한다.

가능한 실시방식에서, 상기 장치는 제어 모듈(804)을 더 포함하고, 제어 모듈(804)은 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻은 후, 상기 검출 결과를 기반으로, 상기 레이더 장치가 설치된 스마트 주행 기기를 제어할 때,

상술한 장치를 기반으로, 목표 시나리오에 대응하는 유효 감지 범위 정보를 기반으로 목표 시나리오에서 레이더 장치에 의해 수집된 처리할 포인트 클라우드 데이터를 선별하되, 선별된 목표 포인트 클라우드 데이터는 목표 시나리오에서 대응하는 목표 포인트 클라우드 데이터이므로, 선별된 포인트 클라우드 데이터를 기반으로, 목표 시나리오에서 검출 및 계산을 수행하여, 계산량을 줄이고, 계산 효율 및 목표 시나리오에서 컴퓨팅 자원의 이용률을 향상시킬 수 있다.

장치 중 각 모듈의 처리 흐름, 및 각 모듈 간의 상호작용 흐름의 설명은 상술한 방법 실시예 중 관련 설명을 참조할 수 있으며, 여기서 상세한 설명을 생략한다.

동일한 기술적 컨셉을 기반으로, 도 9에 도시된 바와 같이, 본 발명의 실시예는 프로세서(901), 메모리(902) 및 버스(903)를 포함하는 컴퓨터 기기를 더 제공한다. 메모리(902)는 실행 명령을 저장하기 위한 내부 메모리(9021) 및 외부 메모리(9022)를 포함한다. 여기서, 내부 메모리(9021)은 내부 메모리라고도 하며, 프로세서(901) 중 연산 데이터, 및 하드 디스크 등 외부 메모리(9022)와 교환하는 데이터를 임시 저장하며, 프로세서(901)는 내부 메모리(9021)을 통해 외부 메모리(9022)와 데이터 교환을 수행하며, 전자 기기(900)가 실행되는 경우, 프로세서(901)는 메모리(902)와 버스(903)를 통해 통신하여 프로세서(901)가

레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득하는 명령;

상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 명령;

상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 명령을 수행하도록 한다.

본 발명의 실시예는 프로세서에 의해 실행되는 경우 상술한 방법 실시예에서 설명된 포인트 클라우드 데이터 처리 방법을 수행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장매체를 더 제공한다. 해당 저장매체는 휘발성 또는 비 휘발성 컴퓨터 판독 가능한 저장매체일 수 있다.

본 발명의 실시예에 의해 제공된 포인트 클라우드 데이터 처리 방법의 컴퓨터 프로그램 제품은, 상술한 방법 실시예에서 설명된 포인트 클라우드 데이터 처리 방법을 수행할 수 있는 명령을 포함하는 프로그램 코드가 저장된 컴퓨터 판독 가능한 저장매체를 포함하며, 구체적으로 상술한 방법 실시예를 참조할 수 있으며, 여기서 상세한 설명을 생략한다.

본 발명의 실시예는 프로세서에 의해 실행되는 경우 전술한 실시예의 어느 한 방법을 구현하는 컴퓨터 프로그램을 더 제공한다. 해당 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 선택적인 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장매체로 구현된다. 다른 선택적인 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK)와 같은 소프트웨어 제품으로 구현될 수 있다.

본 분야의 기술자는 상기에서 설명된 시스템 및 장치의 구체적인 동작 과정이 설명의 편리와 간결을 위하여 전술한 방법 실시예 중 대응하는 과정을 참조하면 되는 것을 명확히 이해할 수 있으므로 여기서 상세한 설명을 생략한다. 본 발명에 의해 제공된 몇몇 실시예에서, 개시된 시스템, 장치 및 방법이 다른 방식으로 구현될 수 있음을 이해해야 한다. 이상에서 설명된 장치 실시예는 예시적일 뿐이다. 예를 들어, 상기 유닛의 구분은 논리 기능적 구분일 뿐이며 실제 구현시 다른 구분 방식이 있을 수 있다. 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 결합되거나 다른 한 시스템에 집적되거나 일부 특징은 간략되거나 수행되지 않을 수 있다. 또한, 나타내거나 토론한 상호 간의 커플링, 직접적 커플링 또는 통신 연결은 일부 통신 인터페이스, 장치 또는 유닛에 의한 간접적 커플링 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형식일 수 있다.

상기 분리된 컴포넌트로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수도 있으며, 유닛으로 나타낸 컴포넌트는 물리적 유닛일 수도 있고 아닐 수도 있는바, 즉 한 곳에 위치하거나 복수 개의 네트워크 유닛에 분산될 수도 있다. 실제 수요에 따라 그 중의 일부 또는 전부 유닛을 선택하여 본 실시예에 따른 방안의 목적을 이룰 수 있다.

또한, 본 발명의 각 실시예 중 각 기능 유닛은 하나의 처리 유닛에 집적되거나 각 유닛이 단독으로 물리적으로 존재할 수도 있으며 둘 또는 그 이상의 유닛이 하나의 유닛에 집적될 수도 있다.

상기 기능은 소프트웨어 기능 유닛의 형식으로 구현되고 독립된 제품으로 판매 또는 사용시, 하나의 컴퓨터에 의해 실행 가능한 비 휘발성 컴퓨터 판독 가능한 저장매체에 저장될 수 있다. 이러한 이해를 기반으로, 본 발명의 기술적 방안은 기본적으로 또는 종래 기술에 공헌을 이바지하는 부분 또는 해당 기술적 방안의 일부는 소프트웨어 제품의 형식으로 구현될 수 있으며, 해당 컴퓨터 소프트웨어 제품은 저장매체에 저장되며, 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등 일 수 있음)가 본 발명의 각 실시예에 따른 상기 방법의 전부 또는 일부 단계를 실행하도록 여러 개의 명령을 포함한다. 전술한 저장매체는 USB 메모리, 모바일 하드 디스크, 롬(Read-Only Memory, ROM), 램(Random Access Memory, RAM), 디스켓 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

마지막으로 설명할 것은, 상술한 실시예는 단지 본 발명의 구체적인 실시방식이며, 본 발명의 기술적 방안을 설명하기 위한 것이지, 이에 대해 제한하지 않으며, 본 발명의 보호 범위는 여기에 한정되지 않는다. 본 발명은 전술한 실시예를 참조하여 상세히 설명되었지만, 본 분야의 당업자는 본 발명에 개시된 기술적 범위 내에서 여전히 전술한 실시예에 기재된 기술적 방안을 수정하거나 변화를 쉽게 생각할 수 있거나, 기술적 특징의 일부 또는 전체를 동등하게 교체할 수 있으며, 이러한 수정, 변경 또는 교체가 해당 기술적 방안의 본질이 본 발명의 각 실시예에 따른 기술적 방안의 정신과 범위에서 벗어나게 하지 않으며, 본 발명의 보호범위 내에 있음을 이해해야 한다. 따라서, 본 발명의 보호범위는 하기 청구항의 보호범위를 기준으로 해야 한다.

Claims (20)

1. 포인트 클라우드 데이터 처리 방법으로서,
   레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득하는 단계;
   상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계;
   상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 단계를 포함하는 포인트 클라우드 데이터 처리 방법.
2. 제1항에 있어서,
   상기 목표 시나리오에서 상기 처리할 포인트 클라우드 데이터를 처리하는 처리 기기의 컴퓨팅 자원 정보를 획득하고; 상기 컴퓨팅 자원 정보를 기반으로 상기 컴퓨팅 자원 정보에 매칭되는 상기 유효 감지 범위 정보를 결정하는 방식으로,
   상기 목표 시나리오에 대응하는 상기 유효 감지 범위 정보를 결정하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
3. 제1항 또는 제2항에 있어서,
   상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계는,
   상기 유효 감지 범위 정보를 기반으로, 유효 좌표 범위를 결정하는 단계;
   상기 유효 좌표 범위를 기반으로, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
4. 제3항에 있어서,
   상기 유효 감지 범위 정보를 기반으로, 유효 좌표 범위를 결정하는 단계는,
   상기 유효 감지 범위 내에서 기준 위치 포인트의 위치 정보 및 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 기반으로, 상기 목표 시나리오에 대응하는 유효 좌표 범위를 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
5. 제3항에 있어서,
   상기 유효 좌표 범위를 기반으로, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 단계는,
   상기 처리할 포인트 클라우드 데이터 중에서 좌표 정보가 상기 유효 좌표 범위 내에 있는 각 레이더 스캔 포인트를 상기 목표 포인트 클라우드 데이터의 레이더 스캔 포인트로 하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
6. 제4항에 있어서,
   상기 레이더 장치가 설치된 스마트 주행 기기의 위치 정보를 획득하고; 상기 스마트 주행 기기의 위치 정보를 기반으로 상기 스마트 주행 기기가 위치한 도로의 도로 유형을 결정하며; 상기 도로 유형에 매칭되는 기준 위치 포인트의 좌표 정보를 획득하여 상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보로 하는 방식으로,
   상기 목표 시나리오에서 상기 기준 위치 포인트의 좌표 정보를 결정하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
7. 제1항에 있어서,
   상기 검출 결과는 상기 목표 시나리오에서 인식할 객체의 위치를 포함하며, 상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 단계는,
   상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여 래스터 행렬을 얻는 단계 - 상기 래스터 행렬 중 각 요소의 값은, 대응하는 래스터에 목표 포인트가 존재하는지 여부를 나타냄 - ;
   상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계;
   생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
8. 제7항에 있어서,
   상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계는,
   상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 목표 요소에 대해 적어도 한번 팽창 처리 조작 또는 침식 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계를 포함하며,
   상기 목표 요소의 값은, 대응하는 래스터에 상기 목표 포인트가 존재함을 나타내는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
9. 제8항에 있어서,
   상기 팽창 처리 조작 또는 침식 처리 조작은 시프트 처리 및 논리 연산 처리를 포함하고,
   상기 희소 행렬의 좌표 범위와 상기 인식할 객체의 사이즈 간의 차이 값은 사전 설정된 임계치 범위 내에 있는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
10. 제8항에 있어서,
    상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 요소에 대해 적어도 한번 팽창 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계는,
    금번 팽창 처리 조작 전의 래스터 행렬 중 요소에 대해 제1 반전 조작을 수행하여, 제1 반전 조작 후 래스터 행렬을 얻는 단계;
    제1 사전 설정된 컨볼루션 커널을 기반으로 상기 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻는 단계;
    상기 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬 중 요소에 대해 제2 반전 조작을 수행하여 상기 희소 행렬을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
11. 제10항에 있어서,
    상기 금번 팽창 처리 조작 전의 래스터 행렬 중 요소에 대해 제1 반전 조작을 수행하여, 제1 반전 조작 후 래스터 행렬을 얻는 단계는,
    제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전의 래스터 행렬 중의 상기 목표 요소를 제외한 다른 요소에 대해 컨볼루션 연산을 수행하여 제1 반전 요소를 얻는 단계;
    제2 사전 설정된 컨볼루션 커널을 기반으로, 금번 팽창 처리 조작 전 래스터 행렬 중 목표 요소에 대해 컨볼루션 연산을 수행하여 제2 반전 요소를 얻는 단계;
    상기 제1 반전 요소 및 상기 제2 반전 요소를 기반으로, 제1 반전 조작 후 래스터 행렬을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
12. 제10항 또는 제11항에 있어서,
    상기 제1 사전 설정된 컨볼루션 커널을 기반으로 상기 제1 반전 조작 후 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻는 단계는,
    첫번째 컨볼루션 연산에 대해, 상기 제1 반전 조작 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻는 단계;
    지난번 컨볼루션 연산 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 금번 컨볼루션 연산 후 래스터 행렬을 얻는 단계를, 상기 사전 설정된 희소성을 가진 래스터 행렬을 얻을 때까지 중복하여 수행하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
13. 제12항에 있어서,
    상기 제1 사전 설정된 컨볼루션 커널은 가중치 행렬 및 해당 가중치 행렬에 대응하는 오프셋을 가지며; 상기 첫번째 컨볼루션 연산에 대해, 상기 제1 반전 조작 후 래스터 행렬과 상기 제1 사전 설정된 컨볼루션 커널에 대해 컨볼루션 연산을 수행하여 첫번째 컨볼루션 연산 후 래스터 행렬을 얻는 단계는,
    첫번째 컨볼루션 연산에 대해, 제1 사전 설정된 컨볼루션 커널의 사이즈 및 사전 설정된 스텝 크기에 따라, 상기 제1 반전 조작 후 래스터 행렬에서 각 래스터 서브 행렬을 선택하는 단계;
    선택된 각 상기 래스터 서브 행렬에 대해, 해당 래스터 서브 행렬을 상기 가중치 행렬과 곱셈 연산하여 제1 연산 결과를 얻는 단계;
    상기 제1 연산 결과를 상기 오프셋과 덧셈 연산하여 제2 연산 결과를 얻는 단계;
    각 상기 래스터 서브 행렬에 대응하는 제2 연산 결과를 기반으로, 첫번째 컨볼루션 연산 후 래스터 행렬을 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
14. 제8항에 있어서,
    상기 래스터 행렬 및 상기 목표 시나리오에서 인식할 객체의 사이즈 정보에 따라, 상기 래스터 행렬 중 요소에 대해 적어도 한번 침식 처리 조작을 수행하여 상기 인식할 객체에 대응하는 희소 행렬을 생성하는 단계는,
    제3 사전 설정된 컨볼루션 커널을 기반으로 처리할 래스터 행렬에 대해 적어도 한번 컨볼루션 연산을 수행하여, 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을 얻는 단계;
    상기 적어도 한번의 컨볼루션 연산 후의 사전 설정된 희소성을 가진 래스터 행렬을, 상기 인식할 객체에 대응하는 희소 행렬로 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
15. 제7항 내지 제14항 중 어느 한 항에 있어서,
    상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여 래스터 행렬을 얻는 단계는,
    상기 목표 포인트 클라우드 데이터에 대해 래스터화 처리를 수행하여, 래스터 행렬 및 해당 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 얻는 단계를 포함하며,
    상기 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치 범위를 결정하는 단계는,
    상기 래스터 행렬 중 각 요소와 각 목표 포인트 좌표 범위 정보 간의 대응 관계를 기반으로, 생성된 상기 희소 행렬 중 각 목표 요소에 대응하는 목표 포인트의 좌표 정보를 결정하는 단계;
    상기 희소 행렬 중 각 상기 목표 요소에 대응하는 목표 포인트의 좌표 정보를 조합하여, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
16. 제7항 내지 제15항 중 어느 한 항에 있어서,
    상기 생성된 상기 희소 행렬을 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계는,
    훈련된 컨볼루션 신경망을 기반으로, 생성된 상기 희소 행렬 중 각 목표 요소에 대해 적어도 한번 컨볼루션 처리를 수행하여, 컨볼루션 결과를 얻는 단계;
    상기 컨볼루션 결과를 기반으로, 상기 목표 시나리오에서 상기 인식할 객체의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 후, 상기 포인트 클라우드 데이터 처리 방법은,
    상기 검출 결과를 기반으로 상기 레이더 장치가 설치된 스마트 주행 기기를 제어하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
18. 포인트 클라우드 데이터 처리 장치로서,
    레이더 장치에 의해 목표 시나리오에서 스캔되여 얻은 처리할 포인트 클라우드 데이터를 획득하는 획득 모듈;
    상기 목표 시나리오에 대응하는 유효 감지 범위 정보에 따라, 상기 처리할 포인트 클라우드 데이터 중에서 목표 포인트 클라우드 데이터를 선별하는 선별 모듈;
    상기 목표 포인트 클라우드 데이터를 검출하여 검출 결과를 얻는 검출 모듈을 포함하는 포인트 클라우드 데이터 처리 장치.
19. 프로세서, 메모리 및 버스를 포함하는 컴퓨터 기기로서,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 머신 판독 가능한 명령을 저장하고,
    상기 프로세서는 컴퓨터 기기가 실행될 때 상기 버스를 통해 상기 메모리와 통신하여 상기 머신 판독 가능한 명령을 실행하여 제1항 내지 제17항 중 어느 한 항의 포인트 클라우드 데이터 처리 방법을 수행하는 컴퓨터 기기.
20. 프로세서로 하여금 제1항 내지 제17항 중 어느 한 항의 포인트 클라우드 데이터 처리 방법을 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장매체.

Images