KR101836304B1

KR101836304B1 - 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치

Info

Publication number: KR101836304B1
Application number: KR1020160107521A
Authority: KR
Inventors: 보 리; 티엔레이 장; 티엔 시아; 지 타오; 위안칭 린
Original assignee: 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date: 2016-01-27
Filing date: 2016-08-24
Publication date: 2018-03-08
Also published as: US10229330B2; CN107025642A; IL247446A0; JP6364049B2; DE102016116818A1; SE541962C2; JP2017134814A; KR20170089743A; SE1651131A1; US20170213093A1; CN107025642B; IL247446B

Abstract

본 발명은 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치를 개시한다. 상기 방법은, 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하는 단계; 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하되, 라벨은 각 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것인 단계; 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하는 단계; 및 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계를 포함한다. 상기 실시예는 차량 윤곽의 정확한 검출을 실현한다.

Description

포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치{METHOD AND DEVICE FOR DETECTING VEHICLE CONTOUR BASED ON POINT CLOUD DATA}

본 발명은 컴퓨터 기술분야에 관한 것으로, 구체적으로는 차량 검출 기술분야에 관한 것이고, 특히는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치에 관한 것이다.

경제가 발전하고 및 생활 수준이 향상함에 따라, 차량은 필수적인 통근 수단으로 되었고 점차적으로 수많은 가정에 진입하게 된다. 그러나, 이에 수반된 운전 안전 문제는 흩어지지 않는 먹구름처럼 행복한 생활의 맑은 하늘을 가리고 있다. 공안부 데이터에 따르면 중국에서의 2010년도의 교통 사고 사망자 수는 65,225명에 달하고, WHO모델의 예측에 따르면 약 275,983명에 달하는 바, 이는 매일 한차례의 대형 비행기 사고가 발생하는 것에 맞먹는다. 교통 사고로 인한 전세계 사상자 수는 매 년 13차례 911 테러 사건이 발생하는 것에 맞먹는다.

과학기술이 발달한 현대사회에서 사람들은 당연히 재난의 연속적인 발생을 간과할 수 없다. 안전 운전에 대한 희망은 이미 사회적인 지지를 얻어 정부와 시장의 추동하에 자동차 안전 기술의 번영의 시대는 시작되었다. 거시적인 분류로부터 말하자면, 자동차 안전 기술은 패시브 세이프티(passive safety)와 액티브 세이프티(active safety) 두가지로 나뉜다. 패시브 세이프티는 충돌 발생 후 어떻게 손해를 최소로 하강시킬 것인가 하는 기술로서, 주요하게는 자동차 구조, 안전벨트, 접층식 방풍 유리, 접이식 조향축, 에어백 등 설계이나, 충돌 후 보호받는 기계를 트리거하기에 사고를 방지하는 정도가 한정되는 것을 초래한다. 액티브 세이프티는 사전 조기 경보하여 충돌을 방지하는 기술로서, 주요하게는 운전자 주변 환경의 감지, 이해, 결책과 제어로서, 예를 들면 차선이탈 경고(Lane Departure Warning, LDW)이다. 이에 비하면, 액티브 세이프티는 그 사전성과 차량 설계가 약한 것 등과 관련되는 장점이 있고, 광범한 연구를 불러일으 켰으며, 운전 보조 시스템(Advanced Driver Assistance System, ADAS) 이라는 제품의 형식으로 대중들과 대면하였다.

차량 검출 기술은 액티브 세이프티의 관건적인 기술이다. 기존의 기술적 해결수단은 대부분 단일 시각 기술을 사용하는 바, 이미지 중 특징을 매칭하는 방법으로써 차량을 검출하므로, 검출한 차량의 공간 위치와 자태가 정확하지 않을 수도 있다. 또한 레이저 포인트 클라우드를 입력하는 기술적 해결수단으로서, 형태와 포인트 클라우드의 밀집 정도 등 특징을 통해 취합한 후 차량을 검출하며, 이러한 방법은 대량의 수공 조절을 필요로 하여 응용 정경 변화에 대한 적응성이 비교적 낮다.

본 발명은 상기 배경기술에서 제기된 문제를 해결하기 위한 개선된 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치를 제공하고자 한다.

제1 양태에서, 본 발명은 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법을 제공하며, 상기 방법은, 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하는 단계; 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하되, 라벨은 각 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이고, 상기 라벨 데이터는 차량 윤곽에 해당하는지에 대한 정보를 포함하는 단계; 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하는 단계; 및 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계를 포함한다.

일부 실시예에 있어서, 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하는 단계는, 포인트 클라우드 데이터 수집 장치로 수집한 트레이닝하고자 하는 3차원 데이터를 맵핑하여 트레이닝하고자 하는 깊이 맵을 생성하는 단계를 포함하되, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 트레이닝하고자 하는 포인트 클라우드 데이터 중 트레이닝하고자 하는 3차원 데이터에 일일이 대응되는 각 포인트이다.

일부 실시예에 있어서, 각 트레이닝하고자 하는 3차원 데이터 D(x, y, z)는 포인트 클라우드 데이터 수집 장치를 원점으로 하여, 수직 상향 방향을 z축으로 하고, 수평면 내에서 수직되는 임의의 2개의 축을 각각 x축과 y축의 좌표계 중의 좌표값으로 하며, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 좌표는 (r, c)이고, 각 픽셀 포인트의 수치는 (d, z)이며, 여기서,

이고;

θ는 각 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제1 평면 사이의 협각이고,

는 포인트 클라우드 데이터 수집 장치의 수평 해상도이며, 제1 평면은 y축과 z축으로 이루어진 평면이고; φ는 각 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고,

는 포인트 클라우드 데이터 수집 장치의 수직 해상도이며, 제2 평면은 x축과 y축으로 이루어진 평면이다.

일부 실시예에 있어서, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하는 단계는, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되면, 차량 윤곽에 해당되는 포인트들을 변환하여 26 채널의 2차원 라벨 데이터를 생성하되, 26 채널 중의 제1 채널의 수치는 1이고, 제2 채널의 수치는 0이며, 26 채널 중의 제3~24채널은 각각 트레이닝하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터인 단계; 및 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하되, 2 채널 중의 제1 채널의 수치는 0이고, 제2 채널의 수치는 1인 단계를 포함한다.

일부 실시예에 있어서, 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터(x' _p , y' _p , z' _p )는,

이고;

여기서, R은 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 임의의 한 포인트P(x _i , y _i , z _i )의 회전 행렬이고,

이다.

일부 실시예에 있어서, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하는 단계는, 완전 회선 신경망의 파라미터를 초기화시키는 단계; 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절하되, 손실 함수는 현재 출력과 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에에 대응되는 라벨 데이터 사이의 편차이고, 현재 출력은 현재 트레이닝하고자 하는 포인트 클라우드 데이터 및 완전 회선 신경망의 현재 파라미터에 대응되는 완전 회선 신경망의 출력인 단계; 손실 함수가 최소치일 경우, 손실 함수에 대응되는 파라미터를 차량 검출 모델의 파라미터로서 출력하는 단계; 상기 손실 함수가 최소치가 아니면, 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절하는 단계를 반복하여 수행하는 단계를 포함한다.

일부 실시예에 있어서, 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계는, 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터를 맵핑하여 검출하고자 하는 깊이 맵을 생성하되, 검출하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 검출하고자 하는 포인트 클라우드 데이터 중 검출하고자 하는 3차원 데이터에 일일이 대응되는 각 검출하고자 하는 포인트인 단계; 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터에서 각 검출하고자 하는 포인트의 예측 결과를 획득하되, 예측 결과는 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률을 포함하는 단계; 및 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 크면, 검출하고자 하는 포인트가 차량 윤곽에 해당된다고 확정하는 단계를 포함한다.

일부 실시예에 있어서, 예측 결과는 검출하고자 하는 포인트의 위치 정보를 더 포함하고, 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계는, 검출하고자 하는 포인트 클라우드 데이터에서 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 큰 제1 검출하고자 하는 포인트를 획득하여 제1 검출하고자 하는 포인트 집합을 형성하는 단계; 및 제1 검출하고자 하는 포인트 집합 중의 각 검출하고자 하는 포인트의 위치 정보에 기반하여 검출하고자 하는 포인트 클라우드 데이터에 대응되는 차량 공간 위치 정보를 생성하는 단계를 더 포함한다.

제2 양태에 있어서, 본 발명은 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치을 더 제공하며, 상기 장치는, 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하도록 구성되는 획득 모듈; 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하도록 구성되되, 라벨은 각 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이고, 상기 라벨 데이터는 차량 윤곽에 해당하는지에 대한 정보를 포함하는 라벨 데이터 생성 모듈; 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하도록 구성되는 트레이닝 모듈; 및 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여, 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하도록 구성되는 검출 모듈을 포함한다.

일부 실시예에 있어서, 획득 모듈은, 포인트 클라우드 데이터 수집 장치로 수집한 트레이닝하고자 하는 3차원 데이터를 맵핑하여 트레이닝하고자 하는 깊이 맵을 생성하도록 구성되되, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 트레이닝하고자 하는 포인트 클라우드 데이터 중 트레이닝하고자 하는 3차원 데이터에 일일이 대응되는 각 포인트이다.

일부 실시예에 있어서, 각 트레이닝하고자 하는 3차원 데이터 D(x, y, z)는 포인트 클라우드 데이터 수집 장치를 원점으로 하고, 수직 상향 방향을 z축으로 하고, 수평면 내에서 수직되는 임의의 2개의 축을 각각 x축과 y축의 좌표계 중의 좌표값으로 하며, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 좌표는 (r, c)이고, 각 픽셀 포인트의 수치는 (d, z)이며, 여기서,

이고;

는 포인트 클라우드 데이터 수집 장치의 수평 해상도이며, 제1 평면은 y축과 z축으로 이루어진 평면이고, φ는 각 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고,

일부 실시예에 있어서, 라벨 데이터 생성 모듈은, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되면, 차량 윤곽에 해당되는 포인트들을 변환하여 26 채널의 2차원 라벨 데이터를 생성하고, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하도록 더 구성되되, 26 채널 중의 제1 채널의 수치는 1이고, 제2 채널의 수치는 0이며, 26 채널 중의 제3~24채널은 각각 트레이닝하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터이며, 2 채널 중의 제1 채널의 수치는 0이고, 제2 채널의 수치는 1이다.

이고;

이다.

일부 실시예에 있어서, 트레이닝 모듈은, 완전 회선 신경망의 파라미터를 초기화하시키고, 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절하고, 손실 함수가 최소치일 경우, 손실 함수에 대응되는 파라미터를 차량 검출 모델의 파라미터로서 출력하고, 상기 손실 함수가 최소치가 아니면, 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절하는 단계를 반복하여 수행하도록 더 구성되되, 손실 함수는 현재 출력과 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차이고, 현재 출력은 현재 트레이닝하고자 하는 포인트 클라우드 데이터 및 완전 회선 신경망의 현재 파라미터에 대응되는 완전 회선 신경망의 출력이다.

일부 실시예에 있어서, 검출 모듈은, 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터를 맵핑하여 검출하고자 하는 깊이 맵을 생성하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터에서 각 검출하고자 하는 포인트의 검출하고자 하는 포인트의 예측 결과를 획득하고, 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 크면, 검출하고자 하는 포인트가 차량 윤곽에 해당된다고 확정하도록 더 구성되되, 검출하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 검출하고자 하는 포인트 클라우드 데이터 중 검출하고자 하는 3차원 데이터에 일일이 대응되는 각 검출하고자 하는 포인트이고, 예측 결과는 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률을 포함한다.

일부 실시예에 있어서, 예측 결과는 검출하고자 하는 포인트의 위치 정보를 더 포함하고, 검출 모듈은, 검출하고자 하는 포인트 클라우드 데이터에서 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 큰 제1 검출하고자 하는 포인트를 획득하여 제1 검출하고자 하는 포인트 집합을 형성하고, 제1 검출하고자 하는 포인트 집합 중의 각 검출하고자 하는 포인트의 위치 정보에 기반하여 검출하고자 하는 포인트 클라우드 데이터에 대응되는 차량 공간 위치 정보를 생성하도록 더 구성된다.

본 발명이 제공하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치는, 포인트 클라우드 데이터 수집 장치로 수집한 포인트 클라우드 데이터와 이러한 포인트 클라우드 데이터에 대한 라벨을 통해 완전 회선 신경망 모델을 트레이닝하여 차량 윤곽 검출에 적합한 차량 검출 모델을 획득하고, 상기 차량 검출 모델로 포인트 클라우드 데이터에 차량 윤곽이 포함되는지를 판단함으로써, 기존의 2차원 이미지를 이용하여 차량 윤곽을 검출할 경우 차량의 2차원 척도의 변화로 인해 검출이 어려워지고 검출의 오차를 발생시키는 것을 방지한다.

또한, 일부 실시예에 있어서, 본 발명의 해결수단은 차량 윤곽을 검출하는 동시에 차량의 공간 위치 정보를 직접적으로 획득할 수 있으므로, 운행 차량에 대한 무인 운전의 경로 기획 및 제어에 편의를 제공한다.

이하, 첨부된 도면에 도시된 비한정적인 실시예에 대한 상세한 설명을 통하여 본 발명의 기타 특징, 목적 및 장점은 보다 더 명확해질 것이다.
도1은 본 발명이 적용 가능한 예시적 시스템의 체계구조도이다.
도2는 본 발명에 따른 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법의 일 실시예의 흐름도이다.
도3은 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 트레이닝 완전 회선 신경망 모델(fully convolutional neural network model)을 트레이닝하여 차량 검출 모델을 획득하는 도2 중의 일 선택 가능한 구현의 예시적 흐름도이다.
도4는 검출하고자 하는 포인트 클라우드 데이터를 획득하고 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 도2 중의 일 선택 가능한 구현의 예시적 흐름도이다.
도5는 본 발명에 따른 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치의 하나의 실시예의 구조 모식도이다.
도6은 본 발명의 실시예의 단말기 장치 또는 서버를 실현하기에 적합한 컴퓨터 시스템의 구조 모식도이다.

이하 첨부된 도면 및 실시예를 결부시켜 본 발명에 대해 추가로 상세한 설명을 진행하기로 한다. 여기서 설명하는 구체적인 실시예는 단지 관련된 발명을 해석하기 위한 것일 뿐, 본 발명에 대한 한정이 아님을 자명할 것이다. 또한, 설명의 편리를 위하여 첨부된 도면에는 단지 발명과 관련된 부분만 도시도었음을 이해하여야 한다.

본 발명 중의 실시예 및 실시예 중의 특징들은 상호 모순되지 않는 한 서로 조합될수 있음을 이해하여야 한다. 이하 첨부된 도면을 참조함과 아울러 실시예를 결부시켜 본 발명에 대한 상세한 설명을 진행하기로 한다.

도1은 본 발명의 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법 또는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치의 실시예가 적용 가능한 예시적 시스템 체계구조(100)을 도시한다.

도1에 도시된 바와 같이, 시스템 체계구조(100)는 단말기 장치(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말기 장치(101, 102, 103)와 서버(105) 사이에서 통신 링크를 제공하는 매체이다. 네트워크(104)는 유선, 무선 통신 링크 또는 광섬유 케이블 등과 같은 각종 연결 유형을 포함할 수 있다.

사용자는 단말기 장치(101, 102, 103)를 사용하여 네트워크(104)와 서버(105)를 교호시킴으로써 메세지 등을 수신하거나 송신할 수 있다.

일부 응용 정경에 있어서, 단말기 장치(101, 102, 103)는 포인트 클라우드 데이터를 수집하는 기능을 구비하는 임의의 전자 기기일 수 있다. 예를 들면, 단말기 장치(101, 102, 103)는 3차원 레이저 스캐너일 수 있다.

또는, 기타 일부 응용 정경에 있어서, 단말기 장치(101, 102, 103)는 포인트 클라우드 데이터 수집 장치와 데이터 통신을 진행하여 포인트 클라우드 데이터 수집 장치로 수집한 포인트 클라우드 데이터를 획득할 수 있다. 예를 들면, 단말기 장치(101, 102, 103)는 각종 전자 기기일 수 있는 바, 스마트폰, 태블릿PC, 전자책 리더, MP3 플레이어(Moving Picture Experts Group Audio Layer III, 엠페그 오디오 계층-3), MP4(Moving Picture Experts Group Audio Layer IV, 엠페그 오디오 계층-4)플레이어, 랩탑형 컴퓨터와 데스크탑형 컴퓨터 등을 포함하나, 이에 한정되지 않는다.

서버(105)는 각종 서비스를 제공하는 서버일 수 있는 바, 예를 들면 단말기 장치(101, 102, 103)가 획득한 포인트 클라우드 데이터를 처리하고 분석하는 백그라운드 서버일 수 있다. 백그라운드 서버는 수신된 포인트 클라우드 데이터에 대해 분석 등 처리를 진행하고, 처리 결과(예컨데 포인트 클라우드 데이터에 차량 윤곽이 포함되어 있는 지의 여부)를 단말기 장치에 피드백할 수 있다.

본 발명의 실시예에서 제공하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법은 서버(105)로 수행되거나 단말기 장치(101, 102, 103)로 수행될 수 있다. 상응하게, 포인트 클라우드 데이터에 가반하는 차량 윤곽 검출 장치는 서버(105)에 설치되거나 단말기 장치(101, 102, 103)에 설치될 수 있음을 설명하고자 한다.

상기로부터 도1 중의 단말기 장치, 네트워크와 서버의 수는 단지 예시적인 것임을 이해해야 한다. 실제 수요에 따라 임의의 수의 단말기 장치, 네트워크와 서버를 구비할 수 있다.

계속하여 도2를 참조하면, 도2는 본 발명에 따른 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법의 일 실시예의 흐름(200)을 도시한다. 상기 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법은 하기와 같은 단계들을 포함한다.

단계(210)에서, 트레이닝하고자 하는 포인트 클라우드 데이터를 획득한다.

본 실시예에 있어서, 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법이 운행되는 전자 기기(예컨데 도1에 도시된 서버 또는 단말기 장치)는 유선 연결 방식 또는 무선 연결 방식을 통해 포인트 클라우드 데이터를 수집하는 기능을 구비하는 장치로부터 포인트 클라우드 데이터를 획득할 수 있다. 상기 무선 연결 방식은 3G/4G 연결, WiFi 연결, 블루투스 연결, WiMAX 연결, Zigbee 연결, UWB(ultra wideband) 연결 및 기타 기존의 또는 미래에 개발될 무선 연결 방식을 포함할 수 있으나 이에 한정되지 않음을 지적하고자 한다.

포인트 클라우드는 동일한 공간 기준계에서 레이저를 이용하여 물체 표면의 각 샘플링 포인트의 공간 좌표를 획득하는 것으로, 목표 공간 분포와 목표 표면 특징을 표달하는 일련의 매시브 포인트의 집합을 획득한다. 즉, 카메라로 촬영한 하나의 이미지와 유사하게, 각 포인트 클라우드는 어느 하나의 정경 화면에 대응될 수 있다. 이 밖에, 포인트 클라우드는 상기 정경 화면 중의 각 물체의 3차원 모델 및 라인, 면, 체 등 각종 정보를 반영할 수 있다.

단계(220)에서, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트의 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하며, 여기서, 라벨은 각 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시할 수 있다.

일부 선택 가능한 구현에 있어서, 인위적인 보조의 방식으로 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대해 라벨링을 진행하여, 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시할 수 있다.

라벨은 각 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이므로, 라벨에 기반하여 생성된 라벨 데이터에는 차량 윤곽에 해당되는지에 대한 정보도 포함되어 있다.

단계(230)에서, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델(fully convolutional neural network model)을 트레이닝하여 차량 검출 모델을 획득한다.

일반적으로, 회선 신경망(Convolutional Neural Network, CNN) 모델의 기본 구조는 2개의 층을 포함하는 바, 첫번째층은 특징 추출층으로서, 각 신경원(Neuron)의 입력을 이전 층의 일부 허용 도메인과 상호 연결시키고 상기 일부 특징을 추출한다. 일단 상기 일부 특징이 추출되면, 상기 일부 특징과 기타 특징 사이의 위치 관계도 확정할 수 있다. 두번째층은 특징 맵핑층으로서, 다수의 특징 맵으로 네트워크의 각 산출층을 구성하되, 각 특징 맵은 하나의 평면이고, 평면 상의 모든 신경원의 가중치와 상등하다.

일부 선택 가능한 구현에 있어서, 트레이닝하고자 하는 포인트 클라우드 데이터를 CNN 모델에 입력하고, CNN 모델의 출력과 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차에 기반하여 CNN 모델의 파라미터를 반복적으로 조절함으로써, 트레이닝 후의 CNN모델의 출력과 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차를 최소화시킨다.

단계(240)에서, 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득한다.

이상의 단계(210) 내지 단계(230)을 통해 차량 검출 모델을 획득할 수 있다. 본 단계(240)에서, 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트를 차량 검출 모델에 입력하면, 상기 검출하고자 하는 포인트 클라우드 데이터에 차량 윤곽이 포함되는지를 검출할 수 있다. 본 실시예의 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법이 3차원의 포인트 클라우드 데이터를 검출 근거로 하므로, 기존의 2차원 이미지를 이용하여 차량 윤곽을 검출할 경우 차량의 2차원 척도의 변화로 인해 검출이 어려워지고 검출의 오차를 발생시키는 것을 방지할 수 있다.

일부 선택 가능한 구현에 있어서, 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하는 단계(210)는 하기의 단계들을 더 포함할 수 있다.

단계(211)에서, 포인트 클라우드 데이터 수집 장치로 수집한 트레이닝하고자 하는 3차원 데이터를 맵핑하여 트레이닝하고자 하는 깊이 맵을 생성하되, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 트레이닝하고자 하는 포인트 클라우드 데이터 중 트레이닝하고자 하는 3차원 데이터에 일일이 대응되는 각 포인트이다.

이러한 선택 가능한 구현의 일부 응용 정경에 있어서, 각 트레이닝하고자 하는 3차원 데이터 D(x, y, z)는 포인트 클라우드 데이터 수집 장치를 원점으로 하고, 수직 상향 방향을 z축으로 하고, 수평면 내에서 수직되는 임의의 2개의 축을 각각 x축과 y축으로 하는 좌표계 중의 좌표값일 수 있다. 트레이닝하고자 하는 3차원 데이터 D에 기반하여 획득한 트레이닝하고자 하는 깊이 맵에서, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 좌표는 (r, c)이고, 각 픽셀 포인트의 수치는 (d, z)이다.

여기서,

(1)

즉, 상기 깊이 맵에서 제r행 제c열의 위치의 수치는 (d, z)이다.

는 포인트 클라우드 데이터 수집 장치의 수평 해상도이며, 제1 평면은 y축과 z축으로 이루어진 평면이다. 즉, θ는 각 트레이닝하고자 하는 3차원 데이터 D가 수직 평면에 대한 "편주각”으로 간주할 수 있다.

φ는 각 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고,

는 포인트 클라우드 데이터 수집 장치의 수직 해상도이며, 제2 평면은 x축과 y축으로 이루어진 평면이다. 즉, φ는 각 트레이닝하고자 하는 3차원 데이터 D가 수평면에 대한 "부앙각”으로 간주할 수 있다.

또한, atan2(y, x)은 x축 과 y축으로 이루어진 좌표 평면에서 좌표 원점을 기점으로 (x, y)점을 지향하는 방사선과 x축 정방향 사이의 협각의 각도를 의미한다.

일부 선택 가능한 구현에 있어서, 트레이닝하고자 하는 포인트 클라우드 데이터 집합 중의 각 트레이닝하고자 하는 포인트 클라우드 데이터에 대한 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하는 단계(220)는 하기의 단계들을 포함할 수 있다.

단계(221)에서, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되면, 차량 윤곽에 해당되는 상기 포인트들을 변환하여 26 채널의 2차원 라벨 데이터를 생성하되, 여기서, 26 채널 중의 제1 채널의 수치는 1이고, 제2 채널의 수치는 0이며, 26 채널 중의 제3~24채널은 각각 트레이닝하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트에 대한 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체의 각 정점의 각 좌표의 회전 벡터이다.

단계(222)에서, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 상기 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하되, 여기서, 2채널 중의 제1 채널의 수치는 0이고, 제2 채널의 수치는 1이다.

즉, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 어느 한 포인트가 차량 윤곽에 해당되는지에 관계 없이, 획득한 2차원 라벨 데이터에서 제1 채널의 수치는 상기 포인트들이 차량 윤곽에 해당되는 확률을 나타내도록 이용될 수 있고, 제2 채널의 수치는 상기 포인트들이 차량 윤곽에 해당되지 않는 확률을 나타내도록 이용될 수 있다. 물론, 제1 채널의 수치와 제2 채널의 수치는 모두 비음수이고, 제1 채널의 수치와 제2 채널의 수치의 합은 1이다.

이러한 선택 가능한 구현의 일부 응용 정경에 있어서, 트레이닝하고자 하는 포인트 클라우드 데이터에는 차량 윤곽에 해당되는지 명확히 확정할 수 없는 일부 포인트들이 포함될 가능성이 존재한다. 이러한 응용 정경에 있어서, 이러한 포인트들에 대응되는 2차원 라벨 데이터 중의 제1 채널과 제2 채널에서 적절한 수치를 설정하여 상기 포인트가 차량 윤곽에 해당되는 가능성을 나타낼 수 있다.

일부 선택 가능한 구현에 있어서, 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터(x' _p , y' _p , z' _p )는 하기의 수학식(2)으로 표현할 수 있다.

구체적으로,

(2)

여기서, R는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 임의의 한 포인트P(x _i , y _i , z _i )의 회전 행렬이고,

이다.

여기서, θ _i 및

는 수학식(1) 중의 θ및

과 유사한 함의를 갖는다. 즉, θ _i는 차량 윤곽에 해당되는 임의의 한 포인트P(x _i , y _i , z _i )와 원점 사이의 연결 라인과 제1 평면 사이의 협각이고, 제1 평면은 y축과 z축으로 이루어진 평면이다.

는 차량 윤곽에 해당되는 임의의 한 포인트P(x _i , y _i , z _i )와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고, 제2 평면은 x축과 y축으로 이루어진 평면이다.

일부 선택 가능한 구현에 있어서, 본 실시예의 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법 중의 단계(230)는 도3에 도시된 흐름(300)으로 더 구현될 수 있다.

단계(310)에서, 완전 회선 신경망의 파라미터를 초기화시킨다.

단계(320)에서, 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절한다.

여기서, 손실 함수는 현재 출력 및 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차일 수 있다. 현재 출력은 현재 트레이닝하고자 하는 포인트 클라우드 데이터 및 완전 회선 신경망의 현재 파라미터에 대응되는 완전 회선 신경망의 출력이다 .

단계(330)에서, 현재 출력에 대응되는 손실 함수가 최소치인지를 판단한다.

현재 출력에 대응되는 손실 함수가 최소치일 경우, 단계(340)에서 편차에 대응되는 파라미터를 차량 검출 모델의 파라미터로서 출력한다.

아니면, 즉 현재 출력에 대응되는 손실 함수가 최소치가 아닐 경우, 손실 함수가 최소치로 될때까지 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절하는 단계(320)를 반복하여 진행한다.

일부 선택 가능한 구현에 있어서, 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계(240)는, 도4에 도시된 바와 같은 흐름(400)으로 더 구현될 수 있다.

단계(410)에서, 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터를 맵핑하여 검출하고자 하는 깊이 맵을 생성하되, 검출하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 검출하고자 하는 포인트 클라우드 데이터 중 검출하고자 하는 3차원 데이터에 일일이 대응되는 각 검출하고자 하는 포인트이다. 일부 선택 가능한 구현에 있어서, 검출하고자 하는 깊이 맵은 상기와 같은 수학식(1)을 통해 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터에 대응되는 검출하고자 하는 깊이 맵을 획득한다.

단계(420)에서, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터에서 각 검출하고자 하는 포인트의 예측 결과를 획득하되, 여기서, 예측 결과는 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률을 포함한다.

단계(430)에서, 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 크면, 검출하고자 하는 포인트가 차량 윤곽에 해당되는 것으로 확정한다.

일부 선택 가능한 구현에 있어서, 예측 결과는 검출하고자 하는 포인트의 위치 정보를 더 포함할 수 있다.

이러한 선택 가능한 구현에 있어서, 흐름(400)은 하기의 단계들을 더 포함할 수 있다.

단계(440)에서, 검출하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 큰 제1 검출하고자 하는 포인트를 획득하여 제1 검출하고자 하는 포인트 집합을 형성한다.

단계(450)에서, 제1 검출하고자 하는 포인트 집합 중 각 검출하고자 하는 포인트의 위치 정보에 기반하여 검출하고자 하는 포인트 클라우드 데이터에 대응되는 차량 공간 위치 정보를 생성한다.

일부 응용 정경에 있어서, 검출하고자 하는 포인트 클라우드 데이터를 차량 검출 모델에 입력한 후 획득한 검출 결과는 트레이닝하고자 하는 포인트 클라우드 데이터가 차량 윤곽에 해당되는 포인트의 2차원 라벨 데이터와 동일한 표현 형식을 구비할 수 있다. 즉, 검출 결과도 26개 채널을 구비하며, 여기서, 첫번째 채널의 수치는 현재의 차량 검출 모델에 기반한 상기 검출하고자 하는 포인트들이 차량 윤곽에 해당되는 확률을 표시하고, 두번째 채널의 수치는 현재의 차량 검출 모델에 기반한 상기 검출하고자 하는 포인트들이 차량 윤곽에 해당되지 않는 확률을 표시한다. 제3~26 채널의 값은 상기 검출하고자 하는 포인트의 공간 위치를 표시할 수 있다.

이러할 경우, 검출하고자 하는 포인트 클라우드 데이터의 검출 결과 중 제1 채널의 수치가 기 설정된 역치보다 큰 검출하고자 하는 포인트를 차량 윤곽에 해당되는 포인트로서 하고, 예를 들면 데이터 융합의 기술을 통해 이러한 차량 윤곽에 해당되는 포인트의 공간 위치에 근거하여 상기 검출하고자 하는 포인트 클라우드 데이터에서 차량이 처한 위치를 복원해낼 수 있다.

본 발명의 상기 실시예에서 제공하는 방법은, 포인트 클라우드 데이터 수집 장치로 수집한 포인트 클라우드 데이터과 이러한 포인트 클라우드 데이터에 대한 라벨을 통해 완전 회선 신경망 모델을 트레이닝하여 차량 윤곽 검출에 적합한 차량 검출 모델을 획득하고, 상기 차량 검출 모델로 포인트 클라우드 데이터 에 차량 윤곽이 포함되는지를 판단함으로써, 기존의 2차원 이미지를 이용하여 차량 윤곽을 검출할 경우 차량의 2차원 척도의 변화로 인해 검출이 어려워지고 검출의 오차를 발생시키는 것을 방지한다.

나아가 도5를 참조하면, 상기 각 도에 도시된 방법의 구현으로, 본 발명은 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치의 일 실시예를 제공하고, 상기 장치 실시예와 도2에 도시된 방법 실시예는 상호 대응되며, 상기 장치는 구체적으로 각종 전자 기기에 적용될 수 있다.

도5에 도시된 바와 같이, 본 실시예의 상기 장치(500)는 획득 모듈(510), 라벨 데이터 생성 모듈(520), 트레이닝 모듈(530) 및 검출 모듈(540)을 포함한다.

여기서, 획득 모듈(510)은 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하도록 구성될 수 있다.

라벨 데이터 생성 모듈(520)은 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트의 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하도록 구성될 수 있으며, 여기서, 라벨은 각 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이다.

트레이닝 모듈(530)은 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하도록 구성될 수 있다.

검출 모듈(540)은 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하도록 구성될 수 있다.

일부 선택 가능한 구현에 있어서, 획득 모듈(510)은 포인트 클라우드 데이터 수집 장치로 수집한 트레이닝하고자 하는 3차원 데이터를 맵핑하여 트레이닝하고자 하는 깊이 맵을 생성하도록 더 구성될 수 있으며, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 트레이닝하고자 하는 포인트 클라우드 데이터 중 트레이닝하고자 하는 3차원 데이터에 일일이 대응되는 각 포인트이다.

일부 선택 가능한 구현에 있어서, 각 트레이닝하고자 하는 3차원 데이터 D(x, y, z)는 포인트 클라우드 데이터 수집 장치를 원점으로 하고, 수직 상향 방향을 z축으로 하며, 수평면 내에서 수직되는 임의의 2개의 축을 각각 x축과 y축의 좌표계 중의 좌표값으로 하고, 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 좌표는 (r, c)이며, 각 픽셀 포인트의 수치는 (d, z)이며, 여기서,

;

는 포인트 클라우드 데이터 수집 장치의 수평 해상도이며, 제1 평면은 y축과 z축으로 이루어진 평면이다. θ는 각 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고,

일부 선택 가능한 구현에 있어서, 라벨 데이터 생성 모듈(520)은 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되면, 차량 윤곽에 해당되는 상기 포인트들을 변환하여 26 채널의 2차원 라벨 데이터를 생성하도록 더 구성될 수 있으며, 여기서, 26 채널 중의 제1 채널의 수치는 1이고, 제2 채널의 수치는 0이며, 26 채널 중의 제3~24채널은 각각 트레이닝하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트에 대한 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체의 각 정점의 각 좌표의 회전 벡터이다. 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 상기 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하도록 더 구성될 수 있으며, 여기서, 2채널 중의 제1 채널의 수치는 0이고, 제2 채널의 수치는 1이다.

일부 선택 가능한 구현에 있어서, 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터(x’ _p , y’ _p , z’ _p )는,

이고;

이다.

일부 선택 가능한 구현에 있어서, 트레이닝 모듈(530)은 완전 회선 신경망의 파라미터를 초기화시키고; 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절하되, 여기서, 손실 함수는 현재 출력과 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차이고, 현재 출력은 현재 트레이닝하고자 하는 포인트 클라우드 데이터 및 완전 회선 신경망의 현재 파라미터에 대응되는 완전 회선 신경망의 출력이며; 현재 출력에 대응되는 손실 함수가 최소치일 경우, 손실 함수에 대응되는 파라미터를 차량 검출 모델의 파라미터로서 출력하고; 상기 손실 함수가 최소치가 아니면, 손실 함수에 기반하여 완전 회선 신경망의 파라미터를 조절하는 단계를 반복하여 수행하도록 더 구성될 수 있다.

일부 선택 가능한 구현에 있어서, 검출 모듈(540)은 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터를 맵핑하여 검출하고자 하는 깊이 맵을 생성하되, 검출하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 검출하고자 하는 포인트 클라우드 데이터 중 검출하고자 하는 3차원 데이터에 일일이 대응되는 각 검출하고자 하는 포인트이며; 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터에서 각 검출하고자 하는 포인트의 예측 결과를 획득하도록 더 구성될 수 있다.

여기서, 예측 결과는 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률을 포함할 수 있으며, 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 크면, 검출하고자 하는 포인트가 차량 윤곽에 해당되는 것으로 확정한다.

이러한 선택 가능한 구현에 있어서, 검출 모듈(540)은 검출하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 큰 제1 검출하고자 하는 포인트를 획득하여 제1 검출하고자 하는 포인트 집합을 형성하며; 제1 검출하고자 하는 포인트 집합 중 각 검출하고자 하는 포인트의 위치 정보에 기반하여 검출하고자 하는 포인트 클라우드 데이터에 대응되는 차량 공간 위치 정보를 생성하도록 더 구성될 수 있다.

상기 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치(500)는 프로세서, 메모리 등과 같은 기타 공지된 구조를 더 포함하나, 본 발명의 실시예를 불필요하게 흐리지 않기 위하여, 도5에서는 이러한 공지된 구조들을 도시하지 않았음을 본 기술분야의 통상의 기술자는 자명할 할 것이다.

이하 도6을 참조하면, 도6은 본 발명의 실시예의 단말기 장치 또는 서버의 실현에 적용되는 컴퓨터 시스템(600)의 구조적 개략도이다.

도6에 도시된 바와 같이, 컴퓨터 시스템(600)은 중앙 처리 유닛(CPU)(601)을 포함하고, 이는 읽기 전용 메모리 장치(ROM)(602)에 저장된 프로그램 또는 저장부(608)로부터 랜덤 액세스 메모리 장치(RAM)(603)에 로딩된 프로그램에 의하여 각종 적당한 동작 및 처리를 실행할 수 있다. RAM(603)에는 시스템(600) 조작에 필요한 각종 프로그램 및 데이터이 더 저장되어 있다. CPU(601), ROM(602) 및 RAM(603)은 버스라인(604)을 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(605)도 버스라인(604)에 연결된다.

I/O 인터페이스(605)에 연결되는 부재로서, 키보드, 마우스 등을 포함하는 입력부(606)와, 예를 들어 음극선관(CRT), 액정 표시 장치(LCD) 등 및 스피커 등을 포함하는 출력부(607)와, 하드 디스크 등을 포함하는 저장부(608)와, 예를 들어 LAN 카드, 모뎀 등의 네트워크 인터페이스 카드를 포함하는 통신부(609)가 포함된다. 통신부(609)는 인터넷과 같은 네트워크를 통하여 통신 처리를 실행한다. 구동부(610)도 수요에 따라I/O 인터페이스(605)에 연결된다. 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 장치 등과 같은 착탈 가능한 매체(611)는 구동부(610)로부터 판독된 컴퓨터 프로그램을 수요에 따라 저장부(608)에 설치하도록 수요에 따라 구동부(610)에 설치된다.

특히, 본 개시의 실시예에 의하면, 흐름도를 참조하여 설명한 상기 과정들은 컴퓨터 소프트웨어 프로그램으로 실현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하고, 기계 판독 가능한 매체에 유형적으로 포함되는 컴퓨터 프로그램을 포함하며, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에 있어서, 상기 컴퓨터 프로그램은 통신부(609)를 경유하여 네트워크로부터 다운로드되어 설치되거나, 및/또는 착탈 가능한 매체(611)로부터 설치될 수 있다.

첨부된 도면 중의 흐름도 및 블록도는 본 출원의 각 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계구조, 기능 및 조작을 도시하였다. 이러한 방면에서, 흐름도 또는 블록도 중의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 코드의 일부분은 규정된 로직 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령을 포함한다. 일부 대체적인 구현에 있어서, 블록에 표기된 기능은 첨부된 도면에 표기된 순서와 다른 순서로 발생할 수도 있음을 주의하여야 한다. 예를 들어, 순차적으로 표시된 두개의 블록은 실제적으로 기본상 동시에 실행될 수 있고, 경우에 따라 반대된 순서에 따라 실행될 수도 있으며, 이는 관련된 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록 및 블록도 및/또는 흐름도 중의 블록의 조합은 규정된 기능 또는 조작에 전용되는 하드웨어를 기반으로 하는 시스템으로 구현되거나, 전용 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있음을 주의하여야 한다.

본 출원에 설명된 관련 유닛은 소프트 웨어의 방식으로 구현되거나 하드 웨어의 방식으로 구현될 수 있다. 설명된 유닛은 프로세서에 설치될 수도 있으며, 예를 들어, 프로세서는 획득 모듈, 라벨 데이터 생성 모듈, 트레이닝 모듈 및 검출 모듈을 포함한다고 설명될 수 있다. 여기서, 이러한 모듈의 명칭은 일부 경우에 해당 모듈 자체에 대한 한정을 구성하지 않으며, 예를 들어, 획득 모듈은 "트레이닝하고자 하는 포인트 클라우드 데이터를 획득하기 위한 모듈"로 설명될 수도 있다.

다른 한 방면에 있어서, 본 출원은 또한 비휘발성 컴퓨터 저장 매체를 제공하며, 상기 비휘발성 컴퓨터 저장 매체는 상술한 실시예 중의 상기 장치에 포함된 비휘발성 컴퓨터 저장 매체이거나, 독립적으로 존재하며 단말기 장치에 설치되지 않은 비휘발성 컴퓨터 저장 매체일 수 있다. 상기 비휘발성 컴퓨터 저장 매체는 하나 또는 복수의 프로그램을 저장하고, 상기 하나 또는 복수의 프로그램이 하나의 장치에 의해 실행될 경우, 상기 장치로 하여금, 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하고, 트레이닝하고자 하는 포인트 클라우드 데이터 집합 중의 각 포인트의 라벨에 응답하여, 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하고, 트레이닝하고자 하는 포인트 클라우드 데이터 및 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하고, 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 차량 검출 모델에 기반하여 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하도록 하되, 라벨은 각 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이다.

이상의 설명은 오직 본 출원의 비교적 바람직한 실시예 및 운용하는 기술적 원리에 대한 설명이다. 해당 기술분야의 당업자는 본 발명에 관련된 발명의 범위가 상기 기술적 특징들의 특정 조합으로 이루어진 기술적 방안들에 한정되는 것이 아니라 본 발명의 주지를 벗어나지 않고서 상기 기술적 특징들 또는 그들의 균등한 특징들의 임의의 조합으로 이루어진 기타 기술적 방안들, 예를 들어, 상기 특징을 본 출원에 개시되어 있으나 이에 한정되지 않는 유사한 기능을 구비한 기술적 특징과 서로 대체하여 이루어진 기술적 방안도 포함하고 있음을 자명할 것이다.

Claims

트레이닝하고자 하는 포인트 클라우드 데이터를 획득하는 단계;
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하되, 상기 라벨은 각 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이고, 상기 라벨 데이터는 차량 윤곽에 해당하는지에 대한 정보를 포함하는 단계;
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하는 단계; 및
검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
제1항에 있어서,
상기 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하는 단계는,
포인트 클라우드 데이터 수집 장치로 수집한 트레이닝하고자 하는 3차원 데이터를 맵핑하여 트레이닝하고자 하는 깊이 맵을 생성하는 단계를 포함하되, 상기 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 상기 트레이닝하고자 하는 3차원 데이터에 일일이 대응되는 각 포인트인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
제2항에 있어서,
각 상기 트레이닝하고자 하는 3차원 데이터 D(x, y, z)는 상기 포인트 클라우드 데이터 수집 장치를 원점으로 하여, 수직 상향 방향을 z축으로 하고, 수평면 내에서 수직되는 임의의 2개의 축을 각각 x축과 y축의 좌표계 중의 좌표값으로 하며,
상기 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 좌표는 (r, c)이고, 각 상기 픽셀 포인트의 수치는 (d, z)이며,
여기서,

이고;
θ는 각 상기 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제1 평면 사이의 협각이고,
는 상기 포인트 클라우드 데이터 수집 장치의 수평 해상도이며, 상기 제1 평면은 y축과 z축으로 이루어진 평면이고;
φ는 각 상기 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고,
는 상기 포인트 클라우드 데이터 수집 장치의 수직 해상도이며, 상기 제2 평면은 x축과 y축으로 이루어진 평면인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
제3항에 있어서,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하는 단계는,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되면, 차량 윤곽에 해당되는 상기 포인트들을 변환하여 26 채널의 2차원 라벨 데이터를 생성하되, 상기 26 채널 중의 제1 채널의 수치는 1이고, 제2 채널의 수치는 0이며, 상기 26 채널 중의 제3~24채널은 각각 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터인 단계; 및
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 상기 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하되, 상기 2 채널 중의 제1 채널의 수치는 0이고, 제2 채널의 수치는 1인 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
제3항에 있어서,
상기 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터(x' _p , y' _p , z' _p )는,

이고;
여기서, R은 상기 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 임의의 한 포인트P(x _i , y _i , z _i )의 회전 행렬이고,

것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
제1항 내지 제5항 중의 임의의 한 항에 있어서,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하는 단계는,
상기 완전 회선 신경망의 파라미터를 초기화시키는 단계;
손실 함수에 기반하여 상기 완전 회선 신경망의 파라미터를 조절하되, 상기 손실 함수는 현재 출력과 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차이고, 상기 현재 출력은 현재 트레이닝하고자 하는 포인트 클라우드 데이터 및 상기 완전 회선 신경망의 현재 파라미터에 대응되는 상기 완전 회선 신경망의 출력인 단계;
상기 손실 함수가 최소치일 경우, 상기 손실 함수에 대응되는 파라미터를 차량 검출 모델의 파라미터로서 출력하는 단계;
상기 손실 함수가 최소치가 아니면, 상기 손실 함수에 기반하여 상기 완전 회선 신경망의 파라미터를 조절하는 단계를 반복하여 수행하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
제5항에 있어서,
상기 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계는,
상기 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터를 맵핑하여 검출하고자 하는 깊이 맵을 생성하되, 상기 검출하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 상기 검출하고자 하는 포인트 클라우드 데이터 중 상기 검출하고자 하는 3차원 데이터에 일일이 대응되는 각 검출하고자 하는 포인트인 단계;
상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터에서 각 상기 검출하고자 하는 포인트의 예측 결과를 획득하되, 상기 예측 결과는 상기 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률을 포함하는 단계; 및
상기 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 크면, 상기 검출하고자 하는 포인트가 차량 윤곽에 해당된다고 확정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
제7항에 있어서,
상기 예측 결과는 상기 검출하고자 하는 포인트의 위치 정보를 더 포함하고,
상기 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 단계는,
상기 검출하고자 하는 포인트 클라우드 데이터에서 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 큰 제1 검출하고자 하는 포인트를 획득하여 제1 검출하고자 하는 포인트 집합을 형성하는 단계; 및
상기 제1 검출하고자 하는 포인트 집합 중의 각 검출하고자 하는 포인트의 위치 정보에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터에 대응되는 차량 공간 위치 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법.
트레이닝하고자 하는 포인트 클라우드 데이터를 획득하도록 구성되는 획득 모듈;
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하도록 구성되되, 상기 라벨은 각 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이고, 상기 라벨 데이터는 차량 윤곽에 해당하는지에 대한 정보를 포함하는 라벨 데이터 생성 모듈;
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하도록 구성되는 트레이닝 모듈; 및
검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여, 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하도록 구성되는 검출 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
제9항에 있어서,
상기 획득 모듈은,
포인트 클라우드 데이터 수집 장치로 수집한 트레이닝하고자 하는 3차원 데이터를 맵핑하여 트레이닝하고자 하는 깊이 맵을 생성하도록 구성되되, 상기 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 상기 트레이닝하고자 하는 3차원 데이터에 일일이 대응되는 각 포인트인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
제10항에 있어서,
각 상기 트레이닝하고자 하는 3차원 데이터 D(x, y, z)는 상기 포인트 클라우드 데이터 수집 장치를 원점으로 하고, 수직 상향 방향을 z축으로 하고, 수평면 내에서 수직되는 임의의 2개의 축을 각각 x축과 y축의 좌표계 중의 좌표값으로 하며,
상기 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 좌표는 (r, c)이고, 각 상기 픽셀 포인트의 수치는 (d, z)이며,
여기서,

이고;
θ는 각 상기 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제1 평면 사이의 협각이고,
는 상기 포인트 클라우드 데이터 수집 장치의 수평 해상도이며, 상기 제1 평면은 y축과 z축으로 이루어진 평면이고,
φ는 각 상기 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고,
는 상기 포인트 클라우드 데이터 수집 장치의 수직 해상도이며, 상기 제2 평면은 x축과 y축으로 이루어진 평면인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
제11항에 있어서,
상기 라벨 데이터 생성 모듈은,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되면, 차량 윤곽에 해당되는 상기 포인트들을 변환하여 26 채널의 2차원 라벨 데이터를 생성하고,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 상기 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하도록 더 구성되되,
상기 26 채널 중의 제1 채널의 수치는 1이고, 제2 채널의 수치는 0이며, 상기 26 채널 중의 제3~24채널은 각각 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터이며, 상기 2 채널 중의 제1 채널의 수치는 0이고, 제2 채널의 수치는 1인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
제11항에 있어서,
상기 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터(x' _p , y' _p , z' _p )는,

이고;
여기서, R은 상기 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 임의의 한 포인트P(x _i , y _i , z _i )의 회전 행렬이고,

인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
제9항 내지 제13항 중의 임의의 한 항에 있어서,
상기 트레이닝 모듈은,
상기 완전 회선 신경망의 파라미터를 초기화하시키고,
손실 함수에 기반하여 상기 완전 회선 신경망의 파라미터를 조절하고,
상기 손실 함수가 최소치일 경우, 상기 손실 함수에 대응되는 파라미터를 차량 검출 모델의 파라미터로서 출력하고,
상기 손실 함수가 최소치가 아니면, 상기 손실 함수에 기반하여 상기 완전 회선 신경망의 파라미터를 조절하는 단계를 반복하여 수행하도록 더 구성되되,
상기 손실 함수는 현재 출력과 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차이고, 상기 현재 출력은 현재 트레이닝하고자 하는 포인트 클라우드 데이터 및 상기 완전 회선 신경망의 현재 파라미터에 대응되는 상기 완전 회선 신경망의 출력인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
제13항에 있어서,
상기 검출 모듈은,
상기 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터를 맵핑하여 검출하고자 하는 깊이 맵을 생성하고,
상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터에서 각 상기 검출하고자 하는 포인트의 상기 검출하고자 하는 포인트의 예측 결과를 획득하고,
상기 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 크면, 상기 검출하고자 하는 포인트가 차량 윤곽에 해당된다고 확정하도록 더 구성되되,
상기 검출하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 상기 검출하고자 하는 포인트 클라우드 데이터 중 상기 검출하고자 하는 3차원 데이터에 일일이 대응되는 각 검출하고자 하는 포인트이고,
상기 예측 결과는 상기 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
제15항에 있어서,
상기 예측 결과는 상기 검출하고자 하는 포인트의 위치 정보를 더 포함하고,
상기 검출 모듈은,
상기 검출하고자 하는 포인트 클라우드 데이터에서 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 큰 제1 검출하고자 하는 포인트를 획득하여 제1 검출하고자 하는 포인트 집합을 형성하고,
상기 제1 검출하고자 하는 포인트 집합 중의 각 검출하고자 하는 포인트의 위치 정보에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터에 대응되는 차량 공간 위치 정보를 생성하도록 더 구성되는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 장치.
적어도 하나의 프로세서; 및
메모리 장치를 포함하되,
상기 메모리 장치는 명령어들을 포함하고, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가,
트레이닝하고자 하는 포인트 클라우드 데이터를 획득하고,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하고,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하고,
검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 조작들을 진행하도록 하되,
상기 라벨은 각 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이고, 상기 라벨 데이터는 차량 윤곽에 해당하는지에 대한 정보를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
제17항에 있어서,
상기 트레이닝하고자 하는 포인트 클라우드 데이터를 획득하는 조작은,
포인트 클라우드 데이터 수집 장치로 수집한 트레이닝하고자 하는 3차원 데이터를 맵핑하여 트레이닝하고자 하는 깊이 맵을 생성하는 것을 포함하되,
상기 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 상기 트레이닝하고자 하는 3차원 데이터에 일일이 대응되는 각 포인트인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
제18항에 있어서,
각 상기 트레이닝하고자 하는 3차원 데이터 D(x, y, z)는 상기 포인트 클라우드 데이터 수집 장치를 원점으로 하여, 수직 상향 방향을 z축으로 하고, 수평면 내에서 수직되는 임의의 2개의 축을 각각 x축과 y축의 좌표계 중의 좌표값으로 하며,
상기 트레이닝하고자 하는 깊이 맵 중의 각 픽셀 포인트의 좌표는 (r, c)이고, 각 상기 픽셀 포인트의 수치는 (d, z)이며,
여기서,

이고;
θ는 각 상기 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제1 평면 사이의 협각이고,
는 상기 포인트 클라우드 데이터 수집 장치의 수평 해상도이며, 상기 제1 평면은 y축과 z축으로 이루어진 평면이고;
φ는 각 상기 트레이닝하고자 하는 3차원 데이터 D와 원점 사이의 연결 라인과 제2 평면 사이의 협각이고,
는 상기 포인트 클라우드 데이터 수집 장치의 수직 해상도이며, 상기 제2 평면은 x축과 y축으로 이루어진 평면인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
제19항에 있어서,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하는 조작은,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되면, 차량 윤곽에 해당되는 상기 포인트들을 변환하여 26 채널의 2차원 라벨 데이터를 생성하고,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 상기 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하는 것을 포함하되,
상기 26 채널 중의 제1 채널의 수치는 1이고, 제2 채널의 수치는 0이며, 상기 26 채널 중의 제3~24채널은 각각 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터이고,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 포인트들이 차량 윤곽에 해당되지 않으면, 차량 윤곽에 해당되지 않는 상기 포인트들을 변환하여 2 채널의 2차원 라벨 데이터를 생성하되, 상기 2 채널 중의 제1 채널의 수치는 0이고, 제2 채널의 수치는 1인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
제19항에 있어서,
상기 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 각 포인트의 각 3차원 좌표에 대한 차량이 위치한 3차원 입방체 각 정점의 각 좌표의 회전 벡터(x' _p , y' _p , z' _p )는,

이고;
여기서, R은 상기 포인트 클라우드 데이터 중 차량 윤곽에 해당되는 임의의 한 포인트P(x _i , y _i , z _i )의 회전 행렬이고,

인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
제17항 내지 제21항 중의 임의의 한 항에 있어서,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중 의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하는 조작은,
상기 완전 회선 신경망의 파라미터를 초기화시키고,
손실 함수에 기반하여 상기 완전 회선 신경망의 파라미터를 조절하고,
상기 손실 함수가 최소치일 경우, 상기 손실 함수에 대응되는 파라미터를 차량 검출 모델의 파라미터로서 출력하고,
상기 손실 함수가 최소치가 아니면, 상기 손실 함수에 기반하여 상기 완전 회선 신경망의 파라미터를 조절하는 단계를 반복하여 수행하는 것을 포함하되,
상기 손실 함수는 현재 출력과 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터 사이의 편차이고, 상기 현재 출력은 현재 트레이닝하고자 하는 포인트 클라우드 데이터 및 상기 완전 회선 신경망의 현재 파라미터에 대응되는 상기 완전 회선 신경망의 출력인 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
제21항에 있어서,
상기 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 조작은,
상기 포인트 클라우드 데이터 수집 장치로 수집한 검출하고자 하는 3차원 데이터를 맵핑하여 검출하고자 하는 깊이 맵을 생성하고,
상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터에서 각 상기 검출하고자 하는 포인트의 예측 결과를 획득하고,
상기 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 크면, 상기 검출하고자 하는 포인트가 차량 윤곽에 해당된다고 확정하는 것을 포함하되,
상기 검출하고자 하는 깊이 맵 중의 각 픽셀 포인트의 수치는 상기 검출하고자 하는 포인트 클라우드 데이터 중 상기 검출하고자 하는 3차원 데이터에 일일이 대응되는 각 검출하고자 하는 포인트이고,
상기 예측 결과는 상기 검출하고자 하는 포인트가 차량 윤곽에 해당되는 확률을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
제23항에 있어서,
상기 예측 결과는 상기 검출하고자 하는 포인트의 위치 정보를 더 포함하고,
상기 검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 조작은,
상기 검출하고자 하는 포인트 클라우드 데이터에서 차량 윤곽에 해당되는 확률이 기 설정된 역치보다 큰 제1 검출하고자 하는 포인트를 획득하여 제1 검출하고자 하는 포인트 집합을 형성하고,
상기 제1 검출하고자 하는 포인트 집합 중의 각 검출하고자 하는 포인트의 위치 정보에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터에 대응되는 차량 공간 위치 정보를 생성하는 것을 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 기기.
비휘발성 컴퓨터 저장 매체에 있어서,
컴퓨터 프로그램을 포함하되,
상기 컴퓨터 프로그램은 하나 또는 다수의 컴퓨터에 의해 실행될 경우, 상기 하나 또는 다수의 컴퓨터가,
트레이닝하고자 하는 포인트 클라우드 데이터를 획득하고,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대한 라벨에 응답하여, 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터를 생성하고,
상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트와 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트에 대응되는 라벨 데이터에 기반하여 완전 회선 신경망 모델을 트레이닝하여 차량 검출 모델을 획득하고,
검출하고자 하는 포인트 클라우드 데이터를 획득하고, 상기 차량 검출 모델에 기반하여 상기 검출하고자 하는 포인트 클라우드 데이터 중의 각 검출하고자 하는 포인트에 대응되는 검출 결과를 획득하는 조작들을 진행하도록 하되,
상기 라벨은 각 상기 트레이닝하고자 하는 포인트 클라우드 데이터 중의 각 포인트가 차량 윤곽에 해당되는지를 지시하기 위한 것이고, 상기 라벨 데이터는 차량 윤곽에 해당하는지에 대한 정보를 포함하는 것을 특징으로 하는 비휘발성 컴퓨터 저장 매체.