KR102260556B1

KR102260556B1 - 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치

Info

Publication number: KR102260556B1
Application number: KR1020200036934A
Authority: KR
Inventors: 서재규
Original assignee: 세종대학교산학협력단
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2021-06-03

Abstract

본 발명은 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 복수의 셀로 분할되며, 하나 이상의 주차구획을 포함하는 주차공간에 대한 어라운드 뷰 모니터 영상을 입력 받고, 상기 복수의 셀로 분할된 영상의 특징 맵을 추출하고, 상기 추출된 특징 맵으로부터 하나 이상의 주차구획에 대한 전역 정보 및 지역 정보를 산출하고-상기 전역 정보는 상기 하나 이상의 주차구획의 입구, 유형 및 점유 여부에 대한 정보 중 하나를 포함하고, 상기 지역 정보는 상기 하나 이상의 주차구획의 입구를 구성하는 정션 쌍의 위치 및 방향 중 적어도 하나를 포함함-, 상기 산출된 전역 정보와 지역 정보를 통합하여 점유되지 않은 주차구획을 검출하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 주차구획 검출 장치가 제공된다.

Description

전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치{Deep learning-based parking slot detection method and apparatus integrating global and local information}

본 발명은 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치에 관한 것으로서, 어라운드 뷰 모니터(Around View Monitor: AVM) 영상을 이용하여 높은 인식율과 정확도로 점유되지 않은 주차구획을 검출할 수 있는 방법 및 장치에 관한 것이다.

최근 딥러닝 기반 물체 검출에 대한 연구가 활발하게 진행되어 높은 검출 성능을 보이고 있다.

이에 따라 딥러닝 기반 물체 검출 방법이 주차구획 검출에도 적용되고 있으며, 기존 방법들에 비해 다양한 상황에 더욱 강인하고 향상된 검출 성능을 보여주고 있다.

종래의 딥러닝 기반 주차구획 검출 방법은 두 가지로 분류될 수 있다.

첫 번째는 합성곱 신경망(Convolutional Neural Network: CNN) 기반 정션(junction) 검출기와 규칙 기반(rule-based) 방식을 혼용하는 것이다. 이 방식은 합성곱 신경망을 사용하여 주차구획의 입구를 구성하는 정션들을 검출하고, 이들을 사람이 고안한 기하학적 규칙을 기반으로 쌍을 지어 주차구획을 검출한다.

여기서, 정션은 주차구획의 입구를 식별할 수 있는 두 지점(쌍)으로, 주차구획 입구의 양 끝지점을 의미한다.

상기한 방식은 정션을 정밀하게 검출할 수 있다는 장점을 가지는 반면, 사람이 고안한 기하학적 규칙을 사용하기 때문에 종단 간(end-to-end) 학습이 될 수 없으며, 번거로운 규칙 및 파라미터 설정 과정이 필요하다는 한계를 갖는다.

두 번째는 기존에 제안된 합성곱 신경망 기반 물체 검출 방법을 주차구획 검출에 바로 적용하여 정션 검출 단계를 거치지 않고 주차구획을 검출하는 방법이다. 이는 기존의 물체 검출 방법을 그대로 사용하기 때문에 종단 간 학습이 가능하고, 주차구획의 전체적인 정보를 정션 검출 단계 없이 바로 알아낼 수 있는 장점을 갖는다.

하지만 위치 정확도 측면에서 세밀함이 부족한 기존 물체 검출 방법을 주차구획에 특화되지 않게 그대로 사용하기 때문에 주차구획의 정밀한 위치를 추정하기 어렵다는 한계를 갖는다.

주차구획 검출의 경우 검출 결과를 기반으로 차량을 주차구획으로 진입시키는 제어 과정을 수행해야 하기 때문에 주차구획의 위치 정밀도가 매우 중요하다.

그러나, 기존 방법은 특정 각도의 주차구획을 올바로 인식하지 못하는 한계를 가지며, 기존의 two-stage 접근법을 그대로 사용하기 때문에 검출 속도가 느리다는 한계를 갖는다.

대한민국등록특허공보 10-1251729

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 주차구획의 인식률 및 위치 정밀도를 높일 수 있는 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치를 제안하고자 한다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 복수의 셀로 분할되며, 하나 이상의 주차구획을 포함하는 주차공간에 대한 어라운드 뷰 모니터 영상을 입력 받고, 상기 복수의 셀로 분할된 영상의 특징 맵을 추출하고, 상기 추출된 특징 맵으로부터 하나 이상의 주차구획에 대한 전역 정보 및 지역 정보를 산출하고-상기 전역 정보는 상기 하나 이상의 주차구획의 입구, 유형 및 점유 여부에 대한 정보 중 하나를 포함하고, 상기 지역 정보는 상기 하나 이상의 주차구획의 입구를 구성하는 정션 쌍의 위치 및 방향 중 적어도 하나를 포함함-, 상기 산출된 전역 정보와 지역 정보를 통합하여 점유되지 않은 주차구획을 검출하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 주차구획 검출 장치가 제공된다.

상기 셀의 크기는 하나 이상의 주차구획의 최소 크기보다 작게 설정되며, 상기 정션 쌍의 최소 거리보다 작게 설정될 수 있다.

상기 프로그램 명령어들은 상기 전역 정보의 산출을 위해, 각 셀의 중심이 주차구획 내부에 포함될 가능성을 계산하고, 상기 계산된 가능성이 미리 설정된 수치 이상인 하나 이상의 제1 셀의 중심에서, 각 제1 셀의 중심이 포함된 주차구획의 입구인 정션 쌍까지의 상대 위치를 계산하고, 상기 각 제1 셀의 중심이 포함된 주차구획의 유형을 추정하고, 상기 각 제1 셀의 중심이 포함된 주차구획의 점유 여부를 추정할 수 있다.

상기 프로그램 명령어들은, 하나의 주차구획에 대해, 하나의 주차구획에 포함되는 제1 셀의 개수에 상응하는 주차구획 후보를 생성할 수 있다.

상기 프로그램 명령어들은 상기 지역 정보의 산출을 위해, 상기 입력 영상의 각 셀 내부에 정션이 존재할 가능성을 계산하고, 상기 계산된 가능성이 미리 설정된 수치 이상인 하나 이상의 제2 셀의 중심에서 각 제2 셀에 포함된 정션까지의 상대 위치를 계산하고, 상기 각 제2 셀에 포함된 정션의 방향 벡터를 계산할 수 있다.

상기 프로그램 명령어들은, 비-최대값 억제(Non Maximum suppression: NMS) 알고리즘을 이용하여, 상기 전역 정보에 포함된 정션(전역 정션)의 인근에 상기 지역 정보에 포함된 정션(지역 정션)이 존재하는 경우, 상기 전역 정션을 상기 지역 정션의 위치로 대체할 수 있다.

상기 특징 맵의 추출, 상기 전역 정보 및 지역 정보의 산출 및 상기 점유되지 않은 주차구획의 검출은 단일 합성곱 신경망 기반으로 이루어질 수 있다.

본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서, 딥러닝 기반으로 주차구획을 검출하는 방법으로서, (a) 복수의 셀로 분할되며, 하나 이상의 주차구획을 포함하는 주차공간에 대한 어라운드 뷰 모니터 영상을 입력 받는 단계; (b) 상기 복수의 셀로 분할된 영상의 특징 맵을 추출하는 단계; (c) 상기 추출된 특징 맵으로부터 하나 이상의 주차구획에 대한 전역 정보 및 지역 정보를 산출하는 단계-상기 전역 정보는 상기 하나 이상의 주차구획의 입구, 유형 및 점유 여부에 대한 정보 중 하나를 포함하고, 상기 지역 정보는 상기 하나 이상의 주차구획의 입구를 구성하는 정션 쌍의 위치 및 방향 중 적어도 하나를 포함함-; (d) 상기 산출된 전역 정보와 지역 정보를 통합하여 점유되지 않은 주차구획을 검출하는 단계를 포함하는 주차구획 검출 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 기록매체에 저장되는 컴퓨터 판독 가능한 프로그램이 제공된다.

본 발명에 따르면, 주차구획의 전역 정보와 지역 정보를 단일 합성곱 신경망을 사용하여 획득하여 통합함으로써 높은 검출률과 위치 정밀도를 동시에 확보할 수 있는 장점이 있다.

또한, 본 발명에 따르면, 단일 합성곱 신경망으로 구성된 one-stage 검출 방식을 사용하기 때문에 종단 간 학습이 가능하며, 연산량이 적어지며, 주차구획의 기하학적 특성이 합성곱 신경망 학습에 반영되기 때문에 번거로운 규칙 설정 및 파라미터 결정 과정이 불필요한 장점이 있다.

나아가, 본 발명에 따르면, 단일 합성곱 신경망으로 주차구획의 대부분의 특성(위치, 각도, 유형, 점유 여부)를 모두 알아낼 수 있는 장점이 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 주차구획 검출 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 주차구획 검출 과정을 설명하기 위한 도면이다.
도 3 내지 도 4는 본 실시예에 따른 정보 추출기의 전역 정보 산출 과정을 설명하기 위한 도면이다.
도 5 내지 도 6은 본 발명의 일 실시예에 따른 지역 정보 산출 과정을 설명하기 위한 도면이다.
도 7은 본 실시예에 따른 전역 정보와 지역 정보 통합 과정을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명은 어라운드 뷰 모니터 영상에서 하나 이상의 주차구획의 전역 정보와 지역 정보를 동시에 획득하여, 이들을 통합함으로써 높은 인식률과 위치 정밀도로 점유되지 않은 빈 주차구획을 검출한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 주차구획 검출 장치의 구성을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 주차구획 검출 장치는 특징 추출기(Feature extractor, 100), 정보 추출기(Information extractor, 102) 및 정보 통합기(Information integrator, 104)를 포함할 수 있다.

특징 추출기(100)는 합성곱 신경망 기반으로 어라운드 뷰 모니터 영상을 입력 받아 특징 맵(feature map)을 추출한다.

여기서, 어라운드 뷰 모니터 영상은 소정 크기(n×n 픽셀 수)를 갖는 컬러 영상일 수 있다.

본 발명의 바람직한 일 실시예에 따르면, 입력 영상은 주차구획의 크기 및 주차구획의 입구를 정의하는 2개의 정션 사이의 거리를 이용하여 복수의 격자(예를 들어, k×k)로 분할되며, 하나의 격자를 셀로 정의한다.

바람직하게, 각 셀은 하나의 주차구획에 대한 전역 정보를 획득하기 위해 사용되기 때문에 셀의 크기는 주차구획의 최소 크기보다 작게 설정될 수 있다.

또한, 각 셀은 하나의 정션에 대한 지역 정보를 획득하는데 사용되기 때문에 셀의 크기는 정션 쌍 사이의 최소 거리보다 작게 설정될 수 있다.

특징 추출기(100)는 입력 영상에 컨볼루션 연산을 수행하여 특징 맵을 추출한다.

특징 추출기(100)는 상기와 같이 복수의 셀로 분할된 입력 영상에서 각 셀에 대한 특징 정보를 추출할 수 있다.

정보 추출기(102)는 전역 정보 추출기(Global information extractor, 110) 및 지역 정보 추출기(Local information extractor, 112)를 포함할 수 있고, 각각 특징 추출기(100)에서 추출된 특징 맵으로부터 주차구획에 대한 전역 정보(Global information) 및 지역 정보(Local information)를 산출한다.

본 실시예에 따른 전역 정보는 주차구획의 입구, 유형 및 점유 여부에 관한 정보를 포함할 수 있고, 지역 정보는 주차구획의 입구를 구성하는 정션(junction)의 정밀한 위치 및 방향에 관한 정보를 포함할 수 있다.

본 발명에서는 연산량 절약을 위해 특징 맵에 다수의 컨볼루션 레이어(convolution layer)를 적용하지 않고, 하나만을 적용하여 전역 정보와 지역 정보를 동시에 산출한다.

정보 통합기(Information integrator, 104)는 정보 추출기(102)에서 출력하는 전역 정보와 지역 정보를 통합하여 점유되지 않은 주차구획을 검출한다.

본 실시예에 따른 주차구획 검출 장치는 프로세서 및 메모리를 포함할 수 있다.

여기서, 프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.

메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

이와 같은 메모리에는 프로세서에 의해 실행 가능한 프로그램 명령어들이 저장되며, 도 1에 도시된 특징 맵 추출, 전역 정보/지역 정보 산출 및 이들의 통합은 상기한 프로그램 명령어들에 의해 수행되는 과정으로 정의될 수 있다.

도 2는 본 발명의 일 실시예에 따른 주차구획 검출 과정을 설명하기 위한 도면이다.

이를 참조하여, 도 1의 각 구성요소들이 수행하는 과정을 상세하게 설명한다.

이하에서는 본 실시예에 따른 416×416 픽셀 수의 컬러 영상(채널 수 3)을 13×13의 격자(셀)로 분할하여 주차구획을 검출하는 것을 예로 들어 설명한다.

특징 추출기(100)는 오랜 기간 다양한 응용에서 성능이 검증된 VGG16을 사용하여 입력 영상으로부터 특징 맵을 추출할 수 있으나, 반드시 이에 한정되지는 않는다.

VGG16은 pool5까지 사용되며, 특징 추출기(100)에서 소정 크기의 필터를 통해 컨볼루션 연산하여 출력하는 특징 맵의 크기는 13×13×512일 수 있다.

전역 정보 추출기(110) 및 지역 정보 추출기(112)는 13×13×512의 특징 맵을 입력으로 하여 전역 정보 및 지역 정보를 산출한다.

도 2는 전역 정보 추출기가 13×13×512 필터 9개를 이용하여 13×13×512의 특징 맵으로부터 9개의 전역 정보를 추출하고, 지역 정보 추출기가 13×13×512 필터 5개를 이용하여 상기한 특징 맵으로부터 5개의 지역 정보를 산출하는 예를 도시한다.

상기한 전역 정보 및 지역 정보의 개수에 따라, 산출된 전역 정보와 지역 정보는 각각 13×13×9 텐서(tensor)와 13×13×5 텐서로 표현될 수 있다.

전역 정보 및 지역 정보의 개수는 9개 및 5개로 한정되지 않고, 경우에 따라 다양하게 결정될 수 있다.

정보 통합기(104)는 전역 정보와 지역 정보를 통합하여 최종적으로 점유되지 않은 주차구획을 검출한다.

본 실시예에 따르면, 정보 통합기는 NMS 기법을 이용하여 통합될 수 있다.

NMS 알고리즘은 지역적 최대값을 찾아 그 값만 남기고 나머지 값은 모두 삭제하는 알고리즘이다.

도 2에 도시된 주차구획에서, 실선은 빈 주차구획, 점선은 점유된 주차구획을 나타낸다.

도 2에 도시된 바와 같이, 전역 정보 및 지역 정보는 모두 13×13의 공간 해상도(spatial resolution)를 가지며, 이는 입력 영상을 13×13의 셀로 분할하여 각 셀당 전역 정보와 하나의 지역 정보를 산출한다는 점을 의미한다.

본 실시예에 따르면, 셀의 중심이 주차구획에 위치하는 경우, 해당 셀의 특징 정보가 상기한 주차구획에 대한 전역 정보를 산출하는데 사용된다.

또한, 셀의 내부에 정션이 위치하는 경우, 해당 셀의 특징 정보가 정션에 대한 지역 정보를 산출하는데 사용된다.

이렇게 설계한 이유는 전역 정보의 경우 주차구획 전반에 대한 정보를 포함하고 있는 주차구획 내부의 셀에서 잘 추정되고, 지역 정보의 경우 정션의 세부 정보를 포함하고 있는 정션을 포함한 셀에서 잘 추정되기 때문이다.

본 실시예에 따른 각 셀은 하나의 주차구획에 대한 전역 정보를 획득하기 위해 사용되기 때문에 셀의 크기는 주차구획의 최소 크기보다 작게 설정되는 것이 바람직하다.

또한, 각 셀은 하나의 정션에 대한 지역 정보를 획득하는데 사용되기 때문에 셀의 크기는 정션 쌍 사이의 최소 거리보다 작게 설정되는 것이 바람직하다.

도 3 내지 도 4는 본 실시예에 따른 정보 추출기의 전역 정보 산출 과정을 설명하기 위한 도면이다.

도 3을 참조하면, 본 실시예에 따른 전역 정보 추출기(110)는 컨볼루션 레이어와 시그모이드 함수(sigmoid function) 및 소프트맥스 함수(softmax function)를 이용하여 특징 맵으로부터 전역 정보를 산출한다.

우선, 전역 정보 추출기(110)는 복수의 셀로 나뉘어진 영상의 각 셀의 중심이 주차구획 내부에 포함될 가능성을 계산한다(단계 300).

이하에서는 설명의 편의를 위해, 13×13×512의 특징 맵으로부터 전역 정보 및 지역 정보를 산출하는 과정을 설명한다.

단계 300에 따른 값은 13×13×512의 특징 맵에 3×3×512 필터를 적용한 후, 시그모이드 함수를 통과시켜 얻어지고, 13×13×1 텐서로 표현된다.

도 4a는 단계 300의 수행 결과를 시각적으로 나타낸 도면이다.

도 4a에서는 설명의 편의를 위해 입력 영상을 5×5의 셀로 분할한 것으로 도시하였으나, 실제로는 13×13의 셀로 분할된다.

도 4a를 참조하면, 중심이 주차구획 내부에 위치한 셀(초록색)은 그렇지 않은 셀(회색)보다 큰 값을 가진다.

단계 300은 복수의 셀 중 주차구획 내부에 위치한 셀을 탐색하는 과정으로 정의될 수 있으며, 단계 300에서 계산된 가능성이 미리 설정된 수치 이상인 하나 이상의 셀(이하, '제1 셀'이라 함)에 대해 다음의 과정이 수행된다.

다음으로, 하나 이상의 제1 셀의 중심에서 제1 셀의 중심이 포함된 주차구획의 입구인 정션 쌍까지의 상대 위치를 계산한다(단계 302).

단계 302에 따른 값은 특징 맵에 4개의 3×3×512 필터를 적용한 후, 시그모이드 함수를 통과시켜 얻어지며, 13×13×4 텐서로 표현된다.

도 4b는 단계 302의 수행 결과를 시각적으로 나타낸 도면이다.

도 4b에서는 주차구획 내부에 위치한 제1 셀에서 산출된 결과만을 도시한다.

도 4b를 참조하면, 셀의 중심에서 2개의 화살표가 시작되며, 2개의 화살표는 셀의 중심과 주차구획 입구를 구성하는 2개의 정션을 잇는 벡터를 나타낸다.

각 셀당 2개의 2차원 벡터를 표현하는 4개의 값이 필요하므로 텐서의 크기는 상기한 바와 같이, 13×13×4가 된다.

단계 302의 수행 결과 주차구획의 대략적인 위치를 알 수 있다.

단계 302 이후, 하나 이상의 제1 셀의 중심이 포함된 주차구획의 유형을 추정한다(단계 304).

단계 304에 따른 값은 특징 맵에 3개의 3×3×512 필터를 적용한 후, 소프트맥스 함수(softmax function)를 통과시켜서 얻어지고, 13×13×3 텐서로 표현된다.

본 실시예에서는 주차구획의 유형을 직각, 평행 및 사건의 3개의 유형으로 구분하고, 이를 one-hot encoding 방식으로 표현한다.

이때, 각 셀 당 3개의 유형 중 하나를 표현하는 값이 필요하므로 텐서의 크기는 13×13×3이 된다.

도 4c는 단계 304의 수행 결과를 시각적으로 표현한 도면이다.

도 4c에서 파란색, 빨간색 및 자주색은 각각 직각, 평행 및 사선 유형을 나타낸다.

해당 셀의 중심이 포함된 주차구획의 유형에 따라 서로 다른 값이 출력된다.

주차구획의 유형이 추정된 이후, 하나 이상의 제1 셀의 중심이 포함된 주차구획의 점유 여부를 추정한다(단계 306).

단계 306에 따른 값은 특징 맵에 하나의 3×3×512 필터를 적용한 후, 시그모이드 함수를 통과시켜 얻어지며, 13×13×1 텐서로 표현된다.

도 4d는 단계 306에 따른 결과를 시각적으로 나타낸 도면이다.

도 4d를 참조하면, 중심이 빈 주차구획 내부에 위치한 셀(보라색)은 그렇지 않은 셀(노란색)보다 큰 값을 갖는다.

단계 300 내지 306의 수행에 따른 전역 정보를 통합하면 도 4e와 같은 결과를 얻을 수 있다.

도 4e에서, 주차구획을 나타내는 직선의 색은 유형을 나타내며, 선의 종류는 점유 여부(실선은 빈 공간, 점선은 점유 공간)을 나타낸다.

도 4e에서 직각와 사선 주차구획은 이에 포함된 셀이 2개이기 때문에 각각 2개의 주차구획 후보가 생성되며, 평행주차구획은 이에 포함된 셀이 3개이기 때문에 3개의 주차구획 후보가 생성된다.

단계 300 내지 306를 통해 주차구획 유형 및 점유 여부는 알 수 있지만, 주차구획 위치의 정밀도는 높지 않다. 이는 주차구획 입구의 위치가 여기서 멀리 떨어진 셀 중심으로부터 추정되기 때문이다.

주차구획 검출의 경우 검출 결과를 기반으로 차량 제어 과정을 수행해야 하기 때문에 주차구획에 대한 위치 정밀도가 매우 중요하다.

이에, 본 실시예에서는 주차구획의 정밀한 위치 및 방향 정보를 포함하는 지역 정보를 산출한다.

도 5 내지 도 6은 본 발명의 일 실시예에 따른 지역 정보 산출 과정을 설명하기 위한 도면이다.

도 5를 참조하면, 복수의 셀로 분할된 입력 영상의 각 셀 내부에 정션이 존재할 가능성을 계산한다(단계 500).

단계 500에 따른 값은 특징 맵에 하나의 3×3×512 필터를 적용한 후, 시그모이드 함수를 통과시켜 얻어지고, 13×13×1 텐서로 표현된다.

도 6a는 단계 500에 따른 결과를 시각적으로 나타낸 도면이다.

도 6a를 참조하면, 정션을 포함한 셀(초록색)은 그렇지 않은 셀(회색)보다 큰 값을 갖는다.

단계 500은 정션이 존재할 가능성이 미리 설정된 수치 이상인 하나 이상의 셀('이하 '제2 셀'이라 함)을 결정하는 과정일 수 있다.

셀 내부에 정션이 존재할 가능성을 계산한 이후, 각 제2 셀 중심에서 제2 셀에 포함된 정션까지의 상대 위치를 계산한다(단계 502).

단계 502에 따른 값은 특징 맵에 2개의 3×3×512 필터를 적용한 후, 시그모이드 함수를 통과시켜 얻어지고, 13×13×2 텐서로 표현된다.

단계 502에서 얻어진 두 값은 각각 가로축과 세로축 변위를 의미한다.

도 6b는 단계 502에 따른 결과를 시각적으로 나타낸 도면이다.

도 6b를 참조하면, 화살표 시작과 끝은 각각 제2 셀의 중심 위치와 제2 셀에 포함된 정션의 위치를 나타낸다.

도 6b는 주차구획 내부의 정션이 위치한 셀에서 산출한 결과만 나타낸 것이다.

상대 위치 계산 이후, 제2 셀에 포함된 정션의 방향 벡터를 계산한다(단계 504).

단계 504에 따른 값은 특징 맵에 2개의 3×3×512 필터를 적용한 후, 시그모이드 함수를 통과시켜 얻어지고, 13×13×2 텐서로 표현된다.

단계 504에서 얻어진 두 값은 각각 셀에 포함된 정션의 2차원 방향 벡터를 나타낸다.

도 6c는 단계 504에 따른 결과를 시각적으로 나타낸 도면이다.

도 6c에서, 화살표는 제2 셀의 중심을 기준으로 정션의 방향을 나타낸 것이다.

단계 500 내지 504의 수행 결과를 얻어진 지역 정보를 통합하면 도 6d와 같은 결과를 얻을 수 있다.

도 6d는 본 실시예에 따른 지역 정보 통합 결과를 나타낸 것이다.

도 6d를 참조하면, 지역 정보 통합 결과에는 정션의 위치(십자 표시) 및 방향(직선)이 포함된다.

여기서 중요한 점은 지역 정보 획득 과정에서 얻어진 정션의 위치 및 방향은 전역 정보 획득 과정에서 얻어진 것보다 더욱 정밀하다는 점이다.

이는 지역 정보 획득 과정에서는 해당 정션이 포함된 위치의 특징 맵으로부터 정션의 위치와 방향이 추정되기 때문이다.

이처럼 지역 정보는 주차구획 입구에 대한 위치 및 방향을 정확하게 제공할 수 있어 전역 정보의 한계인 위치 부정확성을 보완할 수 있다.

본 실시예에 따르면, 입력 영상의 분할된 각 셀의 특징 정보는 해당 셀의 중심이 포함된 주차구획의 전역 정보를 추출하는데 사용되는 것과 동시에 해당 셀 내부에 포함된 정션에 대한 지역 정보를 추출하는데 사용된다.

이러한 구조를 설계한 이유는 전역 정보의 경우 주차구획 전반에 대한 정보를 담고 있는 주차구획 내부의 특징 맵의 위치에서 잘 추정되고, 지역 정보의 경우 정션의 세부 정보를 담고 있는 정션이 포함된 특징 맵의 위치에서 잘 추정되기 때문이다.

상기한 바와 같이, 주차구획의 전역 정보와 지역 정보가 추출된 이후, 정보 통합기(104)는 이들을 통합하여 최종 주차구획 검출 결과를 산출한다.

도 7은 본 실시예에 따른 전역 정보와 지역 정보 통합 과정을 설명하기 위한 도면이다.

도 7a는 도 3의 과정을 통한 전역 정보 획득 결과를 나타낸 것이고, 도 7b는 도 5의 과정을 통한 지역 정보 획득 결과를 나타낸 것이다.

본 실시예에 따른 전역 정보와 지역 정보의 통합은 NMS 알고리즘을 이용하여 수행된다.

NMS 알고리즘을 이용하여, 전역 정보에 포함된 정션(전역 정션) 인근에 지역 정보에 포함된 정션(지역 정션)이 존재하는 경우, 정밀도가 낮은 전역 정션의 위치를 정밀도가 높은 지역 정션의 위치로 대체한다.

즉, 본 실시예에 따르면, 전역 정션과 미리 설정된 거리 이내에 포함되는 지역 정션이 존재하는 경우, 전역 정션이 지역 정션으로 대체된다.

이러한 과정을 통해 주차구획 전역 정보와 지역 정보 사이에 매칭이 이루어져 두 정보가 효과적으로 통합된다.

도 4 및 도 6에 도시된 바와 같이, 직각과 평행으로 인식된 주차구획의 경우, 정션 쌍을 이어주는 직선과 90도로 주차구획의 방향을 설정하고, 사선 주차구획의 경우, 정션 쌍 방향의 평균으로 주차구획 방향을 설정한다.

도 7c는 정션 기반 NMS 결과를 나타낸 도면이다.

도 7c를 참조하면, 사선 주차구획(빨간색 직선) 두 개 중 하나(700)는 전역 정션 2개가 모두 인근에 위치한 지역 정션으로 대체된다.

나머지 하나(702)는 전역 정션 2개 모두 인근 지역 정션이 위치하지 않아 대체되지 않는다.

도 7c에서 x로 표시된 것은 전역 정션이 지역 정션으로 대체된 위치를 나타낸 것이다.

또한, 직각 주차구획(파란색 점선) 2개는 전역 정션이 인근이 위치한 지역 정션으로 모두 대체된다. 이에 따라 2개의 전역 정션은 완전히 일치하게 된다.

도 7c에서 ×2는 2개의 전역 정션이 서로 겹쳐서 존재하는 것을 나타낸다.

또한, 평행 주차구획(자주색 직선) 3개 중 2개는 전역 정션이 인근에 위치한 지역 정션으로 대체되어 이들의 위치 및 방향이 완전히 일치하게 된다.

하지만 하나의 평행 주차구획은 두 전역 정션 중 하나만 인근에 지역 정션이 존재하여 이로 대체된다.

본 실시예에 따르면, 정션 기반 NMS 후에 슬롯 기반 NMS이 수행된다.

이는 주차구획을 구성하는 2개의 정션이 모두 지역 정션인 주차구획만을 남기는 과정이다.

검출 결과 복수의 주차구획이 있는 경우, 이들 중 주차구획일 가능성이 가장 높은 주차구획만을 선택한다.

도 7d는 두 단계의 NMS를 수행한 후 최종 주차구획 검출 결과를 나타낸 것이다.

이하에서는 본 실시예에 따른 실험 과정을 상세하게 설명한다.

실험에 사용된 데이터

본 실험에서는 공용 AVM dataset인 Tongji Parking-slot Dataset 2.0 (ps2.0)을 사용하여 제안된 방법의 성능을 평가하였다.

표 1은 dataset의 구성을 보여준다.

Data		학습	평가
영상개수		9827	2338
주차구획 개수	직각	5668	936
	평행	3492	1151
	사선	316	81
	총합	9476	2168

본 실험에서 사용된 dataset은 9827장의 학습 영상과 2338장의 평가 영상으로 구성되어 있다.

학습 영상은 총 9476개의 주차구획을 포함하며, 이는 직각 주차구획 5668개, 평행 주차구획 3492개, 사선 주차구획 316개로 구성된다. 평가 영상은 총 2168개의 주차구획을 포함하며, 이는 직각 주차구획 936개, 평행 주차구획 1151개, 사선주차구획 81개로 구성된다. 또한, 해당 dataset은 실외 및 실내, 맑은 날과 비 오는 날, 낮 및 저녁, 강한 그림자 등의 다양한 상황을 포함하고 있다.

원본 AVM 영상은 차량 주변의 10×10m를 포함하고 있으며, 600×600 pixel의 resolution을 갖는다. 본 실험에서는 해당 영상을 416×416 pixel로 크기를 변경하여 사용하였다. 본 dataset은 주차구획을 구성하는 정션 쌍의 위치, 주차구획의 방향 및 종류를 정답으로 포함한다. 주차구획의 점유 여부는 포함하지 않기 때문에 직접 수동으로 입력하였다.

본 실시예에 따른 방법은 공용 dataset인 PS2.0에서 사용되는 평가 지표를 사용하여 정량 평가되었다.

해당 지표에서는 주차구획의 입구를 구성하는 정션 쌍이 정답 위치로부터 12 pixels 이내에 존재하고, 주차구획의 각도가 정답 각도 대비 10도 이내인 경우에 true positive라고 판단한다. 이 조건들을 만족하지 못하는 주차구획들은 모두 false positive로 판단된다. 12 pixels은 원본 영상의 크기(600×600 pixels)를 기준으로 설정된 값이다. 성능 평가에는 아래와 같이, recall과 precision을 사용한다.

표 2는 본 실시예에 따른 방법의 정량 평가 결과를 보여준다.

제안된 방법은 2338장의 테스트 영상에 포함된 2168개의 주차구획들 중 2163개를 올바로 검출하는 동시에 단 5개만을 오검출하였다. 이는 recall과 precision이 모두 99.77%임을 의미한다.

표 3은 제안된 방법이 검출한 주차구획의 위치 및 방향 정밀도를 보여준다.

	#False Negative	#False Positive	Recall	Precision
제안된 방법	5개	5개	99.77%	99.77%

Method	Location error (pixel)		Orientation error (degree)
Method	평균	표준편차	평균	표준편차
제안된 방법	1.02	0.72	0.18	0.30

제안된 방법은 주차구획의 위치 및 방향뿐 아니라 유형 및 점유 여부도 합성곱 신경망을 기반으로 인식한다.

표 4는 제안된 방법의 주차구획 유형 인식 성능 평가 결과를 보여준다. 제안된 방법은 올바르게 검출된 주차구획 2148개 모두의 유형을 올바르게 인식하여 100%의 주차구획 유형 인식률을 보였다.

주차구획 유형은 주차구획 검출 후에 주차구획 입구의 너비와 주차구획 선들의 각도를 추출하여 규칙 기반으로 인식될 수 있다.

하지만 본 발명에서는 이를 합성곱 신경망이 데이터로부터 직접 학습하도록 하였으며, 이것이 올바르게 동작한다는 것을 보였다. 표 5는 제안된 방법의 주차구획 점유 여부를 인식 결과를 보여준다. 제안된 방법은 올바르게 검출된 주차구획 2163개 중 2148개의 점유여부를 올바르게 인식하여 99.31%의 점유여부 인식 성능을 보였다.

	#Correctly detected slots	#Correctly detected slots	Classification accuracy(%)
Perpendicular	934	934	100
Parallel	1151	1151	100
Slanted	78	78	100
Total	2163	2163	100

	#Correctly detected slots	#Correctly detected slots	Classification accuracy(%)
Vacant	1609	1597	99.25
Occupied	554	551	99.46
Total	2163	2148	99.31

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims

전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 장치로서,
프로세서; 및
상기 프로세서에 연결되는 메모리를 포함하되,
상기 메모리는,
복수의 셀로 분할되며, 하나 이상의 주차구획을 포함하는 주차공간에 대한 어라운드 뷰 모니터 영상을 입력 받고,
상기 복수의 셀로 분할된 영상의 특징 맵을 추출하고,
상기 추출된 특징 맵으로부터 하나 이상의 주차구획에 대한 전역 정보 및 지역 정보를 산출하고-상기 전역 정보는 상기 하나 이상의 주차구획의 입구, 유형 및 점유 여부에 대한 정보 중 하나를 포함하고, 상기 지역 정보는 상기 하나 이상의 주차구획의 입구를 구성하는 정션 쌍의 위치 및 방향 중 적어도 하나를 포함함-
상기 산출된 전역 정보와 지역 정보를 통합하여 점유되지 않은 주차구획을 검출하도록,
상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
상기 프로그램 명령어들은 상기 전역 정보의 산출을 위해,
각 셀의 중심이 주차구획 내부에 포함될 가능성을 계산하고,
상기 계산된 가능성이 미리 설정된 수치 이상인 하나 이상의 제1 셀의 중심에서, 각 제1 셀의 중심이 포함된 주차구획의 입구인 정션 쌍까지의 상대 위치를 계산하고,
상기 각 제1 셀의 중심이 포함된 주차구획의 유형을 추정하고,
상기 각 제1 셀의 중심이 포함된 주차구획의 점유 여부를 추정하는 주차구획 검출 장치.
제1항에 있어서,
상기 셀의 크기는 하나 이상의 주차구획의 최소 크기보다 작게 설정되며, 상기 정션 쌍의 최소 거리보다 작게 설정되는 주차구획 검출 장치.
삭제
제1항에 있어서,
상기 프로그램 명령어들은,
하나의 주차구획에 대해, 하나의 주차구획에 포함되는 제1 셀의 개수에 상응하는 주차구획 후보를 생성하는 주차구획 검출 장치.
제1항에 있어서,
상기 프로그램 명령어들은 상기 지역 정보의 산출을 위해,
상기 입력 영상의 각 셀 내부에 정션이 존재할 가능성을 계산하고,
상기 계산된 가능성이 미리 설정된 수치 이상인 하나 이상의 제2 셀의 중심에서 각 제2 셀에 포함된 정션까지의 상대 위치를 계산하고,
상기 각 제2 셀에 포함된 정션의 방향 벡터를 계산하는 주차구획 검출 장치.
제1항에 있어서,
상기 프로그램 명령어들은,
NMS 알고리즘을 이용하여, 상기 전역 정보에 포함된 정션(전역 정션)의 인근에 상기 지역 정보에 포함된 정션(지역 정션)이 존재하는 경우, 상기 전역 정션을 상기 지역 정션의 위치로 대체하는 주차구획 검출 장치.
제1항에 있어서,
상기 특징 맵의 추출, 상기 전역 정보 및 지역 정보의 산출 및 상기 점유되지 않은 주차구획의 검출은 단일 합성곱 신경망 기반으로 이루어지는 주차구획 검출 장치.
프로세서 및 메모리를 포함하는 장치에서, 딥러닝 기반으로 주차구획을 검출하는 방법으로서,
(a) 복수의 셀로 분할되며, 하나 이상의 주차구획을 포함하는 주차공간에 대한 어라운드 뷰 모니터 영상을 입력 받는 단계;
(b) 상기 복수의 셀로 분할된 영상의 특징 맵을 추출하는 단계;
(c) 상기 추출된 특징 맵으로부터 하나 이상의 주차구획에 대한 전역 정보 및 지역 정보를 산출하는 단계-상기 전역 정보는 상기 하나 이상의 주차구획의 입구, 유형 및 점유 여부에 대한 정보 중 하나를 포함하고, 상기 지역 정보는 상기 하나 이상의 주차구획의 입구를 구성하는 정션 쌍의 위치 및 방향 중 적어도 하나를 포함함-;
(d) 상기 산출된 전역 정보와 지역 정보를 통합하여 점유되지 않은 주차구획을 검출하는 단계를 포함하되,
상기 (c) 단계는,
상기 전역 정보의 산출을 위해,
각 셀의 중심이 주차구획 내부에 포함될 가능성을 계산하는 단계;
상기 계산된 가능성이 미리 설정된 수치 이상인 하나 이상의 제1 셀의 중심에서, 각 제1 셀의 중심이 포함된 주차구획의 입구인 정션 쌍까지의 상대 위치를 계산하는 단계;
상기 각 제1 셀의 중심이 포함된 주차구획의 유형을 추정하는 단계;
상기 각 제1 셀의 중심이 포함된 주차구획의 점유 여부를 추정하는 단계를 포함하는 주차구획 검출 방법.
제8항에 있어서,
상기 (b) 내지 (d) 단계는 단일 합성곱 신경망 기반으로 이루어지는 주차구획 검출 방법.
제8항에 따른 방법을 수행하는 기록매체에 저장되는 컴퓨터 판독 가능한 프로그램.