KR102373753B1 - 딥러닝 기반의 차량식별추적 방법, 및 시스템 - Google Patents

Abstract

본 발명은 딥러닝 기반의 차량식별추적 방법, 및 시스템에 관한 것으로서, 딥러닝 기반의 학습모델을 이용하여 조명 변화 등에 외부환경에 대해 강인한 판단특성을 가지고, 차량번호판 인식과 차량인식추적 단계를 이용하여 주차장 내부에 설치되는 카메라 개수를 감소시키면서, 차량식별추적의 정확도를 개선할 수 있는 딥러닝 기반의 차량식별추적 방법, 및 시스템에 관한 것이다.

Description

딥러닝 기반의 차량식별추적 방법, 및 시스템 {Method, and System for Vehicle Recognition Tracking Based on Deep Learning}

본 발명은 딥러닝 기반의 차량식별추적 방법, 및 시스템에 관한 것으로서, 딥러닝 기반의 학습모델을 이용하여 조명 변화 등에 외부환경에 대해 강인한 판단성능을 가지고, 차량번호판 인식과 차량인식추적 단계를 이용하여 주차장 내부에 설치되는 카메라 개수를 감소시키면서, 차량식별추적의 정확도를 개선할 수 있는 딥러닝 기반의 차량식별추적 방법, 및 시스템에 관한 것이다.

우리나라의 자동차 등록대수는 꾸준히 상승하여 2018년 12월 말 우리나라의 자동차 등록대수가 약 2,300만대를 기록하였다. 자동차 등록대수의 증가 추이는 2025년에 2,800만대를 넘을 것으로 예상된다. 이렇게 건축물의 대형화 및 가구당 차량 보유대수가 점점 늘어나고 있는 현 상황에서 주차장의 대형화와 체계화는 시대의 흐름을 거스를 수 없는 필수조건이 되었다.

주차장에서 주차위치를 표시하는 방법으로는 초음파 주차유도 센서를 시작으로 단방향 카메라에 이어 360도 카메라를 이용한 주차 유도 시스템으로의 발전을 거듭해 오고 있다. 하지만 360도 카메라를 이용하는 경우 6면 주차면 인식까지는 번호인식으로 '내차 찾기' 등 주차장 내에 차량의 위치 정보를 파악할 수 있었으나, 12면 주차면 인식으로 발전한 주차 유도 시스템에서는 360도 카메라의 영상왜곡 및 카메라의 시야각의 한계로 인해 번호인식을 할 수 없어 주차 차량의 위치 정보를 표출할 수 없다는 문제점이 있다.

종래의 기술에서는, 주차위치확인은 주로 360도 전방위 카메라와 백엔드 차량번호판인식 서버를 이용해 최대 6개 주차면을 대상으로 주차된 차량의 번호판을 인식하는 방식으로 구성 및 운영되고 있다. 그러나, 이와 같은 방식에서는 6개의 주차면 마다 카메라가 필요하다는 문제점이 있고, 이에 따른 배선, 설비설치 등이 필요하다. 또한, 6개의 주차면에 대해 어안렌즈 카메라 등으로 번호를 인식함에 있어서, 영상 왜곡 등으로 정확한 번호판을 확인하지 못한다는 문제점이 있고, 카메라가 커버하지 못하는 영역에 주차가 되었을 때, 이를 확인하기 어렵다는 문제점이 있다.

한편, 본원 발명의 출원인의 선행특허 1(한국등록특허 10-2106114, 2020년 등록)의 경우, 카메라가 커버하지 못하는 경우에도, 특정 카메라를 통과한 차량의 예상 위치범위가 시스템에 맵핑되는 형태로 차량을 트래킹하는 기술을 개시하고 있다. 그러나, 이와 같은 방식에서는 대략적으로 차량의 트래킹을 할 수 있을 뿐, 차량의 정확한 위치를 파악하기 위해서는 전술한 바와 같이 주차면에 주차된 차량의 번호를 인식해야 한다는 문제점이 있고, 결국은 다수의 카메라가 필요하다는 문제점이 있다.

한편, 선행특허 2(한국등록특허 10-1239364)의 경우, 주차면의 이미지에 기반하여, 차량의 주차여부를 판단하는 기술을 개시하고 있다. 그러나, 이와 같은 선행특허 2는 카메라 하나가 정확하게 커버할 수 있는 주차면수가 3개에 불과하고, 또한 조명 등의 외부환경 변화시 차량번호판 등의 인식이 불명확하다는 문제점이 있다.

본 발명은 딥러닝 기반의 학습모델을 이용하여 조명 변화 등에 외부환경에 대해 강인한 판단성능을 가지고, 차량번호판 인식과 차량인식추적 단계를 이용하여 주차장 내부에 설치되는 카메라 개수를 감소시키면서, 차량식별추적의 정확도를 개선할 수 있는 딥러닝 기반의 차량식별추적 방법, 및 시스템을 제공하는 것을 그 목적으로 한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템에서 수행되는 차량식별추적 방법으로서, 대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계; 대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계; 상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계; 각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계; 및 상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;를 포함하고, 상기 차량탐지단계는 딥러닝 기반의 학습모델에 의하여 수행되는, 차량식별추적 방법을 제공한다.

본 발명의 몇 실시예에서는, 상기 진입식별단계는, 제1이미지로부터 전경영역을 추출하는 단계; 상기 전경영역으로부터 1 이상의 객체들의 외곽선을 검출하고, 외곽선이 사각형태인 1 이상의 세부전경영역을 추출하는 단계; 상기 1 이상의 세부전경영역으로부터 SVM알고리즘에 의하여 단일의 차량번호영역을 추출하는 단계; 및 상기 차량번호영역으로부터 차량의 번호정보를 추출하는 단계;를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 차량번호영역으로부터 차량의 번호정보를 추출하는 단계는, 상기 차량번호영역에 대하여 적응형 이진화 알고리즘을 적용하여 이진화차량번호영역을 도출하는 단계; 상기 이진화차량번호영역에 대하여 수평방향의 제1히스토그램 정보 및 수직방향의 제2히스토그램에 기초하여 복수의 숫자세부영역 혹은 문자세부영역을 도출하는 단계; 및 상기 숫자세부영역 혹은 문자세부영역으로부터 차량의 번호정보를 추출하는 단계;를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 숫자세부영역 혹은 문자세부영역으로부터 차량의 번호정보를 추출하는 단계는, 딥러닝 기반의 제1학습모델에 기반하여 각각의 숫자세부영역으로부터 숫자를 추출하거나 각각의 문자세부영역으로부터 문자를 추출할 수 있다.

본 발명의 몇 실시예에서는, 상기 진입식별단계는, 제1이미지로부터 딥러닝 기반의 제2학습모델에 의하여 차량의 번호정보를 추출할 수 있다.

본 발명의 몇 실시예에서는, 상기 차량탐지단계는, 상기 제2이미지로부터 각각의 픽셀의 과거 프레임에서의 정보로 도출된 확률값에 기초하여 전경차량영역을 도출하는 단계; 및 상기 전경차량영역으로부터 딥러닝 기반의 제3학습모델에 의하여 전경차량영역이 차량인 지 여부를 탐지하는 단계;를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 제3학습모델은 복수의 풀링레이어와 복수의 덴스레이어를 포함하는 CNN 모듈을 포함하고, 상기 제3학습모델은 상기 풀링레이어의 최종 결과물 중 일부를 드롭아웃시키고, 남은 풀링결과물에 대하여 복수의 FC층(Fully-Connected Layer)를 통하여 특징정보를 도합하여 상기 전경차량영역이 차량인지 여부를 판단할 수 있다.

본 발명의 몇 실시예에서는, 각각의 제2이미지에 대한 상기 차량탐지단계 및 로컬분석단계는 각각의 로컬분석모듈에 의하여 수행되고, 각각의 로컬분석모듈에 의하여 수행되는 상기 로컬분석단계는, 상기 차량탐지단계에서 탐지된 해당 제2이미지에서의 해당 차량에 대하여, 이전 로컬분석단계에서 단계에서 식별자 정보가 부여되지 않은 경우, 다른 로컬분석모듈로부터 수신한 핸드오버 정보에 기초하여 해당 차량에 대한 식별자 정보를 도출하는 단계; 해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행하는 단계; 및 해당 차량이 해당 제2이미지 외부로 진출하거나 혹은 해당 제2이미지 내부에서 기설정된 경계 외부로 진출하는 경우에 핸드오버 정보를 생성하고, 해당 차량이 진출하는 영역에 상응하는 제2이미지에 대하여 상기 로컬분석단계를 수행하는 로컬분석모듈에 상기 핸드오버 정보를 전송하는 단계;를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 핸드오버 정보는 제2이미지 외부로 진출하거나 혹은 제2이미지 내부에서 기설정된 경계 외부로 진출하는 진출차량의 이미지 특징정보, 및 해당 차량의 식별자 정보를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 로컬분석단계는, 해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행하는 단계;를 포함하고, 상기 트래킹을 수행하는 단계는, 제2이미지의 이전의 프레임에서 검출된 해당 차량의 바운딩박스의 위치정보 및 형태정보에 기초하여, 칼만필터를 적용하여 예측되는 예측바운딩박스의 위치정보 및 형태정보와 상기 차량탐지단계에서 딥러닝 기반의 학습모델에 의하여 탐지된 차량의 탐지바운딩박스의 위치정보 및 형태정보의 유사도를 고려하여, 해당 차량에 대한 트래킹을 수행할 수 있다.

본 발명의 몇 실시예에서는, 상기 로컬분석단계는, 해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행하는 단계;를 포함하고, 상기 트래킹을 수행하는 단계는, 이전의 로컬분석단계에서 검출된 차량영역에 대하여 딥러닝 기반의 제4학습모델에 의하여 제1특징점벡터를 도출하는 단계; 현재의 차량탐지단계에서 검출된 차량영역에 대하여 상기 딥러닝 기반의 제4학습모델에 의하여 제2특징점벡터를 도출하는 단계; 및 상기 제1특징점벡터와 상기 제2특징점벡터의 유사도에 기초하여, 해당 차량에 대한 트래킹을 수행할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 차량식별추적 방법을 수행하기 위한 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템으로서, 상기 컴퓨팅 시스템은, 대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계; 대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계; 상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계; 각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계; 및 상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;를 수행하고, 상기 차량탐지단계는 딥러닝 기반의 학습모델에 의하여 수행되는, 컴퓨팅 시스템을 제공한다.

본 발명의 일 실시예에서는, 복수의 모델에서 수행되는 이용한 차량번호판 인식과 차량인식추적 단계를 이용하여 주차장 내부에 설치되는 카메라 개수를 감소시키면서, 차량식별추적의 정확도를 개선할 수 있는 딥러닝 기반의 차량식별추적 방법, 및 시스템을 제공하는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 360도 전방위 카메라 당 주차위치확인 대상 주차면수를 종래의 번호인식과 주차면별 차량진입감지 방식의 종래의 주차위치확인 시스템과 비교시 60% 이상 개선할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 1대의 12M 고화질 전방위 카메라를 사용하는 방식으로 전환함으로써 기존 주차위치 표출을 위한 카메라 및 배관 배선, 설치 등에 소요되는 비용 절감을 도모할 수 있는 효과를 발휘할 수 있다.

양방향 12면 시스템의 경우 영상의 왜곡으로 인해 번호인식 기술 및 왜곡보정 기술을 적용하더라도 차량의 번호를 인식할 수 없기 때문에 차량의 위치정보를 파악할 수 없었지만, 본 발명의 일 실시예에서는, 양방향 12면 시스템을 이용하더라도 차량의 번호를 인식하고, 차량의 위치정보를 파악할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 주차장(주차층) 진입 시 차량의 번호판을 영상으로 한 번 인식한 후, 이후 차량이 주차면에 정차하기까지 이동경로를 영상으로 추적하기 때문에, 주차면 전용 카메라의 주차면 Capacity(수용량)를 늘릴 수 있는 효과를 발휘할 수 있고, 360도 전방위 카메라를 설치위치에 따라 번호인식, 경로추적 및 진입감지 등의 목적에 활용할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 딥러닝 기반의 학습모델을 이용하여 조명 변화 등에 외부환경에 대해 강인한 판단특성을 가지는 차량식별추적 방법을 제공하는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 주차 대상영역에서의 카메라 배치 상태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 차량식별추적 시스템의 전체적인 구성요소를 개략적으로 도시한다.
도 3는 본 발명의 일 실시예에 따른 차량식별추적 방법의 세부단계들 및 시스템의 세부요소들을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 로컬분석모듈 및 글로벌분석모듈의 동작을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 제2카메라 영역이 변경됨에 따른 핸드오버정보의 전송을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 제2이미지의 예시 및 이의 글로번변환과정을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 글로벌변환과정에서의 좌표계 변환 단계들을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 글로벌정보의 실시간 처리에 대하여 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 글로벌정보에서의 차량의 트래킹 현황의 일 예를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 주차정보도출단계의 과정을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 진입식별단계의 세부단계들을 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따라 검출되는 세부전경영역의 사진예들을 도시한다.
도 13은 본 발명의 일 실시예에 따라 차량번호영역을 추출하는 과정을 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따라 차량의 번호정보를 추출하는 과정을 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 차량의 번호정보를 추출하는 딥러닝 기반의 학습모델의 구조를 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 차량탐지단계의 세부 단계들을 개략적으로 도시한다.
도 17은 본 발명의 일 실시예에 따른 로컬분석단계에서의 트래킹 과정을 개략적으로 도시한다.
도 18은 본 발명의 일 실시예에 따른 로컬분석단계에서의 트래킹 과정을 개략적으로 도시한다.
도 19는 본 발명의 일 실시예에 따른 관리자단말기에서 표시되는 모니터링 화면의 일 예를 도시한다.
도 20는 본 발명의 일 실시예에 따른 관리자단말기에서 표시되는 모니터링 화면의 일 예를 도시한다.
도 21은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 주차 대상영역에서의 카메라 배치 상태를 개략적으로 도시한다.

본 발명의 차량식별추적 방법은 대상영역에 존재하는 차량을 식별하면서 트래킹하고, 트래킹한 결과를 기초로 주차위치 정보 등을 도출할 수 있다.

본 발명에서는, 대상영역은 복수로 존재할 수 있다. 예를들어, 지하1층 주차장, 자하2층주차장, 및 지하3층주차장 각각은 별도의 대상영역으로 지정될 수 있고, 혹은 동일한 층내에서도 대상영역은 복수로 존재한다.

이와 같은 대상영역에서는 크게 2 종류의 카메라가 설치된다. 제1카메라(100)는 차량의 번호판 등의 차량식별정보를 확인할 수 있는 카메라로 해당한다. 예를들어, 해당 주차층으로 들어오는 위치, 혹은 입출차기에 설치되는 카메라가 이와 같은 제1카메라(100)에 해당할 수 있다.

도 1에 도시된 바와 같이, 대상영역의 경계지점에 설치된 제1카메라(100)는 차량의 번호판 등의 차량식별정보를 추출할 수 있다.

한편, 대상영역의 각각의 구획된 세부 영역에 대해서는 복수의 제2카메라(200)가 이미지를 획득한다. 바람직하게는, 하나의 카메라로 보다 넓은 영역을 커버하기 위하여 어안렌즈를 이용한 카메라를 이용한다. 더욱 바람직하게는 12면을 이상을 커버할 수 있는 카메라를 각각의 영역에 배치할 수 있고, 이와 같은 카메라의 커버 범위는 중첩된 영역이 존재할 수 있다.

이와 같은 카메라배치 형태에서, 1차적으로는 제1카메라(100)가 대상영역으로 진출하는 차량에 대한 정보를 획득하고, 이후, 복수의 제2카메라(200)에서 획득된 이미지를 분석함으로써, 해당 차량에 대한 정확한 식별정보 및 트래킹 정보를 갱신하는 형태로 본 발명의 실시예들에 따른 차량식별추적방법이 수행될 수 있다.

바람직하게는, 상기 경계지점은 차량이 진입하는 부분뿐만 아니라 진출(예를들어, 대상영역이 지하1층주차장인 경우에, 제1카메라(100)는 지하1층주자창에 진입하는 부분 및 지하1층주차장에서 지하2층주차장 혹은 지상으로 진출하는 부분에 설치될 수도 있다)에 해당할 수 있고, 하나의 대상영역에 복수의 제1카메라(100)가 설치될 수도 있다. 특히 복수의 진입경계를 갖는 경우에는 각각의 경계에 대하여 제1카메라(100)가 설치됨이 바람직하다.

도 2는 본 발명의 일 실시예에 따른 차량식별추적 시스템의 전체적인 구성요소를 개략적으로 도시한다.

본 발명의 실시예들에 따른 차량식별추정방법은 주차유도에 필요한 주차위치 정보와 통계를 차량 식별추적 관점에서 구현한다.

전술한 바와 같이, 차량 식별은 주차장(주차 층) 진입 시점, 즉 대상영역의 경계지점에서 설치된 제1카메라(100)에서 획득된 이미지에 기초하여 수행될 수 있다.

본 발명의 일 실시예들에서는, 도 2에 도시된 바와 같이, 제1카메라(100) 및 제2카메라(200)로부터 수집된 영상정보(이미지 혹은 동영상)은 주차유도서버에 전송이 되고, 이와 같은 주차유도서버로 수집된 영상정보가 주차위치서버에 전송되어, 차량식별추적방법의 세부단계들이 수행될 수 있다.

한편, 본 발명의 다른 실시예들에서는 주차유도서버가 생략된 형태로, 제1카메라(100) 및 제2카메라(200)에서 수집된 영상정보가 바로 주차위치서버로 전송될 수도 있다.

또한, 본 발명의 다른 실시예들에서는 후술하는 차량식별추적방법의 세부단계들이 모두 주차위치서버에서 수행되는 것이 아니라, 주차위치서버 외의 다른 모듈에서 수행될 수 있다. 일예로서, 후술하는 로컬분석단계 혹은 차량식별번호 도출 단계는 각각의 카메라에 내장된 프로세서 및 메모리에 의하여 수행될 수도 있다. 혹은 후술하는 차량식별추적방법의 일부 과정이 주차유도서버 및 주차위치서버에서 각각 분산되어 수행될 수도 있다.

도 2에 도시된 바와 같이 대상영역의 각각의 세부 영역에는 복수의 제2카메라(200)가 설치되어 실시간으로 영상정보를 획득한다. 이와 같은 멀티 카메라환경에서는 본 발명의 실시예들에서는 주차장내 차량의 이동경로를 추적하기 위해 멀티카메라간 연계를 구현한다.

한편, 제2카메라(200)는 다시점을 제공하는 360도 전방위 카메라를 사용함이 바람직하고, 이와 같은 제2카메라(200)는 기본적으로 차량의 식별추적을 수행하고, 추가적으로, 차번인식 및 점유 탐지 등으로도 활용될 수 있다.

한편, 상기 주차위치서버에서 분석된 결과는 스마트폰 등의 사용자단말기, 세대내 월패드, 주차 안내 키오스크, 및 관리자단말기에 전송될 수 있다.

관리자단말기에서는 실시간으로 차량의 위치 및 주차면 점유상태 등을 모니터링할 수 있다.

도 3는 본 발명의 일 실시예에 따른 차량식별추적 방법의 세부단계들 및 시스템의 세부요소들을 개략적으로 도시한다.

본 발명의 실시예들에 따른 차량식별추적 방법은 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템에서 수행되며, 대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계; 대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계; 상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계; 각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계; 및 상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;를 포함한다.

제1카메라(100)에 의하여 획득되는 제1이미지는 어안렌즈에 의하여 촬영된 이미지에 해당할 수 있으나, 차량 번호 등을 식별할 수 있는 형태의 카메라 혹은 배치면 모두 가능하다. 제1카메라(100)에 의하여 획득된 제1이미지에 의하여 대상영역으로 트래킹되는 차량의 식별정보가 생성된다.

바람직하게는, 상기 제2이미지는 어안렌즈에 의하여 촬영된 이미지의 세부 영역이 서로 상이하게 왜곡된 형태의 이미지에 해당한다.

이와 같은 제2이미지는 하나의 카메라로 보다 넓은 시야각을 확보할 수 있는 이점이 있으나, 가장자리 영역에 대해서는 차량번호 등을 명확하게 식별하지는 못한다. 본 발명에서는 제2이미지로부터 직접적으로 주차면에 주차된 차량의 번호를 식별하는 방식이 아닌 제1이미지로부터 시작된 트래킹 정보를 제2이미지에 의하여 업데이트하는 방식으로 차량을 식별추적을 한다.

바람직하게는, 상기 로컬좌표정보는 상기 제2이미지에서의 비선형적인 차량의 좌표정보에 해당하고, 상기 글로벌좌표정보는 상기 대상영역 전체에서의 선형적인 차량의 좌표정보에 해당한다.

기본적으로 복수의 영역에 위치하는 제2카메라(200)에서 획득된 이미지는 왜곡된 이미지에 해당하고, 로컬좌표정보는 왜곡된 이미지 상에서의 좌표에 해당한다. 본 발명에서는 글로벌모델에서 통합된 정보를 생성하기 위하여, 로컬좌표정보를 글로벌좌표정보로 변환한다.

단계 S1000에서는 대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계가 수행된다.

제1카메라(100)에서 획득된 제1이미지로부터 차량의 번호정보를 추출하는 방식은 다양한 형태의 공지된 알고리즘이 적용될 수도 있지만, 공지되지 않은 특수한 알고리즘이 적용될 수도 있다.

단계 S1000에 의하여, 진입한 차량에 대하여 해당 차량에 대한 식별자가 부여되면서 트래킹 관리가 시작된다.

단계 S2000에서는, 대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계;가 수행된다.

각각의 제2이미지에 대해서는 실시간으로 차량 오브젝트를 검출한다. 이와 같은 차량탐지단계는 이미지 전처리, 혹은 룰베이스 기반의 객체추출 후, 추출된 객체에 대해서 딥러닝 기반의 판별모델에 의하여 차량 오브젝트가 검출될 수 있다. 혹은 본 발명의 다른 실시예에서는 이미지 자체에 대하여 학습된 모델에 의하여 차량 객체의 바운딩박스를 검출하는 방식으로도 진행될 수 있다.

단계 S3000에서는 상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계;가 수행된다.

단계 S3000에서는 상기 S2000에서 탐지된 차량에 대하여 식별자 정보를 유지하면서 트래킹이 수행된다.

각각의 제2이미지에 대한 상기 차량탐지단계(S2000) 및 로컬분석단계(S3000)는 각각의 로컬분석모듈에 의하여 수행된다. 즉, 주차위치서버에서 소프트웨어적으로 수행되는 복수의 로컬분석모듈 각각이 상응하는 제2카메라(200)의 영상을 분석하여 차량탐지단계 및 로컬분석단계를 수행한다.

단계 S4000에서는 각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계;가 수행된다.

단계 S2000, S3000에서는 각각의 세부영역, 즉 각각의 제2이미지로부터 차량의 정보가 분석된다. 이후, 단계 S4000에서는 세부영역에서 분석된 로컬정보를 글로벌정보로 변환된다. 이와 같은 글로벌정보는 대상영역 전체에서의 선형적인 좌표계에 따른 식별된 차량의 위치정보를 포함할 수 있다.

단계 S5000에서는 상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;가 수행된다.

단계 S5000에서는 상기 글로벌정보에서 식별된 차량이 어느 위치에 주차가 되어있는 지를 포함하는 주차정보 및 실시간으로 차량의 현황 등에 대한 정보를 출할 수 있고, 단계 S5000에서 도출된 정보는 도 2의 사용자단말기, 월패드, 키오스크, 및 관리자단말기 등으로 제공될 수 있다.

바람직하게는, 각각의 제2이미지에 대한 상기 차량탐지단계 및 로컬분석단계는 각각의 로컬분석모듈에 의하여 수행되고, 상기 글로벌변환단계는 단일의 글로벌분석모듈에 의하여 수행된다.

도 3의 (B)에 도시된 차량식별추적 방법을 수행하기 위한 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템은 진입진출식별부, 차량탐지부, 로컬분석부, 글로벌변환부, 주차정보도출부를 포함한다.

이와 같은 컴퓨팅 시스템은 전술한 대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계; 대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계; 상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계; 각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계; 및 상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;를 수행할 수 있다.

위와 같이 본 발명에서는 각각의 제2 카메라에서 검출된 차량의 위치는 3차원 월드 좌표계, 즉 글로벌좌표계로 통합되며, 통합된 검출 결과를 이용하여 실시간으로 차량의 위치를 추적할 수 있다.

본 발명에서는 복수의 제2카메라(200)에서 전달되는 영상을 연동하여 동일한 차량을 안정적으로 추적할 수 있도록 하고, 이를 위하여 로컬모델과 글로벌모델을 구분하여 분석을 수행한다.

바람직하게는, 상기 차량탐지단계는 심층학습(Deep Learning)을 이용한 물체 분류 기술을 활용하여 주차장에서 이동하는 차량을 검출한다.

본 발명의 일 실시예에서는, CNN(Convolutional Neural Network) 기반의 탐지모델을 활용할 수 있고, 이와 같은 CNN 학습모델은 제2이미지 전체에 대해 적용하거나 혹은 제2이미지에서 전경으로 추출된 부분 이미지에 대하여 적용하여 차량 객체를 식별할 수도 있다.

본 발명의 실시예들에 따른 발명은 복수의 컴퓨팅 장치로 구성된 컴퓨팅 시스템에 의하여 수행될 수 있다.

본 발명의 일 실시예에서는 도 3의 (B)에서와 같이 진입진출식별부(1000), 차량탐지부(2000), 로컬분석부(3000), 글로벌변환부(4000), 및 주차정보도출부(5000)가 주차위치서버에 포함될 수 있으나, 본 발명의 다른 실시예에서는, 진입진출식별부(1000), 차량탐지부(2000), 로컬분석부(3000), 글로벌변환부(4000), 및 주차정보도출부(5000)가 상기 주차위치 서버의 외부의 장치, 예를들어 카메라장치에 내장된 1 이상의 메모리 및 프로세서를 갖는 컴퓨팅장치에 포함될 수 있다. 바람직하게는, 상기 로컬분석부(3000)의 경우 카메라장치에서 포함되어 있고, 로컬분석단계는 카메라장치에서 수행될 수 있다.

도 4는 본 발명의 일 실시예에 따른 로컬분석모듈 및 글로벌분석모듈의 동작을 개략적으로 도시한다.

바람직하게는, 각각의 제2이미지에 대한 상기 차량탐지단계 및 로컬분석단계는 각각의 로컬분석모듈에 의하여 수행된다.

각각의 로컬분석모듈은 S2000에서 해당 제2이미지 상에서 차량을 검출한다. 이와 같이 검출된 차량은 차량 검출 모델에서 제공하는 임시적인 식별정보가 부여된 상태에 해당할 수 있다.

이후, 단계 S3100에서는 상기 차량탐지단계에서 탐지된 해당 제2이미지에서의 해당 차량에 대하여, 이전 로컬분석단계에서 단계에서 식별자 정보가 부여되지 않은 경우, 다른 로컬분석모듈로부터 수신한 핸드오버 정보에 기초하여 해당 차량에 대한 식별자 정보를 도출한다.

상기 핸드오버 정보는 해당 제2카메라(200)가 진입하는 경계지점에 인접한 영역인 경우에는 제1카메라(100)의 영상 분석결과에 따라 제공될 수도 있고, 해당 제2카메라(200)에 인접한 제2카메라(200)로부터 수행된 단계 S3300에 의하여 제공될 수 있다.

즉, 단계 S2000에서 차량이 탐지되는 경우, 해당 제2이미지에서 해당 차량이 최초로 탐지된 경우에는 단계 S2000에서는 외부 로컬분석모듈로부터 수신한 핸드오버 정보에 기초하여 식별자 정보가 부여된다.

바람직하게는, 외부 로컬분석모듈로부터 수신한 핸드오버 정보가 없는 경우에는 일단 미식별 상태에서 해당 차량에 대한 트래킹이 수행된다.

단계 S3200에서는 해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행한다. 단계 S3200에서는 구체적으로 해당 제2이미지 내부에서의 해당 차량의 로컬좌표 및 식별자 정보를 유지하면서 실시간으로 글로벌분석모듈에 전송할 정보를 생성한다.

단계 S3300에서는, 해당 차량이 해당 제2이미지 외부로 진출하거나 혹은 해당 제2이미지 내부에서 기설정된 경계 외부로 진출하는 경우에 핸드오버 정보를 생성하고, 해당 차량이 진출하는 영역에 상응하는 제2이미지에 대하여 상기 로컬분석단계를 수행하는 로컬분석모듈에 상기 핸드오버 정보를 전송하는 단계가 수행된다.

각각의 로컬분석모듈은 각각의 제2카메라(200) 상의 이미지에서 차량의 식별 및 트래킹이 수행되는 과정에서, 해당 차량이 제2카메라(200)의 기설정된 영역을 벗어나는 경우, 벗어난 영역에 위치하는 제2카메라(200)에게 해당 식별정보를 전달하는 데, 이와 같은 과정을 단계 S3300이 수행하게 된다.

바람직하게는, 상기 핸드오버 정보는 제2이미지 외부로 진출하거나 혹은 제2이미지 내부에서 기설정된 경계 외부로 진출하는 진출차량의 이미지 특징정보, 및 해당 차량의 식별자 정보를 포함한다.

이와 같은 상태에서, 상기 식별자 정보를 도출하는 단계(S3100)는, 상기 차량탐지단계에서 탐지된 해당 차량의 이미지 특징정보와 상기 핸드오버 정보에 포함되는 진출차량의 이미지 특징정보의 유사도를 고려하여 수행된다.

즉, S2000에서 탐지된 차량에 대한 이미지특징정보와 핸드오버 정보에 포함된 이미지특징정보의 유사도를 기반으로 탐지된 차량이 핸드오버 정보에 포함된 차량인지 여부를 판단하고, 이에 따라 제2이미지 내부에서의 식별자 정보를 부여함으로써, 서로 다른 제2이미지 상에서의 트래킹의 연속성을 유지할 수 있다.

바람직하게는, 인접한 2개의 제2이미지는 서로 중첩된 영역이 존재한다. 즉, 인접한 제1영역 및 제2영역에 대해 제1로컬분석모듈 및 제2로컬분석모듈이 분석을 수행하고 있을 때, 제1영역의 가장자리의 중첩된 영역으로 차량이 위치할 때, 제2로컬분석모듈에서는 차량의 탐지 및 트랙킹만 이루어지고, 이에 대한 식별자 정보는 부여되지 않거나 혹은 임시적인 식별자 정보만이 부여된다. 이후, 제1로컬분석모듈에서 단계 S3300이 수행되는 경우에, 제2로컬분석모듈에서 해당 차량에 대한 정식 식별자 정보가 부여를 하고 트래킹이 수행된다. 이와 같이 중첩된 영역의 존재는 보다 차량의 핸드오버 정보를 정확하게 교환할 수 있게 하고, 트래킹의 정확도를 보다 높일 수 있는 효과를 발휘할 수 있다.

도 5는 본 발명의 일 실시예에 따른 제2카메라(200) 영역이 변경됨에 따른 핸드오버정보의 전송을 개략적으로 도시한다.

차량이 주차층으로 입차 후 제1카메라(100)에 의하여 차량의 차량번호 등의 식별정보가 추출되면서, 해당 차량에 대해 식별자 정보가 부여된다. 이후, 해당 식별자 정보는 첫번째 제2카메라(200)(좌측에 존재)를 분석하는 로컬분석모듈에 전달이 되고, 해당 로컬분석모듈은 진입한 차량에 대해 상기 제1카메라(100)에 의해 획득된 이미지에 의하여 최초 부여된 식별자 정보를 해당 차량에 부여하여 트래킹을 수행한다.

이후, 차량이 우측으로 이동함에 따라, 좌측의 제2카메라(200)에 대한 로컬분석모듈은 핸드오버정보를 우측의 제2카메라(200)에 대한 로컬분석모듈에 대해 전달하게 되고, 우측의 제2카메라(200)에 대한 로컬분석모듈은 해당 차량에 대하여 식별자 정보를 부여하고, 트래킹을 수행하게 된다.

바람직하게는, 상기 핸드오버 정보는 제2이미지 외부로 진출하거나 혹은 제2이미지 내부에서 기설정된 경계 외부로 진출하는 진출차량의 이미지 특징정보, 및 해당 차량의 식별자 정보를 포함한다. 상기 이미지 특징정보에 기초하여 동일한 차량의 식별자 정보가 정확하게 유지될 수 있는 효과를 발휘할 수 있다.

즉, 상기 식별자 정보를 도출하는 단계는, 상기 차량탐지단계에서 탐지된 해당 차량의 이미지 특징정보와 상기 핸드오버 정보에 포함되는 진출차량의 이미지 특징정보의 유사도를 고려하여 수행될 수 있다.

도 6은 본 발명의 일 실시예에 따른 제2이미지의 예시 및 이의 글로번변환과정을 개략적으로 도시한다.

바람직하게는, 각각의 제2이미지에 대한 상기 차량탐지단계 및 로컬분석단계는 각각의 로컬분석모듈에 의하여 수행되고, 상기 글로벌변환단계는 단일의 글로벌분석모듈에 의하여 수행된다.

한편, 상기 글로벌변환단계는 기설정된 샘플링 타임으로 각각의 제2이미지에 대한 각각의 로컬분석모듈에 의하여 생성되는 1 이상의 차량의 식별자 정보 및 로컬좌표 정보에 기초하여 시계열적으로 상기 글로벌정보를 생성한다.

도 6의 어안렌즈 기반 카메라렌즈에는 가장자리로 갈수록 이미지에 왜곡이 발생한다. 이와 같은 상태의 제2이미지에서 차량이 탐지되는 경우 해당 차량에 대한 제2이미지상에서의 좌표, 즉 로컬좌표를 도출할 수 있다. 이와 같은 로컬좌표는 픽셀상의 좌표에 해당할 수 있고, 이와 같은 로컬좌표 정보들은 해당 대상영역(예를들어 지하1층 주차장)의 선형적인 글로벌 좌표로 변환됨으로써, 해당 대상영역에 존재하는 차량의 정보들이 통합적으로 수집될 수 있다.

즉, 차량탐지단계 및 로컬분석단계에 의하여 로컬정보가 각각의 제2이미지에 대하여 각각 생성되고, 이와 같은 로컬정보에는 해당 제2이미지 상에서의 차량 식별자정보 및 제2이미지상에서의 차량 좌표정보를 포함할 수 있다.

그러나, 이와 같은 로컬좌표정보는 도 6에 도시된 바와 같이, 왜곡된 좌표계에서의 좌표정보에 해당하고, 이와 같은 로컬좌표정보는 일차적으로 제2이미지 상에서의 선형적 좌표계에서의 좌표 정보로 변환된다.

각각의 제2이미지에서는 영역별 이미지의 왜곡정보가 기설정된 규칙을 따르기 때문에, 상기 주차위치서버에는 제2이미지의 각각의 픽셀의 위치정보와 선형적인 제2이미지에서의 픽셀의 위치정보에 대한 매핑관계테이블, 혹은 매핑변환규칙이 저장되어 있다.

즉, 각각의 제2이미지에서 검출된 차량의 로컬좌표정보는 기설정된 매핑관계테이블, 혹은 매핑변환규칙은 선형로컬좌표정보로 변환된다. 이와 같은 선형로컬좌표정보는 제2이미지를 선형적인 좌표를 갖는(혹은 왜곡이 최소화된) 카메라이미지에서의 각각의 차량의 좌표에 해당할 수 있다.

이후, 각각의 제2이미지가 대상영역 전체에서 위치하는 지점에 따라, 선형로컬좌표가 글로벌좌표정보로 변환된다.

예를 들어, 선형로컬좌표가 10x10의 차원을 가지고, 글로벌좌표가 100x100의 차원을 가지고, 10x10개의 제2카메라(200)가 설치되는 경우에, (3,3)의 지점에 위치하는 제2카메라(200)의 (1,1)의 선형로컬좌표정보는 글로벌좌표에서는 (21(20+1), 21(20+1))의 글로벌좌표정보로 변환될 수 있다.

즉, 선형로컬좌표정보는 해당 제2이미지가 위치하는 제2카메라(200)의 위치정보가 고려된 매핑관계테이블 혹은 매핑변환규칙에 의하여 글로벌좌표정보로 변환될 수 있다.

이와 같이 각각의 로컬분석모듈에 의하여 도출되는 차량의 식별자 정보 및 제2이미지상에서의 로컬좌표정보(픽셀좌표정보)는 글로벌변환단계에 의하여 차량의 식별자 정보 및 글로벌좌표에서의 글로벌좌표정보로 변환되고, 이와 같은 차량의 식별자 정보 및 글로벌좌표정보가 실시간으로 업데이트 되면서 글로벌 정보가 업데이트된다.

이후, 기설정된 규칙 등에 따라 글로벌 정보에 기반하여 차량의 주차여부 등을 판단하고, 차량의 주차위치를 식별 및 트래킹 할 수 있다. 마찬가지로, 제2이미지에서의 각각의 주차선 내의 주차영역에 대한 픽셀좌표(로컬좌표정보)도 글로벌좌표정보로 변환될 수 있다.

즉, 본 발명의 일 실시예에서는, 상기 주차정보도출단계는 시계열에 따른 상기 글로벌정보에 기초하여 각각의 차량의 주차여부를 판단할 수 있다.

바람직하게는, 전방위 카메라(혹은 어안렌즈 카메라)에 의하여 촬영된 제2이미지에서 검출된 차량의 제2이미지 상에서의 로컬좌표정보를 글로벌좌표정보로 변환하는 변환모델의 파라미터 값을 기준정보를 이용하여 도출할 수도 있다.

구체적으로, 좌표계의 변환모델을 생성하기 위해서 크기와 3차원 혹은 2차원의 글로벌좌표정보의 위치를 알고 있는 여러 개의 기준점을 정의하고(도 6의 이미지의 빨간 점에 해당함), 해당 기준점의 제2이미지 내부에서의 로컬좌표정보와 글로벌좌표정보 사이의 변환관계가 주차위치서버에 저장되어 있고, 이와 같은 변환관계를 기준으로 하여 전방위 카메라 영상(즉, 제2이미지) 전체에 대한 좌표변환모델을 보간(interpolation)하여 정의한다.

예를들어, 도 6의 기준점 A, B에 대하여, 선형로컬좌표정보 혹은 글로벌좌표정보가 주차위치서버에 저장되어 있는 경우에, 기준점 A와 기준점 B 사이의 있는 변환대상좌표의 선형로컬좌표정보 혹은 글로벌좌표정보는 기준점 A와 기준점 B의 선형로컬좌표정보 혹은 글로벌좌표정보의 중간값에 해당할 수 있다.

도 7은 본 발명의 일 실시예에 따른 글로벌변환과정에서의 좌표계 변환 단계들을 개략적으로 도시한다.

각각의 제2카메라(200)에서 탐지된 차량의 로컬좌표정보(픽셀의 좌표)는 글로벌좌표정보로 변환된다.

1차적으로는 해당 로컬좌표정보는 각각의 제2카메라(200)의 영상을 지면에 선형적으로 투영하였음을 가정할 때의 좌표에 해당하는 선형로컬좌표정보로 변환될 수 있다.

이와 같은 선형로컬좌표정보는 선택적으로 카메라좌표계로 변환될 수 있고, 카메라좌표계의 좌표들은 해당 제2이미지를 촬영한 제2카메라(200)의 위치 등을 고려하여, 좌표축 사이의 이동, 회전 등의 변환을 거쳐서, 글로벌좌표계에서의 글로벌좌표정보로 변환될 수 있다.

본 발명의 일 실시예에서는, 선형로컬좌표정보는 Z축(높이) 부분을 고려하여, 상기 카메라좌표계의 정보로 변환될 수 있고, 글로벌좌표정보는 Z축 까지의 정보를 포함하는 형태로 카메라좌표계의 정보로부터 변화될 수도 있다.

도 8은 본 발명의 일 실시예에 따른 글로벌정보의 실시간 처리에 대하여 개략적으로 도시한다.

도 8에 도시된 바와 같이, 대상영역은 ZONE 1 내지 ZONE 6으로 구획되어 있고, 각각의 영역에는 각각의 제2카메라(200)가 설치되어, 제2이미지를 수집하여 분석한다.

이와 같은 제2이미지의 로컬분석결과는 도 8의 하측과 같이 글로벌정보로 변환되어 취합되고, 이와 같은 글로벌정보에 기초하여 현재의 차량 현황 및 차량의 주차정보를 파악할 수 있다.

도 9는 본 발명의 일 실시예에 따른 글로벌정보에서의 차량의 트래킹 현황의 일 예를 개략적으로 도시한다.

도 9는 글로벌좌표계에서의 각각의 트래킹된 차량의 특정 시점에 대한 정보들을 도시한다. 도 9에 도시된 바와 같이 12개의 차량이 각각의 내부적인 식별자(C1 내지 C12)로 식별되어, 글로벌좌표계 상에서 위치 및 식별정보가 파악됨을 확인할 수 있다.

도 10은 본 발명의 일 실시예에 따른 주차정보도출단계의 과정을 개략적으로 도시한다.

전술한 바와 같이, 글로벌정보는 실시간적으로 업데이트된다. 이와 같은 글로벌정보에서 기설정된 규칙 혹은 학습된 판단모델에 의하여 각각의 차량의 상태에 대한 정보가 판단되어 실시간적으로 업데이트된다.

1번 차량 및 2번 차량의 경우, 주차선 외부에 존재하고 객체의 좌표정보가 변화하기 때문에, 배회차량으로 판별한다.

3번 차량의 경우, 기설정된 주차선 영역 내부에서 기설정된 기간 동안 위치가 유지되기 때문에, 주차차량으로 판별한다. 이때, 해당 주차면에 대한 위치정보를 기록함으로써, 이후 사용자가 해당 차량의 위치정보를 요청하는 경우 해당 주차면의 위치정보를 제공할 수 있다.

바람직하게는, 일차적으로는 전술한 바와 같이 글로벌좌표계에서의 차량객체의 글로벌좌표정보가 통로인지 주차면인지를 판단하여 주차여부를 판단하고, 추가적으로, 주차유도서버에서 도출되는 제2카메라(200)의 제2이미지에 대하여 차량이 주차선 내부에 위치하는 지 여부에 기초하여 주차여부를 판단하는 과정을 수행함으로써, 주차위치인식률이 더욱 향상될 수 있다.

도 11은 본 발명의 일 실시예에 따른 진입식별단계의 세부단계들을 개략적으로 도시한다.

본 발명의 일 실시예에 따른 차량식별추적 방법은 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템에서 수행된다.

본 발명의 실시예들에 따른 차량식별추적 방법은 대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계; 대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계; 상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계; 각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계; 및 상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;를 포함한다.

바람직하게는, 상기 차량탐지단계는 딥러닝 기반의 학습모델에 의하여 수행된다.

도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 상기 진입식별단계는, 제1이미지로부터 전경영역을 추출하는 단계(S1100); 상기 전경영역으로부터 1 이상의 객체들의 외곽선을 검출하고, 외곽선이 사각형태인 1 이상의 세부전경영역을 추출하는 단계(S1200); 상기 1 이상의 세부전경영역으로부터 SVM알고리즘에 의하여 단일의 차량번호영역을 추출하는 단계(S1300); 및 상기 차량번호영역으로부터 차량의 번호정보를 추출하는 단계(S1400);를 포함한다.

이와 같은 실시예에서는 차량객체 탐지, 번호판 영역 탐지, 숫자/문자 영역 분할, 숫자/문자 인식과 같이 단계별로 영상분석과 머신비전의 기술들이 결합되어 진입식별단계에서의 차량의 번호정보를 인식한다.

이하에서는 각각의 단계에 대해서 도 12 등을 참조하여 설명한다.

본 발명의 다른 실시예에서는, 상기 진입식별단계는, 제1이미지로부터 딥러닝 기반의 제2학습모델에 의하여 차량의 번호정보를 추출할 수 있다.

이와 같이, 본 발명의 다른 실시예에서는, End-to-End Deep Learning 방식으로 차량의 번호정보를 한 번에 처리할 수 있다. 다만, 이와 같은 방식에서는 조명 등의 다른 변화 및 객체 겹침 등이 이루어지는 경우에 인식의 오류가 발생할 수도 있다.

도 12는 본 발명의 일 실시예에 따라 검출되는 세부전경영역의 사진예들을 도시한다.

본 발명에서는 차량의 번호 정보를 인식함에 있어서 연산량을 줄여 영상처리 속도를 증가시키기 위하여 관심영역을 지정하여 전경을 추출한다. 차량의 번호정보를 추출하기 위해서는 번호판을 검출하여야 하고, 이를 위하여 제1카메라(100)가 위치하는 위치에 따라 영상의 특정 영역(예를들어, 제1카메라(100)가 진입로의 차단기에 배치되는 경우에는 우측 하단 영역)을 관심 영역으로 지정한다.

또한, 제1카메라(100)의 내부적 또는 외부적 요인에 의해서 실시간으로 입력되는 영상에는 노이즈가 포함될 수 있다. 이러한 노이즈는 차분될 때에 신호가 증폭될 수 있으며 이로 인해 차량에 대한 인식률이 저하될 수도 있다.

따라서, 본 발명의 바람직한 실시예에서는, 관심영역(ROI)을 지정한 후 입력되는 영상에 가우시안 스무딩(Gaussian Smoothing) 필터를 적용한다. 또한 주변 환경의 변화에 의해서 배경화면이 항상 일정할 수는 없다. 이에 가중치를 이용해서 이동평균을 계산해야 하고, 가중치를 이용한 차분영상의 공식은 다음과 같다.

여기서 d(x,y)는 이동평균영상이고 s(x,y)은 현재의 입력영상이다.

한편, 차량 번호판은 직사각형 형태이다. 본 발명의 실시예들에서는 이와 같은 형태학적 특징을 이용하여 번호판을 검출할 수 있다. 본 발명의 일 실시예에서는, 형태학적 특징을 찾기 위해서 Canny 에지(Edge) 검출기를 사용한다.

차량 번호판은 다른 물체와 달리 길이가 가로 방향으로 길다. 그러므로 세로 에지만 검출된 이진 이미지에 가로 방향의 모폴로지를 수행함으로써, 번호판을 하나의 영역으로 묶을 수 있다. 본 발명의 일 실시예에서는, 인접한 객체를 이어지도록 닫힘 연산의 모폴로지를 수행한다.

본 발명의 일 실시예에 따른 닫힘 연산의 모폴로지는 팽창(Dilation) 연산으로 객체를 확장시키고, 내부의 빈 공간이 채워진 후에 침식 연산(Erosion)으로 원래의 크기로 축소시켜 인접한 객체를 연결할 수 있다.

모폴로지 닫힘 연산을 수행한 후 번호판의 후보 이미지들을 구하기 위해서 객체들의 외곽선을 찾고 이를 포함하는 사각형 영역을 검출함으로써, 차량 번호판 영역에 해당하는 전경영역을 추출할 수 있다.

한국의 경우, 번호판은 도로교통법에 따라 1.1:5.2 등의 규격화된 종횡비 규격을 가지고 있다. 따라서, 본 발명의 실시예들에서는 검출된 사각형의 종횡비와 면적을 계산한다.

종회비와 면적 규격에 일치한 사각형 객체들만 번호판 후보 이미지들로 1차적으로 판별된다. 하나의 차량이 지나가는 제1이미지에서 번호판 후보 이미지는 복수로 판별될 수도 있고, 이는 단계 S1200에서 필터링된다.

바람직하게는, 판별된 번호판의 후보 이미지들은 카메라와 차량의 위치, 렌즈 화각 등 내외부적인 요인에 의해서 이미지가 왜곡될 수 있다. 그러므로 정규화 과정과 왜곡 보정을 통해서요가 있으므로 왜곡 보정을 위해서 Affine 변환을 사용한다. Affine 변환은 아래와 같이 표현할 수 있다.

여기서

와

는 크기 조정 행렬이고

와

는 회전 행렬이다.

와

는 평행이동 행렬이다.

도 13은 본 발명의 일 실시예에 따라 차량번호영역을 추출하는 과정을 개략적으로 도시한다.

Affine 변환과 정규화 과정을 거친 전경영역의 후보 이미지들 중에서 차량 번호판 이미지를 선형 SVM의 선출 알고리즘을 이용해 세부전경영역을 최종적으로 선출한다. SVM은 데이터 그룹간에 최대의 거리 마진(Margin)을 갖는 초평면(Hyperplane)으로 분류하는 알고리즘에 해당하고, 도 13은 SVM의 분류기에 따른 분류를 예시적으로 도시한다.

이와 같은 SVM분류기는 공지된 다양한 방식의 SVM분류기가 사용될 수 있다.

도 14는 본 발명의 일 실시예에 따라 차량의 번호정보를 추출하는 과정을 개략적으로 도시한다.

상기 차량번호영역으로부터 차량의 번호정보를 추출하는 단계는, 상기 차량번호영역에 대하여 적응형 이진화 알고리즘을 적용하여 이진화차량번호영역을 도출하는 단계; 상기 이진화차량번호영역에 대하여 수평방향의 제1히스토그램 정보 및 수직방향의 제2히스토그램에 기초하여 복수의 숫자세부영역 혹은 문자세부영역을 도출하는 단계; 및 상기 숫자세부영역 혹은 문자세부영역으로부터 차량의 번호정보를 추출하는 단계;를 포함한다.

본 발명의 일 실시예에서는 검출한 차량번호영역의 이미지에서 글자와 숫자를 인식하기 위해서는 이미지에 대한 이진화와 영역분할의 전처리 과정이 필요하다. 상기 이진화차량번호영역을 도출하는 단계는 외부환경에 강인하기 위해서 적응형 이진화 알고리즘을 사용한다. 입력된 영상 전체(차량번호영역)에 대해서 임계값을 설정하는 일반적인 방법과 달리 적응형 이진화는 주변의 이웃 화소값에 따라서 임계값이 결정되고, 이를 식으로 표현하면 다음과 같다.

여기서 n은 주변 영역의 크기이고 C는 상수이다. 주변 영역의 크기 n×n 과 상수 C 를 설계하는 것에 따라서 적응형 이진화의 성능이 달라진다. 번호판 이미지에 적응형 이진화를 적용한 다음에는 상기 문자세부영역을 도출하는 단계는 숫자와 문자 객체를 검출하기 위하여 히스토그램을 이용해 영역분할을 수행한다.

번호판 이미지의 수평과 수직 영역의 히스토그램은 도 14에 도시된 바와 같다. 수직 방향의 상하부분에는 번호판 테두리가 있으므로 히스토그램의 값이 크다. 수평 방향의 경우에는 양끝에 번호판 테두리가 있으므로 히스토그램 값이 크다. 반대로 번호판을 고정시키는 볼트부분은 히스토그램 값이 작다. 이러한 특징을 이용해서 임계값을 설정하면 번호판의 테두리와 볼트부분을 제거할 수 있다. 이후 영역분할을 통해서 개별 객체로 검출할 수 있다.

바람직하게는, 번호판의 오염으로 영역분할의 정확도가 낮아질 수도 있기 때문에, 히스토그램으로 추출된 개별 객체의 종횡비와 면적이 기설정된 기준에 부합하는 지 여부에 대한 판단과정을 추가하여 더욱 정확하게 개별적인 번호영역 혹은 숫자영역을 도출할 수 있다.

이후, 상기 숫자세부영역 혹은 문자세부영역으로부터 차량의 번호정보를 추출하는 단계에서는 인식률을 보다 높이기 위하여, 각각의 숫자세부영역 혹은 문자세부영역을 기설정된 크기(예를 들어, 28×28 크기)의 이미지로 정규화 과정을 수행한다.

본 발명의 일 실시예에서는 이와 같은 정규화 과정 이후 오픈소스 등의 공지된 OCR 알고리즘을 이용해 최종적으로 번호판 숫자를 인식할 수 있다. 다만, 일반적인 OCR 알고리즘의 경우 한글이 상대적으로 인식률이 떨어지는 문제와 조명들과 같은 주변 환경에 따라 인식율의 영향을 받는다.

이러한 문제점들을 해결하기 위해, 본 발명의 일 실시예에서는 CNN 기반 심층학습(Deep Learning) 알고리즘을 이용해, 숫자세부영역 혹은 문자세부영역에 대하여 개별적인 숫자 혹은 문자를 인식할 수 있다.

도 15는 본 발명의 일 실시예에 따른 차량의 번호정보를 추출하는 딥러닝 기반의 학습모델의 구조를 개략적으로 도시한다.

본 발명의 일 실시예에서는, 도 15에 도시된 바와 같이, 상기 숫자세부영역 혹은 문자세부영역으로부터 차량의 번호정보를 추출하는 단계는, 딥러닝 기반의 제1학습모델에 기반하여 각각의 숫자세부영역으로부터 숫자를 추출하거나 각각의 문자세부영역으로부터 문자를 추출할 수도 있다.

본 발명의 일 실시예에서는, CNN의 첫번째 컨벌루션 층에서는 입력되는 객체 이미지(문자세부영역 혹은 숫자세부영역)에 5×5 커널을 적용하여 컨벌루션 연산을 수행하고 총 64개의 필터를 적용하여 특징 맵을 추출한다.

일정한 간격으로 커널이 순회하며 컨벌루션을 수행한 특징맵은 입력 이미지보다 크기가 작아진다. 특징맵이 작아지게 되면 입력 이미지의 정보가 소실될 수 있으므로 사전에 패딩(Padding)을 통해서 보완한다. 필터를 통해서 특징 맵이 추출되면 활성화 함수들을 적용하여 활성화 맵을 구한다.

Binary Step 활성화 함수의 경우에는 0과 1의 값만을 가지므로 이진 분류만을 수행하는 단점이 있다. Sigmoid의 경우에는 0과 1사이의 값을 가질 수 있지만 양쪽 끝으로 다가갈수록 기울기가 0으로 수렴하여 학습이 잘 안되는 단점이 있다. 이점을 극복하기 위한 활성화 함수로는 ReLU(Rectified LinearUnit)가 있다.

ReLU는 양수일 때 기울기가 1이어서 기존에 0으로 수렴하는 문제점을 해결하였으나 음수일 때 기울기가 0이라는 것이 단점이다. 이를 해결하기 위해서 본 발명의 바람직한 실시예에서는 음수일 때 기울기가 0이 아닌 ELU(Exponential Linear Unit)함수 혹은 Leaky ReLU를 사용할 수도 있다.

바람직하게는, 설계한 CNN 모델을 가지고 지도학습을 진행할 때에는 신경망의 가중치를 조절해서 학습 데이터에 대한 손실값(Loss)을 최소화하도록 함이 바람직하다.

도 16은 본 발명의 일 실시예에 따른 차량탐지단계의 세부 단계들을 개략적으로 도시한다.

상기 차량탐지단계는, 상기 제2이미지로부터 각각의 픽셀의 과거 프레임에서의 정보로 도출된 확률값에 기초하여 전경차량영역을 도출하는 단계(S2100); 및 상기 전경차량영역으로부터 딥러닝 기반의 제3학습모델에 의하여 전경차량영역이 차량인 지 여부를 탐지하는 단계(S2200);를 포함한다.

바람직하게는, 상기 제3학습모델은 복수의 풀링레이어와 복수의 덴스레이어를 포함하는 CNN 모듈을 포함하고, 상기 제3학습모델은 상기 풀링레이어의 최종 결과물 중 일부를 드롭아웃시키고, 남은 풀링결과물에 대하여 복수의 FC층(Fully-Connected Layer)를 통하여 특징정보를 도합하여 상기 전경차량영역이 차량인지 여부를 판단할 수 있다.

본 발명의 일 실시예에서는 심층학습(Deep Learning)을 이용한 물체 분류 기술을 활용하여 주차장에서 이동하는 차량을 검출할 수 있다. 바람직하게는, 특히 영상내 객체분류 성능이 뛰어난 CNN(Convolutional Neural Network)을 이용하는 학습모델을 이용한다.

단계 S2100에서는 1차적으로 배경학습을 이용한 이동물체 탐지 기술을 활용하여 차량이 위치하는 영역을 추정하고 검출한다.

이후 단계 S2200에서는 차량검출을 위하여 CNN 기반의 객체분류개 혹은 차량인식기를 사용하지만, 연산의 고속화 및 검출 정확도의 개선을 위하여 배경학습을 이용하여 단계 S2100에서 차량 후보영역을 검출하고, 단계 S2200에서 심층학습(Deep Learning) 분류기가 차량 후보영역에 대하여 분류검색을 수행함으로써, 시스템의 자원 활용의 효율성을 높일 수 있다.

구체적으로 단계 S2100에서는, 제2이미지 전체 혹은 제2이미지에서 기설정된 규칙에 의하여 ROI(Region of Interest)로 설정된 영역에서 배경이 아닌 전경 물체를 모두 추출한다. 바람직하게는, 단계 S2100에서는 가우시안 혼합 모델을 이용하여 조명의 변화에 강인한 전경 추출 방식을 사용한다.

가우시안 혼합 모델은 각 픽셀을 가우시안 혼합 모델로 만들고 실시간으로 모델을 업데이트함으로써 조명 변화 및 가려짐과 같은 일시적은 변화에 강인한 특성을 가진다.

구체적으로, 먼저, 임의의 시간 t에서 특정 픽셀 (x0, y0)이 다음과 같은 히스토리를 갖는다면,

이는 k개의 가우시안 분포의 혼합으로 모델링 될 수 있다.

각 픽셀은 RGB 공간에서의 색상값을 갖게 되며, 현재 픽셀값의 확률은 다음의 공식으로 결정된다.

각 파라미터들을 초기화한 후에는 전경 픽셀들을 추출해 낼 수 있으며 각 픽셀들의 값은 계속적으로 업데이트가 된다. 설정한 threshold를 넘는 첫 수 개의 가우시안 분포는 배경 분포를 업데이트하기 위해 사용되며 나머지들은 전경을 표현하기 위해 사용될 수 있다.

이후, 새로운 프레임이 시간 t+1에 주어지게 되면 각 픽셀들에 대해 전경인지 배경인지를 확인하는 과정이 수행된다. 새로운 픽셀값은 Mahalanobis Distance 등의 판별알고리즘을 이용하여 가우시안 분포의 업데이트를 진행한다.

만약, k개의 가우시안 분포 중 일치하는 분포가 있다면, 새로운 분포는 하기의 식으로 업데이트 된다.

만약, 현재의 분포와 일치하는 것이 없다면, 가장 거리가 먼 가우시안 모델이 새로운 가우시안 분포로 대체될 수 있다.

위의 과정을 반복하여 진행함으로써 설정된 임계치를 넘지 않는 픽셀들은 배경의 업데이트에 사용되며 임계치를 넘는 픽셀들은 전경으로 구분된다.

본 발명의 일 실시예에서는 임계치를 넘는 픽셀들의 정보에 기초하여 바운딩 박스 형태로 전경영역이 결정될 수 있다. 예를들어, 임계치를 넘는 픽셀들 중 기설정된 기준에 의하여 그룹핑된 픽셀들의 x축 경계값(예를들어 최대값, 최소값), y축 경계값(예를들어 최대값, 최소값)에 기초하여 사각형 형태의 바운딩박스의 위치 및 형태가 결정될 수 있다.

바람직하게는, 가우시안 혼합 모델을 통해 추출된 배경은 노이즈가 제거되지 않은 상태에 하나의 물체가 여럿으로 나뉠 수도 있는 등 바로 물체 탐지에 적용하기에는 부적합할 수도 있다.

따라서, 본 발명의 일 실시예에서는, 이와 같은 상황에서도 하나의 물체로 인식시키기 위해 후처리 과정을 거칠 수 있다.

일차적으로, 노이즈를 제거하기 위해 제2이미지에 대하여 Median Filter를 적용한다. 이와 같은 과정에 의하여 노이즈가 제거된 이미지에 하나의 물체가 여러 개로 나뉘어지는 것을 막기 위해, 이차적으로 open-close 필터를 적용한다. 즉, open 필터를 통해 작은 물체를 제거한 후 close 필터를 통해 나뉘어져 있는 작은 객체들을 합침으로써 하나의 물체로 만들어낸다.

한편, 단계 S2200에서는, 상기 전경차량영역으로부터 딥러닝 기반의 제3학습모델에 의하여 전경차량영역이 차량인 지 여부를 탐지하는 단계가 수행된다. 본 명세서에서, 전경차량영역이 차량인지 여부를 탐지한다는 것은 해당 전경차량영역이 도 16의 (B)에서와 같이 객체분류기로 분류를 함에 있어서, 분류 대상 중에 차량이 있는 경우 및 전경차량영역에서 차량의 세부영역을 검출하는 경우를 모두 포함하는 최광의의 의미로 해석되어야 할 것이다.

심층학습(Deep Learning) 기반의 차량객체 탐지는 단계 S2100의 움직임 기반 배경학습에서 검출한 전경차량영역의 영상 혹은 이미지를 입력 데이터로 사용하여 해당 전경차량영역이 차량, 사람, 짐, 구조물 등의 클래스로 분류하고, 이에 대한 분류결과를 제공할 수 있다. 결과 값을 제공하는 기능을 수행한다.

일반적인 심층학습(Deep Learning) 모델들은 (ex. 구글의 모바일넷, VGG16, LeNet) 매우 다양한 종류의 물체를 분류하기 위하여 많은 파라미터를 보유할 수 있도록 신경망의 층(Layer)이 깊게 설계되어 있다. 하지만 신경망의 층이 깊기 때문에 일반적인 딥러닝 모델들은 높은 일반화 성능과 정확도를 보이고 있지만, 시스템의 자원을 많이 요구하고 있기 때문에 주차장과 같이 많은 채널의 영상 입력을 실시간으로 처리하는 것에는 비효율적이다.

한편, 본 발명에서 분류목표로 하는 물체의 클래스는 소수이기 때문에 직접 CNN 기반의 모델을 설계하여 가볍고 빠르게 동작함과 동시에 심층학습(Deep Learning)의 장점인 일반화 성능을 개선하기 위하여, CNN 기반의 신경망 층(ConvNet Layer)과 덴스층(Dense Layer)으로 제3학습모델을 구성한다.

이와 같은 CNN의 신경망 층에서는 객체 탐지 및 분류에 효과적인 특징점을 학습하게 되고 덴스층에서는 추출된 CNN 층의 특징점을 조합하여 물체를 분류할 수 있도록 구성할 수 있다.

도 17은 본 발명의 일 실시예에 따른 로컬분석단계에서의 트래킹 과정을 개략적으로 도시한다.

상기 로컬분석단계는, 해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행하는 단계;를 포함한다.

본 발명에서는 차량의 탐지 및 트래킹의 정확도를 더욱 개선하기 위하여, 상기 트래킹을 수행하는 단계는, 제2이미지의 이전의 프레임에서 검출된 해당 차량의 바운딩박스의 위치정보 및 형태정보에 기초하여, 칼만필터를 적용하여 예측되는 예측바운딩박스의 위치정보 및 형태정보와 상기 차량탐지단계에서 딥러닝 기반의 학습모델에 의하여 탐지된 차량의 탐지바운딩박스의 위치정보 및 형태정보의 유사도를 고려하여, 해당 차량에 대한 트래킹을 수행한다.

즉, 본 발명의 바람직한 실시예에서는 도 17의 (A)에서와 같이, 이전의 탐지 혹은 트래킹 결과에 기초하여 칼만필터로 예측되는 예측바운딩박스와 상기 차량탐지단계에서 탐지된 차량의 탐지바운딩박스의 위치차이가 기설정된 범위 이내이거나 혹은 바운딩박스의 형태(사각형의 바운딩 박스를 사용하는 경우에는 종횡비)에 대하여 예측바운딩박스와 탐지바운딩박스의 차이가 기설정된 밤위 이내인 경우에만, 해당 탐지바운딩박스를 트랙킹대상으로 결정하여 트래킹을 수행한다.

즉, 도 17의 (A)의 경우에는 해당 차량에 대한 식별자 정보를 유지하면서 탐지바운딩박스를 해당 차량으로 결정하여 트래킹을 수행하지만, 도 17의 (B)의 경우에는 해당 탐지바운딩박스를 해당 차량으로 결정하여 트래킹을 수행하지 않는다.

구체적으로, 예측바운딩박스와 관련하여 차량의 위치를 예측하기 위해 Kalman-Filter를 사용한다. Kalman-Filter의 핵심 아이디어는 사용 가능한 탐지 및 이전의 예측을 사용하여 오차의 가능성을 유지한 채로 현재의 상태(위치/속도 정보)를 최대한 정확하게 추측하는 것이다.

Kalman-Filter는 재귀적으로 동작하면서 현재의 측정값을 가지고 와서 현재 상태를 예측한 후 실제로 측정된 값과의 비교를 통해 다시 예측값을 업데이트한다. 따라서, 이전 프레임에서 예측한 상태 분포와 실제로 얻어진 측정 분포를 이용해서 새로운 분포를 유추해내게 된다.

Kalman-Filter는 Gaussian process와 관련된 선형 시스템에 가장 적합한 것으로 알려져 있다. 사람 및 대부분의 이동하는 물체는 짧은 시간 간격의 프레임에서 선형 영역을 거의 벗어나지 않으며 대부분의 노이즈는 Gaussian 영역에 속하게 되므로 객체 추적의 문제에 Kalman-Filter의 사용은 충분히 적합하다.

Kalman-Filter 기반 실시간 차량객체 추적 알고리즘은 탐지된 객체 바운딩 박스의 중심 위치와 가로 세로의 비율, 그리고 바운딩 박스의 높이를 나타내는 4개의 변수와 이 4개의 변수들의 속도를 나타내는 변수 4개, 총 8개의 변수를 사용한다. Kalman-Filter는 단순한 선형 모델을 가정하고 있기 때문에 위치 및 속도 계수만 존재하며, 객체를 감지할 때 노이즈를 고려하며 바운딩 박스의 적합성을 예측하는 데에 있어서 이전상태를 사용한다.

즉, 상기 로컬분석단계에서는 객체탐지 단계를 거쳐 나온 각각의 탐지결과에 대해 필요한 모든 상태 정보가 포함된 트랙을 만든다. 또한, 마지막으로 성공적으로 감지된 트랙을 추적하고 삭제하는 변수를 포함한다.

이 변수들은 이미지 밖으로 사라져서 돌아오지 않는 객체들을 제거하는 역할을 한다. 또한, 중복된 트랙들이 생성되는 것을 막기 위해 처음 N개의 프레임에 대해서는 트랙을 확실하게 추적해도 될지 판단을 진행한다.

N개의 프레임 동안 관측을 거친 후 추적이 정상적으로 이뤄질 수 있는 객체라고 판단이 되면, Kalman-Filter를 통해 추적된 새로운 바운딩 박스, 즉 예측바운딩박스가 결정된다.

이후, 제3학습모델에 의하여 탐지된 탐지바운딩박스와 예측바운딩박스의 유사도를 판단한다. 이들은 서로 독립적으로 처리되기 때문에 현재까지 추적 알고리즘이 가지고 있는 트래킹 대상 객체(해당 제2이미지에서 트래킹되는 다수의 차량) 들 중 하나의 트래킹 대상과 제3학습모델에 의하여 수행된 차량탐지단계에서 탐지해낸 객체들 중 하나인 탐지결과를 서로 연관시키거나 유사도를 측정한다.

본 발명의 일 실시예에서는 트래킹 대상 객체(예측바운딩박스)와 탐지결과(탐지바운딩박스)의 특징을 정량화하여 유사도를 비교할 수 있는 “거리 측정법”과 데이터를 연관시키는 “효율적인 알고리즘”을 사용한다.

본 발명의 일 실시예에서는, Kalman-Filter의 불확실성을 통합하기 위해 Mahalanobis 거리를 사용한다. 이 거리를 임계값으로 설정하면 두 분포 사이의 거리를 Euclidean 방법으로 측정한 것보다 정확하게 측정할 수 있다. 그리고, 이 계산을 효율적으로 처리하기 위해 Standard Hungarian 알고리즘을 사용한다.

본 발명의 일 실시예에서는, 먼저 탐지단계에서 프레임 단위 이미지 내에서 차량객체를 찾아낸 후(에는 탐지바운딩박스에 해당할 수 있음), Kalman-Filter를 통해 연속되는 이미지에서 찾아진 차량객체들(예측바운딩박스에 해당할 수 있음)과 Standard Hungarian 알고리즘을 적용하여 차량객체를 추적할 수 있다.

도 18은 본 발명의 일 실시예에 따른 로컬분석단계에서의 트래킹 과정을 개략적으로 도시한다.

전술한 바와 같이, 상기 로컬분석단계는, 해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행하는 단계;를 포함한다.

바람직하게는, 상기 트래킹을 수행하는 단계는, 이전의 로컬분석단계에서 검출된 차량영역에 대하여 딥러닝 기반의 제4학습모델에 의하여 제1특징점벡터를 도출하는 단계; 현재의 차량탐지단계에서 검출된 차량영역에 대하여 상기 딥러닝 기반의 제4학습모델에 의하여 제2특징점벡터를 도출하는 단계; 및 상기 제1특징점벡터와 상기 제2특징점벡터의 유사도에 기초하여, 해당 차량에 대한 트래킹을 수행한다.

상기 제1특징점벡터가 도출되는 차량영역은 이전의 프레임의 이미지에서 제3학습모델에 의하여 탐지된 차량영역(혹은 예측바운딩박스)에 해당하거나, 혹은 이전의 프레임의 이미지에서 제3학습모델에 의하여 탐지되고 도 17을 참조하여 설명하였던 예측바운딩박스와의 비교를 통하여 유사도가 판단되어 트래킹 대상으로 결정된 차량영역에 해당할 수 있다. 결과적으로, 이전의 프레임의 로컬분석단계에서 트래킹대상으로 결정된 차량영역으로부터 제1특징점벡터가 추출된다.

상기 제2특징점벡터가 도출되는 차량영역은 현재의 프레임의 이미지에서 제3학습모델에 의하여 탐지된 차량영역(혹은 예측바운딩박스)에 해당하거나, 혹은 현재의 프레임의 이미지에서 제3학습모델에 의하여 탐지되고 도 17을 참조하여 설명하였던 예측바운딩박스와의 비교를 통하여 유사도가 판단되어 트래킹 대상으로 결정된 차량영역에 해당할 수 있다. 결과적으로, 현재의 프레임의 로컬분석단계에서 트래킹대상으로 결정된 차량영역으로부터 제1특징점벡터가 추출된다.

한편, 상기 제2특징점벡터가 도출되는 차량영역은 현재의 판단대상 프레임의 이미지에서 제3학습모델에 의하여 탐지된 차량영역(혹은 예측바운딩박스)에 해당할 수 있다.

일정 환경에서는 차량객체의 상태정보(위치/속도 정보)만으로는 차량객체를 정확하게 추적할 수 없는 문제가 생긴다. Kalman-Filter의 성능에도 불구하고 가려짐과 다른 카메라로의 이동 등 실제 환경에서 발생하는 많은 변수들로 인해 추적이 상당수 실패하게 된다. 위와 같은 본 발명의 일 실시예에서는, 이를 개선하기 위해서 차량객체들의 모양(Appearance)을 이용하여 프레임 단위 이미지들 간의 탐지된 차량객체들의 유사도를 측정하는 방식을 이용하여 트래킹의 정확성을 더욱 개선시킬 수 있는 효과를 발휘할 수 있다.

바람직하게는, 주어진 이미지에서 탐지된 차량객체의 특징을 대표하는 특징점 벡터(Feature Vector)를 추출하기 위해 추가적인 심층학습(Deep Learning) 네트워크 모델을 활용한다.

먼저, 다양한 학습 이미지 데이터셋을 구축한 후 이미지 분류(Classification) 알고리즘을 이용해 원하는 분류 성능 수준에 이를 때까지 학습을 진행한다. 이후, 최종 분류(classification)을 진행하는 심층학습(Deep Learning) 네트워크 모델의 fully connected layer를 제거한다. 이러한 과정을 통해 심층추론(Deep Inferencing) 네트워크 모델을 만들어 새로운 입력 영상 이미지로부터 차량객체의 특징점 벡터(Feature Vector)을 추출한다. 이와 같은 특징점벡터가 제1특징점벡터 혹은 제2특징점벡터에 해당할 수 있고, 예시적인 특징점벡터를 추출하는 CNN모델의 세부설계사항은 다음과 같다.

위 그림에 표시된 “Dense 10” 레이어는 주어진 차량객체에 대해서 얻어진 특징점벡터가 된다. 제4학습모델에 탐지된 바운딩박스를 입력하여 특징점벡터를 얻을 수 있게 되고, 이전의 프레임에서 탐지 혹은 트래킹되는 해당 객체의 바운딩박스의 영역과 현재의 프레임에서 탐지 혹은 트래킹되는 해당 객체의 바운딩박스의 영역의 유사도를 비교할 수 있다.

바람직하게는, 특징점벡터들간의 유사도를 비교하는 측정항목으로 Mahalanobis 거리 측정법을 사용한다.

여기서 Dk는 Mahalanobis 거리이고, Da는 차량객체들의 특징점 벡터들 간의 cosine 거리, Lambda는 가중치이다.

도 19는 본 발명의 일 실시예에 따른 관리자단말기에서 표시되는 모니터링 화면의 일 예를 도시한다.

도 20는 본 발명의 일 실시예에 따른 관리자단말기에서 표시되는 모니터링 화면의 일 예를 도시한다.

도 21은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.

도 21에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)의 내부 구성은 도 1에 도시된 서버시스템, 혹은 송신모듈이 포함할 수 있고, 혹은 컴퓨팅장치(11000)은 서버시스템 혹은 송신모듈의 일 실시예에 해당할 수 있다.

메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 21의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 21에 도시된 일부 컴포넌트가 생략되거나, 도 21에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 21에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템에서 수행되는 차량식별추적 방법으로서,
대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계;
대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계;
상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계;
각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계; 및
상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;를 포함하고,
상기 차량탐지단계는 딥러닝 기반의 학습모델에 의하여 수행되고,
각각의 제2이미지에 대한 상기 차량탐지단계 및 로컬분석단계는 각각의 로컬분석모듈에 의하여 수행되고,
각각의 로컬분석모듈에 의하여 수행되는 상기 로컬분석단계는,
상기 차량탐지단계에서 탐지된 해당 제2이미지에서의 해당 차량에 대하여, 이전 로컬분석단계에서 식별자 정보가 부여되지 않은 경우, 다른 로컬분석모듈로부터 수신한 핸드오버 정보에 기초하여 해당 차량에 대한 식별자 정보를 도출하는 단계;
해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행하는 단계; 및
해당 차량이 해당 제2이미지 외부로 진출하거나 혹은 해당 제2이미지 내부에서 기설정된 경계 외부로 진출하는 경우에 핸드오버 정보를 생성하고, 해당 차량이 진출하는 영역에 상응하는 제2이미지에 대하여 상기 로컬분석단계를 수행하는 로컬분석모듈에 상기 핸드오버 정보를 전송하는 단계;를 포함하고,
상기 핸드오버 정보는 제2이미지 외부로 진출하거나 혹은 제2이미지 내부에서 기설정된 경계 외부로 진출하는 진출차량의 이미지 특징정보, 및 해당 차량의 식별자 정보를 포함하고,
상기 식별자 정보를 도출하는 단계는,
해당 로컬분석모듈에서 탐지된 차량에 대한 이미지특징정보와 핸드오버 정보에 포함된 진출차량의 이미지특징정보의 유사도를 기반으로 해당 로컬분석모듈에서 탐지된 차량이 핸드오버 정보에 포함된 차량인지 여부를 판단하고, 이에 따라 해당로컬분석모듈에서의 분석 중인 제2이미지 내부에서의 식별자 정보를 부여함으로써, 서로 다른 제2이미지 상에서의 트래킹의 연속성을 유지할 수 있고,
인접한 제1영역 및 제2영역의 제2이미지는 서로 중첩된 영역이 존재하고,
인접한 제1영역 및 제2영역에 대해 각각 제1로컬분석모듈 및 제2로컬분석모듈이 분석을 수행하고 있을 때, 제1영역의 가장자리의 중첩된 영역으로 차량이 위치할 때, 제2로컬분석모듈에서는 차량의 탐지 및 트랙킹만 이루어지고, 이에 대한 식별자 정보는 부여되지 않거나 혹은 임시적인 식별자 정보가 부여되고, 이후, 제1로컬분석모듈에서 상기 핸드오버 정보를 전송하는 단계가 수행되는 경우에, 제2로컬분석모듈에서 해당 차량에 대한 정식 식별자 정보가 부여를 하고 트래킹이 수행되어, 차량의 핸드오버 정보를 정확하게 교환할 수 있는, 차량식별추적 방법.

청구항 1에 있어서,
상기 진입식별단계는,
제1이미지로부터 전경영역을 추출하는 단계;
상기 전경영역으로부터 1 이상의 객체들의 외곽선을 검출하고, 외곽선이 사각형태인 1 이상의 세부전경영역을 추출하는 단계;
상기 1 이상의 세부전경영역으로부터 SVM알고리즘에 의하여 단일의 차량번호영역을 추출하는 단계; 및
상기 차량번호영역으로부터 차량의 번호정보를 추출하는 단계;를 포함하는, 차량식별추적 방법.

청구항 2에 있어서,
상기 차량번호영역으로부터 차량의 번호정보를 추출하는 단계는,
상기 차량번호영역에 대하여 적응형 이진화 알고리즘을 적용하여 이진화차량번호영역을 도출하는 단계;
상기 이진화차량번호영역에 대하여 수평방향의 제1히스토그램 정보 및 수직방향의 제2히스토그램에 기초하여 복수의 숫자세부영역 혹은 문자세부영역을 도출하는 단계; 및
상기 숫자세부영역 혹은 문자세부영역으로부터 차량의 번호정보를 추출하는 단계;를 포함하는, 차량식별추적 방법.

청구항 3에 있어서,
상기 숫자세부영역 혹은 문자세부영역으로부터 차량의 번호정보를 추출하는 단계는,
딥러닝 기반의 제1학습모델에 기반하여 각각의 숫자세부영역으로부터 숫자를 추출하거나 각각의 문자세부영역으로부터 문자를 추출하는, 차량식별추적 방법.

청구항 1에 있어서,
상기 진입식별단계는,
제1이미지로부터 딥러닝 기반의 제2학습모델에 의하여 차량의 번호정보를 추출하는, 차량식별추적 방법.

청구항 1에 있어서,
상기 차량탐지단계는,
상기 제2이미지로부터 각각의 픽셀의 과거 프레임에서의 정보로 도출된 확률값에 기초하여 전경차량영역을 도출하는 단계; 및
상기 전경차량영역으로부터 딥러닝 기반의 제3학습모델에 의하여 전경차량영역이 차량인 지 여부를 탐지하는 단계;를 포함하는, 차량식별추적 방법.

청구항 6에 있어서,
상기 제3학습모델은 복수의 풀링레이어와 복수의 덴스레이어를 포함하는 CNN 모듈을 포함하고,
상기 제3학습모델은 상기 풀링레이어의 최종 결과물 중 일부를 드롭아웃시키고, 남은 풀링결과물에 대하여 복수의 FC층(Fully-Connected Layer)를 통하여 특징정보를 도합하여 상기 전경차량영역이 차량인지 여부를 판단하는, 차량식별추적 방법.

삭제

삭제

삭제

삭제

차량식별추적 방법을 수행하기 위한 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템으로서,
상기 컴퓨팅 시스템은,
대상영역의 경계지점을 촬영한 제1이미지로부터 대상영역에 진입하는 차량의 번호정보를 추출하고, 해당 차량에 대한 식별자를 부여하는 진입식별단계;
대상영역에 위치하는 복수의 카메라로부터 촬영된 대상영역의 각각의 구역에 대한 복수의 제2이미지 각각에서 차량을 탐지하는 차량탐지단계;
상기 복수의 제2이미지에서 탐지된 각각의 차량에 대하여, 상응하는 상기 식별자 정보 및 상기 제2이미지상에서의 로컬좌표정보를 도출하는 로컬분석단계;
각각의 상기 제2이미지상에서의 상기 로컬좌표정보를 상기 대상영역 전체에서의 글로벌좌표정보로 변환하고, 각각의 차량에 대하여 글로벌좌표정보 및 식별자 정보를 포함하는 글로벌정보를 생성하는 글로벌변환단계; 및
상기 글로벌정보로부터 해당 차량의 주차정보를 도출하는 주차정보도출단계;를 수행하고,
상기 차량탐지단계는 딥러닝 기반의 학습모델에 의하여 수행되고,
각각의 제2이미지에 대한 상기 차량탐지단계 및 로컬분석단계는 각각의 로컬분석모듈에 의하여 수행되고,
각각의 로컬분석모듈에 의하여 수행되는 상기 로컬분석단계는,
상기 차량탐지단계에서 탐지된 해당 제2이미지에서의 해당 차량에 대하여, 이전 로컬분석단계에서 식별자 정보가 부여되지 않은 경우, 다른 로컬분석모듈로부터 수신한 핸드오버 정보에 기초하여 해당 차량에 대한 식별자 정보를 도출하는 단계;
해당 차량에 대한 식별자 정보를 유지하면서 해당 제2이미지 내에서 해당 차량에 대한 트래킹을 수행하는 단계; 및
해당 차량이 해당 제2이미지 외부로 진출하거나 혹은 해당 제2이미지 내부에서 기설정된 경계 외부로 진출하는 경우에 핸드오버 정보를 생성하고, 해당 차량이 진출하는 영역에 상응하는 제2이미지에 대하여 상기 로컬분석단계를 수행하는 로컬분석모듈에 상기 핸드오버 정보를 전송하는 단계;를 포함하고,
상기 핸드오버 정보는 제2이미지 외부로 진출하거나 혹은 제2이미지 내부에서 기설정된 경계 외부로 진출하는 진출차량의 이미지 특징정보, 및 해당 차량의 식별자 정보를 포함하고,
상기 식별자 정보를 도출하는 단계는,
해당 로컬분석모듈에서 탐지된 차량에 대한 이미지특징정보와 핸드오버 정보에 포함된 진출차량의 이미지특징정보의 유사도를 기반으로 해당 로컬분석모듈에서 탐지된 차량이 핸드오버 정보에 포함된 차량인지 여부를 판단하고, 이에 따라 해당로컬분석모듈에서의 분석 중인 제2이미지 내부에서의 식별자 정보를 부여함으로써, 서로 다른 제2이미지 상에서의 트래킹의 연속성을 유지할 수 있고,
인접한 제1영역 및 제2영역의 제2이미지는 서로 중첩된 영역이 존재하고,
인접한 제1영역 및 제2영역에 대해 각각 제1로컬분석모듈 및 제2로컬분석모듈이 분석을 수행하고 있을 때, 제1영역의 가장자리의 중첩된 영역으로 차량이 위치할 때, 제2로컬분석모듈에서는 차량의 탐지 및 트랙킹만 이루어지고, 이에 대한 식별자 정보는 부여되지 않거나 혹은 임시적인 식별자 정보가 부여되고, 이후, 제1로컬분석모듈에서 상기 핸드오버 정보를 전송하는 단계가 수행되는 경우에, 제2로컬분석모듈에서 해당 차량에 대한 정식 식별자 정보가 부여를 하고 트래킹이 수행되어, 차량의 핸드오버 정보를 정확하게 교환할 수 있는, 컴퓨팅 시스템.

Images