KR102272295B1 - 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법 - Google Patents

Abstract

실시예는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법에 관한 것이다.
구체적으로, 이러한 방법은 다양한 차량과, 번호판 주변환경 유형을 반영한 영상깊이 기초의 차량번호판 3차원 학습모델로부터 차량과, 번호판을 3차원 객체화해서 차량번호판을 현장상황에 맞게 인식하므로, 종래의 색채방식보다 데이터 처리량이 적고 인식율도 높인다.
예를 들어, 안개와, 미세먼지 등 기상상황이 평상시와 상이한 경우에서도 인식율을 높인다.
그리고, 이러한 경우 이러한 차량번호판 3차원 학습모델은 다양한 장소와, 시간대, 주변환경별로 관련된 데이터를 속성화하므로, 인식율을 보다 높이기도 한다.
또한, 이러한 경우에, 차량과, 번호판의 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 차량과, 번호판을 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.

Description

영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법{Method for improving recognition ratio of vehicle license plate employing depth information of image}

본 명세서에 개시된 내용은 차량번호판 인식 기술 분야에 관한 것으로, 보다 상세하게는 도로를 주행하는 차량 등을 감시할 경우, 카메라 영상에서 차량번호판을 인식해서 교통관제를 수행하는 기술에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

최근 무렵 불법 주정차 단속장치, 차량속도 감시장치, 건물의 차량출입 시스템, CCTV 보안시스템 등에 차량번호인식 시스템이 활용되고 있다. 차량번호인식 시스템은 촬영장치인 카메라 및 카메라를 통해 촬영된 이미지를 분석하여 차량번호를 인식하는 정보처리부를 포함한다. 카메라는 고정식 또는 이동식으로 설치될 수 있다.

그리고, 여기에서의 차량번호는 각 차량마다 식별을 위해 부여된 고유번호로서, 사람으로 따지면 주민등록번호와 같다. 이러한 차량번호를 통해서 차량의 이름/제작사/제작년월/배기량/원동기 형식 등 기본정보의 확인이 가능하며, 운행중 사고이력/정비이력(이 경우는 보험처리 하거나 지정정비사업소 수리의 경우에만 한정)/차량등록의 상태(무적차량,도난차량 조회도 가능)와 같은 중요정보의 확인도 가능하다.

최근에는, 특정장소 또는 불특정장소에 대한 특정차량 또는 불특정차량 등이 출입하는 상태 및 출입 내역을 확인하기 위한 장치들이 다수 소개되고 있다.

한편, 기존의 차량의 번호판을 검출하는 방식에는 문자 기반의 검출 방식, 에지 기반의 검출 방식이 있다. 특히, 이러한 방식 중에는 개량된 형태로 색채 기반의 검출방식 등이 있다. 그런데, 이러한 색채 기반의 검출 방식은 조명 또는 그림자의 변화에 민감하다.

특히, 안개와 구름, 눈, 비 등에 의한 급변 조도 변화에 차량번호판의 인식률 저하를 가져온다.

이러한 배경의 선행기술문헌은 관련 선행기술을 살펴볼 경우, 특허문헌으로부터 선행기술을 조사해서 관련 선행기술로서 직접적으로 관련된 선행기술이 검색되지 않고 참고할만한 아래의 특허문헌이 나타나는 정도이다.

(특허문헌 1) KR1020190143548 A

참고적으로, 이러한 특허문헌 1의 기술은 차량번호, 종류, 및 색상 학습을 통한 번호판 인식률이 향상되고, 실시간 학습이 가능한 차량 인식 시스템에 관한 기술이다.

개시된 내용은, 차량번호판을 인식할 경우에 종래의 색채를 이용하는 방식보다 데이터 처리량이 적고 인식율도 높이도록 하고, 인식을 신속하게도 할 수 있도록 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법을 제공하고자 한다.

실시예에 따른 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법은,

다양한 차량과, 번호판, 주변환경 유형을 반영한 영상깊이 기초의 차량번호판 3차원 학습모델로부터 차량과, 번호판을 통합적으로 3차원 객체화해서 차량번호판을 현장상황에 맞게 인식한다.

이러한 경우에, 이러한 차량번호판 3차원 학습모델은 차량과 번호판의 윤곽선 패턴을 사용해서 깊이 정보를 모델링한다.

그리고, 또한 이러한 경우, 차량번호판 3차원 학습모델은 다양한 장소와, 시간대, 주변환경별로 관련된 데이터를 속성화한다.

추가적으로, 이때 차량의 번호판 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 차량과, 번호판을 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현하는 것을 특징으로 한다.

실시예들에 의하면, 다양한 차량과, 번호판, 주변환경 유형을 반영한 영상 깊이와, 윤곽선 패턴을 기초로 차량번호판 3차원 학습모델을 생성해서, 이로부터 차량과, 번호판을 3차원 객체화해서 차량번호판을 현장상황에 맞게 인식하므로, 종래의 색채방식보다 데이터 처리량이 적고 인식율도 높인다.

예를 들어, 안개와, 미세먼지 등 기상상황이 평상시와 상이한 경우에서도 인식율을 높인다.

그리고, 이러한 경우 이러한 차량번호판 3차원 학습모델은 다양한 장소와, 시간대, 주변환경별로 관련된 데이터를 속성화하므로, 인식율을 보다 높이기도 한다.

또한, 이러한 경우에, 차량과, 번호판의 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 차량과, 번호판을 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.

도 1은 일실시예에 따른 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법을 개념적으로 설명하기 위한 도면
도 2는 일실시예에 따른 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법이 적용된 시스템을 전체적으로 도시한 도면
도 3a는 일실시예에 따른 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법이 적용된 카메라의 구성을 도시한 블록도
도 3b는 일실시예에 따른 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법이 적용된 중앙관제센터의 구성을 도시한 블록도
도 4는 일실시예에 따른 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법을 순서대로 도시한 플로우 차트

도 1은 일실시예에 따른 인공지능 알고리즘을 이용한 차량번호판 인식 방법을 개념적으로 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 일실시예의 차량번호판 인식 방법은 차량번호판을 인식할 경우에, 다양한 차량과, 번호판, 주변환경을 반영한 영상깊이와, 윤곽선 패턴을 기초로 차량번호판 3차원 학습모델을 생성해서, 이로부터 차량과, 번호판을 3차원 객체화하여 차량번호판을 현장상황에 맞게 인식하므로, 종래의 색채방식보다 데이터 처리량이 적고 인식율도 높인다.

이러한 경우, 이러한 차량번호판 3차원 학습모델은 다양한 장소와, 시간대, 주변환경별로 관련된 데이터를 속성화하므로, 인식율을 보다 높이기도 한다.

그리고, 또한 일실시예는 이러한 경우에, 차량과, 번호판의 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 차량과, 번호판을 추출하므로, 종래보다 상대적으로 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.

참고적으로, 이러한 일실시예에 따른 인식 내용은 아래의 도 3과 도 4를 참조해 상세히 설명한다.

추가적으로, 이러한 차량번호판 인식 방법이 적용된 시스템을 일반적인 기본동작에 관하여 개략적으로 설명한다.

이러한 시스템은 일실시예에 따른 차량번호판 인식 방법이 영상감시 장치 즉, 카메라(100) 자체 내에 구현되거나 또는, 중앙관제센터에 구현된다.

참고적으로, 중앙관제센터는 원격지에서 여러 감시영역에 설치된 카메라(100)의 영상감시 동작을 전체적으로 관리한다.

이러한 카메라를 좀 더 설명하면 아래와 같다.

카메라(100)는 기본적으로 도로 등에서 차량이 주행할 경우, 각 도로 등의 영상감시 영역에서 차량 영상정보를 수집하여 중앙관제센터로 전달함으로써, 중앙관제센터를 통해 교통관제 등이 이루어질 수 있도록 한다.

예를 들어, 상기 카메라(100)는 다차로(L-1 ~ L-4) 도로 등에서 다수의 차량(V-1 ~ V-3)이 주행할 경우, 영상감시 영역(S-1, S-2)에서 감시영상을 수집하여 중앙관제센터로 제공한다.

그래서, 이를 통해 중앙관제센터에서 차량번호를 인식하거나 또는, 이상징후가 발견된 차량을 추적하는 등의 교통관제를 수행한다.

도 2는 일실시예에 따른 인공지능 알고리즘을 이용한 차량번호판 인식 방법이 적용된 시스템을 전체적으로 도시한 도면이다.

도 2에 도시된 바와 같이, 일실시예에 따른 인공지능 알고리즘을 이용한 차량번호판 인식 방법이 적용된 시스템은 다수의 상이한 영상감시 영역별로 설치된 다수의 카메라(100-1 ~ 100-n 등)와, 중앙관제센터(200)를 포함한다.

상기 카메라(100-1 ~ 100-n 등)는 다수의 상이한 영상감시 영역별로 예를 들어, 주요 교차로, 진입로, 나들목 등에 각기 설치된다. 이러한 카메라(100-1 ~ 100-n 등)는 자신의 영상감시 영역에서 감시영상을 획득하고, 자가망을 통해 상기 중앙관제센터(200)에 제공한다. 부가적으로 카메라(100-1 ~ 100-n)는 자체 내에서 일실시예에 따른 차량번호판 인식 방법을 사용하여 차량번호를 인식하기도 한다.

상기 중앙관제센터(200)는 기본적으로 상기 카메라(100-1 ~ 100-n 등)로부터 감시영상 등을 수집하고 차량번호판을 인식하거나 또는, 차량의 이상여부를 판별해서 위험 차량 등을 추적함으로써, 교통관제가 이루어진다. 이러한 경우, 차량의 이상여부를 판별하기 위해서 상기 중앙관제센터(200)는 신호위반과, 과속, 주정차위반 등 도로교통법상 위반내용을 구비한다. 그리고, 차량 이상이 감지될 때에는, 상기 카메라(100-1 ~ 100-n 등)의 회전과, 확대, 정지, 문자 표시, 상태 확인 등의 다양한 제어활동을 수행한다. 추가적으로, 상기 중앙관제센터(200)는 이러한 교통관제 결과 등을 방재관리실 혹은 외부연계기관에 제공하기도 한다. 예를 들어, 외부연계기관은 교통상황통제 정보처리장치와, 경찰서 정보처리장치, 교통기관 정보처리장치 또는, 긴급구조 정보처리장치, 소방서 정보처리장치 등이다.

도 3a와 도 3b는 일실시예에 따른 인공지능 알고리즘을 이용한 차량번호판 인식 방법이 적용된 장치의 구성을 도시한 블록도이다.

구체적으로는, 도 3a는 일실실시예에 따른 차량번호판 인식 방법이 적용된 카메라의 구성을 도시한 블록도이다. 그리고, 도 3b는 이러한 차량번호판 인식 방법이 적용된 중앙관제센터의 구성을 도시한 블록도이다.

도 3a에 도시된 바와 같이, 먼저 일실시예에 따른 카메라(100)는 카메라 모듈(101)과, DSP부(102), 인공 지능부(103), 제어부(104) 및 통신부(105)를 포함한다.

상기 카메라 모듈(101)은 특히, 영상깊이 정보를 획득하기 위해서 스테레오 형태로 설치된다. 그래서, 카메라 모듈(101)은 관리자를 통해 미리 지정된 영상감시 영역에 대해 스테레오 영상을 획득한다.

상기 DSP부(102)는 이러한 스테레오 영상에서 일실시예에 따른 차량번호판 인식 방법이 실제적으로 적용되어서 차량번호판을 고속으로 인식한다. 이러한 경우, DSP부(102)는 인공 지능부와 연동하여 일실시예에 따른 차량번호판 3차원 학습모델을 사용한다. 그래서, DSP부(102)는 구체적으로, 이에 따라 차량 검출과, 차량 번호판 검출, 문자 분할, 문자 인식, 이미지 왜곡 보정을 순서대로 수행한다.

상기 인공 지능부(103)는 DSP부(102)에 의해 차량번호판이 인식될 경우에 일실시예에 따른 차량번호판 3차원 학습모델을 제공한다.

상기 제어부(104)는 중앙관제센터(200)와 연계해서 상기 DSP부(102)에 의해 인식된 차량번호를 중앙관제센터(200)로 제공하고, 중앙관제센터(200)로부터 이에 따른 제어신호를 제공받아서 카메라 모듈(102)의 동작을 제어한다. 또는, 다른 형태로서는 상기 제어부(104)는 상기 DSP부(102)에 의해 처리된 감시영상만을 중앙관제센터(200)에 제공하기도 한다.

상기 통신부(105)는 상기 제어부(104)의 제어에 의해 미리 등록된 중앙관제센터(200)와 정보를 통신 프로토콜에 따라 송수신한다.

다음으로, 도 3b에 도시된 바와 같이, 일실시예에 따른 중앙관제센터(200)는 I/F부(201)와, 메인 제어부(202), 데이터베이스(203)를 포함한다.

상기 I/F부(201)는 미리 등록된 카메라(100)와 정보를 송수신한다.

상기 메인 제어부(202)는 이러한 카메라(100)로부터 스테레오 영상을 제공받아서, 현재 스테레오 영상에서 일실시예에 따른 차량번호판 인식 방법을 실제적으로 적용하므로, 차량번호판을 고속으로 인식한다. 이러한 경우, 메인 제어부(202)는 일실시예에 따른 차량번호판 3차원 학습모델을 사용한다. 그래서, 이에 따라 차량 검출과, 차량 번호판 검출, 문자 분할, 문자 인식, 이미지 왜곡 보정을 순서대로 수행한다. 그리고 나서, 메인 제어부(202)는 이러한 차량번호 인식 결과에 따라서 특정 차량에 이상상태가 검출된 경우에 해당하는 카메라(100)의 동작을 예를 들어, 영상 확대와, 줌 인 등의 동작을 제어한다. 그래서, 이를 통해 위험 차량 등을 감시해서 교통관제를 수행한다.

상기 데이터베이스(203)는 이러한 차량번호판 인식이 될 경우에 일실시예에 따른 차량번호판 3차원 학습모델을 등록한다. 그리고, 데이터베이스(203)는 이 외에도 교통관제를 수행하기 위해서 카메라(100)와 외부연계기관의 등록정보와, 도로교통법상 위반내용 등을 등록한다.

도 4는 일실시예에 따른 인공지능 알고리즘을 이용한 차량번호판 인식 방법을 순서대로 도시한 플로우 차트이다.

도 4에 도시된 바와 같이, 일실시예의 차량번호판 인식 방법은 먼저 영상감시영역을 통행하는 차량의 스테레오 영상이 입력될 경우에, 해당하는 스테레오 영상에서 차량과 번호판의 유형과, 영상구조특징 및 영상깊이정보를 추출한다(S401).

그리고, 이렇게 차량과 번호판의 유형과, 영상구조특징 및 영상깊이정보가 추출될 때에, 상기 영상감시영역으로부터의 환경정보를 수집한다(S402).

그래서, 이를 통해 차량과 번호판의 유형과, 영상구조특징 및 영상깊이, 영상감시영역의 환경정보에 의해서 아래의 일실시예에 따른 차량번호판 3차원 학습모델에 따라 차량과, 번호판을 3차원 객체화한다(S403).

이를 통해, 일실시예는 다양한 차량과, 번호판, 주변환경 유형을 반영한 영상 깊이정보 기초의 차량번호판 3차원 학습모델로부터 차량과, 번호판을 3차원 객체화해서 차량번호판을 현장상황에 맞게 인식하므로, 종래의 색채방식보다 데이터 처리량이 적고 인식율도 높인다.

상기 차량번호판 3차원 학습모델은 아래와 같이 이루어진다.

a) 먼저, 상기 차량번호판 3차원 학습모델은 차량번호판을 인식할 경우에, 다수의 상이한 차량과, 번호판 유형별로 주변환경 유형에 따라 차량과, 번호판을 윤곽선 패턴에 따라서 영상구조특징 및 영상깊이로 분류하여 3차원 객체화한다.

예를 들어, 이러한 차량 유형은 승용차와, 승합차, 버스, 트럭, 굴삭기 등이다. 그리고, 주변환경 유형은 날씨(예: 안개, 비, 눈 등)와, 온습도, 미세먼지, 계절 등이다.

그리고, 일실시예에 따라 상기 윤곽선 패턴은 아래와 같이 이루어진다.

먼저 윤곽선 패턴은 여러 가지 상황에 적응적으로 대응하기 위해서 이루어진 것으로, 예를 들어, 이러한 상황은 차량의 번호판이 영상의 촬영 각도나, 밝기, 주위 조명 등에 의해 동일한 번호판이 여러 색상이나 변형되어 보인다.

그래서, 이를 위해 윤곽선 형태를 ART2 신경망의 입력 패턴으로 인식한다. 이때 차량과, 번호판은 자체 모양에서 좌/우변 등으로부터의 거리를 연속적인 신호패턴으로 변경했을 때 서로 상이하다는 특징이 있다.

그래서, 차량과, 번호판의 중심을 기준으로 세로로 반으로 나눈다.

다음, 중심선과 예를 들어, 좌측 외곽선 부분의 점들을 지난 수선의 거리를 차량과, 또는 번호판의 상단부터 연속된 패턴으로 추출한다.

그리고 나서, 우측에서도 동일한 방식으로 패턴을 추출한다.

그래서, 이렇게 추출된 윤곽선들은 서로 상이한 패턴의 아날로그 그래프 형태를 나타낸다.

따라서, 이를 통해 차량과, 번호판의 영상구조특징 및 영상깊이를 분류할 경우에, 윤곽선 패턴을 학습하여 영상구조특징 및 영상깊이를 인식함으로써, 여러 가지 상황에 적합하게 대응한다.

이러한 경우에, 추가적으로 상기 윤곽선 패턴은 다수의 상이한 날씨별과, 계절별 등의 주변환경에 따라 상이하게 학습하여 이루어진다.

그리고, 차량과, 번호판의 3차원 객체별로 대응하여 영상평면 상에 타원의 방정식을 생성해서 학습 모델을 정의한다.

이때, 상기 타원의 방정식은 상이한 고유깊이별로 타원 인자를 추출해서 이루어진다. 그리고, 이러한 타원의 방정식은 영상평면 상의 좌표와, 매개변수로 이루어지며, 이 매개변수는 영상깊이 정보에 따라서 결정되고, 결정된 결과가 타원 인자로 된다.

그래서, 이를 통해 차량과, 번호판의 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 차량과, 번호판을 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.

b) 다음, 다수의 상이한 차량과, 번호판 유형, 주변환경 유형별로 차량과, 번호판의 영상구조특징 및 영상깊이 데이터셋을 추출한다.

c) 그리고 나서, 이러한 데이터셋을 다수의 상이한 영상감시 장소와, 시간대, 주변환경을 반영하여 속성화한다. 즉, 차량과, 번호판의 영상구조특징과 영상깊이 데이터를 속성화한다.

예를 들어, 이러한 장소는 일반 도로와, 터널, 산간 지역 등이다. 그리고, 시간대는 새벽이나 또는, 밤, 오전과 오후, 해질녁 등이고, 주변환경은 전술한 주변환경 정보와 동일하다. 그리고, 이러한 정보를 기초로 유사한 속성을 나타내는 정보들이 유형화된다.

d) 그래서, 이러한 속성화된 결과를 기초로 한 다수의 상이한 학습 모델별로 차량과, 번호판의 영상구조특징 및 영상깊이의 속성을 결정한다.

e) 그런 후에, 상기 결정된 결과를 정규화한다.

f) 그리고, 이러한 정규화된 결과를 기초로 해서 다수의 상이한 학습 모델별로 차량과, 번호판의 영상구조특징 및 영상깊이를 설정하여, 다수의 상이한 차량과, 번호판의 3차원 객체별로 객체화하는 독립 및 종속 변수를 설정한다.

g) 다음, 상기 설정된 결과를 학습 및 훈련 데이터로 생성한다.

h) 그래서, 이를 통해 이러한 결과로부터 딥러닝 기반의 차량번호판 3차원 학습모델을 생성한다.

그리고, 이러한 차량의 번호판 3차원 객체에 의해 차량번호를 추출해서, 인식한다(S404와, S405).

참고적으로, 차량번호 인식은 종래 기술에 속하는 것으로서 여기에서는 이에 대한 설명을 생략한다.

이상과 같이, 일실시예는 다양한 차량과, 번호판, 주변환경 유형을 반영한 영상깊이와, 윤곽선 패턴을 기초로 차량번호판 3차원 학습모델을 생성해서, 이로부터 차량의 번호판을 3차원 객체화해서 차량번호판을 현장상황에 맞게 인식하므로, 종래의 색채방식보다 데이터 처리량이 적고 인식율도 높인다.

이러한 경우, 이러한 차량번호판 3차원 학습모델은 다양한 장소와, 시간대, 주변환경별로 관련된 데이터를 속성화하므로, 인식율을 보다 높이기도 한다.

그리고, 또한 일실시예는 이러한 경우에, 차량과, 번호판의 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 차량과, 번호판을 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.

한편, 추가적으로 이러한 차량번호판 인식 방법은 이렇게 스테레오 영상에서 차량번호판을 추출할 경우에, 다수의 차량번호판 즉, 멀티 표적에 대해서 차량번호판을 일괄적으로 추적하여 추출하므로, 특정 감시영역에 많은 표적이 있더라도 신속히 찾아낸다.

이를 위해, 이러한 차량번호판 인식 방법은 먼저 스테레오 영상에서 다수의 차량(멀티 표적)을 찾아낼 경우에, 스테레오 영상을 누적해서 배경 파트를 생성한다.

그리고, 이러한 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출한다.

다음, 이러한 차이값이 임계치 이상인 화소영역을 모아서 전경 파트로 획득한다.

그리고, 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제한다.

다음, 이렇게 노이즈가 제거된 전경 파트에서 여러 객체가 있는데, 이러한 상태에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출한다.

그리고 나서, 이렇게 추출된 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성한다.

그래서, 이러한 객체의 서브 바디를 미리 설정된 차량의 서브 바디와 비교해서, 현재 차량의 서브 바디만을 전부 일괄추출한다.

그런 후에, 차량의 서브 바디가 추출된 경우에, 차량의 서브 바디로부터 차량의 전체 크기와 위치를 상이한 차량의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 차량의 전체 크기와 위치를 추정한다.

그래서, 이렇게 추정된 차량 전체에서 미리 설정된 차량과, 번호판 유형별로의 차량과, 번호판의 영상구조특징을 이용하여 현재 차량과 번호판의 유형과, 차량과 번호판의 영상구조특징을 각각의 차량별로서 통합적으로 추출한다.

따라서, 이를 통해 다른 실시예는 감시영상에서 차량번호판을 추출할 경우에, 다수의 차량번호판 즉, 멀티 표적에 대해서 차량번호판을 일괄적으로 추적하여 추출하므로, 특정 감시영역에 많은 표적이 있더라도 신속히 찾아낸다.

추가적으로, 이러한 실시예는 이러한 멀티 표적에 대한 추적동작 중에 위험 차량 등을 즉시 식별할 수 있기도 한다.

구체적으로는, 이러한 식별동작은 상기 영상 분포도에 의해 차량의 전체 크기와 위치가 추정될 경우에, 미리 설정된 이상 차량 영상분포도로부터 현재 차량의 영상분포도를 비교한다.

그래서, 상기 비교 결과, 이상 차량 영상분포도가 현재 차량의 영상분포도에 대한 차이값이 미리 설정된 차이값보다 이상인 경우에 알람한다.

반면에, 이상 차량 영상분포도와 현재 차량의 영상분포도의 차이값이 상기 차이값보다 미만인 경우에는 알람하지 않는다.

그리고, 이렇게 알람이 될 경우에, 알람을 차량 유형과, 관리영역 유형, 관리목적 유형, 관리시간대별로 등급화해서 처리하는 포맷을 구비하여 현재 알람을 해당하는 등급에 따라 수행한다.

다른 한편으로, 또 다른 실시예는 이러한 영상감시 시스템에서 주변환경 정보 등을 중앙관제센터로 제공할 경우에, 다양한 영상감시 시스템별로서 통신 기능을 담당하는 라이브러리를 생성하므로, 개발자를 위한 가이드를 제공하도록 한다.

이를 위해, 이러한 실시예는 영상감시 주변의 환경정보가 수집될 경우에, 다수의 상이한 영상감시 시스템 유형별로 고유한 통신데이터 특성을 오픈된 공통플랫폼 하에서 통합적으로 구성한 통신기능용 라이브러리를 미리 등록한다.

그리고 나서, 다수의 상이한 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 통신기능용 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성한다.

그래서, 이러한 어플리케이션과 컴포넌트에 의해 상기 영상감시 주변의 환경정보를 수집한다.

이러한 경우, 상기 라이브러리는 예를 들어 개략적으로 아래와 같이 이루어진다.

먼저, 상기 라이브러리는 영상감시 시스템과 관련된 다양한 센서와 액추에이터를 제어하는 1 이상의 컴퓨터 프로그램(예 : 자바 스크립트, 자바)을 이용하도록 구성된다.

그리고, 라이브러리는 이러한 제어용 메소드를 기술한 클래스를 조합한다.

이때, 메소드는 상이한 영상감시 시스템별로의 통신데이터 특성에 따라 제어하도록 구성된다.

그리고, 또한 이러한 라이브러리는 표준 라이브러리와 사용자 정의 라이브러리로 이루어진다.

추가적으로, 이러한 경우에 설비 개발자를 위한 가이드를 전체적으로 제공하기도 한다.

구체적으로는, 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템 유형별로 고유한 데이터 특성과, 어플리케이션, 제어 동작환경, 서비스를 오픈된 공통플랫폼 하에서 통합적으로 구성한 개발가이드 라이브러리를 미리 등록한다.

그리고 나서, 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 개발가이드 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성한다.

그래서, 이렇게 생성된 어플리케이션과 컴포넌트를 추가적으로 사용해서 상기 영상감시 영역의 주변 환경정보를 수집한다.

또한, 이러한 실시예에서는 oneM2M 표준에 따른 프로토콜과 아키텍처를 제공한다.

구체적으로는, 영상감시 영역의 주변 환경정보가 수집될 경우에, 해당하는 영상감시 장치를 센서노드로서 관리할 oneM2M 표준에 따른 프로토콜과, 상기 프로토콜 관리파일을 구성한 프로토콜 라이브러리를 미리 등록한다.

그리고, 이러한 프로토콜 라이브러리는 오픈된 공통플랫폼 하에서 영상감시 시스템 유형별로 고유한 통신데이터 특성별로 통합적으로 구성한다.

그리고 나서, 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 프로토콜 라이브러리에 의해서 어플리케이션과 컴포넌트를 생성한다.

그래서, 이러한 어플리케이션과 컴포넌트로도 상기 영상감시 영역의 주변 환경정보를 수집한다.

이에 더하여, 이러한 실시예에서는 영상감시 시스템에서 실시간 모니터링과 제어, 다른 관리자와 공유 기능을 수행할 수 있도록 한다.

이를 위해, 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기, 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록한다.

그리고, 이렇게 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록한다.

그리고 나서, 이러한 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성한다.

그래서, 이러한 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 환경정보를 수집한다.

한편으로, 이러한 실시예에서는 이러한 다양한 기능들에 더해서 저성능 영상감시 시스템을 위한 경량 프로토콜을 제공하기도 한다.

구체적으로는 아래와 같이 이루어진다.

먼저, 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템의 데이터전송사양을 미리 설정된 기준 데이터전송사양과 비교한다.

상기 비교 결과, 영상감시 시스템의 데이터전송사양이 상기 기준 데이터전송사양보다 이상인 경우에 현재 상태를 유지하고, 반면에 미만인 경우에는 암호화를 위한 버퍼를 할당하여 초기화한다.

다음, 미리 설정된 마스터 키를 통해 암호화 키를 생성한다.

그리고, 영상감시 영역의 주변 환경정보를 읽는다.

그리고 나서, 주변 환경정보의 길이와, 다수의 상이한 영상감시 시스템별로 대응하여 미리 설정된 암호화 데이터 길이 중에서 해당 암호와 데이터 길이를 비교한다.

상기 비교 결과, 상기 주변 환경정보의 길이가 해당하는 암호화 데이터 길이보다 작은 경우 암호화 하지 않고 전송하며, 큰 경우에는 프레임을 검출한다.

그리고, 확장 헤더는 확장 비트를 읽어 유무를 확인한다.

상기 확인 결과, 확장 비트가 있는 경우에 페이로드 시작점 오프셋을 확장 길이만큼 이동시킨다.

반면, 상기 프레임과, 암호용 키, 페이로드 오프셋 정보를 파라미터로 전달받아 프레임의 페이로드 시작부분을 미리 설정된 암호화 포맷으로 부분 암호화해서 저성능 영상감시 시스템을 위한 경량 프로토콜로서 제공한다.

그리고, 이러한 경우에 이러한 시스템 환경하에서 보안관리를 위해 아래의 구성을 더 구비한다.

구체적으로는, 영상감시 영역의 주변 환경정보를 수집하기 위해서, 미리 상이한 어플리케이션별로 해시트리를 기준으로 하위 해시값을 부여하고, 상기 해시트리의 상위 해시값을 등록한다.

그리고, 또한 현재 주변 환경정보가 수집되는데 사용하는 어플리케이션별로 해시값을 연결해서 해시노드를 형성한 경우에 보안이 된 것으로 확인하는 포맷을 등록한다.

이러한 상태에서, 상기 영상감시 영역의 주변 환경정보가 수집될 경우에, 이러한 포맷에 의해서 관련된 어플리케이션별로 해시값을 연결하여 해시노드를 형성한 경우에 한해서 보안이 된 것으로 확인한다.

또한, 영상감시 영역의 주변 환경정보가 수집될 경우에 추가적으로 어플리케이션 사용을 감지해서 상기 감지 결과, 어플리케이션 사용이 된 경우에 화이트 리스트 및 블랙 리스트에 기반한 사용자 선택 모드에 따라 해당 어플리케이션의 시그니처 정보를 검색한다.

상기 검색 결과, 해당하는 어플리케이션 시그니처 정보가 있는 경우 자신의 어플리케이션 사용을 허용하고, 반면에 해당 어플리케이션 시그니처 정보가 없는 경우에는 자신의 어플리케이션 사용을 차단한다.

100 : 카메라
200 : 중앙관제센터
101 : 카메라 모듈 102 : DSP부
103 : 인공 지능부 104 : 제어부
105 : 통신부
201 : I/F부 202 : 메인 제어부
203 : 데이터베이스

Claims (10)

1. 영상감시영역을 통행하는 차량의 스테레오 영상이 입력될 경우에, 해당하는 스테레오 영상에서 차량과 번호판의 유형과, 영상구조특징 및 영상깊이정보를 추출하는 제 1 단계;
   상기 차량과 번호판의 유형과, 영상구조특징 및 영상깊이정보가 추출될 때에, 상기 영상감시영역으로부터의 환경정보를 수집하는 제 2 단계;
   상기 차량과 번호판의 유형과, 영상구조특징 및 영상깊이정보, 영상감시영역의 환경정보에 의해서 아래의 차량번호판 3차원 학습모델에 따라 차량과, 번호판을 3차원 객체화하는 제 3 단계; 및
   
   상기 차량번호판 3차원 학습모델은,
   a) 차량번호판을 인식할 경우에, 다수의 상이한 차량과, 번호판 유형별로 주변환경 유형에 따라 차량과, 번호판을 영상구조특징 및 영상깊이로 분류하여 3차원 객체화하고,
   상기 차량과, 번호판의 3차원 객체별로 대응하여 영상평면 상에 타원의 방정식을 생성해서 학습 모델을 정의하고,
   상기 차량과, 번호판이 3차원 객체화될 때에는, 다수의 상이한 차량과, 번호판 유형별로 주변환경 유형에 따라서 윤곽선 패턴을 학습한 결과로부터 차량과, 번호판의 영상구조특징 및 영상깊이를 분류하며,
   b) 다수의 상이한 차량과, 번호판, 주변환경 유형별로 차량과, 번호판의 영상구조특징 및 영상깊이 데이터셋을 추출하고,
   c) 상기 추출된 데이터셋을 다수의 상이한 영상감시 장소와, 시간대, 주변환경 유형을 반영하여 속성화하며,
   d) 상기 속성화된 결과를 기초로 한 다수의 상이한 학습 모델별로 차량과, 번호판의 영상구조특징 및 영상깊이의 속성을 결정하고,
   e) 상기 결정된 결과를 정규화해서,
   f) 상기 정규화된 결과를 기초로 해서 다수의 상이한 학습 모델별로 차량과, 번호판의 영상구조특징 및 영상깊이를 설정하여, 다수의 상이한 차량과, 번호판의 3차원 객체별로 객체화하는 독립 및 종속 변수를 설정하고,
   g) 상기 설정된 결과를 학습 및 훈련 데이터로 생성하여,
   h) 상기 생성된 결과로부터 딥러닝 기반의 차량번호판 3차원 학습모델을 생성하고,
   
   상기 3차원 객체화된 차량의 번호판에 의해 차량번호를 추출해서 인식하는 제 4 단계; 를 포함하고,
   
   상기 제 1 단계는,
   상기 스테레오 영상에서 다수의 차량(멀티 표적)을 찾아낼 경우에는, 스테레오 영상을 누적해서 배경 파트를 생성하는 제 1-1 단계;
   상기 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출하는 제 1-2 단계;
   상기 차이값이 임계치 이상인 화소영역을 전경 파트로 획득하는 제 1-3 단계;
   상기 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제하는 제 1-4 단계;
   상기 노이즈가 제거된 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출하는 제 1-5 단계;
   상기 추출된 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성하는 제 1-6 단계;
   상기 생성된 객체의 서브 바디를 차량의 서브 바디에 대응하여 미리 설정된 상기 윤곽선 패턴과 비교해서, 현재 차량의 서브 바디만을 전부 일괄추출하는 제 1-7 단계;
   상기 차량의 서브 바디가 추출된 경우에, 차량의 서브 바디로부터 차량의 전체 크기와 위치를 상이한 차량의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 차량의 전체 크기와 위치를 추정하는 제 1-8 단계; 및
   상기 추정된 차량 전체에서 미리 설정된 차량과, 번호판 유형별로의 차량과, 번호판의 영상구조특징을 이용하여 현재 차량과 번호판의 유형과, 차량과 번호판의 영상구조특징을 각각의 차량별로서 통합적으로 추출하는 제 1-9 단계; 를 포함하고,
   
   상기 제 1-8 단계는,
   상기 영상 분포도에 의해 차량의 전체 크기와 위치가 추정될 경우에, 미리 설정된 이상 차량 영상분포도로부터 현재 차량의 영상분포도를 비교해서, 미리 설정된 차이값보다 이상인 경우에 알람하고 미만인 경우에는 알람하지 않고,
   
   상기 제 1-8 단계는,
   상기 알람이 될 경우에, 알람을 차량과 번호판의 유형과, 관리영역 유형, 관리목적 유형, 관리시간대별로 등급화해서 처리하는 포맷을 구비하여 현재 알람을 해당하는 등급에 따라 수행하는 것; 을 특징으로 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 제 2 단계는,
   상기 영상감시영역 주변의 환경정보가 수집될 경우에, 다수의 상이한 영상감시 시스템 유형별로 고유한 통신데이터 특성을 오픈된 공통플랫폼 하에서 통합적으로 구성한 통신기능용 라이브러리를 미리 등록하는 제 2-1 단계;
   상기 다수의 상이한 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 통신기능용 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2 단계; 및
   상기 생성된 어플리케이션과 컴포넌트에 의해 상기 영상감시영역 주변의 환경정보를 수집하는 제 2-3 단계; 를 포함하는 것을 특징으로 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 시스템.
6. 청구항 5에 있어서,
   상기 제 2 단계는,
   상기 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템 유형별로 고유한 데이터 특성과, 어플리케이션, 제어 동작환경, 서비스를 오픈된 공통플랫폼 하에서 통합적으로 구성한 개발가이드 라이브러리를 미리 등록하는 제 2-1‘ 단계; 및
   상기 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 개발가이드 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2’ 단계; 를 더 포함하고,
   
   상기 제 2-3 단계는,
   상기 제 2-2‘ 단계에 의해 생성된 어플리케이션과 컴포넌트를 추가적으로 사용해서 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 시스템.
7. 청구항 6에 있어서,
   상기 제 2 단계는,
   상기 영상감시 영역의 주변 환경정보가 수집될 경우에, 해당하는 영상감시 장치를 센서노드로서 관리할 oneM2M 표준에 따른 프로토콜과, 상기 프로토콜 관리파일을 구성한 프로토콜 라이브러리를 미리 등록하고,
   상기 프로토콜 라이브러리는 오픈된 공통플랫폼 하에서 영상감시 시스템 유형별로 고유한 통신데이터 특성별로 통합적으로 구성하는 제 2-1’‘ 단계; 및
   상기 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 프로토콜 라이브러리에 의해서 어플리케이션과 컴포넌트를 생성하는 제 2-2’‘ 단계; 를 더 포함하고,
   
   상기 제 2-3 단계는,
   상기 제 2-2’‘ 단계에 의해 생성된 어플리케이션과 컴포넌트로도 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 시스템.
8. 청구항 7에 있어서,
   상기 제 2 단계는,
   상기 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기, 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록하고,
   상기 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록하는 제 2-1’‘’ 단계; 및
   상기 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성하는 제 2-2‘’‘ 단계; 를 더 포함하고,
   
   상기 제 2-3 단계는,
   상기 생성된 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 시스템.
9. 청구항 5 내지 청구항 8 중의 어느 한 항에 있어서,
   상기 제 2 단계는,
   A) 상기 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템의 데이터전송사양을 미리 설정된 기준 데이터전송사양과 비교해서,
   B) 상기 비교 결과, 영상감시 시스템의 데이터전송사양이 상기 기준 데이터전송사양보다 이상인 경우에 현재 상태를 유지하고, 반면에 미만인 경우에는 암호화를 위한 버퍼를 할당하여 초기화하고,
   C) 미리 설정된 마스터 키를 통해 암호화 키를 생성하며,
   D) 상기 영상감시 영역의 주변 환경정보를 읽고,
   E) 상기 주변 환경정보의 길이와, 다수의 상이한 영상감시 시스템별로 대응하여 미리 설정된 암호화 데이터 길이 중에서 해당 암호와 데이터 길이를 비교하고,
   F) 상기 비교 결과, 상기 주변 환경정보의 길이가 해당하는 암호화 데이터 길이보다 작은 경우 암호화 하지 않고 전송하며, 큰 경우에는 프레임을 검출하고,
   G) 확장 헤더는 확장 비트를 읽어 유무를 확인하고,
   H) 상기 확인 결과, 확장 비트가 있는 경우에 페이로드 시작점 오프셋을 확장 길이만큼 이동시키고,
   I) 상기 프레임과, 암호용 키, 페이로드 오프셋 정보를 파라미터로 전달받아 프레임의 페이로드 시작부분을 미리 설정된 암호화 포맷으로 부분 암호화해서 저성능 영상감시 시스템을 위한 경량 프로토콜로서 제공하는 것; 을 특징으로 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 시스템.
10. 청구항 9에 있어서,
    상기 제 2 단계는,
    a) 상기 영상감시 영역의 주변 환경정보를 수집하기 위해서, 미리 상이한 어플리케이션별로 해시트리를 기준으로 하위 해시값을 부여하고, 상기 해시트리의 상위 해시값을 등록해서,
    현재 주변 환경정보가 수집되는데 사용하는 어플리케이션별로 해시값을 연결해서 해시노드를 형성한 경우에 보안이 된 것으로 확인하는 포맷을 등록하고,
    b) 상기 영상감시 영역의 주변 환경정보가 수집될 경우에, 상기 포맷에 의해서 관련된 어플리케이션별로 해시값을 연결하여 해시노드를 형성한 경우에 한해서 보안이 된 것으로 확인하고,
    c) 상기 영상감시 영역의 주변 환경정보가 수집될 경우에 추가적으로 어플리케이션 사용을 감지해서 상기 감지 결과, 어플리케이션 사용이 된 경우에 화이트 리스트 및 블랙 리스트에 기반한 사용자 선택 모드에 따라 해당 어플리케이션의 시그니처 정보를 검색하고,
    d) 상기 검색 결과, 해당하는 어플리케이션 시그니처 정보가 있는 경우 자신의 어플리케이션 사용을 허용하고, 반면에 해당 어플리케이션 시그니처 정보가 없는 경우에는 자신의 어플리케이션 사용을 차단하는 것; 을 특징으로 하는 영상의 깊이정보를 이용한 차량번호판 인식률 향상 시스템.

Images