KR20230051836A

KR20230051836A - 주차관제시 꼬리물기 상태에서의 차량번호 인식방법 및 그 시스템

Info

Publication number: KR20230051836A
Application number: KR1020210134702A
Authority: KR
Inventors: 김호중
Original assignee: 주식회사 다래파크텍
Priority date: 2021-10-12
Filing date: 2021-10-12
Publication date: 2023-04-19

Abstract

주차관제시 꼬리물기 상태에서의 차량번호 인식방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템이 수행하는 방법은 상기 엘피알 시스템이 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하는 단계, 상리 엘피알 시스템이 상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 상기 엘피알 시스템이 제1과거 프레임들 또는 제2과거 프레임들에서 상기 제2차의 제2번호판이 표시된 프레임이 존재하는지를 탐색하는 단계, -상기 제1과거 프레임들은 상기 메인 카메라에서 촬영된 제1비디오 스트림에 포함된 제1프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들이며, 상기 제2과거 프레임들은 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들임- 및, 탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 엘피알 시스템이 상기 제2번호판을 인식하는 단계를 포함한다.

Description

주차관제시 꼬리물기 상태에서의 차량번호 인식방법 및 그 시스템{Method and system for License plate recognition corresponding to tailgating in parking control}

본 발명은 주차관제시의 꼬리물기 상태에서 차량번호를 인식하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다. 보다 상세하게는 차량의 번호판인식을 통한 스마트 주차 시스템에 관한 것이다.

차량번호인식(LPR: License Plate Recognition) 시스템을 도입하는 주차장이 급속히 증대하고 있다. 이는 차량 진입 및 진출 시 카메라로 촬영하여 사진으로부터 번호판을 추출, 차량번호를 인식하여 출입 시간을 기록하고 주차요금을 과금하거나 지정한 차량만 출입할 수 있도록 하는 시스템이다.

이러한 LPR에서 차량의 진출입을 인식하는 방식은 루프 검지, 적외선 센서 검지, 레이더 검지, 동영상 분석 등이 존재하는데, 이 중에서 루프 검지 방식이 가장 널리 사용된다.

루프검지는 차선 바닥에 루프(loop)를 설치하고 전류를 통하여 자기장을 생성한다. 차량 등 커다란 자성 물체가 통과할 경우 자기장의 흐름이 변화하며, 이 신호를 루프검지기로 측정하여 번호판 촬영 및 차단기 제어에 이용하는 방식이다.

예컨대, 진입 루프에서 차량을 검지하는 순간 LPR 카메라가 차량을 촬영하고 차단기를 올리며, 진출 루프에서 차량 검지 종료하는 순간 차단기를 내리는 방식이 이용된다.

이러한 루프 검지 방식은 제품 가격이 저렴하고 사람 등 비자기성 물체에 반응하지 않아 주차 시스템에서 널리 사용되지만 제품의 전자기적 특성 및 바닥에 매립 설치하는 시공 방식으로 인하여 많은 시간과 시공이 필요하다는 단점이 있다.

특히 일명 '꼬리물기'로 불리는, 두 대의 차량이 매우 밀접하여 출입구에 접근하는 경우에 대하여 두 차량을 구분하지 못하고 하나의 커다란 자기성 물체로 검지하게 되며, 따라서 후속 차량의 번호판을 촬영할 수 없게 되는 문제가 발생한다. 그러면 주차장 진입 시 번호판 촬영에 실패한 차량은 주차 중 할인 등록이나 출구에서 진출 또는 요금 결제를 정상적으로 수행할 수 없어 고객이 커다란 불편을 겪는다.

이러한 문제점을 해결하기 위해 한국등록특허(등록번호 10-2256802, "반사경 카메라를 이용한 무인주차　불법 꼬리물기 관리 시스템 및 방법")에서는 반사경을 이용하는 기술적 사상을 개시한 바 있다. 하지만 이러한 종래기술의 방식은 후속차량이 통과한 후에 해당 번호판을 인식할 수 있는 방식이어서 주차장을 나가는 경우에는 이용되기 어려울 뿐만 아니라, 두 차량 간의 간격이 상대적으로 작은 경우에는 적용되기 어려운 문제가 있다.

따라서 출입구의 통과 전에 상대적으로 차량간 간격이 좁은 경우에도 꼬리물기 방식으로 접근하는 후속차량의 번호판을 인식할 수 있는 기술적 사상이 요구된다.

한국등록특허(등록번호 10-2256802, "반사경 카메라를 이용한 무인주차　불법 꼬리물기 관리 시스템 및 방법")

본 발명이 해결하고자 하는 과제는 동영상 스트리밍 방식의 카메라를 이용하여 출입구의 통과 전에 상대적으로 차량간 간격이 좁은 경우에도 꼬리물기 방식으로 접근하는 후속차량의 번호판을 인식할 수 있는 기술적 사상을 제공하는 것이다.

본 발명의 일 측면에 따르면, 메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템이 수행하는 방법에 있어서, 상기 엘피알 시스템이 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하는 단계, 상리 엘피알 시스템이 상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 상기 엘피알 시스템이 제1과거 프레임들 또는 제2과거 프레임들에서 상기 제2차의 제2번호판이 표시된 프레임이 존재하는지를 탐색하는 단계, -상기 제1과거 프레임들은 상기 메인 카메라에서 촬영된 제1비디오 스트림에 포함된 제1프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들이며, 상기 제2과거 프레임들은 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들임- 및, 탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 엘피알 시스템이 상기 제2번호판을 인식하는 단계를 포함한다.

상기 주차관제시 꼬리물기 상태에서의 차량번호 인식방법은, 상기 엘피알 시스템이 상기 서브카메라에 의해 촬영되며, 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 탐색하는 단계를 더 포함할 수 있다.

상기 엘피알 시스템이 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태인지 여부를 판단하는 단계는, 상기 엘피알 시스템이 상기 메인카메라에 의해 촬영되는 상기 제1프레임들 각각에 대해 차량 디텍팅을 수행하여, 상기 제1차의 거리가 기준지점으로부터 일정 거리내의 위치에 있으면서, 상기 제1차와 상기 제2차가 디텍팅되고, 상기 제2차번호판의 적어도 일부가 디텍팅되지 않는 경우를 포함하는 꼬리물기 상태조건의 만족여부를 판단하는 단계를 포함할 수 있다.

상기 꼬리물기 상태조건의 만족여부를 판단하는 단계는, 상기 엘피알 시스템이 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 조건을 더 포함하는 상기 꼬리물기 상태조건의 만족여부를 판단하는 단계를 포함할 수 있다.

상기 엘피알 시스템이 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 조건을 더 포함하는 상기 꼬리물기 상태조건의 만족여부를 판단하는 단계는, 차량 디텍팅의 결과 획득되는 상기 제1차와 상기 제2차의 바운더리 박스의 크기에 기초하여 상기 엘피알 시스템이 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 단계 또는 상기 메인 카메라 또는 상기 서브 카메라에 의해 촬영되는 프레임들 중 적어도 하나에 노출된 상기 제2차의 촬영상태에 기초하여 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 단계를 포함할 수 있다.

다른 일 측면에 따른 방법에 의하면, 메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템이 수행하는 방법은 상기 엘피알 시스템이 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하는 단계, 상리 엘피알 시스템이 상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 상기 엘피알 시스템이 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 탐색하는 단계, 및 탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 엘피알 시스템이 상기 제2번호판을 인식하는 단계를 포함한다.

본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하는 컴퓨터 프로그램이 제공된다.

본 발명의 또 다른 일 측면에 따르면,m 메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템은 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하기 위한 제어모듈, 상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 제1과거 프레임들 또는 제2과거 프레임들에서 상기 제2차의 제2번호판이 표시된 프레임이 존재하는지를 탐색하기 위한 탐색모듈, -상기 제1과거 프레임들은 상기 메인 카메라에서 촬영된 제1비디오 스트림에 포함된 제1프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들이며, 상기 제2과거 프레임들은 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들임- 및, 탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 제2번호판을 인식하는 인식모듈을 포함한다.

상기 탐색모듈은, 상기 서브카메라에 의해 촬영되며, 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 더 탐색할 수 있다.

상기 제어모듈은, 상기 메인카메라에 의해 촬영되는 상기 제1프레임들 각각에 대해 차량 디텍팅을 수행하여, 상기 제1차의 거리가 기준지점으로부터 일정 거리내의 위치에 있으면서, 상기 제1차와 상기 제2차가 디텍팅되고, 상기 제2번호판의 적어도 일부가 디텍팅되지 않는 경우를 포함할 수 있다.

상기 제어모듈은, 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 조건을 더 포함하는 상기 꼬리물기 상태조건의 만족여부를 판단할 수 있다.

상기 제어모듈은, 차량 디텍팅의 결과 획득되는 상기 제1차와 상기 제2차의 바운더리 박스의 크기에 기초하여 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하거나, 상기 메인 카메라 또는 상기 서브 카메라에 의해 촬영되는 프레임들 중 적어도 하나에 노출된 상기 제2차의 촬영상태에 기초하여 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단할 수 있다.

다른 일 측면에 따른 메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템은 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하는 제어모듈, 상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 상기 엘피알 시스템이 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 탐색하기 위한 탐색모듈, 및 탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 엘피알 시스템이 상기 제2번호판을 인식하는 인식모듈을 포함한다.

본 발명의 기술적 사상에 의하면, 동영상 스트리밍 방식으로 차량의 접근을 검지할 뿐만 아니라 촬영된 동영상 내의 프레임 이미지로부터 엘피알(LPR)을 수행하므로 상대적으로 저렴한 비용의 엘피알 시스템 구축이 가능한 효과가 있다.

또한 동영상 스트리밍 방식을 이용하므로 주차장의 출입구에 접근하는 과정에서 꼬리물기 상태 즉, 두 차량의 간격이 충분히 작아진 상태 이전에 후속차량의 번호판이 노출된 프레임이 존재하는 경우, 이를 이용하여 후속차량에 대한 엘피알을 수행할 수 있는 효과가 있다.

또한 서로 다른 각도로 접근하는 차량을 촬영할 수 있도록 설치되는 복수의 동영상 카메라를 이용하는 경우, 후속차량에 대한 엘피알 가능성을 높일 수 있는 효과가 있다. 복수의 동영상 카메라를 이용하는 경우에는 꼬리물기 상태 이전 뿐만 아니라 꼬리물기 상태가 된 후에도 후속차량에 대한 엘피알 성공 가능성을 높일 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 주차관제시 꼬리물기 상태에서의 차량번호 인식방법을 구현하기 위한 개략적인 시스템 구성들을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 엘피알 시스템의 개략적인 논리적인 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 주차관제시 꼬리물기 상태에서의 차량번호 인식방법을 수행하기 위한 개략적인 플로우 차트를 나타낸다.
도 4는 본 발명의 실시 예에 따라 꼬리물기 상태 이전에 촬영된 프레임으로부터 후속차량의 엘피알을 수행할 수 있는 개념을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따라 차량의 위치 및 거리를 판단하기 위한 방식의 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따라 서브 카메라를 이용하여 후속차량의 엘피알을 수행하는 개념을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따라 차량간의 거리를 판단하기 위한 일 예를 설명하기 위한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.

도 1은 본 발명의 기술적 사상에 따른 주차관제시 꼬리물기 상태에서의 차량번호 인식방법을 구현하기 위한 개략적인 시스템 구성들을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 주차관제시 꼬리물기 상태에서의 차량번호 인식방법을 위해서는 엘피알 시스템(100)이 구현될 수 있다.

상기 엘피알 시스템(100)은 적어도 차량(1, 2)의 번호판(3, 4)에 기재된 차량번호를 인식할 수 있는 시스템을 의미할 수 있다. 구현 예에 따라 상기 엘피알 시스템(100)은 주차장에 구비된 차단기(3), 적어도 하나의 카메라(10, 20), 및 기타 주차장을 운영하기 위해 필요한 결제장치(미도시) 등과 유무선 네트워크를 통해 연결되어 통신을 수행하거나 해당 구성구성들 각각을 제어할 수 있다.

상기 엘피알 시스템(100)은 적어도 하나의 카메라(10, 20)에 의해 촬영된 이미지를 이용하여 번호판 인식을 수행할 수 있다.

상기 적어도 하나의 카메라(10, 20)는 본 발명의 기술적 사상에 따라 동영상을 촬영할 수 있는 시스템일 수 있다.

상기 엘피알 시스템(100)은 상기 적어도 하나의 카메라(10, 20)에 의해 촬영된 동영상 스트리밍을 상기 적어도 하나의 카메라(10, 20)로부터 수신하고, 수신된 동영상 스트리밍에 포함된 프레임 이미지에 표시된 차량의 번호판(3, 4)을 인식할 수 있다.

상기 엘피알 시스템(100)은 프레임 이미지에 포함된 차량을 디텍팅하고, 디텍팅한 차량에서 번호판을 디텍팅하며, 디텍팅된 번호판에서 문자를 인식하는 OCR(Optical Character Recognition)을 수행할 수 있다.

이러한 차량 디텍팅, 번호판 디텍팅, OCR은 전통적인 비젼 프로세싱에 의해 수행될 수도 있고, 각각을 수행하기 위해 학습된 딥러닝 모델에 의해 수행될 수도 있다. 딥러닝 모델을 수행하기 위한 오브젝트 디텍팅 모델, OCR 모델들은 널리 알려져 있으므로 본 명세서에서는 본 발명의 요지를 명확하게 하기 위해 상세한 설명은 생략하도록 한다.

또한 상기 엘피알 시스템(100)은 차량의 위치를 디텍팅할 수 있으며, 디텍팅된 차량의 위치에 따라 주차장의 출입구를 차단하거나 열기 위한 차단기(3)를 제어할 수 있다.

차량의 위치를 판단하기 위해 별도의 구성(예컨대, 레이저 측정기 등)이 구비될 수도 있지만, 실시 예에 따라 상기 엘피알 시스템(100)은 차량 또는 차량에 상응하는 소정의 오브젝트의 크기(예컨대, 번호판, 차량을 디텍팅한 바운딩 박스 등)에 기초하여 차량의 위치를 판단할 수도 있다.

한편, 본 발명의 기술적 사상을 구현하기 위해서는 하나의 카메라(10)만이 구비될 수도 있다. 하지만 꼬리물기 상태의 후속차량의 번호판을 인식할 수 있는 가능성을 높이기 위해 추가적인 카메라(20)가 더 구비될 수도 있다.

이하 본 명세서에서는 통상의 경우 즉, 정상적으로 주차장의 출입구를 진출입하는 차량의 번호판을 인식하기 위한 카메라(예컨대, 10)를 메인 카메라(10)로 명명하기로 하고, 상기 메인 카메라(10)와는 촬영방향이 다를 수 있도록 설치된 카메라를 서브 카메라(20)로 명명하기로 한다.

상기 서브 카메라(20)는 하나 또는 그 이상일 수 있으며, 메인 카메라(10)에 비해 출입구를 진입하는 차량의 측면방향을 보다 더 잘 촬영할 수 있도록 설치될 수 있다. 즉, 메인 카메라(10)는 상대적으로 차량의 전면방향을 촬영할 수 있도록 설치되며, 서브 카메라(20)는 상대적으로 차량의 측면방향을 촬영할 수 있도록 설치될 수 있다.

상기 엘피알 시스템(100)은 메인 카메라(10)에서 촬영되는 동영상 스트리밍의 프레임 이미지들을 분석하여 진출입하는 차량(예컨대, 1)이 미리 정해진 소정의 위치에 왔다고 판단할 때, 트리거 신호를 발생시켜 차단기(3)를 제어할 수 있다. 또한 프레임 이미지들 중 적어도 하나를 분석하여 해당 차량(예컨대, 1)의 번호판을 인식할 수 있다.

한편, 상기 엘피알 시스템(100)은 출입구에 접근하는 두 차량 즉, 제1차량((예컨대, 1) 및 제2차량(예컨대, 2)이 꼬리물기 상태인지 여부를 판단할 수 있다. 꼬리물기 상태라 함은, 두 차량(예컨대, 1, 2)들의 간격이 작아서 상기 꼬리물기 상태로 계속 진행하는 경우에는 상기 메인 카메라(10)로는 후속차량의 번호판 즉, 제2번호판(3)을 인식할 수 없는 상태를 의미할 수 있다.

상기 엘피알 시스템(100)은 미리 정해진 소정의 기준에 따라 상기 제1차량(예컨대, 1) 및 상기 제2차량(예컨대, 2)이 꼬리물기 상태인지 여부를 판단할 수 있으며 자세한 방식은 후술하도록 한다.

한편, 상기 엘피알 시스템(100)이 두 차량(예컨대, 1, 2)들이 꼬리물기 상태라고 판단한 경우, 본 발명의 기술적 사상에 의하면 상기 엘피알 시스템(100)은 꼬리물기 상태 이전에 촬영된 프레임들 즉, 과거 프레임들로부터 후속차량의 번호판 즉, 제2번호판(4)의 인식을 시도할 수 있다.

이는 현재는 꼬리물기 상태로 판단되었지만, 꼬리물기 상태 이전에는 제1차량(1)과 제2차량(2)의 거리가 상대적으로 커서 제2차량(2)의 번호판이 촬영된 프레임이 존재할 가능성이 크기 때문이다.

즉, 제1차량(1)과 제2차량(2)이 주차장 출입구의 메인 카메라(10)의 촬영범위에 진입하는 시점부터 지속적으로 꼬리물기 상태 또는 매우 가까운 거리로 붙어서 접근하는 경우가 아니라면 제2차량(2)의 제2번호판(4)이 상기 메인 카메라(10)에 촬영된 프레임이 존재할 가능성이 클 수 있다. 또한 이러한 프레임 즉, 꼬리물기 상태 이전에 제2번호판(4)이 촬영된 프레임이 존재할 가능성은 적어도 하나의 서브 카메라(20)가 존재하여 상기 서브 카메라(20)에 의해서도 동영상이 촬영되고 있는 경우에 더 커질 수 있다.

그리고 이처럼 꼬리물기 상태 이전에 촬영된 프레임들 중에서 제2번호판(4)이 촬영되었는지 여부의 탐색 대상이 되는 프레임들을 본 명세서에서는 과거 프레임들로 정의하기로 한다. 과거 프레임들은 단순히 꼬리물기 이전의 모든 프레임들일 수도 있지만, 꼬리물기 상태로 판단된 시점 이후부터 일정 시간까지 촬영된 프레임들이거나 또는 꼬리물기 상태로 판단된 시점 이후부터 오브젝트 디텍팅 결과 제2차량(2)이 디텍팅된 시점까지 촬영된 프레임들로 제한될 수도 있다.

또한 이러한 과거 프레임들을 이용하여 제2번호판(4)의 인식을 수행할 수 있는 것은, 본 발명의 기술적 사상이 동영상 스트리밍에 기초하여 엘피알을 수행하기 때문일 수 있다. 왜냐하면 종래의 루프검지에 기반한 엘피알은 차량이 루프에 의해 검지된 시점에만 카메라로 차량을 촬영하고 촬영된 이미지에서 엘피알을 수행하기 때문에, 해당 시점 이전이 촬영된 프레임이 없거나 매우 제한적일 수 밖에 없다. 하지만 본 발명의 기술적 사상은 실시간으로 동영상을 촬영하고 있는 동영상 카메라를 이용하여 엘피알을 수행하므로, 임의의 시점을 기준으로 그 이전 시점에 촬영된 출입구 영상이 존재하고 이를 이용해 제2번호판(4)이 촬영된 프레임을 탐색할 수 있는 효과가 있다.

한편, 보다 높은 제2번호판(4)의 인식가능성을 높이기 위해 본 발명의 기술적 사상에 의하면, 꼬리물기 상태 이전에 촬영된 프레임뿐만 아니라 꼬리물기 상태로 판단된 시점 이후의 프레임도 이용하여 제2번호판(4)의 인식을 시도할 수 있다.

즉, 본 발명의 기술적 사상에 의하면 꼬리물기 상태로 판단된 시점 이전의 프레임들에 의해서도 제2번호판(4)이 촬영된 프레임의 탐색이 실패하는 경우에는, 해당 시점 이후라도 지속적으로 제2번호판(4)이 촬영된 프레임을 탐색하는 시도를 수행하여 제2번호판(4)의 인식가능성을 높일 수 있다.

이러한 시도는 꼬리물기 상태 이후부터 제2차량(2)이 일정위치를 벗어나기 까지 서브 카메라(20)에 의해 촬영된 프레임들을 대상으로 이루어질 수 있다. 이처럼 서브 카메라(20)에 의해 촬영된 프레임들 중 꼬리물기 상태 이후부터 소정의 시점까지 촬영되어서 제2번호판(4)의 탐색의 대상으로 이용되는 프레임들을 본 명세서에서는 측면탐색 프레임으로 명명하기로 한다. 그리고 측면탐색 프레임에 해당하는 기간을 측면탐색 기간으로 명명하기로 한다.

상기 측면탐색 프레임들은 단순하게는 상기 제2차량(2) 전체가 서브 카메라(20)의 촬영범위에서 벗어나기 전까지 촬영된 프레임들로 특정될 수도 있지만, 실시 예에 따라서는 상기 측면탐색 기간은 상기 제2차량(2)의 특정부위가 촬영되는 기간 즉, 상기 특정부위가 상기 촬영범위에서 벗어나기 전까지 촬영된 프레임들로 더 제한될 수도 있다. 그리고 이러한 제한에 의해 제2번호판(4)이 촬영되었는지 여부를 분석할 프레임들의 수가 훨씬 더 제한될 수 있는 효과가 있다.

상기 특정부위는 예컨대, 제2차량(2)의 전면부에 포함된 특정 부품(예컨대, 앞 범퍼)일 수 있다. 또는 상기 특정 부품(예컨대, 앞 범퍼) 중에서도 특정 위치 예컨대, 서브 카메라(20) 측의 측단이 상기 특정부위가 될 수도 있다.

결국 본 발명의 기술적 사상에 의하면 꼬리물기 상태로 주차장의 출입구에 두 차량(예컨대, 1, 2)들이 접근하더라도, 과거 프레임들 또는 측면탐색 프레임들 중에서 제2번호판(4)이 노출된 프레임을 탐색하여 제2번호판(4)의 인식을 수행할 수 있다.

이러한 본 발명의 기술적 사상 즉, 과거 프레임들에 기초하여 제2번호판(4)의 인식을 시도하는 것은 꼬리물기 상태 이전의 프레임들로 꼬리물기 상태에서의 제2차량(2)의 제2번호판(4)을 인식하는 기술적 사상이며, 측면탐색 프레임들에 기초하여 제2번호판(4)의 인식을 시도하는 것은 꼬리물기 상태가 유지되는 상태에서 메인 카메라(10)가 아닌 서브 카메라(20)에 의해 제2번호판(4)을 인식하는 기술적 사상을 위미할 수 있다. 그리고 어떠한 경우든 제2차량(2)의 후방 번호판이 아닌 전면 번호판을 이용해 제2번호판(4)을 인식하는 것이어서, 상기 제2차량(2)이 출입구를 지나가기기 전에도 꼬리물기 상태의 후속차량의 번호판을 인식할 수 있는 효과가 있다.

한편, 상기 엘피알 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 소정의 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버 장치, 또는 서버 장치 및 상기 서버 장치에 설치되는 소프트웨어의 결합의 형태일 수 있다. 서버 장치는 단일의 장치 또는 소정의 통신 인터페이스를 통하여 연결된 복수의 장치로 구성된 장치 군으로 구현될 수 있다.

상기 엘피알 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산 및 타 구성을 제어하는 기능을 수행할 수도 있다. 상기 엘피알 시스템(100)은 프로세서, 저장장치 및/또는 메모리, 및 상기 저장장치 및/또는 메모리에 저장되어 상기 프로세서에 의해 실행되는 프로그램을 포함할 수 있다. 상기 프로세서는 CPU, GPU, MCU, APU, 마이크로프로세서, 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 상기 저장장치 및/또는 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다. 이하 본 명세서에서 상기 엘피알 시스템(100)이 소정의 동작을 수행한다고 함은, 상기 프로세서가 상기 프로그램을 실행하여 수행하는 일련의 데이터 처리 및/또는 제어에 의해 수행될 수 있음을 의미할 수 있다.

상기 엘피알 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 상기 엘피알 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

상기 엘피알 시스템(100)은 관제하고자 하는 주차장에 설치될 수도 있지만, 본 발명의 기술적 사상을 웹 서비스 형태로 제공할 수도 있고 이러한 경우 반드시 엘피알 시스템(100)이 구현되는 위치가 주차장 또는 그 인근으로 제한될 필요는 없다.

상술한 바와 같은 기술적 사상을 구현하기 위한 본 발명의 기술적 사상에 따른 엘피알 시스템(100)은 도 2에 도시된 바와 같은 구성을 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 엘피알 시스템의 개략적인 논리적인 구성을 도시한 블록도이다. 또한, 도 3은 본 발명의 실시 예에 따른 주차관제시 꼬리물기 상태에서의 차량번호 인식방법을 수행하기 위한 개략적인 플로우 차트를 나타낸다.

우선 도 2를 참조하면, 상기 엘피알 시스템(100)은 제어모듈(110), 탐색모듈(120), 및 인식모듈(130)을 포함한다. 실시 예에 따라 상기 엘피알 시스템(100)은 차량 디텍팅 모듈(140), 번호판 디텍팅 모듈(141), OCR 모듈(142)을 더 포함할 수 있다. 필요에 따라 차량 디텍팅 모듈(140), 번호판 디텍팅 모듈(141) 이외에도 후술할 바와 같이 차량의 특정부위 또는 특정위치를 판단하기 위한 오브젝트 디텍팅 모듈이 포함될 수 있고, 이러한 오브젝트 디텍팅 모듈 또는 상기 OCR 모듈(142)은 딥러닝 기반으로 학습된 뉴럴 네트워크 모델에 의해 구현될 수 있음은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

또한 상기 제어모듈(110), 탐색모듈(120), 및/또는 상기 인식모듈(130)은 상기 차량 디텍팅 모듈(140), 번호판 디텍팅 모듈(141), OCR 모듈(142)을 이용해 본 명세서에서 정의되는 기능 또는 동작을 수행할 수 있다.

본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 엘피알 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 엘피알 시스템(100)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 각종 데이터 및 정보를 저장할 수 있는 저장모듈(미도시) 등을 더 포함할 수 있다.

상기 엘피알 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 엘피알 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 엘피알 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 상기 제어모듈(110), 탐색모듈(120), 인식모듈(130), 차량 디텍팅 모듈(140), 번호판 디텍팅 모듈(141), 및/또는 OCR 모듈(142) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(110), 탐색모듈(120), 인식모듈(130), 차량 디텍팅 모듈(140), 번호판 디텍팅 모듈(141), 및/또는 OCR 모듈(142) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.

또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

실시예에 따라 상기 엘피알 시스템(100)은 데이터베이스(DB; 미도시)를 구비할 수 있다. 상기 DB는 본 발명의 기술적 사상을 구현하는데 필요한 각종 데이터 혹은 DB 테이블을 저장할 수 있다. 예를 들어, 상기 DB는 사용자 정보, 인식된 차량의 번호판 정보 등을 저장할 수 있다.

본 명세서에서 DB라 함은, 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함하는 의미로 사용될 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB에 저장될 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함하는 의미로 사용될 수 있다.

한편, 상기 엘피알 시스템(100)은 물리적으로는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장되는 메모리(미도시), 및 상기 메모리(미도시)에 저장된 프로그램을 실행하기 위한 프로세서(미도시)가 구비될 수 있다.

상기 프로세서는 상기 엘피알 시스템(100)의 구현 예에 따라, CPU, APU, 모바일 프로세서 등 다양한 명칭으로 명명될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. 또한, 상기 엘피알 시스템(100)은 복수의 물리적 장치들이 유기적으로 결합되어 구현될 수도 있으며, 이러한 경우 상기 프로세서는 물리적 장치 별로 적어도 한 개 구비되어 본 발명의 엘피알 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

상기 메모리는 상기 프로그램이 저장되며, 상기 프로그램을 구동시키기 위해 상기 프로세서가 접근할 수 있는 어떠한 형태의 저장장치로 구현되어도 무방하다. 또한 하드웨어적 구현 예에 따라 상기 메모리는 어느 하나의 저장장치가 아니라 복수의 저장장치로 구현될 수도 있다. 또한 상기 메모리는 주기억장치뿐만 아니라, 임시기억장치를 포함할 수도 있다. 또한 휘발성 메모리 또는 비휘발성 메모리로 구현될 수도 있으며, 상기 프로그램이 저장되고 상기 프로세서에 의해 구동될 수 있도록 구현되는 모든 형태의 정보저장 수단을 포함하는 의미로 정의될 수 있다.

또한 상기 엘피알 시스템(100)의 실시 예에 따라 다양한 주변장치들(주변장치 1 내지 주변장치 N, 130-1, 131-1)이 더 구비될 수 있다. 예를 들어, 키보드, 모니터, 그래픽 카드, 통신장치 등이 주변장치로써 상기 엘피알 시스템(100)에 더 포함될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

이하, 본 명세서에서 소정의 모듈이 어떤 기능을 수행한다고 함은 상기 프로세서가 상기 메모리)에 구비된 프로그램을 구동하여 상기 기능을 수행하는 것을 의미함을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

상기 제어모듈(110)은 상기 엘피알 시스템(100)에 포함된 다른 구성들(예컨대, 탐색모듈(120), 인식모듈(130), 차량 디텍팅 모듈(140), 번호판 디텍팅 모듈(141), 및/또는 OCR 모듈(142) 등)의 기능 및/또는 리소스를 제어할 수 있다.

상기 제어모듈(110)은 상기 출입구에 접근하는 선행하는 제1차(1)와 후행하는 제2차(2)가 미리 정해진 기준에 의해 꼬리물기 상태인지 여부를 판단할 수 있다(S100).

전술한 바와 같이 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점(예컨대, 출입구의 차단기 설치 지점 또는 차단기 설치 지점으로부터 미리 설정된 위치 등)을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영 되거나 미촬영 될 것으로 판단되는 경우일 수 있다.

그러면 상기 탐색모듈(120)은 상기 제1차(1)와 상기 제2차(2)가 꼬리물기 상태라고 판단한 경우, 상기 제2차(2)의 제2번호판(4)이 노출(촬영)된 프레임을 탐색할 수 있다(S110).

상술한 바와 같이 제2번호판(4)이 촬영된 프레임은 과거 프레임들일 수 있다. 상기 과거 프레임들은 상기 메인 카메라(10)에서 촬영된 제1비디오 스트림에 포함된 제1프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들일 수 있다.

상기 제2과거 프레임들은 상기 메인 카메라(10)와는 다른 방향으로 설치된 서브 카메라(20)에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들일 수 있다.

이러한 일 예는 도 4를 참조하여 설명하도록 한다.

도 4는 본 발명의 실시 예에 따라 꼬리물기 상태 이전에 촬영된 프레임으로부터 후속차량의 엘피알을 수행할 수 있는 개념을 설명하기 위한 도면이다.

도 4를 참조하면, 상기 제어모듈(110)은 도 4b에 도시된 상태 또는 시점에서 미리 정해진 기준에 의해 꼬리물기 상태라고 판단할 수 있다. 이러한 경우 도 4b에 도시된 바와 같은 상태를 유지하면서 제1차(1) 및 제2차(2)가 소정의 기준지점(예컨대, 출입구 도로 상에서 차단기 설치지점에 해당하는 위치 또는 메인 카메라(10)의 촬영범위 등)을 통과하더라도 상기 제2차(2)의 제2번호판(4)은 메인 카메라(10)에 의해 촬영되지 않을 수 있다.

하지만 도 4b에 도시된 바와 같은 시점 이전인 소정의 시점에서 제1차(1) 및 제2차(2)는 도 4a에 도시된 바와 같은 상태일 수 있다. 즉, 꼬리물기 상태라고 판단된 시점 이전에는 꼬리물기 상태가 아닌 상태가 존재할 확률이 높으며, 이러한 경우에 메인 카메라(10) 및/또는 서브 카메라(20)에 의해 촬영된 프레임들 즉, 제1과거 프레임들 및/또는 제2과거 프레임들에는 제2번호판(4)이 촬영된 프레임이 존재할 가능성이 높을 수 있다.

따라서 본 발명의 기술적 사상에 의하면 특정 시점(꼬리물기 판단시점)에는 꼬리물기 상태여서 이 상태가 유지되는 경우에는 제2번호판(4)의 인식이 불가능하더라도, 상기 특정 시점 이전의 과거 프레임들로부터 제2번호판(4)을 인식할 수 있다.

물론 메인 카메라(10) 및/또는 서브 카메라(20)에는 두 대의 차량이 아니라 세대 이상의 차량이 촬영될 수도 있고, 이러한 경우 제2차(2)의 번호판이 어떤 번호판인지를 구분해야할 수도 있다. 즉, 꼬리물기 판단시점에서 후속차량과 동일한 차량을 과거 프레임들에서 구분해야할 수도 있다. 이처럼 동일한 차량인지 여부는 차량의 외관적 특징(예컨대, 차종, 색상 등)으로 구분하거나 또는 머신러닝이나 딥러닝에서 사용되는 피쳐 포인트 등을 이용해 판단되거나 또는 기타 다양한 방식으로 동일한 차량인지 여부가 판단될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

한편, 전술한 바와 같이 상기 탐색모듈(120)은 상기 서브 카메라(20)에 의해 촬영되며, 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 노출된 프레임을 탐색할 수도 있다.

결국 상기 탐색모듈(120)은 꼬리물기 상태라고 판단된 시점을 기준으로 과거에 촬영된 영상(프레임들)로부터 제2번호판(4)이 노출된 프레임을 탐색하여 제2번호판(4)의 인식을 시도할 수도 있고, 꼬리물기 상태라고 판단된 시점 이후에도 메인 카메라(10)에 의해 인식되지 않지만 다른 방향 즉, 서브 카메라(20)의 촬영방향에서 제2번호판(4)이 노출되는지를 탐색할 수 있다.

상기 꼬리물기 판단시점은 미리 정해진 기준에 따라 꼬리물기 상태라고 판단된 프레임이 적어도 하나 발견되는 경우를 의미할 수 있으며, 이러한 꼬리물기 판단시점은 상기 제어모듈(110)에 의해 발견될 수 있다.

예컨대, 상기 제어모듈(110)은 메인 카메라(10)에 의해 촬영된 프레임들을 분석하여 각각의 프레임별로 미리 정해진 기준에 의해 꼬리물기 상태인지를 판단할 수 있다. 필요에 따라 서브 카메라(20)에서 촬영된 프레임이 꼬리물기 상태인지를 판단하는데 더 이용될 수도 있다.

그러면 상기 제어모듈(110)은 꼬리물기 상태로 판단된 프레임이 적어도 하나 발견된 시점을 꼬리물기 판단시점으로 결정할 수 있다.

예컨대, 꼬리물기 상태로 판단된 프레임이 1개 발견되면 해당 프레임을 꼬리물기 판단시점에 상응한다고 판단할 수도 있다. 하지만 일시적으로 꼬리물기 상태였다가 다시 꼬리물기 상태가 해지되는 경우가 존재할 수 있으므로, 미리 정해진 일정시간(일정 개수의 프레임)(예컨대, 3초 또는 120개 등)이 연속하여 꼬리물기 상태라고 판단된 경우에 상기 제어모듈(110)은 해당 프레임 또는 해당 시점으로 꼬리물기 판단시점으로 결정할 수 있다.

그러면 상기 인식모듈(130)은 탐색결과 제2번호판(4)이 노출된 프레임 즉, 탐색결과 프레임으로부터 제2번호판(4)을 인식할 수 있다(S120). 제2번호판(4)을 인식한다고 함은 제2번호판의 차량번호를 인식하는 것을 의미할 수 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

한편, 상기 제어모듈(110)은 미리 정해진 소정의 기준에 따라 특정 프레임에 촬영된 두 차량이 꼬리물기 상태인지 여부를 판단할 수 있다.

이러한 일 예는 도 5 및 도 7을 참조하여 설명하도록 한다.

도 5는 본 발명의 실시 예에 따라 차량의 위치 및 거리를 판단하기 위한 방식의 일 예를 설명하기 위한 도면이다. 또한, 도 7은 본 발명의 실시 예에 따라 차량간의 거리를 판단하기 위한 다른 일 예를 설명하기 위한 도면이다.

우선 도 5를 참조하면, 도 5는 메인 카메라(10)에서 두 대의 차량(1, 2)이 촬영된 상태를 예시적으로 나타내다.

상기 제어모듈(110)은 메인 카메라(10)에 의해 복수의 차들 즉, 제1차(1)와 제2차(2)가 디텍팅되고, 상기 제2번호판(4)의 적어도 일부가 디텍팅되지 않는 경우를 꼬리물기 상태조건으로 판단할 수 있다.

하지만 출입구와 상대적으로 먼 지점에서 이러한 상태일 수도 있고, 상대적으로 먼 지점에서는 이미지 상으로는 1차(1)와 제2차(2)가 디텍팅되고, 상기 제2번호판(4)의 적어도 일부가 디텍팅되지 않는 경우라도 실제로 차량 간의 거리가 충분히 이격된 경우일 수도 있다. 또는 차량 간의 거리가 가깝더라도 출입구와 가까워지면서 다시 거리가 멀어져서 제2번호판(4)의 인식에 문제가 없을 수도 있다.

따라서 상기 제어모듈(110)은 제1조건 즉, 복수의 차들 즉, 제1차(1)와 제2차(2)가 디텍팅되고, 상기 제2번호판(4)의 적어도 일부가 디텍팅되지 않는 경우 이외에도 다른 조건을 이용 또는 조합하여 꼬리물기 상태여부를 판단할 수 있다.

예컨대, 제2조건은 제1차(1)의 거리가 기준지점(예컨대, 출입구 차단기 지점 또는 메인 카메라(10)의 촬영범위에서 차량이 마지막으로 촬영되는 지점 등)으로부터 일정 거리내의 위치한 경우일 수 있다. 이러한 제2조건은 현재 제1차와 제2차가 거리가 가까운 상태이면, 제2번호판(4)이 끝까지 촬영되지 않을 가능성이 높은 차량의 위치를 특정하는 조건일 수 있다.

상기 제2조건은 예컨대, 진입로 방향으로 차량의 출입구 이전이면서도 제1차와 일정 거리로 근접한 상태로 가정한 경우에 제2(2)차의 전면이 서브 카메라(20)의 촬영범위를 지나지 않은 위치 경우인 것이 바람직하며, 이러한 범위에서 선택될 수 있다.

한편, 제3조건이 단독으로 이용되거나 또는 상기 제1조건 및/또는 제2조건과 결합되어 꼬리물기 상태를 판단하는 기준조건으로 이용될 수도 있다.

상기 제3조건은 상기 제1차(1)와 상기 제2차(2)의 거리 즉 간격이 미리 정해진 기준거리 이내인 경우 꼬리물기 상태라고 판단하는 조건일 수 있다.

상기 제어모듈(110)은 제1조건, 제2조건, 및/또는 제3조건 중 어느 하나를 꼬리물기 상태임을 판단하는 조건으로 이용할 수도 있고, 이들 중 복수 개를 꼬리물기 상태의 판단조건으로 이용할 수도 있다. 물론 복수의 조건들이 이용되는 경우는 동일한 시점에 상응하는 프레임들이 해당 조건들을 만족하는 경우라야 꼬리물기 상태라고 판단할 수 있으며, 이외에도 다양한 실시 예에 의해 제2번호판(4)을 인식하지 못할 가능성을 판단하기 위한 조건이 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

한편, 제1차(1) 및/또는 제2차(2)의 위치, 제1차(1)와 제2차(2)의 간격 등은 별도의 거리측정장치(예컨대, 레이저 거리측정장치 등)가 구비될 수도 있다. 하지만 본 발명의 기술적 사상에 의하면, 엘피알을 수행하는 과정에서 도출되는 정보를 이용하여 효과적으로 제1차(1) 및/또는 제2차(2)의 위치, 제1차(1)와 제2차(2)의 간격을 도출할 수 있는 기술적 사상이 개시된다.

예컨대, 도 5에 도시된 바와 같이 통상의 엘피알을 수행하는 방식은 이미지에서 차량을 디텍팅하고, 디텍팅된 차량에서 번호판을 디텍팅하고, 최종적으로 디텍팅된 번호판에서 OCR을 수행하야 차번호를 인식하게 된다.

이를 위해 전술한 바와 같이 이미지에서 차량이 위치하는 영역을 디텍팅하기 위한 차량 디텍팅 모듈(140), 디텍팅된 차량에서 번호판을 디텍팅하기 위한 번호판 디텍팅 모듈(141), 및 OCR 모듈(142)이 상기 엘피알 시스템(100)에 포함될 수 있다.

그리고 차량 디텍팅 모듈(140)이 차량 디텍팅 모듈(140)을 디텍팅하는 경우에는 도 5에 도시된 바와 같이 디텍팅 결과에 따른 바운더리 박스(예컨대, B1, B2)가 상기 차량 디텍팅 모듈(140)에 의해 출력될 수 있다. 또는 번호판을 디텍팅한 경우에 상기 번호판 디텍팅 모듈(141)에 의해 번호판의 바운더리 박스가 출력될 수 있다.

본 발명의 일 실시 예에 의하면 이러한 차량 및/또는 번호판의 바운더리 박스를 이용하여 차량의 위치 및/또는 차량들 간의 거리를 판단할 수 있다.

바운더리 박스는 동일한 크기의 사물이라도 카메라로부터의 거리에 따라 그 크기가 달라질 수 있다.

따라서 제1차(1) 및/또는 제2차(2)의 차량 바운더리 박스 및/또는 번호판 바운더리 박스의 크기에 따라 제1차(1) 및/또는 제2차(2)의 위치 즉, 카메라를 기준으로 상대적 위치가 판단될 수 있다.

또한, 차량 디텍팅의 결과 획득되는 상기 제1차(1)와 상기 제2차(2)의 바운더리 박스의 크기들에 기초하여 상기 제1차(1)와 상기 제2차(2)의 거리가 판단될 수 있다.

차량의 바운더리 박스의 크기는 메인 카메라(10)의 위치 및 촬영방향이나 차종에 따라 달라질 수 있다. 필요에 따라 차종을 인식하고 인식된 차종별로 메인 카메라(10)에 의해 촬영될 경우 해당 차량의 바운더리 박스의 크기를 누적하여 통계적으로 활용함으로써 차량의 바운더리 박스의 크기별로 차량의 상대적 위치가 판단될 수 있다.

또는 번호판은 그 크기가 고정되어 있으므로, 메인 카메라(1)의 위치와 촬영방향이 고정되는 경우에는 위치에 따라 번호판의 크기가 결정될 수 있다. 따라서 번호판의 바운더리 박스의 크기를 이용하여 상대적으로 보다 정확한 차량별 위치가 판단될 수도 있다.

물론, 제1차(1)와 제2차(2) 간의 거리를 판단하는 경우에는 제2번호판(4)이 전부 또는 일부 노출되지 않은 상태에서도 제1차(1)와 제2차(2) 간의 거리를 판단할 수 있어야 하므로, 이러한 경우에는 차량의 바운더리 박스의 크기에 기초하여 두 차 간의 거리를 판단할 수도 있다.

제1차(1)와 제2차(2) 간의 거리를 판단하는 또 다른 실시 예는 도 7에 도시된 바와 같을 수도 있다.

예컨대, 상기 제어모듈(110)은 메인 카메라(10) 또는 상기 서브카메라에 의해 촬영되는 제2프레임들 중 적어도 하나에 노출된 상기 제2차(2)의 촬영상태에 기초하여 상기 제1차(1)와 상기 제2차(2)의 거리를 판단할 수도 있다.

상기 제2차(2)의 촬영상태는 제2차(2)가 촬영된 상태를 의미할 수 있으며, 특히 제2차(2)가 제1차(1)와 근접할수록 제2차(2)의 특정부위(예컨대, 앞 범퍼 등)의 일부만이 촬영될 수 있다.

따라서 상기 제어모듈(110)은 제2차(2)의 특정부위가 촬영된 정도(예컨대, 길이, 부피 등)를 이용하여 제1차(1)와 제2차(2)의 거리를 판단할 수도 있다.

예컨대, 도 7의 실시 예에서는 제2차(2)의 앞 범퍼의 상단을 상기 특정부위로 설정하고 상기 앞 범퍼의 상단이 노출되는 길이에 따라 상기 제1차(1)와 상기 제2차(2)의 상대적 거리를 판단하는 경우를 일 예로 도시하고 있다.

도 7a에서는 앞 범퍼의 상단이 노출되는 길이가 d1인 경우를 나타내고, 도 7b에서는 앞 범퍼의 상단이 노출되는 길이가 d1보다 짧은 d2인 경우를 나타내고 있다. 이러한 경우 도 7b의 경우가 도 7a의 경우에 비해 차량 간의 거리가 더 짧은 경우이며, 상기 제어모듈(110)은 이러한 방식으로 특정부위의 노출정도(길이, 부피)가 기준값보다 작은지 또는 큰지 여부에 따라 두 차량 간의 거리가 미리 정해진 거리 이내인지를 효과적으로 판단할 수 있다.

물론, 이미지로부터 특정부위가 어디인지를 판단하는 방식은 다양할 수 있다. 예컨대, 전통적인 비젼 프로세싱에 의해 원하는 특정부위를 판단할 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 상기 특정부위를 디텍팅하기 위한 오브젝트 디텍팅 모듈이 학습되어 구현될 수도 있다.

한편 상기 특정부위 및 상기 특정부위의 노출정도에 따라 상대적인 거리를 판단하는 방식은 카메라의 위치나 방향, 차량의 특성에 따라 달라질 수 있으므로 차량의 어떤 부위를 상기 특정부위로 할지 또는 얼마나 노출되어야 차량간의 거리가 기준거리보다 크거나 작은지는 실험을 통해 결정될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

한편, 전술한 바와 같이 본 발명의 기술적 사상에 따른 엘피알 시스템(100)은 상기 제어모듈(110)에 의해 꼬리물기 상태라고 판단된 경우에는 과거 프레임들뿐만 아니라, 꼬리물기 판단시점 이후라도 서브 카메라(20)에 의해 제2번호판(4)이 촬영되는지를 탐색하여 제2번호판(4)의 인식을 시도할 수 있다.

이러한 일 예는 도 6을 참조하여 설명하도록 한다.

도 6은 본 발명의 실시 예에 따라 서브 카메라를 이용하여 후속차량의 엘피알을 수행하는 개념을 설명하기 위한 도면이다.

도 6을 참조하면, 상기 제어모듈(110)에 의해 꼬리물기 상태라고 판단이 되면, 상기 탐색모듈(120)은 상기 서브 카메라(20)에 의해 촬영된 프레임들 중 꼬리물기 상태 이후에 촬영되는 프레임들에 대해 제2번호판(4)이 촬영되는지를 탐색할 수 있다.

이처럼 서브 카메라(20)에 의해 촬영된 프레임들 중 일정기간 동안 제2번호판(4)이 촬영되었는지 여부를 판단하기 위해 탐색의 대상이 되는 프레임들을 측면탐색 프레임이라고 명명할 수 있다.

이러한 측면탐색 프레임은 제2차(2)가 완전히 출입구를 통과하기까지의 프레임일 수도 있다. 하지만 제2차(2)의 전면에 부착된 제2번호판(4)을 인식하기 위한 방법으로는 제2번호판(4)이 노출될 가능성이 전혀 없는 프레임들까지 계속 프레임별로 제2번호판(4)이 노출되었는지 여부를 판단하여 리소스를 낭비할 필요가 없으므로, 가급적 측면탐색 프레임들의 수를 제한하는 것이 효과적일 수 있다.

예컨대, 통상 번호판은 앞 범퍼에 위치하므로, 상기 탐색모듈(120)은 서브 카메라(20)에 의해 촬영되는 프레임들 중 제2차(2)의 특정부위(예컨대, 앞 범퍼)가 촬영되는지를 판단하여 더 이상 상기 특정부위가 촬영되지 않는 경우에는 측면탐색 프레임의 탐색을 중지할 수 있다. 즉, 상기 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 프레임들을 측면탐색 프레임들로 특정하여 측면탐색 프레임들 중에서 상기 제2번호판(4)이 존재하는지를 탐색할 수 있다.

물론 이때에는 제2번호판(4) 전체가 촬영되는 경우뿐만 아니라 제2번호판(4)의 일부만 촬영된 경우에도 촬영된 영역에 대해서만 OCR을 수행할 수도 있으므로, 제2번호판(4)의 일부만 촬영된 경우에도 인식모듈(130)은 해당 프레임에 대한 OCR을 수행하여 제2번호판(4)의 일부를 획득할 수 있다.

이처럼 제2번호판(4)의 일부만 촬영되어 차량번호의 일부만 인식되는 경우에도 인식된 일부 차량번호를 기반으로 차량을 특정하는데 유용하게 이용될 수 있기 때문이다.

물론 실시 예에 따라서는 상기 탐색모듈(120)은 상기 특정부위를 번호판 자체로 설정할 수도 있지만, 카메라의 설치방향과 차량의 진행방향에 따라 앞 범퍼가 안보이다가 서서히 보이는 경우도 존재하고 앞 범퍼가 보이다가 서서히 안보이게 되는 경우도 존재하므로, 꼬리물기 판단시점 이후부터 번호판 자체를 기준으로 제2번호판(4)을 탐색할 프레임들의 촬영기간을 제한하는 것에 비해 번호판보다 크기가 큰 구성을 기준으로 측면탐색 기간을 특정하는 것이 보다 효과적일 수 있다.

또한, 구현 예에 따라서는 특정부위가 특정 부품의 특정 위치로 구체적으로 설정될 수도 있다. 예컨대, 앞 범퍼라는 특정 부품의 특정위치(예컨대, 서브 카메라(20) 측 방향의 측면 끝단, X)가 촬영되다가 더 이상 촬영되지 않는 경우가 측면탐색 기간으로 설정될 수도 있다.

어떠한 경우든 측면탐색 기간은 꼬리물기 판단시점 이후부터 제2차(2)의 진행에 따라 서브 카메라(20)에 의해 번호판이 촬영될 가능성이 더 이상 존재하지 않는다고 판단되는 시점까지로 설정될 수 있다.

또한 역시 제2차(2)가 진행방향으로 진행하는 경우에 서브 카메라(20)에 의해 제2번호판(4)이 촬영될 가능성이 있는 소정의 위치에서 꼬리물기 상태라고 판단될 수 있도록, 꼬리물기 상태의 판단기준이 설정될 수 있을 필요가 있다.

결국 본 발명의 기술적 사상에 의하면, 차량의 꼬리물기 상태라고 판단되더라도 그 판단시점 이전에 촬영된 영상들로부터 꼬리물기 상태의 후속차량의 차량번호를 인식하거나 또는 판단시점 이후라도 다른 각도에서 후속차량의 차량번호를 인식하기 위한 시도를 함으로써, 출입구를 통과하기 전이라도 꼬리물기 상태에서의 후속차량의 차량번호 인식 가능성을 높일 수 있는 효과가 있다.

한편, 구현 예에 따라서, 상기 엘피알 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다. 여기서, 상기 프로그램은, 프로세서에 의해 실행되는 경우, 본 실시예에 따른 엘피알 시스템(100)으로 하여금, 상술한 방법을 수행하도록 할 수 있다.

한편, 본 발명의 실시예에 따른 주차관제시의 꼬리물기 대응 엘피알 수행방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템이 수행하는 방법에 있어서,
상기 엘피알 시스템이 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하는 단계;
상리 엘피알 시스템이 상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 상기 엘피알 시스템이 제1과거 프레임들 또는 제2과거 프레임들에서 상기 제2차의 제2번호판이 표시된 프레임이 존재하는지를 탐색하는 단계; -상기 제1과거 프레임들은 상기 메인 카메라에서 촬영된 제1비디오 스트림에 포함된 제1프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들이며, 상기 제2과거 프레임들은 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들임- 및
탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 엘피알 시스템이 상기 제2번호판을 인식하는 단계를 포함하는 주차관제시 꼬리물기 상태에서의 차량번호 인식방법.
제1항에 있어서, 상기 주차관제시 꼬리물기 상태에서의 차량번호 인식방법은,
상기 엘피알 시스템이 상기 서브카메라에 의해 촬영되며, 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 탐색하는 단계를 더 포함하는 주차관제시 꼬리물기 상태에서의 차량번호 인식방법.
제1항에 있어서, 상기 엘피알 시스템이 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태인지 여부를 판단하는 단계는,
상기 엘피알 시스템이 상기 메인카메라에 의해 촬영되는 상기 제1프레임들 각각에 대해 차량 디텍팅을 수행하여, 상기 제1차의 거리가 기준지점으로부터 일정 거리내의 위치에 있으면서, 상기 제1차와 상기 제2차가 디텍팅되고, 상기 제2차번호판의 적어도 일부가 디텍팅되지 않는 경우를 포함하는 꼬리물기 상태조건의 만족여부를 판단하는 단계를 포함하는 주차관제시 꼬리물기 상태에서의 차량번호 인식방법.
제3항에 있어서, 상기 꼬리물기 상태조건의 만족여부를 판단하는 단계는,
상기 엘피알 시스템이 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 조건을 더 포함하는 상기 꼬리물기 상태조건의 만족여부를 판단하는 단계를 포함하는 주차관제시 꼬리물기 상태에서의 차량번호 인식방법.
제4항에 있어서, 상기 엘피알 시스템이 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 조건을 더 포함하는 상기 꼬리물기 상태조건의 만족여부를 판단하는 단계는,
차량 디텍팅의 결과 획득되는 상기 제1차와 상기 제2차의 바운더리 박스의 크기에 기초하여 상기 엘피알 시스템이 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 단계; 또는
상기 메인 카메라 또는 상기 서브 카메라에 의해 촬영되는 프레임들 중 적어도 하나에 노출된 상기 제2차의 촬영상태에 기초하여 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 단계를 포함하는 주차관제시 꼬리물기 상태에서의 차량번호 인식방법.
메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템이 수행하는 방법에 있어서,
상기 엘피알 시스템이 선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하는 단계;
상리 엘피알 시스템이 상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 상기 엘피알 시스템이 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 탐색하는 단계; 및
탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 엘피알 시스템이 상기 제2번호판을 인식하는 단계를 포함하는 주차관제시 꼬리물기 상태에서의 차량번호 인식방법.
데이터 처리장치에 설치되며 제1항 내지 제6항 중 어느 한 항에 기재된 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템에 있어서,
선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하기 위한 제어모듈;
상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 제1과거 프레임들 또는 제2과거 프레임들에서 상기 제2차의 제2번호판이 표시된 프레임이 존재하는지를 탐색하기 위한 탐색모듈; -상기 제1과거 프레임들은 상기 메인 카메라에서 촬영된 제1비디오 스트림에 포함된 제1프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들이며, 상기 제2과거 프레임들은 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이전에 촬영된 프레임들임- 및
탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 제2번호판을 인식하는 인식모듈을 포함하는 엘피알 시스템.
제8항에 있어서, 상기 탐색모듈은,
상기 서브카메라에 의해 촬영되며, 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 더 탐색하는 엘피알 시스템.
제8항에 있어서, 상기 제어모듈은,
상기 메인카메라에 의해 촬영되는 상기 제1프레임들 각각에 대해 차량 디텍팅을 수행하여, 상기 제1차의 거리가 기준지점으로부터 일정 거리내의 위치에 있으면서, 상기 제1차와 상기 제2차가 디텍팅되고, 상기 제2번호판의 적어도 일부가 디텍팅되지 않는 경우를 포함하는 꼬리물기 상태조건의 만족여부를 판단하는 엘피알 시스템.
제10항에 있어서, 상기 제어모듈은,
상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 조건을 더 포함하는 상기 꼬리물기 상태조건의 만족여부를 판단하는 엘피알 시스템.
제11항에 있어서, 상기 제어모듈은,
차량 디텍팅의 결과 획득되는 상기 제1차와 상기 제2차의 바운더리 박스의 크기에 기초하여 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하거나, 상기 메인 카메라 또는 상기 서브 카메라에 의해 촬영되는 프레임들 중 적어도 하나에 노출된 상기 제2차의 촬영상태에 기초하여 상기 제1차와 상기 제2차의 거리가 기준거리 이내라고 판단하는 엘피알 시스템.
메인 카메라에 의해 촬영된 비디오 스트림에 포함되는 프레임에서 자동차의 번호판을 인식하는 비디오 기반 엘피알 시스템에 있어서,
선행하는 제1차와 후행하는 제2차가 미리 정해진 기준에 의해 꼬리물기 상태 -상기 꼬리물기 상태는 상기 꼬리물기 상태가 유지된 상태로 소정의 기준지점을 통과하는 경우 상기 제2차의 제2번호판이 상기 메인 카메라에 의해 미촬영되는 경우임-인지 여부를 판단하는 제어모듈;
상기 제1차와 상기 제2차가 꼬리물기 상태라고 판단한 경우, 상기 엘피알 시스템이 상기 메인카메라와는 다른 방향으로 설치된 서브카메라에 의해 촬영된 제2비디오 스트림에 포함된 제2프레임들 중에서 상기 꼬리물기 상태의 판단시점 이후부터 상기 제2차의 전면의 특정부위가 촬영되는 기간인 측면탐색 기간 동안에 촬영된 측면탐색 프레임들 중에서 상기 제2번호판이 촬영된 프레임을 탐색하기 위한 탐색모듈; 및
탐색결과 획득되는 탐색결과 프레임에 기초하여 상기 엘피알 시스템이 상기 제2번호판을 인식하는 인식모듈을 포함하는 엘피알 시스템.