KR20220089217A - 이륜차 단속 장치 및 이륜차 단속 방법 - Google Patents

Abstract

본 발명은 이륜차 단속 장치 및 방법에 관한 것으로, 보다 구체적으로는 폐쇄 회로 카메라를 이용하여 횡단보도, 인도로 불법 주행하는 이륜차의 번호판을 인식 및 특정하여 불법 주행하는 이륜차를 단속한다.

Description

이륜차 단속 장치 및 이륜차 단속 방법{TWO-WHEELED VEHICLE CONTROL APPARATUS AND METHOD}

본 발명은 이륜차 단속 장치 및 방법에 관한 것으로, 보다 구체적으로는 폐쇄 회로 카메라를 통해 수집된 영상을 기반으로 불법 주행하는 이륜차를 검지, 추적 및 재 식별 기능을 이용하여 불법 주행하는 이륜차를 단속하는 장치 및 방법에 관한 것이다.

무인 단속 카메라는 과속, 신호위반 등의 불법주행 차량을 단속하는 카메라로, 차량 번호판 인식 기술을 사용하고 있다. 무인 단속 카메라는 진입 차량의 전방 번호판을 인식하도록 설치되어 있으므로 번호판이 후방에 설치되어 있는 이륜차를 단속을 할 수 없다.

차량과 달리 이륜차는 횡단보도, 인도로 불법 주행하는 경우가 있으나 이를 단속하는 무인 단속 카메라가 없다. 현재 이륜차 단속은 경찰의 캠코더 촬영이나 시민의 블랙박스, 핸드폰 녹화 신고가 대부분이다. 또한, 이륜차는 이륜차의 특성상 잦은 차선 변경, 끼어들기 등으로 타 차량들의 운행에 방해물로 작용하게 되며, 나아가 이륜차운전자의 안전 뿐만 아니라 타 차량과 단속 경찰의 안전까지도 위협하고 있다.

따라서, 이륜차의 불법 주행을 방지하며, 그로 인하여 발생 가능한 사고를 사전에 예방 가능한 기술이 필요하다.

본 발명은 폐쇄회로 카메라(CCTV Camera: Closed Circuit Television Camera)를 활용하여 도로를 주행하는 합법 이륜차 중에서 인도 및 횡단보도 등을 불법으로 주행하는 불법 이륜차를 실시간으로 감지하는 장치 및 방법을 제공한다.

본 발명은 불법 이륜차에 대한 재식별을 통해 폐쇄회로 카메라로부터 다양한 위치와 각도에서의 불법 이륜차를 포함하는 영상에서 불법 이륜차의 번호판을 인식함으로써, 도로를 불법으로 주행하는 불법 이륜차를 특정하는 장치 및 방법을 제공한다.

본 발명의 일실시예에 따른 이륜차 단속 방법은 특정 공간에 설치된 제1 폐쇄 회로 카메라에서 수집된 대상 영상에서 차도를 주행하는 합법 이륜차들 중 불법 주행을 수행하는 불법 이륜차를 식별하는 단계; 상기 불법 이륜차가 식별되면, 상기 제1 폐쇄 회로 카메라의 일정 반경 내에 존재하는 적어도 하나의 제2 폐쇄 회로 카메라를 결정하는 단계; 상기 적어도 하나의 제2 폐쇄 회로 카메라에서 모니터링된 수집 영상에서 상기 식별된 불법 이륜차를 재식별하기 위한 비교 영상들을 추출하는 단계; 및 상기 추출된 비교 영상들로부터 불법 이륜차의 번호판을 인식하여 불법 주행을 수행하는 불법 이륜차를 특정하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 따른 불법 이륜차를 특정하는 단계는, 상기 제1 폐쇄 회로 카메라에서 수집된 대상 영상을 특정 해상도 크기를 갖는 이미지 프레임들로 추출하는 단계; 상기 이미지 프레임들에 대한 전처리 과정을 수행하는 단계; 및 상기 객체 검출 알고리즘을 적용하여 상기 전처리된 이미지 프레임들에 포함된 합법 이륜차들 각각을 객체로 검출하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 따른 불법 이륜차를 식별하는 단계는, 상기 이미지 프레임들 간에 객체의 유사도를 비교하여 불법 주행을 수행하는 불법 이륜차를 검출하는 단계; 및 상기 검출된 불법 이륜차를 나타내는 객체에 설정된 고유 식별 정보를 이용하여 불법 이륜차를 구별하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 따른 불법 이륜차를 식별하는 단계는, 상기 객체로 검출된 각각의 합법 이륜차들 중 보행자의 인도, 횡단보도를 주행하거나 또는, 교통 법규에 따른 신호 위반을 수행하는 적어도 하나의 불법 이륜차를 식별할 수 있다.

본 발명의 일실시예에 따른 영상을 추출하는 단계는, 상기 적어도 하나의 제2 폐쇄 회로 카메라 각각으로부터 상기 불법 이륜차가 식별된 시간의 이전 또는, 이후를 포함하는 특정 시간 동안 모니터링된 수집 영상을 추출할 수 있다.

본 발명의 일실시예에 따른 불법 이륜차를 특정하는 단계는, 상기 대상 영상에 포함된 불법 이륜차의 외형적 특징을 기반으로 메트릭 학습을 적용하여 재식별하기 위한 비교 영상들에 대한 유사도 리스트를 생성하는 단계; 및 상기 유사도 리스트를 이용하여 특징 벡터(embedding)에 따른 비교 영상들 각각에서 불법 이륜차를 재식별하는 단계; 상기 비교 영상들 각각에서 재식별된 불법 이륜차를 분석하여 불법 이륜차의 번호판을 인식하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 따른 불법 이륜차를 특정하는 단계는, 상기 비교 영상들을 수집한 제2 폐쇄 회로 카메라 각각의 위치 및 각도에 따라 서로 다르게 시각화된 불법 이륜차의 번호판을 인식할 수 있다.

본 발명의 일실시예에 따른 이륜차 단속 방법은 상기 특정된 불법 이륜차가 검출되는 제2 폐쇄 회로 카메라의 위치 및 재 식별된 시간에 따라 상기 특정된 불법 이륜차의 이동 동선을 감시하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따른 이륜차 단속 방법은 기존에 설치된 폐쇄 회로 카메라를 활용하여 추가적인 폐쇄회로 카메라를 설치하지 않고, 불법 이륜차를 감지한다.

본 발명은 불법 이륜차에 대한 재식별을 통해 폐쇄 회로 카메라로부터 다양한 위치와 각도에서의 불법 이륜차를 포함하는 영상 정보에서 불법 이륜차의 번호판을 인식함으로써, 도로를 불법으로 주행하는 불법 이륜차를 특정하는 장치 및 방법을 제공한다.

본 발명은 복수의 폐쇄 회로 카메라를 통해 특정된 불법 이륜차를 재 식별함으로써, 이륜차 사고 발생시의 추적 활용 및 이동 동선을 감지하는 장치 및 방법을 제공한다.

도 1은 본 발명의 일실시예에 따른 폐쇄 회로 카메라 기반의 이륜차를 단속하는 전체 개념도를 도면이다.
도 2의 (a)는 본 발명의 일실시예에 따른 이륜차 단속 장치의 세부 동작을 설명하기 위해 도시한 도면이다.
도 2의 (b)는 본 발명의 다른 실시예에 따른 이륜차 단속 장치의 세부 동작을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 불법 이륜차를 단속하기 위한 이륜차 단속 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 불법 주행을 수행하는 불법 이륜차를 판단하는 동작을 설명하기 위해 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 불법 주행을 수행한 불법 이륜차를 판단 및 재식별하는 동작을 설명하기 위해 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 불법 이륜차의 번호판을 인식하는 동작을 설명하기 위해 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 따른 불법 이륜차의 번호판 미부착에 따른 동작을 설명하기 위해 도시한 흐름도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 폐쇄 회로 카메라 기반의 이륜차를 단속하는 전체 개념도를 도면이다.

도 1을 참고하면, 이륜차 단속 장치(101)는 특정 공간에 설치된 폐쇄 회로 카메라를 이용하여 차도를 주행하는 합법 이륜차들 중에서 불법 주행을 수행하는 불법 이륜차를 특정 및 단속할 수 있다. 여기서, 특정 공간은 차량이나 보행자의 이동 속도나 방향, 특성 등을 파악하기 위한 도시 또는, 특정 시설물 등을 의미할 수 있다. 폐쇄 회로 카메라는 특정 장소 또는 현장 상황을 영상으로 수집 가능한 감시 카메라일 수 있다. 일례로, 폐쇄 회로 카메라는 CCTV(Closed Circuit Television) 또는 비디오 감시 장치(Video Surveillance) 등을 포함할 수 있다.

보다 구체적으로, 이륜차 단속 장치(101)는 제1 폐쇄 회로 카메라(102)에서 수집된 대상 영상에서 차도를 주행하는 합법 이륜차들 중 불법 주행을 수행하는 불법 이륜차를 식별할 수 있다. 제1 폐쇄 회로 카메라(102)는 제1 감시 영역(103)을 중심으로 불법 주행을 단속하기 위한 대상 영상을 수집할 수 있다. 여기서, 제1 감시 영역(103)은 제1 폐쇄 회로 카메라(102)의 렌즈 위치, 화각 등에 따른 수집 가능한 일정 반경을 의미할 수 있다.

이륜차 단속 장치(101)는 대상 영상에 포함된 합법 이륜차들 각각을 객체로 인식할 수 있다. 이륜차 단속 장치(101)는 객체로 검출된 각각의 합법 이륜차들 중 보행자의 인도, 횡단보도를 주행하거나 또는, 교통 법규에 따른 신호 위반을 수행하는 적어도 하나의 불법 이륜차를 식별할 수 있다. 일례로, 이륜차 단속 장치(101)는 인도 주행, 횡단 보도 주행, 신호 위반 등의 불법 주행을 수행하는 불법 이륜차를 검지할 수 있다.

대상 영상 내 불법 이륜차가 식별되면, 이륜차 단속 장치(101)는 제1 폐쇄 회로 카메라(102)의 일정 반경 내에 존재하는 적어도 하나의 제2 폐쇄 회로 카메라(104'), (104''), (104'''), (104'''')를 결정할 수 있다. 이륜차 단속 장치(101)는 제2 폐쇄 회로 카메라(104'), (104''), (104'''), (104'''')에서 모니터링된 수집 영상에서 식별된 불법 이륜차를 재식별하기 위한 비교 영상들을 추출할 수 있다. 여기서, 이륜차 단속 장치(101)는 제2 폐쇄 회로 카메라(104'), (104''), (104'''), (104'''')에 따른 제2 감시 영역(105)에서 수집된 수집 영상 중 비교 영상들을 추출할 수 있다.

이륜차 단속 장치(101)는 제2 폐쇄 회로 카메라(104'), (104''), (104'''), (104'''')로부터 각각 추출된 비교 영상들을 이용하여 제1 폐쇄 회로 카메라(102)에서 식별된 불법 이륜차를 재식별할 수 있다. 일례로, 이륜차 단속 장치(101)는 제2 폐쇄 회로 카메라(104'), (104''), (104'''), (104'''') 각각에서 저장된 이륜차 DB에서 비교 영상들을 추출함으로써, 불법 이륜차를 재식별할 수 있다.

이륜차 단속 장치(101)는 비교 영상들에 따른 재식별을 통해 다양한 위치와 각도에서 불법 이륜차에 대한 이미지를 추출할 수 있다. 이륜차 단속 장치(101)는 추출된 이미지로부터 불법 이륜차의 번호판을 인식하고, 인식된 번호판에 따른 불법 이륜차를 특정할 수 있다. 이륜차 단속 장치(101)는 특정된 불법 이륜차를 대상으로 단속할 수 있다. 나아가, 이륜차 단속 장치(101)는 이륜차 뿐만 아니라, 차량이나 전동바이크 불법주행 단속에도 활용될 수 있다.

또한, 이륜차 단속 장치(101)는 번호판이 미부착된 불법 이륜차를 식별하여 유관 기관으로 미부착 이미지와 위치 정보를 제공할 수 있다. 또한, 이륜차 단속 장치(101)는 재식별된 시간과 위치를 활용하여 불법 이륜차의 이동 동선을 파악할 수도 있다.

도 2의 (a) 및 (b)는 본 발명의 일실시예에 따른 이륜차 단속 장치의 세부 구성을 도시한 도면이다.

도 2의 (a)를 살펴보면, 이륜차 단속 장치(101)는 서버 환경 기반의 불법 이륜차를 검지 및 판단할 수 있다. 자세하게, 이륜차 단속 장치(101)는 통신 인터페이스를 통해 다채널의 폐쇄 회로 카메라 각각에서 수집된 대상 영상을 스트리밍할 수 있다. 이륜차 단속 장치(101)는 영상 분석 모듈을 통해 수신한 다채널의 대상 영상을 이용하여 불법 이륜차 검지, 재식별, 번호판 인식 등의 기능을 수행할 수 있다. 이륜차 단속 장치(101)는 영상 분석 모듈에 따라 수행된 결과로써, 불법 이륜차 이미지, 불법 이륜차의 번호판이 포함된 이미지, 번호판 인식 정보를 저장 DB에 저장 및 관리할 수 있다.

다시 말해, 폐쇄 회로 카메라는 특정 공간에서 수집된 대상 영상을 수집하고, 이륜차 단속 장치(101)는 중앙 집중 처리(centralized processing)에 따른 폐쇄 회로 카메라로부터 수집된 대상 영상을 이용하여 불법 이륜차를 단속하기 위한 동작을 수행할 수 있다.

도 2의 (b)를 살펴보면, 이륜차 단속 장치(101)는 엣지 카메라에서 전송된 이벤트를 이용하여 불법 이륜차의 재식별 및 번호판 인식을 수행할 수 있다. 상세하게, 엣지 카메라는 차도를 주행하는 합법 이륜차들 중 불법 주행을 수행하는 불법 이륜차를 식별할 수 있다. 엣지 카메라는 불법 이륜차를 식별하면, 이를 이벤트로, 이륜차 단속 장치(101)에 전송할 수 있다. 여기서, 이벤트는 불법 이륜차 이미지, 엣지 카메라의 ID 정보를 포함할 수 있다.

여기서, 엣지 카메라는 불법 이륜차를 검지할 경우, 검지 결과를 엣지 카메라에 결합된 스피커나 디스플레이와 같은 장치를 통해 실시간으로 불법 이륜차를 제어하는 운전자에게 경고할 수 있다.

이륜차 단속 장치(101)는 통신 인터페이스를 통해 엣지 카메라에서 발생된 이벤트를 수신할 수 있다. 이륜차 단속 장치(101)는 영상 분석 모듈을 통해 이벤트에 포함된 불법 이륜차 이미지, 엣지 카메라의 ID 정보에 기초하여 불법 이륜차를 재식별 및 번호판을 인식할 수 있다. 이륜차 단속 장치(101)는 영상 분석 모듈에 따라 수행된 결과로써, 불법 이륜차 이미지, 불법 이륜차의 번호판이 포함된 이미지, 번호판 인식 정보를 저장 DB에 저장 및 관리할 수 있다.

다시 말해, 엣지 카메라와 이륜차 단속 장치(101)는 분산 처리(Distributed Data Processing)를 통한 불법 이륜차의 검지하는 동작과 재식별 및 번호판 인식하는 동작을 분산 처리함으로써, 불법 이륜차를 단속하기 위한 연산 속도를 향상시키고, 이륜차 단속 장치(101)에서 발생 가능한 과부화를 줄일 수 있다.

도 3은 본 발명의 일실시예에 따른 불법 이륜차를 단속하기 위한 이륜차 단속 방법을 도시한 흐름도이다.

단계(301)에서 이륜차 단속 장치는 특정 공간에 설치된 제1 폐쇄 회로 카메라에서 수집된 대상 영상에서 차도를 주행하는 합법 이륜차들 중 불법 주행을 수행하는 불법 이륜차를 식별할 수 있다. 자세하게, 이륜차 단속 장치는 제1 폐쇄 회로 카메라에서 수집된 대상 영상을 특정 해상도 크기를 갖는 이미지 프레임들로 추출할 수 있다. 이륜차 단속 장치는 이미지 프레임들에 대한 전처리 과정을 수행할 수 있다. 이륜차 단속 장치는 객체 검출 알고리즘을 적용하여 전처리된 이미지 프레임들에 포함된 합법 이륜차들 각각을 객체로 검출할 수 있다.

이륜차 단속 장치는 객체로 검출된 각각의 합법 이륜차들 중 적어도 하나의 불법 이륜차를 식별할 수 있다. 일례로, 이륜차 단속 장치는 인도 주행, 횡단 보도 주행, 신호 위반 등을 수행하는 불법 이륜차를 식별할 수 있다.

단계(302)에서 이륜차 단속 장치는 불법 이륜차가 식별되면, 불법 이륜차를 포함하는 대상 영상을 입력으로 제1 폐쇄 회로 카메라 주변의 제2 폐쇄 회로 카메라에서 검지된 이륜차 DB에서 불법 이륜차를 검색할 수 있다.

다시 말해, 이륜차 단속 장치는 불법 이륜차가 식별되면, 상기 제1 폐쇄 회로 카메라의 일정 반경 내에 존재하는 적어도 하나의 제2 폐쇄 회로 카메라를 결정할 수 있다. 이륜차 단속 장치는 적어도 하나의 제2 폐쇄 회로 카메라에서 모니터링된 수집 영상에서 식별된 불법 이륜차를 재식별하기 위한 비교 영상들을 추출할 수 있다. 이륜차 단속 장치는 추출된 비교 영상들 각각에 특징 벡터(embedding)를 적용하여 대상 영상에서 식별될 불법 이륜차를 재식별할 수 있다.

단계(303)에서 이륜차 단속 장치는 비교 영상들 각각에서 재식별된 불법 이륜차를 분석하여 불법 이륜차의 번호판을 인식할 수 있다. 이륜차 단속 장치는 번호판이 있고 인식이 되면 불법주행 이륜차 이미지, 번호판 이미지, 인식결과 등의 정보를 저장할 수 있다. 이륜차 단속 장치는 분석된 결과를 경찰청, 지자체와 같은 유관기관에 제공될 수 있다.

또한, 이륜차 단속 장치는 특정된 불법 이륜차가 검출되는 제2 폐쇄 회로 카메라의 위치 및 재 식별된 시간에 따라 상기 특정된 불법 이륜차의 이동 동선을 감시할 수 있다.

도 4는 본 발명의 일실시예에 따른 불법 주행을 수행하는 불법 이륜차를 판단하는 동작을 설명하기 위해 도시한 흐름도이다.

단계(401)에서 이륜차 단속 장치는 제1 폐쇄 회로 카메라에서 수집된 대상 영상에 대한 전처리 과정을 수행할 수 있다. 이를 위해, 이륜차 단속 장치는 제1 폐쇄 회로 카메라에서 수집된 대상 영상을 특정 해상도 크기를 갖는 이미지 프레임들로 추출할 수 있다. 이륜차 단속 장치는 이미지 프레임들에 대한 전처리 과정을 수행할 수 있다. 일례로, 이륜차 단속 장치는 CCTV 카메라로부터 대상 영상의 이미지 프레임을 수신하여 노이즈 제거, 이미지 사이즈 변경 등의 전처리를 수행할 수 있다.

단계(402)에서 이륜차 단속 장치는 객체 검출 알고리즘을 적용하여 전처리된 이미지 프레임들에 포함된 합법 이륜차들 각각을 객체로 검출할 수 있다. 이륜차 단속 장치는 이미지 프레임들 간에 객체의 유사도를 비교하여 대상 영상에 포함된 모든 합법 이륜차들을 추적할 수 있다. 이륜차 단속 장치는 이륜차 검출을 위해, 머신러닝 혹은 딥러닝 기반의 객체 검출 알고리즘이 사용될 수 있다. 이륜차 단속 장치는 검출된 객체를 각각 추적하고, 이때, 각 객체는 고유한 ID를 가질 수 있다.

단계(403)에서 이륜차 단속 장치는 추적 중인 합법 이륜차들 중에서 불법 주행을 수행하는 불법 이륜차를 판단할 수 있다. 이륜차 단속 장치는 횡단 보도 또는, 인도에서 이륜차가 검출 및 추적되면 불법 주행으로 판단하며, 신호 위반하는 이륜차도 불법 주행으로 판단할 수 있다. 다시 말해, 또한, 이륜차 단속 장치는 차도, 인도, 횡단 보도 각각의 외형적 특징에 따라 대상 영상 내 각각의 영역을 설정할 수 있다. 이륜차 단속 장치는 대상 영상에 설정된 각 영역으로의 진입 또는, 이탈하는 불법 이륜차를 판단할 수 있다.

일례로, 이륜차 단속 장치는 이륜차 추적에 따른 대상 영상 내 차도 영역에서 차도 영역으로 진입하는 이륜차가 존재하는 경우, 정상적인 주행으로 판단하며, 합법 이륜차로 검지할 수 있다. 이륜차 단속 장치는 이륜차 추적에 따른 대상 영상 내 차도 영역에서 인도 영역 또는, 횡단 보도 영역으로 진입하는 이륜차가 존재하는 경우, 불법적인 주행으로 판단하며, 불법 이륜차로 검지할 수 있다.

이후, 이륜차 단속 장치는 합법 이륜차가 포함된 이미지를 저장하고, 저장된 이미지는 추후 재식별 등에 활용될 수 있다. 이륜차 단속 장치는 불법 이륜차로 검지된 경우, 불법 이륜차가 포함된 이미지를 저장한 후, 재식별을 수행할 수 있다. 재식별 과정은 도 5를 통해 설명하도록 한다.

도 5는 본 발명의 일실시예에 따른 불법 주행을 수행한 불법 이륜차를 판단 및 재식별하는 동작을 설명하기 위해 도시한 흐름도이다.

단계(501)에서 이륜차 단속 장치는 불법 이륜차가 포함된 이미지를 입력을 받아 각 카메라 DB에서 동일한 불법 이륜차를 검색할 수 있다. 이륜차 단속 장치는 적어도 하나의 제2 폐쇄 회로 카메라 각각으로부터 상기 불법 이륜차가 식별된 시간의 이전 또는, 이후를 포함하는 특정 시간 동안 모니터링된 수집 영상을 추출할 수 있다. 이륜차 단속 장치는 메트릭 학습(metric learning)을 통해 재식별(Reidentification)을 수행할 수 있으며, 입력 객체와 동일 또는, 유사하다고 판단되는 이미지를 출력으로 제공할 수 있다. 여기서, 메트릭 학습은 주로 Triplet Loss를 이용하고, Triplet Loss를 최소화하는 특징 벡터(embedding)는 다중 객체를 높은 정확도로 재식별할 수 있다.

이륜차 단속 장치는 대상 영상에 포함된 불법 이륜차의 외형적 특징을 기반으로 메트릭 학습을 적용하여 재식별하기 위한 비교 영상들에 대한 유사도 리스트를 생성할 수 있다. 이륜차 단속 장치는 재식별 결과로 유사도가 가장 높은 Rank1와 출력할 수도 있고, Rank1 ~ Rank10을 출력할 수도 있다. 이륜차 단속 장치는 기준 값을 이상의 유사도를 가지는 객체를 자동으로 출력할 수도 있고, 모니터링하는 사람이 Rank1 ~ Rankn 중에서 선택할 수도 있다. 동일 객체가 없다고 판단되면 선택하지 않을 수 있다. 이는 각 카메라별로 재식별을 수행할 수 있다.

여러 카메라에서 불법주행 이륜차가 촬영되었다면, 이륜차 단속 장치는 여러 각도와 위치의 재식별 이미지가 추출될 수 있으며, 그 중에 이륜차 번호판을 포함한 이미지가 있을 수 있다. 이륜차 단속 장치는 번호판이 없더라도 횡단보도, 인도에서 보행자 충돌로 인한 사고발생시 쉽게 사고 위치 확인, 이동 경로 확인 등에 사용될 수 있다.

도 6은 본 발명의 일실시예에 따른 불법 이륜차의 번호판을 인식하는 동작을 설명하기 위해 도시한 흐름도이다.

이에 따른 불법 이륜차 번호판 인식을 다름과 같이 수행될 수 있다

단계(601)에서 이륜차 단속 장치는 재식별을 통해 추출된 여러 카메라에서 촬영된 불법 이륜차를 포함하는 이미지에서 번호판을 검출할 수 있다. 자세하게, 이륜차 단속 장치는 재식별을 통해 수집된 불법주행 이륜차 이미지에서 이륜차 번호판 영역을 검출할 수 있다. 여기서, 이륜차 단속 장치는 번호판 검출기를 이용할 수 있으며, 번호판 검출기는 딥러닝 기반의 객체 검출이 가능한 객체 검출기일 수 있다. 일례로, 객체 검출기에는 YOLO, SSD, FasterRCNN 등이 있다. 이륜차 단속 장치는 이륜차 이미지에서 번호판 영역에 대한 학습 DB를 구축하고 이를 딥러링 객체 검출기 학습을 통해 검출 모델을 생성할 수 있다.

단계(602)에서 이륜차 단속 장치는 검출된 번호판이 있으면 번호판을 인식할 수 있다. 상세하게, 이륜차 단속 장치는 번호판 영역이 검출되면 이에 대해 문자 인식을 수행할 수 있다. 이륜차 단속 장치는 문자 인식도 딥러닝 객체 검출기를 사용하고, 번호판의 각 문자를 객체로 가정하고 번호파내에서 위치와 클래스(어떤 문자인지)를 인식할 수 있다. 이후, 이륜차 단속 장치는 번호판 이미지에서 문자 영역에 대한 학습 DB를 구축하고 이에 따른 딥러닝 객체 검출기 학습을 통해 검출 모델을 생성할 수 있다.

단계(603)에서 이륜차 단속 장치는 번호판을 인식한 결과로 카메라 ID, 불법 주행 이미지 등의 정보를 저장할 수 있다. 그리고, 이륜차 단속 장치는 단속 결과를 유관기관(지자체, 경찰청)에 전달할 수 있다.

도 7은 본 발명의 일실시예에 따른 불법 이륜차의 번호판 미부착에 따른 동작을 설명하기 위해 도시한 흐름도이다.

단계(701)에서 이륜차 단속 장치는 제1 폐쇄 회로 카메라에서 수집된 대상 영상을 특정 해상도 크기를 갖는 이미지 프레임들로 추출할 수 있다. 이륜차 단속 장치는 이미지 프레임들에 대한 전처리 과정을 수행할 수 있다.

단계(702)에서 이륜차 단속 장치는 전처리된 이미지 프레임들에서 불법 이륜차를 검지할 수 있다. 그리고, 이륜차 단속 장치는 검지된 불법 이륜차를 추적할 수 있다.

단계(703)에서 이륜차 단속 장치는 전처리된 이미지 프레임들에서 불법 이륜차를 검지할 수 있다. 이륜차 단속 장치는 검지된 불법 이륜차들의 이미지가 후면에서 촬영되었는지를 분류할 수 있다. 이륜차 단속 장치는 딥러닝 학습을 통해 후면 분류를 수행할 수 있다. 이륜차 단속 장치는 후면이 촬영된 이륜차 이미지에 번호판을 검지할 수 있다.

단계(704)에서 이륜차 단속 장치는 후면이 촬영된 이륜차 이미지에 번호판이 검출되지 않으면 미부착 이륜차로 판단하여 검출 위치와 미부착 이륜차 이미지를 저장할 수 있다. 이륜차 단속 장치는 단속 결과를 유관기관(지자체, 경찰청 등)에 전달할 수 있다.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

101: 이륜차 단속 장치
102: 제1 폐쇄 회로 카메라
103: 제1 감시 영역
104', 104'', 104''', 104'''': 제2 폐쇄 회로 카메라
105: 제2 감시 영역

Claims (1)

1. 특정 공간에 설치된 제1 폐쇄 회로 카메라에서 수집된 대상 영상에서 차도를 주행하는 합법 이륜차들 중 불법 주행을 수행하는 불법 이륜차를 식별하는 단계;
   상기 불법 이륜차가 식별되면, 상기 제1 폐쇄 회로 카메라의 일정 반경 내에 존재하는 적어도 하나의 제2 폐쇄 회로 카메라를 결정하는 단계;
   상기 적어도 하나의 제2 폐쇄 회로 카메라에서 모니터링된 수집 영상에서 상기 식별된 불법 이륜차를 재식별하기 위한 비교 영상들을 추출하는 단계; 및
   상기 추출된 비교 영상들로부터 불법 이륜차의 번호판을 인식하여 불법 주행을 수행하는 불법 이륜차를 특정하는 단계;
   를 포함하는 이륜차 단속 방법.

Images