KR102306789B1 - 교행 다차로에서의 이상차량 인식방법 및 장치 - Google Patents

교행 다차로에서의 이상차량 인식방법 및 장치 Download PDF

Info

Publication number
KR102306789B1
KR102306789B1 KR1020190152573A KR20190152573A KR102306789B1 KR 102306789 B1 KR102306789 B1 KR 102306789B1 KR 1020190152573 A KR1020190152573 A KR 1020190152573A KR 20190152573 A KR20190152573 A KR 20190152573A KR 102306789 B1 KR102306789 B1 KR 102306789B1
Authority
KR
South Korea
Prior art keywords
vehicle
vehicle number
recognition
license plate
image information
Prior art date
Application number
KR1020190152573A
Other languages
English (en)
Other versions
KR20210064492A (ko
Inventor
김태훈
Original Assignee
주식회사 딥비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥비전 filed Critical 주식회사 딥비전
Priority to KR1020190152573A priority Critical patent/KR102306789B1/ko
Publication of KR20210064492A publication Critical patent/KR20210064492A/ko
Application granted granted Critical
Publication of KR102306789B1 publication Critical patent/KR102306789B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G06K9/00825
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G06K2209/15
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

본 발명은, 교행 다차로의 설치지점에서 접근하는 차량의 앞면 차량번호판을 촬상하는 전방인식 카메라와 상기 설치지점을 지나쳐간 차량의 뒷면 차량번호판을 촬상하는 후방인식 카메라를 구비한 카메라 장치; 상기 카메라 장치에서 촬상된 차량 정보 및 차량번호 데이터를 저장하는 데이터 저장소; 외부기기와의 통신을 담당하는 통신모듈; 및 상기 카메라 장치를 통해 인식된 앞면 차량번호와 뒷면 차량번호의 개수가 일치하지 않거나 상기 앞면 차량번호와 뒷면 차량번호의 개수가 일치하더라도 앞면 차량번호와 뒷면 차량번호가 일치하지 않으면 이상차량으로 간주하여, 상기 통신모듈을 통해 연계된 교통방범 시스템으로 알람 메시지를 제공하는 영상처리장치;를 포함하는 차량번호 인식장치 및 방법을 제공한다.

Description

교행 다차로에서의 이상차량 인식방법 및 장치{License Plate Recognition Method and Apparatus for roads}
본 발명은 차량번호 인식기술에 관한 것으로, 더욱 상세하게는 전방 및 후방 인식용 카메라로 교행 다차로를 촬상한 영상정보로부터 이상차량을 인식할 수 있고, 인공지능을 이용하여 정확성 및 인식 속도를 향상시킬 수 있는 교행 다차로에서의 차량번호 인식방법 및 장치에 관한 것이다.
사회 구조가 복잡해지고 다양해짐에 따라 개인의 활동 영역도 점차적으로 넓어지는 한편 신속한 이동에 대한 요구에 부응하여 자동차의 이용이 증가하게 되었다. 또한 물류의 발달로 인하여 배송 등을 위한 차량대수가 급격히 증가하게 되었다. 이와 같이 사회 및 경제 규모가 확대 및 고도화됨에 따라 차량 및 교통수요가 폭발적으로 증가하고 있다.
이러한 차량대수의 급격한 증가와 차량의 이용이 일반화됨에 따라 차량을 이용한 범죄행위도 증가하고 있으며, 과속 차량과 뺑소니 차량 등과 같이 단속 대상이 되는 차량 대수도 늘어나고 있다.
이러한 문제를 해결하고자 종래에는 도로를 주행하는 차량을 촬영하여, 그 차량번호판의 차량번호를 인식할 수 있도록 하는 차량번호 인식 기술이 개발되어 상용화되어 있다.
상기 차량번호 인식은 무인 주차 관리, 그리고 불법 주차 차량 적발, 고속도로에서의 속도 위반 자동 과태료 부과, 도난 차량의 불법 번호판 적발, 과적 차량 적발 등의 목적으로 널리 사용되고 있다.
상기 차량번호 인식을 이행하는 상용 시스템은 루프 센서 방식의 단일 차로 자동차 번호판 인식 방법을 채용한다.
종래의 차량번호 인식 시스템은 도로상의 특정 차선의 특정 구간에 루프식 감지센서를 마련하고, 그 루프식 감지센서에서 감지된 신호에 따라 작동되는 카메라를 설치한 구성을 갖는다.
상기와 같은 종래의 차량번호 인식 시스템은, 루프식 감지센서를 도로에 설치해야 하므로, 그 설치비용이 많이 들고, 오랜 기간 사용시 파손될 가능성이 높아지므로 유지 관리가 쉽지 않은 단점이 있었다.
또한 루프식 감지센서는 특정 도로구간 및 차선에만 설치할 수 있으므로, 매우 한정적으로 차량을 단속할 수 밖에 없는 한계가 있었다.
또한 상기 루프식 감지센서에 연동하여 동작하는 카메라의 경우에는 차량번호를 인식할 수 있도록 고화소수를 가지는 CCD 카메라를 사용하는 것이 일반적이며, 도 1의 (a)는 종래의 차량번호판 인식 시스템을 예시한 것이다. 상기한 종래의 차량번호판 인식 시스템은 그 설치비용이 증가하는 단점이 있으며, 또한 루프식 감지센서가 설치되지 않은 차선을 지나는 차량을 촬영하지 못하는 문제점이 있다.
더욱이 근래에 사용되기 시작한 신규 차량번호판인 명암비가 낮은 파란색 전기 및 수소차 번호 등에 대해서는 인식이 어려운 문제가 있었다. 도 1의 (b)는 전기자동차에 부여되는 번호판을 예시한 것이다. 상기 전기자동차에 부여되는 번호판은 반사번호판을 채용하므로 도 1의 (c)에 도시한 바와 같이 광을 반사하여 인식이 어려운 문제가 있었다.
이에 따라, 보다 저가의 compact 시스템으로 구현할 수 있고, 다양한 형태의 불법 번호판을 적발할 수 있으며, 신규 차량과 같이 반사번호판에서의 인식 오류를 개선할 수 있는 차량번호 인식기술 개발의 요구는 계속되고 있다.
대한민국 특허등록 제10-0852683호 대한민국 특허공개 제10-2016-0040036호 대한민국 특허등록 제10-0703956호
본 발명은 교행 다차로에서 전방 및 후방 인식용 카메라로 촬상한 영상정보로부터 이상차량을 인식할 수 있는 교행 다차로에서의 차량번호 인식방법 및 장치를 제공함에 목적이 있다.
또한, 인공지능을 이용하여 정확성 및 인식 속도를 향상시킬 수 있는 교행 다차로에서의 차량번호 인식방법 및 장치를 제공함에 그 목적이 있다.
이를 위해, 본 발명은 교행 다차로의 설치지점에서 접근하는 차량의 앞면 차량번호판을 촬상하는 전방인식 카메라와 상기 설치지점을 지나쳐간 차량의 뒷면 차량번호판을 촬상하는 후방인식 카메라를 구비한 카메라 장치; 상기 카메라 장치에서 촬상된 차량 정보 및 차량번호 데이터를 저장하는 데이터 저장소; 외부기기와의 통신을 담당하는 통신모듈; 및 상기 카메라 장치를 통해 인식된 앞면 차량번호와 뒷면 차량번호의 개수가 일치하지 않거나 상기 앞면 차량번호와 뒷면 차량번호의 개수가 일치하더라도 앞면 차량번호와 뒷면 차량번호가 일치하지 않으면 이상차량 또는 불법차량으로 간주하여, 상기 통신모듈을 통해 연계된 교통방범 시스템으로 알람 메시지를 제공하는 영상처리장치;를 포함하는 차량번호 인식장치를 제공한다.
또한, 상기 데이터 저장소는 차량검지 및 차량번호 인식의 딥 러닝을 위한 딥 러닝 데이터를 더 포함하고, 상기 영상처리장치는 상기 딥 러닝 데이터에 따라 차량검지 및 차량번호 인식에 대한 딥 러닝을 이행하며, 상기 카메라 장치가 촬상하여 획득한 영상정보를 제공받아 차량을 검지하고 검지한 차량의 차량번호판의 차량번호를 인식하여 상기 통신모듈을 통해 외부로 전송하고, 상기 딥 러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하여 딥러닝을 이행함을 특징으로 한다.
또한, 상기 영상처리장치와 데이터 저장소는 임베디드 보드로 형성됨을 특징으로 한다.
본 발명의 다른 측면에 따르면, 교행 다차로의 일직선상에 설치된 카메라 장치를 통해 설치지점에서 접근하는 차량의 앞면 차량번호판을 인식하고, 상기 설치지점을 지나쳐간 차량의 뒷면 차량번호판을 인식하는 단계; 인식된 앞면 차량번호판과 뒷면 차량번호판의 개수가 일치하는지 여부와, 상기 앞면 차량번호판과 뒷면 차량번호판의 차량번호가 일치하는지 여부를 판단하는 단계; 및 상기 앞면 차량번호판의 차량번호와 뒷면 차량번호판의 차량번호의 개수가 일치하지 않거나 상기 차량번호의 개수가 일치하더라도 앞면 차량번호판의 차량번호와 뒷면 차량번호판의 차량번호가 일치하지 않으면 이상차량 또는 불법차량으로 간주하여, 통신모듈을 통해 연계된 교통방범 시스템으로 알람 메시지를 제공하는 단계;를 포함하는 차량번호 인식방법을 제공한다.
또한, 차량검지 및 차량번호 인식의 딥 러닝을 위한 딥 러닝 데이터에 따라 차량검지 및 차량번호 인식에 대한 딥 러닝을 이행하는 단계; 상기 촬상에 의해 획득한 영상정보를 제공받아 차량을 검지하고 검지한 차량의 차량번호판의 차량번호를 인식하는 단계;를 포함하고, 상기 딥 러닝은, 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 것임을 특징으로 한다.
또한, 상기 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행하여 상기 영상정보를 개선하는 단계를 더 포함할 수 있다.
또한, 상기 SSR, MSR 중 하나 이상이 이행된 영상정보에 대해 이방성 필터링(BILATERAL FILTER)을 이행하는 단계;를 더 포함할 수 있다.
본 발명은 교행 다차로에서 전방 및 후방 인식용 카메라로 촬상한 영상정보로부터 차량번호를 매칭시켜 간단하게 불법 번호판을 적발할 수 있어, compact 시스템으로 저가로 구현할 수 있고, 차량번호 인식을 위해 소요되는 비용을 절감할 수 있게 한다.
또한, 인공지능을 이용하여 획득한 영상정보에 대한 정확성 및 인식 속도를 향상시킬 수 있고, 신규 전기차나 수소차에 대한 차량번호도 인식가능하게 하여 차량번호 인식율을 제고할 수 있게 한다.
도 1은 종래의 차량번호 인식과정을 예시한 도면,
도 2는 본 발명의 바람직한 실시예에 따른 차량번호 인식 시스템의 구성도,
도 3은 본 발명의 바람직한 차량번호 인식장치에 구비되는 소프트웨어 구성도,
도 4 및 도 6은 본 발명의 바람직한 실시예에 따르는 차량번호 인식 과정을 나타낸 플로우차트이다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 교행 다차로에서의 차량 번호 인식 방법 및 그를 위한 시스템을 상세히 설명한다.
<교행 다차로를 위한 차량번호 인식 시스템의 구성>
도 2는 본 발명의 바람직한 실시예에 따른 교행 다차로에서의 차량번호 인식 시스템의 구성을 도시한 것이다.
도 2를 참조하면, 본 발명에 따른 교행 다차로에서의 차량번호 인식 시스템은 차량번호 인식장치(100)와, 녹화서버(150)와, 고성능 딥러닝 인식서버(160)로 구성된다.
상기 차량번호 인식장치(100)는 교행 다차로의 일지점에 설치되어 교행 다차로를 주행하는 차량들을 촬상하고, 상기 촬상에 따라 생성된 영상정보를 토대로 상기 교행 다차로를 주행하는 차량들을 검지하고, 검지한 차량들의 차량번호판에 기록된 차량번호를 인식하며, 차량번호 인식정보와 상기 영상정보를 결합하여 상기 녹화서버(150)로 제공한다.
또한, 검지한 차량들에 대한 차량번호가 인식되지 않으면, 상기 차량번호 인식장치(100)는 차량번호 재인식요청정보와 상기 영상정보를 결합하여 상기 녹화서버(150)로 제공한다.
상기 녹화서버(150)는 상기 차량번호 인식장치(100)로부터 차량번호 인식결과정보와 영상정보가 제공되면 이를 미도시한 데이터베이스에 저장한다. 그리고 상기 녹화서버(150)는 상기 차량번호 재인식요청정보와 상기 영상정보가 제공되면 이를 미도시한 데이터베이스에 저장한 후에 상기 영상정보를 상기 고성능 딥러닝 인식서버(160)에 제공하여 차량번호 재인식을 요청한다. 또한 상기 녹화서버(150)는 상기 고성능 딥러닝 인식서버(160)로부터 차량번호 재인식결과정보가 제공되면 상기 차량번호 재인식결과정보를 상기 영상정보에 대응되게 저장한다.
상기 고성능 딥러닝 인식서버(160)는 상기 영상정보가 제공되면 해당 영상정보에서 차량번호판을 검지하여 차량번호를 재인식하고 이에 따른 재인식결과정보를 상기 녹화서버(150)로 제공한다.
<차량번호 인식장치(100)의 구성>
상기한 차량번호 인식장치(100)의 구성 및 동작을 좀더 상세히 설명한다.
상기 차량번호 인식장치(100)는 광각 카메라 장치(102)와, 임베디드 보드(104)와, 통신모듈(106)로 구성된다.
상기 광각 카메라 장치(102)는, 교행 다차로를 조망하는 위치에서 어느 일 지점에서 전방인식 카메라(102a)와 후방인식 카메라(102b)가 설치된다. 이때, 전방인식 카메라(102a)와 후방인식 카메라(102b)는 일직선상에 설치되며, 상기 전방인식 카메라(102a)는 설치 지점으로 접근하는 상기 교행 다차로상을 주행하는 다수의 차량의 전방을 촬상하여 접근하는 차량의 앞면 차량번호를 인식하게 된다. 또한, 상기 후방인식 카메라(102b)는 상기 설치 지점을 지나쳐서 이동한 상기 차량의 후방을 촬상하여 지나간 차량의 뒷면 차량번호를 인식하게 된다. 또한, 상기 광각 카메라 장치(102)는 전방인식용과 후방인식용의 각각 2개의 카메라를 설치하고 추가하여 3개 또는 그 이상의 다수개로 설치할 수 있으나 최소의 범위내에서 2개가 바람직하고, 하나의 카메라로도 설치할 수 있어 전방인식 및 후방인식을 모두 커버하는 형태로도 가능하다.
이어, 상기 전방인식 카메라(102a)가 촬상하고 그에 따라 획득한 앞면 차량번호를 포함하는 제1 영상정보를 상기 임베디드 보드(104)로 전송한다. 상기 후방인식 카메라(102b)가 촬상하고 그에 따라 획득한 뒷면 차량번호를 포함하는 제2 영상정보를 상기 임베디드 보드(104)로 전송한다.
상기 임베디드 보드(104)는 영상처리장치(106)와 딥러닝 데이터 저장소(108)가 임베디드 보드로 구성된 것으로, 소정 주기를 두고 상기 제1 영상정보와 제2 영상정보를 매칭한다. 이때, 상기 영상처리장치(106)는 소정 주기별로 상기 전방인식 카메라(102a)를 통해 인식된 설치지점으로 접근하는 차량의 앞면 차량번호의 개수와 차량번호와, 상기 후방인식 카메라(102b)를 통해 인식된 설치지점을 지난 차량의 뒷면 차량번호의 개수와 차량번호를 비교하여 일치하는지 여부를 판단한다. 이는, 하나의 차량에 일반적으로 전면에 부착된 앞면 차량번호와 후면에 부착된 뒷면 차량번호가 있는데, 인식지점(카메라 설치지점)에서 일직선상에 설치된 전방인식 카메라(102a)와 후방인식 카메라(102b)에서 접근하거나 지나쳐서 인식된 앞면 및 뒷면 차량번호를 상호 비교하면, 일반적으로 앞면 차량번호와 뒷면 차량번호가 일치하게 된다. 또한, 고속도로의 경우에는 최저 80km/h(대략 22m/s)이고, 일반도로의 경우에도 최저 30km/h(대략 8m/s)이면, 차량의 길이가 3m를 넘지 않으므로, 1초 이내에는 설치지점으로 접근하는 차량과 설치지점을 지나쳐간 차량은 모두 전방인식 카메라 및 후방인식 카메라를 통해 인식되게 되고, 접근차량과 지나친 차량을 인식하게 된다. 이에 따라, 설정주기를 1초로 할 경우에는 차량의 길이가 3m 정도로 볼때 시속 10km/h(2.8m/s)이하이거나 역주행할 경우에만 접근차량과 지나친 차량의 개수가 일치하지 않는 경우가 발생할 수 있으나, 도로에서 주행하는 차량의 속도를 계산하면 1초 이상의 설정 주기 이상이면 대부분의 차량 번호 인식을 가능한 것으로 판단되고, 고속도로의 경우에는 1초 이하의 범위내에서 카메라의 인식 성능을 고려하여 적절하게 설정될 수 있다.
또한, 대부분의 차량에서 하나의 차량에 앞면과 뒷면에 각각 하나씩 2개의 차량번호가 설치되는데, 앞면 차량번호와 뒷면 차량번호는 일치시켜야 하고, 그렇지 않은 경우에는 특별한 사정이 없는 한 불법 차량번호판에 해당된다. 이 경우 범죄에 많이 이용되고 있는 실정이다. 따라서, 도로를 주행하는 차량들 중에서 앞면 차량번호와 뒷면 차량번호가 일치하지 않는 차량을 검색한다면, 불법차량 또는 이상차량으로 간주하여 확률적으로 거의 100% 가까울 정도로 높아 비교적 간단한 방법으로 불법번호판 차량을 감지할 수 있게 한다. 이를 통해 범죄를 미리 예방할 수 있고, 도로교통법 등 법규 준수에도 바람직하다.
따라서, 본 발명에서는 도로를 주행하는 차량에서 앞면 차량번호와 뒷면 차량번호가 불일치하는 경우에는 이러한 차량번호를 인식하여 불법차량 또는 이상차량으로 간주한다. 이를 통해, 전방인식 카메라 및 후방인식 카메라의 2대 카메라(하나의 카메라도 전방 및 후방인식이 가능하다면 하나로도 가능)로 구성된 비교적 간단한 차량인식 시스템으로, 각 전방 및 후방인식 카메라를 통해 인식된 앞면 차량번호와 뒷면 차량번호의 매칭을 통해 불법차량을 감지할 수 있어 불법번호판 차량을 찾아내서 이를 즉시 경찰청 시스템으로 푸시 메시지 형태로 알림 메시지를 통해 검거하는 교통방범 시스템을 구현할 수 있다.
여기서, 앞면 차량번호와 뒷면 차량번호의 매칭방법을 살펴보면 다음과 같으며, 도 6을 참조하면 보다 자세히 확인할 수 있다.
가령, 설정 주기별로 상기 전방인식 카메라(102a)를 통해 인식된 앞면 차량번호와 상기 후방인식 카메라(102b)를 통해 인식된 뒷면 차량번호에 대해 인식된 앞면 차량번호와 뒷면 차량번호의 개수와 상호 앞뒷면 차량번호를 비교하여 일치하는지 여부를 판단한다. 이때, 인식된 차량번호의 개수가 일치하지 않으면 적어도 정지하거나 역주행한 차량이 있다고 판단할 수 있다. 따라서, 이러한 정지 또는 역주행 차량에 대한 영상정보는 녹화서버로 전송하고, 이상차량으로 간주되어 교통방법 시스템으로 알람 메시지를 제공할 수 있다.
또한, 전방인식 카메라 및 후방인식 카메라를 통해 인식된 차량번호의 개수가 일치하면, 전방인식 카메라에서 인식된 앞면 차량번호와 후방인식 카메라에서 인식된 뒷면 차량번호를 상호 비교하여, 일치여부를 판단하고, 불일치하는 경우에는 이러한 차량번호를 인식하여 녹화서버로 전송하고, 불법차량으로 간주하여, 교통방범 시스템으로 알람 메시지를 제공할 수 있다.
이를 통해 앞면 차량번호와 뒷면 차량번호의 매칭을 통해 불법차량 또는 이상차량을 감지할 수 있다.
또한, 임베디드 보드(104)는 빠른 처리속도를 제공함은 물론이며 고성능의 서버급 컴퓨터가 아니어도 딥 러닝 데이터의 처리 및 영상 처리를 가능하게 하며, 시스템 설치의 어려움 및 양산과 유지보수에 대한 고비용에 대한 문제를 해소한다.
상기 영상처리장치(106)는 상기 광각 카메라 장치(102)를 통해 전방인식 카메라(102a)와 후방인식 카메라(102b)가 제공하는 영상정보를 제공받아 상기 촬상에 따라 생성된 영상정보를 SSR(single scale retinex), MSR(multi scale retinex), 이방성 필터링(BILATERAL FILTER)을 통해 개선한다. 상기 MSR은 SSR과 같은 저역통과필터를 사용하며, SSR의 가중합으로 출력이 주어지고 SSR에 비해 후광효과(Halo artifact)를 감소시킬 수 있다. 상기 이방성 필터링은 상기 SSR과 MSR의 색상변화와 후광효과를 해소한다. 상기한 영상정보의 개선은 심층학습이 적용되어 저해상도의 영상정보를 효과적으로 개선할 수 있다.
상기 영상처리장치(106)는 상기한 바와 같이 개선된 영상정보로부터 인식된 교행 다자로의 설치지점으로 접근하는 차량과 지나간 차량들을 검지하고, 검지한 차량들의 앞면 차량번호판과 뒷면 차량번호판을 통해 앞면 또는 뒷면 차량번호를 인식하며, 차량번호 인식정보와 상기 영상정보를 결합하여 상기 통신모듈(110)을 통해 상기 녹화서버(150)로 제공한다. 또한, 상기 검지한 차량들의 차량번호판을 통해 차량번호가 인식되지 않으면, 상기 차량번호 인식장치(100)는 차량번호 재인식요청정보와 상기 영상정보를 결합하여 상기 녹화서버(150)로 제공한다.
상기의 차량 및 앞면 또는 뒷면 차량번호의 인식과정에 대해 좀더 설명한다. 상기 차량 및 차량번호의 인식시에는 객체 검출 및 인식을 이행한다.
상기한 객체 검출과 인식을 위해서 상기 영상처리장치(106)는 객체의 위치와 크기를 포함하는 경계를 예측하는 방식을 사용할 수 있다.
그리고, 슬라이딩 윈도우 방식에 따라, 슬라이딩 ROI 이미지가 객체 클래스 예측 함수에 전달하고 다양한 크기의 객체를 피라미드로 생성하여 검출할 수도 있다.
그리고, HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식에 따라, 피라미드 슬라이딩 윈도우를 실행하여 각 윈도우에서 객체 분류를 위해 HOG FEATURE를 계산한 후에 SVM을 이용하여 객체를 인식할 수도 있다.
그리고, 딥러닝 기법을 적용할 수 있으며, CNN(convolutional neural network)은 정확도 높은 객체 추출이 가능하며 R-CNN(REGIONS WITH CNN)은 객체 분류에 필요한 ROI 수를 줄일 수 있고, 선택적 검색을 위해 질감, 강도, 컬러 등의 로컬 정보를 사용한다. FAST RCNN은 SPP-NET(spatial pyramid pooling) 기반으로 계산되며 전체 이미지에 대해 한번 CNN을 계산한다.
그리고, YOLO(YOU ONLY LOOK ONCE)를 적용할 수 있으며, 상기 YOLO는 각 이미지를 S*S 그리드의 정확성을 반영, 리드에 N 개체가 예측되며 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있고, 임계값을 설정해 불필요한 부분은 제거할 수 있다.
상기 YOLO는 여타의 실시간 비전 기술과 비교할 때에 속도가 빠르며 이미지 전체를 한번에 바라보는 방식으로 클래스를 분별할 수 있게 한다.
상기 딥러닝 데이터 저장소(108)에는 상기 영상처리장치(106)의 영상정보 학습을 위한 메타 파일이 저장된다. 상기 메타 파일은 파일정보, 클래스(class) 정보, 좌표정보, 크기정보 등으로 구성된다. 이러한 메타 파일은 메타 파일 제작 프로그램을 통해 생성될 수 있다.
상기한 영상처리장치(106)에 구비되는 소프트웨어로는 도 3에 도시한 바와 같이 학습 및 테스트용 메타 파일을 생성하는 메타 파일 프로그램, 저품위 영상 또는 반사판에 의해 오염된 영상에 대해 개선을 이행하는 영상 개선 소프트웨어, 다차로를 주행하는 차량들의 차량번호판들을 인식하는 다차로 LPR 소프트웨어, 상기 차량번호 인식에서 전방인식 카메라에서 인식된 앞면 차량번호와 후방인식 카메라에서 인식된 뒷면 차량번호를 상호 비교하여, 불일치시 불법차량 또는 이상차량으로 간주하는 전후방 LPR 소프트웨어, 전기 및 신규 번호판을 인식하는 전기 및 신규 번호판 인식 소프트웨어, 고속처리를 위한 고속화 소프트웨어, 임베디드 기반 딥러닝 소프트웨어가 포함될 수 있다.
<차량번호 인식방법의 절차>
상기한 본 발명의 바람직한 실시예에 따르는 차량번호 인식장치에 적용가능한 차량번호 인식방법의 절차를 도 4를 참조하여 설명한다.
상기 차량번호 인식장치는 학습 또는 차량번호 인식 중 어느 하나의 동작모드로의 동작모드가 설정되었는지를 체크한다. 상기 학습 또는 차량번호 인식 중 어느 하나의 동작모드로 설정되어 있으면, 상기 차량번호 인식장치는 상기 동작모드가 학습모드인지를 체크한다(200단계).
상기 동작모드가 학습모드이면, 상기 차량번호 인식장치는 객체 검출 및 인식율을 위한 딥러닝을 이행한다(202단계). 상기한 딥러닝은 차량 검지 및 차량번호 인식방식에 대한 것으로, CNN(convolutional neural network), R-CNN(REGIONS WITH CNN), FAST RCNN 중 어느 하나 또는 그 이상이 선택될 수 있다. 상기한 차량 검지 및 차량번호 인식은 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식이 채용될 수 있다. 또한 상기한 딥러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하여 수행된다.
삭제
상기 동작모드가 차량번호 인식모드이면, 상기 차량번호 인식장치는 딥 러닝된 차량검지 및 차량번호 인식방식에 따라 다차로를 주행하는 차량들에 대해서 전방인식 카메라를 통해 설치지점(인식지점)으로 접근 차량들에 대한 앞면 차량번호판를 인식하고, 후방인식 카메라를 통해 설치지점을 지나친 차량에 대한 뒷면 차량번호판을 인식한다(204단계). 이후 상기 차량번호 인식장치는 영상정보 및 차량번호판 인식결과정보를 녹화서버로 전송한다(206단계).
<차량번호 인식단계의 상세절차>
상기한 본 발명의 바람직한 실시예에 따르는 차량번호 인식장치에 적용가능한 차량번호 인식단계를 도 5를 참조하여 좀더 상세하게 설명한다.
상기 차량번호 인식장치는 차량번호 인식으로의 동작모드가 설정되었으면, 다차로를 주행하는 차량들에 대해서 전방인식 카메라(102a)를 통해 설치지점(인식지점)으로 접근 차량들을 촬상하고, 후방인식 카메라(102b)를 통해 설치지점을 지나친 차량들을 촬상한다(300단계). 상기한 촬상에 의해 획득되는 영상정보는 영상처리장치(106)로 제공되며, 상기 영상처리장치(106)는 상기 영상정보를 제공받아 영상정보를 개선한다(302단계). 상기 영상정보 개선방법은 SSR(single scale retinex), MSR(multi scale retinex), 이방성 필터링(BILATERAL FILTER) 등이 채용된다. 이러한 영상정보 개선을 통해 저품위의 영상정보로부터도 차량번호판의 인식을 가능하게 하고, 반사판에 형성된 전기 자동차의 차량번호판에 대한 인식도 가능하게 한다.
상기한 영상정보의 개선후에, 상기 영상처리장치(100)는 상기 영상정보로부터 차량을 검지한다(304단계). 상기한 영상정보로부터 차량이 검지되면, 상기 영상처리장치(100)는 차량검지영역에 대해 앞면 차량번호판의 차량번호와 뒷면 차량번호판의 차량번호를 인식한다(308단계).
상기한 영상정보로부터 차량번호판의 차량번호가 인식되면, 상기 영상처리장치(100)는 상기 차량이 검지되었고 차량번호가 인식되었으면, 영상정보와 차량번호 인식정보를 녹화서버로 전송한다.
이와 달리 차량이 검지되었으나 차량번호가 인식되지 않았다면, 상기 영상처리장치(100)는 상기 영상정보와 차량번호 재인식요청정보를 상기 녹화서버로 전송한다.
<불법 번호판 차량번호 인식단계의 상세절차>
상기한 본 발명의 바람직한 실시예에 따른 차량번호 인식장치에 적용가능한 불법 번호판 차량번호 인식단계를 도 6을 참조하여 좀더 상세하게 설명한다.
상기 차량번호 인식장치는 차량번호 인식으로의 동작모드가 설정되었으면, 광각 카메라 장치(102)에서 전방인식 카메라(102a)를 구동하여 설치지점으로 접근하는 차량들을 촬상하고, 후방인식 카메라(102b)를 구동하여 설치지점을 지나쳐간 차량들을 촬상한다. 이렇게 촬상에 의해 획득되는 영상정보는 영상처리장치(106)로 제공되며, 상기 영상처리장치(106)는 상기 영상정보를 제공받아 영상정보를 개선하하고 및 앞면 차량번호와 뒷면 차량번호를 인식한다(400). 이에 대해서는 전술한 도 5에서 설명한 바와 같다.
이어, 설정된 소정 주기의 도래여부를 판단한다(410). 이때, 소정 주기는 고속도로와 일반도로 등의 도로에서의 최저속도와, 카메라 감지시의 프레임 인식 주기를 고려하여 설정한다. 가령, 일반도로는 1초이상 ~ 2초 이하범위의 설정주기로 설정하고, 고속도로의 경우에는 1초 미만의 범위내에서 설정가능하다.
이어, 상기 주기별로 상기 전방인식 카메라(102a)를 통해 인식된 차량번호의 개수와, 상기 후방인식 카메라(102b)를 통해 인식된 차량번호의 개수를 비교하여 일치하는지 여부를 판단한다. 이어, 전방인식 카메라 및 후방인식 카메라를 통해 인식된 차량번호의 개수가 일치하면, 전방인식 카메라에서 인식된 앞면 차량번호와 후방인식 카메라에서 인식된 뒷면 차량번호를 상호 비교하여, 일치여부를 판단한다(420)).
이때, 앞면 차량번호의 개수와 뒷면 차량번호의 개수가 일치하고 인식된 앞면 차량번호와 뒷면 차량번호가 일치하면, 이상이 없는 것으로 판단하고 녹화서버로 전송한다.
그러나, 인식된 앞면 차량번호와 뒷면 차량번호의 개수가 일치하지 않으면 적어도 정지하거나 역주행한 차량이 있다고 판단할 수 있다. 이 경우에도 영상정보는 녹화서버로 전송하지만, 이러한 정지 또는 역주행 차량은 이상차량으로 간주하고, 통신모듈을 통해 연계된 교통방범 시스템으로 알람 메시지를 제공할 수 있다.
또한, 인식된 앞면 차량번호와 뒷면 차량번호가 불일치하는 경우에는 이경우에도 영상정보는 녹화서버로 전송하지만, 이러한 불일치 차량에 대해 불법차량으로 간주하여, 즉시 통신모듈을 통해 연계된 교통방법 시스템으로 알람 메시지를 제공할 수 있다(430).
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100 : 차량번호 인식장치
102 : 광각 카메라 장치
102a : 전방인식 카메라
102b: 후방인식 카메라
104 : 임베디드 보드
106 : 영상처리장치
108 : 딥러닝 데이터 저장소
150 : 녹화서버
160 : 고성능 딥러닝 인식서버

Claims (7)

  1. 교행 다차로의 설치지점에서 접근하는 차량의 앞면 차량번호판을 촬상하는 전방인식 카메라와 상기 설치지점을 지나쳐간 차량의 뒷면 차량번호판을 촬상하는 후방인식 카메라를 구비한 카메라 장치;
    상기 카메라 장치에서 촬상한 차량정보 및 차량번호 데이터와, 상기 차량번호 데이터에 대한 딥 러닝을 위한 딥 러닝 데이터를 저장하는 데이터 저장소;
    외부기기와의 통신을 담당하는 통신모듈; 및
    상기 카메라 장치가 촬상하여 획득한 앞뒷면 차량번호판 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행하고, 상기 SSR, MSR 중 하나 이상이 이행된 영상정보에 대해 이방성 필터링(BILATERAL FILTER)을 이행하여 상기 영상정보를 개선하고,
    개선된 영상정보에 대해서 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고,
    상기 딥 러닝 데이터로서 생성된 학습 및 테스트용 메타 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 딥 러닝 방식을 적용하여, 상기 영상정보에서 차량번호를 인식하고,
    인식된 앞면 차량번호와 뒷면 차량번호의 개수가 일치하지 않거나 상기 앞면 차량번호와 뒷변 차량 번호의 개수가 일치하더라도 앞면 차량번호와 뒷면 차량번호가 일치하지 않으면 이상차량 또는 불법차량으로 간주하여, 상기 통신모듈을 통해 연계된 교통방법 시스템으로 알람 메시지를 제공하는 영상처리장치;를 포함하는 것을 특징으로 하는 차량번호 인식 장치.
  2. 제1항에 있어서,
    상기 전방인식 카메라와 후방인식 카메라는 일직선상에 설치되는 것을 특징으로 하는 차량번호 인식 장치.
  3. 제1항에 있어서,
    상기 영상처리장치와 데이터 저장소는 임베디드 보드로 형성됨을 특징으로 하는 차량번호 인식장치.
  4. (a) 교행 다차로의 일직선상에 설치된 카메라 장치를 통해 설치지점에서 접근하는 차량의 앞면 차량번호판을 인식하고, 상기 설치지점을 지나쳐간 차량의 뒷면 차량번호판을 인식하는 단계;
    (b) 학습모드를 통해 차량 검지와 차량번호 인식을 위한 딥 러닝을 이행하는 단계;
    (c) 상기 (a) 단계에서 인식된 앞면 차량번호판 및 뒷면 차량 번호판의 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행하고, 상기 SSR, MSR 중 하나 이상이 이행된 영상정보에 대해 이방성 필터링(BILATERAL FILTER)을 이행하여 상기 영상정보를 개선하고,
    개선된 영상정보에 대해서 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고,
    상기 (b) 단계에서 생성된 학습 및 테스트용 메타 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 딥 러닝 방식을 적용하여, 상기 영상정보에서 차량번호를 인식하는 단계;
    (d) 소정 주기별로 상기 (c) 단계에서 인식된 앞면 차량번호판과 뒷면 차량번호판의 차량번호의 개수가 일치하는지 여부와, 상기 앞면 차량번호판과 뒷면 차량번호판의 차량번호가 일치하는지 여부를 판단하는 단계; 및
    (e) 상기 (d) 단계에서 앞면 차량번호판의 차량번호와 뒷면 차량번호판의 차량번호의 개수가 일치하지 않거나 상기 차량번호의 개수가 일치하더라도 앞면 차량번호판의 차량번호와 뒷면 차량번호판의 차량번호가 일치하지 않으면 이상차량 또는 불법차량으로 간주하여, 통신모듈을 통해 연계된 교통방범 시스템으로 알람 메시지를 제공하는 단계;를 포함하는 것을 특징으로 하는 차량번호 인식방법.
  5. 제4항에 있어서,
    상기 소정 주기는 일반도로는 1초 이상 ~ 2초 이하범위의 설정하고, 고속도로의 경우에는 1초 미만의 범위내에서 설정하는 것을 특징으로 하는 차량번호 인식방법.
  6. 제4항에 있어서,
    (f) 상기 (c) 내지 (e) 단계에서 차량번호가 인식되었다면 차량번호 인식결과정보와 상기 영상정보를 결합하여 녹화서버로 전송하고, 차량번호가 인식되지 않았다면 차량번호 재인식요청정보아 상기 영상정보를 결합하여 상기 녹화서버로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 차량번호 인식방법.
  7. 제4항에 있어서,
    (g) 상기 (c) 단계에서 YOLO를 추가적으로 적용하여 상기 영상정보에서 차량번호를 인식하는 단계;를 더 포함하는 것을 특징으로 하는 차량번호 인식방법.
KR1020190152573A 2019-11-25 2019-11-25 교행 다차로에서의 이상차량 인식방법 및 장치 KR102306789B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152573A KR102306789B1 (ko) 2019-11-25 2019-11-25 교행 다차로에서의 이상차량 인식방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152573A KR102306789B1 (ko) 2019-11-25 2019-11-25 교행 다차로에서의 이상차량 인식방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210064492A KR20210064492A (ko) 2021-06-03
KR102306789B1 true KR102306789B1 (ko) 2021-10-01

Family

ID=76396554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152573A KR102306789B1 (ko) 2019-11-25 2019-11-25 교행 다차로에서의 이상차량 인식방법 및 장치

Country Status (1)

Country Link
KR (1) KR102306789B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220157007A (ko) 2021-05-20 2022-11-29 주식회사 엘지에너지솔루션 리튬-황 이차전지용 전해액 및 이를 포함하는 리튬-황 이차전지
KR102332517B1 (ko) * 2021-08-05 2021-12-01 주식회사 태영정보 영상감시 제어장치
KR102521567B1 (ko) * 2022-10-27 2023-04-14 엘텍코리아 주식회사 이륜차 불법 운행 감지 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665961B1 (ko) * 2016-04-08 2016-10-14 렉스젠(주) 차량 영상 제공 장치 및 그 방법
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703956B1 (ko) 2005-10-12 2007-04-04 정보안주식회사 차량의 번호판 인식 시스템 및 이를 처리하는 방법
KR100852683B1 (ko) 2007-08-13 2008-08-18 (주)한국알파시스템 차량번호 인식 시스템 및 차량번호 인식방법
KR20090073554A (ko) * 2007-12-31 2009-07-03 아진산업(주) 임베디드 기반의 차량용 영상저장 장치 및 방법
KR101242070B1 (ko) * 2011-07-04 2013-03-11 경북대학교 산학협력단 변형된 영상 생성 모델을 이용한 컬러 영상 보정방법
KR101584105B1 (ko) * 2014-06-25 2016-01-25 서울여자대학교 산학협력단 다차로 기반의 차량 촬영장치 및 그 제어방법
KR20160040036A (ko) 2014-10-02 2016-04-12 (주) 키움소프트 다수의 ip카메라를 이용한 차량번호판 인식장치 및 인식방법
KR20190106566A (ko) * 2018-03-09 2019-09-18 박혜옥 자유주행 통행요금징수시스템 및 그 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665961B1 (ko) * 2016-04-08 2016-10-14 렉스젠(주) 차량 영상 제공 장치 및 그 방법
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법

Also Published As

Publication number Publication date
KR20210064492A (ko) 2021-06-03

Similar Documents

Publication Publication Date Title
US10713490B2 (en) Traffic monitoring and reporting system and method
US9679203B2 (en) Traffic violation detection
Zangenehpour et al. Automated classification based on video data at intersections with heavy pedestrian and bicycle traffic: Methodology and application
US9685079B2 (en) Short-time stopping detection from red light camera evidentiary photos
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
US8798314B2 (en) Detection of vehicles in images of a night time scene
KR102306789B1 (ko) 교행 다차로에서의 이상차량 인식방법 및 장치
US8995723B2 (en) Detecting and recognizing traffic signs
CN108335489A (zh) 高速公路车辆行为语义分析及异常行为监控系统及方法
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
Choi et al. Cut-in vehicle warning system exploiting multiple rotational images of SVM cameras
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法
KR20110118376A (ko) 광류를 이용한 방범용 차량 감지 시스템
TK et al. An experiment analysis on tracking and detecting the vehicle speed using machine learning and iot
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
Kanhere Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration
Morales Rosales et al. On-road obstacle detection video system for traffic accident prevention
Dai et al. A driving assistance system with vision based vehicle detection techniques
Xiong et al. Fast and robust approaches for lane detection using multi‐camera fusion in complex scenes
Al-Kadi et al. Road scene analysis for determination of road traffic density
Baviskar et al. Auto Number Plate Recognition
KR102593483B1 (ko) 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법
Kolcheck et al. Visual counting of traffic flow from a car via vehicle detection and motion analysis
CN112686136A (zh) 一种对象检测方法、装置及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right