KR102369824B1 - 교행 다차로를 위한 차량번호 인식방법 및 장치 - Google Patents

교행 다차로를 위한 차량번호 인식방법 및 장치 Download PDF

Info

Publication number
KR102369824B1
KR102369824B1 KR1020190116601A KR20190116601A KR102369824B1 KR 102369824 B1 KR102369824 B1 KR 102369824B1 KR 1020190116601 A KR1020190116601 A KR 1020190116601A KR 20190116601 A KR20190116601 A KR 20190116601A KR 102369824 B1 KR102369824 B1 KR 102369824B1
Authority
KR
South Korea
Prior art keywords
vehicle number
image information
vehicle
recognition
information
Prior art date
Application number
KR1020190116601A
Other languages
English (en)
Other versions
KR20210035360A (ko
Inventor
김태훈
Original Assignee
주식회사 딥비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥비전 filed Critical 주식회사 딥비전
Priority to KR1020190116601A priority Critical patent/KR102369824B1/ko
Publication of KR20210035360A publication Critical patent/KR20210035360A/ko
Application granted granted Critical
Publication of KR102369824B1 publication Critical patent/KR102369824B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Abstract

본 발명에 따르는 차량번호 인식장치는, 다차로를 주행하는 차량의 전후방 차량번호판을 촬상하는 카메라 장치; 차량검지 및 차량번호 인식의 딥 러닝을 위한 딥 러닝 데이터를 저장하는 데이터 저장소; 외부기기와의 통신을 담당하는 통신모듈; 및 상기 딥 러닝 데이터에 따라 차량검지 및 차량번호 인식에 대한 딥 러닝을 이행하며, 상기 카메라 장치가 촬상하여 획득한 영상정보를 제공받아 차량을 검지하고 검지한 차량의 차량번호판의 차량번호를 인식하여 상기 통신모듈을 통해 외부로 전송하는 영상처리장치;를 포함하는 것을 특징으로 한다.

Description

교행 다차로를 위한 차량번호 인식방법 및 장치{License Plate Recognition Method and Apparatus for roads}
본 발명은 차량번호 인식기술에 관한 것으로, 더욱 상세하게는 하나의 광각 카메라로 교행 다차로를 촬상한 영상정보로부터 인공지능을 이용하여 교행 다차로를 운행하는 다수의 차량에 대한 차량번호를 인식하는 교행 다차로를 위한 차량번호 인식방법 및 장치에 관한 것이다.
사회 구조가 복잡해지고 다양해짐에 따라 개인의 활동 영역도 점차적으로 넓어지는 한편 신속한 이동에 대한 요구에 부응하여 자동차의 이용이 증가하게 되었다. 또한 물류의 발달로 인하여 배송 등을 위한 차량대수가 급격히 증가하게 되었다. 이와 같이 사회 및 경제 규모가 확대 및 고도화됨에 따라 차량 및 교통수요가 폭발적으로 증가하고 있다.
이러한 차량대수의 급격한 증가와 차량의 이용이 일반화됨에 따라 차량을 이용한 범죄행위도 증가하고 있으며, 과속 차량과 뺑소니 차량 등과 같이 단속 대상이 되는 차량 대수도 늘어나고 있다.
이러한 문제를 해결하고자 종래에는 도로를 주행하는 차량을 촬영하여, 그 차량번호판의 차량번호를 인식할 수 있도록 하는 차량번호 인식 기술이 개발되어 상용화되어 있다.
상기 차량번호 인식은 무인 주차 관리, 그리고 불법 주차 차량 적발, 고속도로에서의 속도 위반 자동 과태료 부과, 도난 차량의 불법 번호판 적발, 과적 차량 적발 등의 목적으로 널리 사용되고 있다.
상기 차량번호 인식을 이행하는 상용 시스템은 루프 센서 방식의 단일 차로 자동차 번호판 인식 방법을 채용한다.
종래의 차량번호 인식 시스템은 도로상의 특정 차선의 특정 구간에 루프식 감지센서를 마련하고, 그 루프식 감지센서에서 감지된 신호에 따라 작동되는 카메라를 설치한 구성을 갖는다.
상기와 같은 종래의 차량번호 인식 시스템은, 루프식 감지센서를 도로에 설치해야 하므로, 그 설치비용이 많이 들고, 오랜 기간 사용시 파손될 가능성이 높아지므로 유지 관리가 쉽지 않은 단점이 있었다.
또한 루프식 감지센서는 특정 도로구간 및 차선에만 설치할 수 있으므로, 매우 한정적으로 차량을 단속할 수 밖에 없는 한계가 있었다.
또한 상기 루프식 감지센서에 연동하여 동작하는 카메라의 경우에는 차량번호를 인식할 수 있도록 고화소수를 가지는 CCD 카메라를 사용하는 것이 일반적이며, 도 1의 (a)는 종래의 차량번호판 인식 시스템을 예시한 것이다. 상기한 종래의 차량번호판 인식 시스템은 그 설치비용이 증가하는 단점이 있으며, 또한 루프식 감지센서가 설치되지 안은 차선을 지나는 차량을 촬영하지 못하는 문제점이 있다.
더욱이 근래에 사용되기 시작한 신규 차량번호판인 명암비가 낮은 파란색 전기 및 수소차 번호 등에 대해서는 인식이 어려운 문제가 있었다. 도 1의 (b)는 전기자동차에 부여되는 번호판을 예시한 것이다. 상기 전기자동차에 부여되는 번호판은 반사번호판을 채용하므로 도 1의 (c)에 도시한 바와 같이 광을 반사하여 인식이 어려운 문제가 있었다.
이에 종래에는 하나의 광각 카메라를 사용하여 교행 다차로를 운행하는 다수의 차량에 대한 차량번호를 인식해낼 수 있는 기술의 개발이 절실하게 요망되었다.
대한민국 특허등록 제10-0852683호 대한민국 특허공개 제10-2016-0040036호 대한민국 특허등록 제10-0703956호
본 발명은 하나의 광각 카메라로 교행 다차로를 촬상한 영상정보로부터 인공지능을 이용하여 교행 다차로를 운행하는 다수의 차량에 대한 차량번호를 인식하는 교행 다차로를 위한 차량번호 인식방법 및 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위해, 본 발명의 일측면에 따르면, 차량번호 인식장치에 있어서, 다차로를 주행하는 차량의 전후방 차량번호판을 촬상하는 카메라 장치; 차량검지 및 차량번호 인식의 딥 러닝을 위한 딥 러닝 데이터를 저장하는 데이터 저장소; 외부기기와의 통신을 담당하는 통신모듈; 및 상기 카메라 장치가 촬상하여 획득한 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행하고, 상기 SSR, MSR 중 하나 이상이 이행된 영상정보에 대해 이방성 필터링(BILATERAL FILTER)을 이행하여 상기 영상정보를 개선하고, 개선된 영상정보에 대해서 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고, 상기 딥 러닝 데이터로서 생성된 학습 및 테스트용 메타 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 딥 러닝 방식을 적용하여, 상기 영상정보에서 차량번호를 인식하여 상기 통신모듈을 통해 외부로 전송하는 영상처리장치;를 포함하는 것을 특징으로 한다.
또한, 상기 카메라 장치는 하나의 광각 카메라 장치를 사용하는 것이 바람직하다.
또한, 상기 차량번호 인식 장치로부터 상기 통신모듈을 통해 전송되는 차량번호 인식정보와 상기 영상정보를 저장하는 녹화서버 또는 상기 녹화서버로부터 제공된 영상정보에서 차량번호를 재인식하고 이에 따른 재인식결과정보를 상기 녹화서버로 제공하는 고성능 딥러닝 인식서버를 더 포함할 수 있다.
삭제
또한, 상기 영상처리장치와 데이터 저장소는 임베디드 보드로 형성됨을 특징으로 한다.
본 발명의 다른 측면에 따르면, (a) 광각 카메라 장치를 구동하여 다차로를 주행하는 차량의 전후방 차량번호판을 촬상하는 단계; (b) 학습모드를 통해 차량 검지와 차량번호 인식을 위한 딥러닝을 이행하는 단계; (c) 상기 (a) 단계에서 촬상된 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행하고, 상기 SSR, MSR 중 하나 이상이 이행된 영상정보에 대해 이방성 필터링(BILATERAL FILTER)을 이행하여 상기 영상정보를 개선하는 단계; (d) 상기 (c) 단계에서의 영상정보의 개선 후에, 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고, 상기 (b) 단계에서 생성된 학습 및 테스트용 메타 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 딥 러닝 방식을 적용하여, 상기 영상정보에서 차량번호를 인식하는 단계; 및 (e) 상기 (d) 단계에서 차량번호가 인식되었다면 차량번호 인식결과정보와 상기 영상정보를 결합하여 녹화서버로 전송하고, 차량번호가 인식되지 않았다면 차량번호 재인식요청정보와 상기 영상정보를 결합하여 상기 녹화서버로 전송하는 단계를 포함하는 차량번호 인식방법을 제공한다.
또한, (f) 상기 (d) 단계에서 YOLO를 추가적으로 적용하여 상기 영상정보에서 차량번호를 인식하는 단계;를 더 포함할 수 있다.
삭제
또한, (g) 상기 (e) 단계에서 상기 차량번호 재인식 요청정보에 따라 고성능 딥러닝 인식서버가 상기 녹화서버로부터 제공된 영상정보에서 차량번호를 재인식하고 이에 따른 재인식결과정보를 상기 녹화서버로 제공하는 단계를 더 포함할 수 있다.
본 발명은 하나의 광각 카메라를 사용하여 교행 다차로를 운행하는 다수의 차량에 대한 차량번호를 인식함으로써, 차량번호 인식을 위해 소요되는 비용을 절감할 수 있게 한다.
또한, 본 발명은 하나의 광각 카메라를 사용하여 획득한 영상정보를 개선하여 교행 다차로를 운행하는 다수의 차량 중 전기차나 수소차에 대한 차량번호를 인식함으로써, 차량번호 인식율을 제고할 수 있게 한다.
도 1은 종래의 차량번호 인식과정을 예시한 도면.
도 2는 본 발명의 바람직한 실시예에 따르는 차량번호 인식과정을 예시한 도면.
도 3은 본 발명의 바람직한 차량번호 인식장치의 구성도.
도 4는 본 발명의 바람직한 차량번호 인식장치에 구비되는 소프트웨어 구성도.
도 5 및 도 6은 본 발명의 바람직한 실시예에 따르는 차량번호 인식방법의 절차도.
본 발명은 하나의 광각 카메라를 사용하여 교행 다차로를 운행하는 다수의 차량에 대한 차량번호를 인식함으로써, 차량번호 인식을 위해 소요되는 비용을 절감한다.
또한 본 발명은 하나의 광각 카메라를 사용하여 교행 다차로를 운행하는 다수의 차량 중 전기차나 수소차에 대한 차량번호를 인식함으로써, 차량번호 인식율을 높일 수 있다.
상기한 본 발명의 바람직한 실시예에 따르는 교행 다차로를 위한 차량 번호 인식 방법 및 그를 위한 시스템을 도면을 참조하여 상세히 설명한다.
<교행 다차로를 위한 차량번호 인식 시스템의 구성>
도 3은 본 발명의 바람직한 실시예에 따르는 교행 다차로를 위한 차량번호 인식 시스템의 구성을 도시한 것이다. 상기 교행 다차로를 위한 차량번호 인식 시스템은 차량번호 인식장치(100)와 녹화서버(150)와 고성능 딥러닝 인식서버(160)로 구성된다.
상기 차량번호 인식장치(100)는 교행 다차로에 설치되어 교행 다차로를 주행하는 차량들을 촬상하고, 상기 촬상에 따라 생성된 영상정보를 토대로 상기 교행 다차로를 주행하는 차량들을 검지하고, 검지한 차량들의 차량번호판에 기록된 차량번호를 인식하며, 차량번호 인식정보와 상기 영상정보를 결합하여 상기 녹화서버(150)로 제공한다.
또한 검지한 차량들에 대한 차량번호가 인식되지 않으면, 상기 차량번호 인식장치(100)는 차량번호 재인식요청정보와 상기 영상정보를 결합하여 상기 녹화서버(150)로 제공한다.
상기 녹화서버(150)는 상기 차량번호 인식장치(100)로부터 차량번호 인식결과정보와 영상정보가 제공되면 이를 미도시한 데이터베이스에 저장한다. 그리고 상기 녹화서버(150)는 상기 차량번호 재인식요청정보와 상기 영상정보가 제공되면 이를 미도시한 데이터베이스에 저장한 후에 상기 영상정보를 상기 고성능 딥러닝 인식서버(160)에 제공하여 차량번호 재인식을 요청한다. 또한 상기 녹화서버(150)는 상기 고성능 딥러닝 인식서버(160)로부터 차량번호 재인식결과정보가 제공되면 상기 차량번호 재인식결과정보를 상기 영상정보에 대응되게 저장한다.
상기 고성능 딥러닝 인식서버(160)는 상기 영상정보가 제공되면 해당 영상정보에서 차량번호판을 검지하여 차량번호를 재인식하고 이에 따른 재인식결과정보를 상기 녹화서버(150)로 제공한다.
<차량번호 인식장치(100)의 구성>
상기한 차량번호 인식장치(100)의 구성 및 동작을 좀더 상세히 설명한다.
상기 차량번호 인식장치(100)는 광각 카메라 장치(102)와 임베디드 보드(104)와 통신모듈(106)로 구성된다.
상기 광각 카메라 장치(102)는 교행 다차로를 조망하는 위치에 설치되어 상기 교행 다차로상을 주행하는 다수의 차량의 전후방을 촬상하고 그에 따라 획득된 영상정보를 상기 임베디드 보드(104)로 전송한다.
상기 임베디드 보드(104)는 영상처리장치(106)와 딥러닝 데이터 저장소(108)가 임베디드 보드로 구성된 것으로, 빠른 처리속도를 제공함은 물론이며 고성능의 서버급 컴퓨터가 아니어도 딥 러닝 데이터의 처리 및 영상 처리를 가능하게 하며, 시스템 설치의 어려움 및 양산과 유지보수에 대한 고비용에 대한 문제를 해소한다.
상기 영상처리장치(106)는 상기 광각 카메라 장치(102)가 제공하는 영상정보를 제공받아 상기 촬상에 따라 생성된 영상정보를 SSR(single scale retinex), MSR(multi scale retinex), 이방성 필터링(BILATERAL FILTER)을 통해 개선한다. 상기 MSR은 SSR과 같은 저역통과필터를 사용하며, SSR의 가중합으로 출력이 주어지고 SSR에 비해 후광효과(Halo artifact)를 감소시킬 수 있다. 상기 이방성 필터링은 상기 SSR과 MSR의 색상변화와 후광효과를 해소한다. 상기한 영상정보의 개선은 심층학습이 적용되어 저해상도의 영상정보를 효과적으로 개선할 수 있다.
상기 영상처리장치(106)는 상기한 바와 같이 개선된 영상정보로부터 상기 교행 다차로를 주행하는 차량들을 검지하고, 검지한 차량들의 차량번호판을 통해 차량번호를 인식하며, 차량번호 인식정보와 상기 영상정보를 결합하여 상기 통신모듈(110)을 통해 상기 녹화서버(150)로 제공한다. 또한 상기 검지한 차량들의 차량번호판을 통해 차량번호가 인식되지 않으면, 상기 차량번호 인식장치(100)는 차량번호 재인식요청정보와 상기 영상정보를 결합하여 상기 녹화서버(150)로 제공한다.
상기의 차량 및 차량번호의 인식과정에 대해 좀더 설명한다. 상기 차량 및 량번호의 인식시에는 객체 검출 및 인식을 이행한다.
상기한 객체 검출과 인식을 위해서 상기 영상처리장치(106)는 객체의 위치와 크기를 포함하는 경계를 예측하는 방식을 사용할 수 있다.
그리고 슬라이딩 윈도우 방식에 따라, 슬라이딩 ROI 이미지가 객체 클래스 예측 함수에 전달하고 다양한 크기의 객체를 피라미드로 생성하여 검출할 수도 있다.
그리고 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식에 따라, 피라미드 슬라이딩 윈도우를 실행하여 각 윈도우에서 객체 분류를 위해 HOG FEATURE를 계산한 후에 SVM을 이용하여 객체를 인식할 수도 있다.
그리고 딥러닝 기법을 적용할 수 있으며, CNN(convolutional neural network)은 정확도 높은 객체 추출이 가능하며 R-CNN(REGIONS WITH CNN)은 객체 분류에 필요한 ROI 수를 줄일 수 있고, 선택적 검색을 위해 질감, 강도, 컬러 등의 로컬 정보를 사용한다. FAST RCNN은 SPP-NET(spatial pyramid pooling) 기반으로 계산되며 전체 이미지에 대해 한번 CNN을 계산한다.
그리고 YOLO(YOU ONLY LOOK ONCE)를 적용할 수 있으며, 상기 YOLO는 각 이미지를 S*S 그리드의 정확성을 반영, 리드에 N 개체가 예측되며 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있고, 임계값을 설정해 불필요한 부분은 제거할 수 있다.
상기 YOLO는 여타의 실시간 비전 기술과 비교할 때에 속도가 빠르며 이미지 전체를 한번에 바라보는 방식으로 클래스를 분별할 수 있게 한다.
상기 딥러닝 데이터 저장소(108)에는 상기 영상처리장치(106)의 영상정보 학습을 위한 메타 파일이 저장된다. 상기 메타 파일은 파일정보, 클래스(class) 정보, 좌표정보, 크기정보 등으로 구성된다. 이러한 메타 파일은 메타 파일 제작 프로그램을 통해 생성될 수 있다.
상기한 영상처리장치(106)에 구비되는 소프트웨어로는 도 4에 도시한 바와 같이 학습 및 테스트용 메타 파일을 생성하는 메타 파일 프로그램, 저품위 영상 또는 반사판에 의해 오염된 영상에 대해 개선을 이행하는 영상 개선 소프트웨어, 다차로를 주행하는 차량들의 차량번호판들을 인식하는 다차로 LPR 소프트웨어, 전후방으로 주행하는 차량들의 차량번호판들을 인식하는 전후방 LPR 소프트웨어, 전기 및 신규 번호판을 인식하는 전기 및 신규 번호판 인식 소프트웨어, 고속처리를 위한 고속화 소프트웨어, 임베디드 기반 딥러닝 소프트웨어가 포함될 수 있다.
<차량번호 인식방법의 절차>
상기한 본 발명의 바람직한 실시예에 따르는 차량번호 인식장치에 적용가능한 차량번호 인식방법의 절차를 도 5을 참조하여 설명한다.
상기 차량번호 인식장치는 학습 또는 차량번호 인식 중 어느 하나의 동작모드로의 동작모드가 설정되었는지를 체크한다. 상기 학습 또는 차량번호 인식 중 어느 하나의 동작모드로 설정되어 있으면, 상기 차량번호 인식장치는 상기 동작모드가 학습모드인지를 체크한다(200단계).
상기 동작모드가 학습모드이면, 상기 차량번호 인식장치는 객체 검출 및 인식율을 위한 딥러닝을 이행한다(202단계). 상기한 딥러닝은 차량 검지 및 차량번호 인식방식에 대한 것으로, CNN(convolutional neural network), R-CNN(REGIONS WITH CNN), FAST RCNN 중 어느 하나 또는 그 이상이 선택될 수 있다. 상기한 차량 검지 및 차량번호 인식은 슬라이딩 윈도우 방식 또는 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식이 채용될 수 있다. 또한 상기한 딥러닝은 차량의 검지와 차량번호판의 차량번호 인식을 위해 생성된 학습 및 테스트용 메타 데이터인 딥 러닝 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하여 수행된다.
상기 동작모드가 차량번호 인식모드이면, 상기 차량번호 인식장치는 딥 러닝된 차량검지 및 차량번호 인식방식에 따라 다차로를 주행하는 차량들에 대한 전후방 차량번호판을 인식한다(204단계). 이후 상기 차량번호 인식장치는 영상정보 및 차량번호판 인식결과정보를 녹화서버로 전송한다(206단계).
<차량번호 인식단계의 상세절차>
상기한 본 발명의 바람직한 실시예에 따르는 차량번호 인식장치에 적용가능한 차량번호 인식단계를 도 6을 참조하여 좀더 상세하게 설명한다.
상기 차량번호 인식장치는 차량번호 인식으로의 동작모드가 설정되었으면, 광각 카메라 장치(102)를 구동하여 다차로를 주행하는 차량들을 촬상한다(300단계). 상기한 촬상에 의해 획득되는 영상정보는 영상처리장치(106)로 제공되며, 상기 영상처리장치(106)는 상기 영상정보를 제공받아 영상정보를 개선한다(302단계). 상기 영상정보 개선방법은 SSR(single scale retinex), MSR(multi scale retinex), 이방성 필터링(BILATERAL FILTER) 등이 채용된다. 이러한 영상정보 개선을 통해 저품위의 영상정보로부터도 차량번호판의 인식을 가능하게 하고, 반사판에 형성된 전기 자동차의 차량번호판에 대한 인식도 가능하게 한다.
상기한 영상정보의 개선후에, 상기 영상처리장치(100)는 상기 영상정보로부터 차량을 검지한다(304단계). 상기한 영상정보로부터 차량이 검지되면, 상기 영상처리장치(100)는 차량검지영역에 대해 차량번호판의 차량번호를 인식한다(308단계).
상기한 영상정보로부터 차량번호판의 차량번호가 인식되면, 상기 영상처리장치(100)는 상기 차량이 검지되었고 차량번호가 인식되었으면, 영상정보와 차량번호 인식정보를 녹화서버로 전송한다.
이와 달리 차량이 검지되었으나 차량번호가 인식되지 않았다면, 상기 영상처리장치(100)는 상기 영상정보와 차량번호 재인식요청정보를 상기 녹화서버로 전송한다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100 : 차량번호 이식장치
102 : 광각 카메라 장치
104 : 임베디드 보드
106 : 영상처리장치
108 : 딥러닝 데이터 저장소
150 : 녹화서버
160 : 고성능 딥러닝 인식서버

Claims (7)

  1. 차량번호 인식장치에 있어서,
    다차로를 주행하는 차량의 전후방 차량번호판을 촬상하는 하나의 광각 카메라 장치;
    차량검지 및 차량번호 인식의 딥 러닝을 위한 딥 러닝 데이터를 저장하는 데이터 저장소;
    외부기기와의 통신을 담당하는 통신모듈; 및
    상기 하나의 광각 카메라 장치가 촬상하여 획득한 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행하고, 상기 SSR, MSR 중 하나 이상이 이행된 영상정보에 대해 이방성 필터링(BILATERAL FILTER)을 이행하여 상기 영상정보를 개선하고,
    개선된 영상정보에 대해서 HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고,
    상기 딥 러닝 데이터로서 생성된 학습 및 테스트용 메타 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 딥 러닝 방식을 적용하여, 상기 영상정보에서 차량번호를 인식하여 상기 통신모듈을 통해 외부로 전송하는 영상처리장치;를 포함하고,
    상기 딥 러닝 데이터는 상기 영상처리장치의 영상정보학습을 위한 메타 파일이 저장되고, 상기 메타 파일은 파일정보, 클래스 정보, 좌표정보, 크기정보로 구성되며,
    상기 영상처리장치는 상기 메타 파일이 저장된 딥 러닝 데이터를 토대로 YOLO를 추가적으로 적용하여 상기 영상정보에서 차량의 검지 및 차량번호를 인식하는 것을 특징으로 하는 차량번호 인식 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 차량번호 인식 장치로부터 상기 통신모듈을 통해 전송되는 차량번호 인식정보와 상기 영상정보를 저장하는 녹화서버 또는 상기 녹화서버로부터 제공된 영상정보에서 차량번호를 재인식하고 이에 따른 재인식결과정보를 상기 녹화서버로 제공하는 고성능 딥러닝 인식서버를 더 포함하는 것을 특징으로 하는 차량번호 인식 장치.
  4. 제1항에 있어서,
    상기 영상처리장치와 데이터 저장소는 임베디드 보드로 형성됨을 특징으로 하는 차량번호 인식장치.
  5. 차량번호 인식방법에 있어서,
    (a) 하나의 광각 카메라 장치를 구동하여 다차로를 주행하는 차량의 전후방 차량번호판을 촬상하는 단계;
    (b) 학습모드를 통해 차량 검지와 차량번호 인식을 위한 딥러닝을 이행하는 단계;
    (c) 상기 (a) 단계에서 촬상된 영상정보에 대해 SSR(single scale retinex), MSR(multi scale retinex) 중 하나 이상을 이행하고, 상기 SSR, MSR 중 하나 이상이 이행된 영상정보에 대해 이방성 필터링(BILATERAL FILTER)을 이행하여 상기 영상정보를 개선하는 단계;
    (d) 상기 (c) 단계에서의 영상정보의 개선 후에,
    HOG(Histogram of Oriented Gradients) FEATURES와 SVM(support vector machine)을 이용한 객체 인식 방식을 적용하고,
    상기 (b) 단계에서 생성된 학습 및 테스트용 메타 데이터를 토대로 CNN(convolutional neural network), R-CNN(REGIONS WITH CNN) 및 FAST RCNN 중 하나 이상을 이행하는 딥 러닝 방식을 적용하여, 상기 영상정보에서 차량번호를 인식하는 단계; 및
    (e) 상기 (d) 단계에서 차량번호가 인식되었다면 차량번호 인식결과정보와 상기 영상정보를 결합하여 녹화서버로 전송하고, 차량번호가 인식되지 않았다면 차량번호 재인식요청정보와 상기 영상정보를 결합하여 상기 녹화서버로 전송하는 단계 및
    (f) 상기 딥 러닝 데이터는 상기 영상처리장치의 영상정보학습을 위한 메타 파일이 저장되고, 상기 메타 파일은 파일정보, 클래스 정보, 좌표정보, 크기정보로 구성되며,
    상기 (d) 단계에서 상기 영상처리장치는 상기 메타 파일이 저장된 딥 러닝 데이터를 토대로 YOLO를 추가적으로 적용하여 상기 영상정보에서 차량의 검지 및 차량번호를 인식하는 단계를 포함하는 것을 특징으로 하는 차량번호 인식방법.
  6. 제5항에 있어서,
    (g) 상기 (e) 단계에서 상기 차량번호 재인식 요청정보에 따라 고성능 딥러닝 인식서버가 상기 녹화서버로부터 제공된 영상정보에서 차량번호를 재인식하고 이에 따른 재인식결과정보를 상기 녹화서버로 제공하는 단계를 더 포함하는 것을 특징으로 하는 차량번호 인식방법.
  7. 삭제
KR1020190116601A 2019-09-23 2019-09-23 교행 다차로를 위한 차량번호 인식방법 및 장치 KR102369824B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190116601A KR102369824B1 (ko) 2019-09-23 2019-09-23 교행 다차로를 위한 차량번호 인식방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190116601A KR102369824B1 (ko) 2019-09-23 2019-09-23 교행 다차로를 위한 차량번호 인식방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210035360A KR20210035360A (ko) 2021-04-01
KR102369824B1 true KR102369824B1 (ko) 2022-03-07

Family

ID=75441323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190116601A KR102369824B1 (ko) 2019-09-23 2019-09-23 교행 다차로를 위한 차량번호 인식방법 및 장치

Country Status (1)

Country Link
KR (1) KR102369824B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593483B1 (ko) * 2021-05-11 2023-10-25 주식회사 딥비전 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753117B1 (ko) * 2016-09-21 2017-07-05 (주) 플래누리 카메라 및 차량 인식 모듈을 일체형으로 구현하여 차량의 입차 및 출차를 제어하는 lpr 시스템 및 그의 제어 방법
KR101774735B1 (ko) * 2017-06-12 2017-09-06 주식회사 넥스파시스템 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703956B1 (ko) 2005-10-12 2007-04-04 정보안주식회사 차량의 번호판 인식 시스템 및 이를 처리하는 방법
KR100852683B1 (ko) 2007-08-13 2008-08-18 (주)한국알파시스템 차량번호 인식 시스템 및 차량번호 인식방법
KR20150137233A (ko) * 2014-05-28 2015-12-09 주식회사 에프지아이 프로젝션 환경에서 영상객체인식을 위한 전처리 기술 및 그 방법
KR20160040036A (ko) 2014-10-02 2016-04-12 (주) 키움소프트 다수의 ip카메라를 이용한 차량번호판 인식장치 및 인식방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753117B1 (ko) * 2016-09-21 2017-07-05 (주) 플래누리 카메라 및 차량 인식 모듈을 일체형으로 구현하여 차량의 입차 및 출차를 제어하는 lpr 시스템 및 그의 제어 방법
KR101774735B1 (ko) * 2017-06-12 2017-09-06 주식회사 넥스파시스템 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법

Also Published As

Publication number Publication date
KR20210035360A (ko) 2021-04-01

Similar Documents

Publication Publication Date Title
Chen et al. Turn signal detection during nighttime by CNN detector and perceptual hashing tracking
US9679203B2 (en) Traffic violation detection
Zangenehpour et al. Automated classification based on video data at intersections with heavy pedestrian and bicycle traffic: Methodology and application
Tian et al. Video processing techniques for traffic flow monitoring: A survey
Mao et al. Preceding vehicle detection using histograms of oriented gradients
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
Loce et al. Computer vision in roadway transportation systems: a survey
Cui et al. Vehicle localisation using a single camera
CN108335489A (zh) 高速公路车辆行为语义分析及异常行为监控系统及方法
US20140375804A1 (en) Method for available parking distance estimation via vehicle side detection
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
KR102306789B1 (ko) 교행 다차로에서의 이상차량 인식방법 및 장치
Liu et al. Vehicle detection and ranging using two different focal length cameras
Gao et al. On‐line vehicle detection at nighttime‐based tail‐light pairing with saliency detection in the multi‐lane intersection
Arnob et al. An intelligent traffic system for detecting lane based rule violation
Khan et al. Performance enhancement method for multiple license plate recognition in challenging environments
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
Marikhu et al. Police Eyes: Real world automated detection of traffic violations
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
Shafie et al. Smart video surveillance system for vehicle detection and traffic flow control
Ho et al. Intelligent speed bump system with dynamic license plate recognition
Tourani et al. Challenges of video-based vehicle detection and tracking in intelligent transportation systems
Pan et al. Fake license plate recognition in surveillance videos
Baviskar et al. Auto Number Plate Recognition
KR102593483B1 (ko) 교행다차로에서의 법규위반 단속 시스템 및 그에 따른 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right