KR20210002893A - 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 - Google Patents
하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR20210002893A KR20210002893A KR1020190078724A KR20190078724A KR20210002893A KR 20210002893 A KR20210002893 A KR 20210002893A KR 1020190078724 A KR1020190078724 A KR 1020190078724A KR 20190078724 A KR20190078724 A KR 20190078724A KR 20210002893 A KR20210002893 A KR 20210002893A
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- recognition
- image
- extracted
- technique
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000012015 optical character recognition Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims description 14
- 238000003702 image correction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 238000010237 hybrid technique Methods 0.000 abstract description 11
- 238000012549 training Methods 0.000 description 19
- 238000013135 deep learning Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G06K2209/15—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템이 개시된다. 본 발명의 일 실시예에 따른 번호판 인식 방법은 입력 영상이 수신되면 미리 학습된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출하는 단계; 및 미리 설정된 인식 기법을 이용하여 상기 추출된 번호판 영역으로부터 해당 오브젝트의 번호판에 대한 식별 정보를 인식하는 단계를 포함하고, 상기 인식 기법은 광학 문자 인식 기법(OCR; optical character recognition)을 포함할 수 있다.
Description
본 발명은 번호판 인식 기술에 관한 것으로서, 보다 구체적으로 서로 다른 방식의 두 가지 기법을 결합한 하이브리드 기법을 이용하여 오브젝트에 부착된 번호판에 대한 인식 정확도를 향상시킬 수 있는 방법 및 그 시스템에 관한 것이다.
LPR(License plate recognition) 시스템은 카메라로 촬영한 영상으로부터 차량번호 데이터를 추출해 주는 장치로서, 종래에는 고속도로에서 과속 차량을 자동으로 단속하거나 거리의 불법주차 챠랑을 적발하기 위해 사용되었다.
또한, 근래에는 주차장을 신속하고 편리하게 출입할 수 있도록 해주는 지능형 주차관리 시스템에 도입되어 널리 활용되고 있다.
최근, 주차, 방범, 신호위반, 속도위반 등의 다양한 분야에서 자동차 번호판 인식 시스템(License Plate Recognition system)이 폭넓게 사용되고 있다.
그러나 종래 자동차 번호판 인식 시스템은 일반적으로, 자연현상에 의한 명암 차이나 우천시 많은 노이즈 또는 야간에 차량 라이트 빛의 반사 등에 의해 자동차 번호판 추출에 있어 많은 어려움이 있다.
따라서 자동차 번호판 영역을 보다 정확하게 추출하기 위해서는, 영상의 명암 변화, 윤곽선 추출, 노이즈 제거, 번호판 후보영역 추출 등 많은 전처리 과정이 들어가게 된다.
특히, 이러한 전처리 과정에 있어서, 기존의 알고리즘 중 윤곽선 검출 알고리즘은 소벨 마스크(Sobel Mask) 패턴 알고리즘을 많이 사용하며, 노이즈 제거 알고리즘은 침식, 팽창 알고리즘을 이용한 노이즈 제거가 많이 사용되고 있다.
본 발명은 번호판 영역을 추출하는 딥 러닝 신경망과 번호판 영역에서 식별 정보를 인식하는 광학 문자 인식 기법(OCR)을 결합한 하이브리드 기법을 이용하여 번호판 인식 정확도를 향상시킬 수 있는 방법 및 그 시스템을 제안한다.
본 발명의 실시예들은, 서로 다른 방식의 두 가지 기법을 결합한 하이브리드 기법을 이용하여 오브젝트에 부착된 번호판에 대한 인식 정확도를 향상시킬 수 있는 방법 및 그 시스템을 제공한다.
구체적으로, 본 발명의 실시예들은 오브젝트에 대한 영상으로부터 번호판 영역을 추출하는 딥 러닝 신경망과 번호판 영역에서 식별 정보를 인식하는 광학 문자 인식 기법(OCR)을 결합한 하이브리드 기법을 이용하여 번호판 인식 정확도를 향상시킬 수 있는 방법 및 그 시스템을 제공한다.
본 발명의 일 실시예에 따른 번호판 인식 방법은 입력 영상이 수신되면 미리 학습된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출하는 단계; 및 미리 설정된 인식 기법을 이용하여 상기 추출된 번호판 영역으로부터 해당 오브젝트의 번호판에 대한 식별 정보를 인식하는 단계를 포함한다.
상기 인식 기법은 광학 문자 인식 기법(OCR; optical character recognition)을 포함할 수 있다.
상기 인식하는 단계는 상기 추출된 번호판 영역에 대한 영상 보정을 수행하고, 상기 인식 기법을 이용하여 영상 보정된 번호판 영역으로부터 상기 식별 정보를 인식할 수 있다.
상기 인식하는 단계는 상기 추출된 번호판 영역의 콘트라스트(contrast)가 미리 설정된 기준 콘트라스트보다 낮은 경우 상기 추출된 번호판 영역의 콘트라스트(contrast)를 기준 콘트라스트로 조정한 후 상기 인식 기법을 이용하여 상기 식별 정보를 인식할 수 있다.
나아가. 본 발명의 일 실시예에 따른 번호판 인식 방법은 미리 설정된 오브젝트를 포함하는 영상 데이터를 이용한 학습을 통해 상기 오브젝트에 부착된 번호판 영역을 추출하는 학습 모델을 생성하는 단계를 더 포함하고, 상기 추출하는 단계는 상기 생성된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출할 수 있다.
본 발명의 일 실시예에 따른 번호판 인식 시스템은 입력 영상이 수신되면 미리 학습된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출하는 추출부; 및 미리 설정된 인식 기법을 이용하여 상기 추출된 번호판 영역으로부터 해당 오브젝트의 번호판에 대한 식별 정보를 인식하는 인식부를 포함한다.
상기 인식 기법은 광학 문자 인식 기법(OCR; optical character recognition)을 포함할 수 있다.
상기 인식부는 상기 추출된 번호판 영역에 대한 영상 보정을 수행하고, 상기 인식 기법을 이용하여 영상 보정된 번호판 영역으로부터 상기 식별 정보를 인식할 수 있다.
상기 인식부는 상기 추출된 번호판 영역의 콘트라스트(contrast)가 미리 설정된 기준 콘트라스트보다 낮은 경우 상기 추출된 번호판 영역의 콘트라스트(contrast)를 기준 콘트라스트로 조정한 후 상기 인식 기법을 이용하여 상기 식별 정보를 인식할 수 있다.
나아가, 본 발명의 일 실시예에 따른 번호판 인식 시스템은 미리 설정된 오브젝트를 포함하는 영상 데이터를 이용한 학습을 통해 상기 오브젝트에 부착된 번호판 영역을 추출하는 학습 모델을 생성하는 생성부를 더 포함하고, 상기 추출부는 상기 생성된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출할 수 있다.
본 발명의 실시예들에 따르면, 오브젝트 영상 예를 들어, 자동차 영상으로부터 오브젝트에 부착된 번호판 영역을 미리 학습된 학습 모델의 신경망(neural network) 예를 들어, CNN을 이용하여 추출하고, 다른 기법 예를 들어, 광학 문자 인식 기법(OCR)을 이용하여 추출된 번호판 영역으로부터 번호판 영역에 포함된 식별 정보 예를 들어, 문자를 인식함으로써, 번호판 인식률을 향상시키고, 인식 정확도를 향상시킬 수 있다.
본 발명의 실시예들에 따르면, 딥 러닝을 이용한 신경망과 OCR 기법을 결합한 하이브리드 기법을 이용하여 오브젝트에 부착된 번호판 영역에 대한 추출 정확성을 향상시키고, 추출된 번호판 영역에 대한 영상 보정 후 OCR 기법을 이용하여 번호판의 식별 정보를 인식함으로써, OCR 방식의 단점과 딥 러닝의 단점을 극복하여 비용을 절감시키면서 인식 정확도를 향상시킬 수 있다.
도 1은 본 발명을 설명하기 위한 시스템에 대한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 하이브리드 기법을 이용한 번호판 인식 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 하이브리드 기법을 이용한 번호판 인식 시스템에 대한 구성을 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 하이브리드 기법을 이용한 번호판 인식 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 하이브리드 기법을 이용한 번호판 인식 시스템에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
OCR 방식은 딥 러닝 방식에 비해 동작 속도가 매우 빠르고 비용이 싼 장점이 있지만, 컴퓨터 비전 기술 사용하여 영상으로부터 차량번호판의 위치를 찾아내는 정확도가 딥 러닝에 비해 낮고, 너무 밝음, 어두움, 그림자, 역광 등의 노이즈에 약하며, 영상에서의 연속된 패턴들을 글자영역으로 오인할 수 있고, 자동차가 아닌 것에서 번호를 추출하려 시도하기 때문에 번호판과 비슷한 것에 의한 오판할 수도 있으며, 반복된 무늬를 글자박스로 인식하여 번호판 영역을 추출하기 어려운 문제점이 있다.
딥 러닝 방식은 차량번호판을 찾아내는 정확도가 OCR 방식에 비해 상대적으로 많이 높고, 인식 정확도도 높지만, 비용이 OCR 방식에 비해 높은 문제점이 있다.
본 발명의 실시예들은, 서로 다른 방식의 두 가지 기법의 장점 예를 들어, 딥 러닝 방식에 의한 장점과 OCR 방식의 장점을 결합한 하이브리드 기법을 이용하여 오브젝트에 부착된 번호판에 대한 인식 정확도를 향상시키는 것을 그 요지로 한다.
여기서, 본 발명은 오브젝트 영상 예를 들어, 자동차 영상으로부터 오브젝트에 부착된 번호판 영역을 미리 학습된 학습 모델의 신경망(neural network) 예를 들어, CNN을 이용하여 추출하고, 다른 기법 예를 들어, OCR 방식을 이용하여 추출된 번호판 영역으로부터 번호판 영역에 포함된 식별 정보 예를 들어, 문자를 인식함으로써, OCR 방식의 단점과 딥 러닝의 단점을 극복하여 비용도 줄이면서 차량 번호판 영역의 추출 정확도와 차량 번호판의 인식 정확도를 향상시킬 수 있다.
나아가, 본 발명은 신경망 예를 들어, 컨볼루션 신경망(CNN)을 이용하여 오브젝트에 부착된 번호판 영역을 추출하기 위하여, 미리 설정된 오브젝트들 예를 들어, 자동차들을 포함하는 영상 데이터를 이용하여 신경망을 학습시킴으로써, 번호판 영역을 추출하기 위한 학습 모델 또는 추출 모델을 생성하고, 생성된 학습 모델을 가지는 신경망을 이용하여 촬영 수단 예를 들어, CCTV 등을 통해 촬영된 입력 영상으로부터 번호판 영역을 정확하게 추출할 수 있다.
더 나아가, 본 발명은 오브젝트로부터 번호판 영역이 추출되면 추출된 번호판 영역에 포함된 노이즈 예를 들어, 너무 밝음, 어두움, 그림자, 역광 등에 의해 번호판 영역이 선명하지 않을 수 있기 때문에 번호판 영역에 대한 영상 보정을 수행한 후 영상 보정된 번호판 영역에 대하여 OCR 기법을 이용하여 번호판 영역에 포함된 식별 정보를 인식할 수 있다.
본 발명에서의 오브젝트는 식별 정보가 기재된 번호판이 부착될 수 있는 자동차, 오토바이 등을 포함하는 모든 종류의 오브젝트를 포함할 수 있다.
이하, 본 발명의 상세한 설명에서는 오브젝트를 자동차로 한정하여 설명하지만, 본 발명에서의 오브젝트는 자동차로 한정되지 않으며 번호판을 부착하여 해당 오브젝트를 식별할 수 있는 모든 종류의 오브젝트를 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
도 1은 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 도면을 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명에서의 시스템은 영상을 촬영하기 위한 영상 촬영 수단(100) 예를 들어, CCTV와 영상 촬영 수단(100)으로부터 입력된 입력 영상을 수신하여 입력 영상에 포함된 오브젝트의 번호판 영역을 추출하고, 추출된 번호판 영역에 포함된 식별 정보를 인식하기 위한 번호판 인식 시스템(200)을 포함한다.
영상 촬영 수단(100)은 일정 장소 등에 배치되어 오브젝트에 대한 영상을 촬영하는 것으로, 아파트, 도로, 주차장 등과 같이 자동차가 주행하는 장소에 구비될 수 있으며, 해당 장소에서 일정 방향을 촬영하는 것으로 고정배치되거나 해당 장소에서 방향 전환이 가능하여 여러 방향에 대하여 촬영할 수 있다.
이 때, 영상 촬영 수단(100)은 실시간으로 촬영되는 영상을 네트워크를 통해 번호판 인식 시스템으로 제공할 수 있으며, 번호판 인식 시스템으로 영상을 제공할 때 해당 영상 촬영 수단에 대한 식별 정보, 영상 촬영 시간 등에 대한 정보를 함께 제공할 수 있다.
영상 촬영 수단(100)은 네트워크를 통해 번호판 인식 시스템과 연결될 수 있고, 영상 촬영 수단과 번호판 인식 시스템 간의 통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
번호판 인식 시스템(200)은 영상 촬영 수단(100)을 통해 수신되는 입력 영상 예를 들어, 자동차를 포함하는 입력 영상을 수신하고, 수신된 입력 영상에 포함된 자동차의 번호판 영역(localization)을 미리 학습된 학습 모델의 신경망 예를 들어, 컨볼루션 신경망을 이용하여 추출하고, OCR 방식을 이용하여 추출된 번호판 영역으로부터 번호판에 포함된 식별 정보(recognition)를 인식한다.
여기서, 번호판 인식 시스템(200)은 학습 데이터를 이용한 트레이닝(training) 또는 학습을 통해 자동차의 번호판 영역을 추출하기 위한 신경망의 학습 모델을 생성할 수 있으며, 학습 모델을 생성하기 위한 학습 데이터는 선명한 영상 뿐만 아니라 선명한 영상에 미리 설정된 노이즈 패턴 예를 들어, 빛 또는 빔에 의한 노이즈 패턴, 그림자 또는 어둠에 의한 노이즈 패턴 등이 적용된 영상을 포함할 수 있다.
즉, 본 발명의 번호판 인식 시스템(200)은 신경망의 학습 모델을 오브젝트와 번호판 영역이 선명한 영상 뿐만 아니라 다양한 노이즈를 포함하는 영상을 포함하는 학습 데이터를 이용한 트레이닝을 통해 생성함으로써, 입력 영상이 선명한 경우 뿐만 아니라 노이즈를 포함하는 경우에도 입력 영상으로부터 오브젝트에 부착된 번호판 영역을 정확하게 추출할 수 있다.
물론, 본 발명의 번호판 인식 시스템(200)은 학습 모델 기반의 신경망에 의한 번호판 영역 추출과 OCR 기법을 이용한 식별 정보 인식으로 설명하였지만, 이에 한정하지 않으며, OCR 기법이 아닌 딥 러닝 기법과 결합하여 번호판의 식별 정보에 대한 인식 정확도를 향상시키면서 비용을 줄일 수 있는 다양한 기법을 적용할 수도 있다.
이러한 시스템에서의 번호반 인식 방법에 대해 도 2와 도 3을 참조하여 설명하면 다음과 같다.
도 2는 본 발명의 일 실시예에 따른 하이브리드 기법을 이용한 번호판 인식 방법에 대한 동작 흐름도를 나타낸 것이고, 도 3은 본 발명의 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 2와 도 3을 참조하면, 본 발명의 일 실시예에 따른 번호판 인식 방법은 영상 데이터 예를 들어, 선명한 영상과 노이즈를 포함하는 영상을 포함하는 오브젝트에 포함된 번호판 영역을 추출하기 위한 학습 데이터를 이용한 학습을 통해 오브젝트에 부착된 번호판 영역을 추출하는 신경망의 학습 모델을 생성한다(S210).
여기서, 단계 S210은 미리 결정된 학습 데이터를 이용할 수도 있지만, 미리 결정된 학습 데이터와 미리 정해진 노이즈 패턴들을 이용하여 노이즈를 포함하는 영상 데이터를 생성하고, 이렇게 생성된 영상 데이터를 추가한 학습 데이터를 이용한 트레이닝을 통해 오브젝트로부터 번호판 영역을 추출하기 위한 학습 모델 또는 추출 모델을 생성할 수도 있다. 물론, 학습 모델에 사용되는 영상 데이터를 추가로 생성하기 위한 노이즈 패턴들은 번호판 영역을 추출하는데 있어서 발생될 수 있는 모든 종류의 노이즈 예를 들어, 흐림, 그림자, 어둠, 역광 등 다양한 종류의 노이즈 패턴을 포함할 수 있다.
단계 S210에 의해 오브젝트 예를 들어, 자동차의 번호판 영역을 추출하기 위한 학습 모델이 생성되면, 학습 모델 기반의 신경망을 이용하여 영상 촬영 수단으로부터 실시간으로 수신되는 입력 영상 또는 실시간으로 수신되지 않고 데이터를 저장하는 저장 수단으로부터 수신되는 입력 영상으로부터 오브젝트 즉, 자동차의 번호판 영역을 추출한다(S220).
예컨대, 도 3에 도시된 바와 같이, 학습 모델 기반의 신경망 예를 들어, 딥 러닝 인공 지능(deep-learning AI)를 이용하여 수신된 입력 영상(310)으로부터 입력 영상에 포함된 자동차의 번호판 영역(320)을 추출(plate area detection)한다.
여기서, 단계 S220에 의해 추출된 번호판 영역은 노이즈를 포함할 수 있기 때문에 이러한 노이즈를 제거하거나 번호판 영역이 흐릿한 영상일 수도 있기 때문에 흐릿한 영상을 선명한 영상으로 보정하기 위한 영상 보정(image compensation) 과정을 수행할 수 있다.
예를 들어, 단계 S220에 의해 추출된 번호판 영역의 콘트라스트(contrast)가 미리 설정된 기준 콘트라스트보다 낮은 경우 영상 보정 기능을 이용하여 추출된 번호판 영역의 콘트라스트를 일정 콘트라스트 예를 들어, 기준 콘트라스트로 조정함으로써, 추출된 번호판 영역의 선명하게 처리할 수 있다. 물론, 영상 보정 기능은 콘트라스트를 조정하는 것으로 한정되지 않으며, 영상을 선명하게 하기 위한 다양한 종륭의 영상 보정 기능을 포함할 수 있다.
즉, 본 발명의 실시예에 따른 방법은 도 3에 도시된 바와 같이 추출된 번호판 영역의 영상에 대하여 영상 보정을 수행함으로써, 영상 보정된 번호판 영역의 영상(330)을 생성할 수 있다.
단계 S220에 의해 추출된 번호판 영역에 대하여 영상 보정 기능을 수행함으로써, 영상 보정된 번호판 영역이 생성되면 영상 보정된 번호판 영역에 대하여 미리 설정된 인식 기법 예를 들어, OCR 기법을 이용하여 영상 보정된 번호판 영역으로부터 입력 영상에 포함된 오브젝트의 번호판에 대한 식별 정보 예를 들어, 차량 번호를 인식한다(S230)
즉, 도 3에 도시된 바와 같이, OCR 기법을 이용하여 영상 보정된 번호판 영역의 영상(330)으로부터 번호판 영역에 포함된 문자를 인식(character recognition)을 수행함으로써, 번호판 영역의 식별 정보 예를 들어, 차량 번호인 "13838B2"(340)를 인식한다.
이와 같이, 본 발명의 실시예들에 따른 방법은 오브젝트 영상 예를 들어, 자동차 영상으로부터 오브젝트에 부착된 번호판 영역을 미리 학습된 학습 모델 기반의 신경망 예를 들어, CNN을 이용하여 추출하고, 다른 기법 예를 들어, OCR 기법을 이용하여 추출된 번호판 영역으로부터 번호판 영역에 포함된 식별 정보 예를 들어, 문자를 인식함으로써, 번호판 인식률을 향상시키고, 인식 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 방법은 딥 러닝 신경망을 이용하여 오브젝트에 부착된 번호판 영역에 대한 추출 정확성을 향상시키고, 추출된 번호판 영역에 대한 영상 보정 후 OCR 기법을 이용하여 번호판의 식별 정보를 인식함으로써, 딥 러닝 기법과 OCR 기법을 결합한 하이브리드 기법을 이용하여 OCR 방식의 단점과 딥 러닝의 단점을 극복하여 비용을 절감시키면서 인식 정확도를 향상시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 하이브리드 기법을 이용한 번호판 인식 시스템에 대한 구성을 나타낸 것으로, 상술한 도 1 내지 도 3을 수행하는 시스템에 대한 개념적인 구성을 나타낸 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 번호판 인식 시스템(400)은 생성부(410), 추출부(420) 및 인식부(430)를 포함한다.
생성부(410)는 영상 데이터 예를 들어, 선명한 영상과 노이즈를 포함하는 영상을 포함하는 오브젝트에 포함된 번호판 영역을 추출하기 위한 학습 데이터를 이용한 학습을 통해 오브젝트에 부착된 번호판 영역을 추출하는 신경망의 학습 모델을 생성한다.
이 때, 생성부(410)는 미리 결정된 학습 데이터를 이용할 수도 있지만, 미리 결정된 학습 데이터와 미리 정해진 노이즈 패턴들을 이용하여 노이즈를 포함하는 영상 데이터를 생성하고, 이렇게 생성된 영상 데이터를 추가한 학습 데이터를 이용한 트레이닝을 통해 오브젝트로부터 번호판 영역을 추출하기 위한 학습 모델 또는 추출 모델을 생성할 수도 있다. 물론, 학습 모델에 사용되는 영상 데이터를 추가로 생성하기 위한 노이즈 패턴들은 번호판 영역을 추출하는데 있어서 발생될 수 있는 모든 종류의 노이즈 예를 들어, 흐림, 그림자, 어둠, 역광 등 다양한 종류의 노이즈 패턴을 포함할 수 있다.
추출부(420)는 생성부(410)에 의해 생성된 학습 모델 기반의 신경망을 이용하여 수신되는 입력 영상으로부터 오브젝트 즉, 자동차의 번호판 영역을 추출한다.
인식부(430)는 미리 설정된 인식 기법 예를 들어, OCR 기법을 이용하여 추출된 번호판 영역으로부터 해당 오브젝트의 번호판에 포함된 식별 정보를 인식한다.
이 때, 인식부(430)는 추출부(420)에 의해 추출된 번호판 영역에 노이즈가 포함될 수 있기 때문에 이러한 노이즈를 제거하거나 번호판 영역이 흐릿한 영상일 수도 있기 때문에 흐릿한 영상을 선명한 영상으로 보정하기 위한 영상 보정 과정을 수행할 수 있다.
예컨대, 인식부(430)는 추출된 번호판 영역의 콘트라스트가 미리 설정된 기준 콘트라스트보다 낮은 경우 영상 보정 기능을 이용하여 추출된 번호판 영역의 콘트라스트를 일정 콘트라스트 예를 들어, 기준 콘트라스트로 조정함으로써, 추출된 번호판 영역의 선명하게 처리할 수 있다.
즉, 인식부(430)는 추출부(420)에 의해 추출된 번호판 영역의 영상에 대하여 영상 보정을 수행함으로써, 영상 보정된 번호판 영역의 영상을 생성하고, 영상 보정된 번호판 영역에 대하여 OCR 기법을 이용하여 영상 보정된 번호판 영역으로부터 입력 영상에 포함된 오브젝트의 번호판에 대한 식별 정보 예를 들어, 차량 번호를 인식한다.
비록, 도 4의 시스템에서 그 설명이 생략되었더라도 본 발명에 따른 시스템은 도 1 내지 도 3의 방법에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (10)
- 입력 영상이 수신되면 미리 학습된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출하는 단계; 및
미리 설정된 인식 기법을 이용하여 상기 추출된 번호판 영역으로부터 해당 오브젝트의 번호판에 대한 식별 정보를 인식하는 단계
를 포함하는 번호판 인식 방법.
- 제1항에 있어서,
상기 인식 기법은
광학 문자 인식 기법(OCR; optical character recognition)을 포함하는 것을 특징으로 하는 번호판 인식 방법.
- 제1항에 있어서,
상기 인식하는 단계는
상기 추출된 번호판 영역에 대한 영상 보정을 수행하고, 상기 인식 기법을 이용하여 영상 보정된 번호판 영역으로부터 상기 식별 정보를 인식하는 것을 특징으로 하는 번호판 인식 방법.
- 제1항에 있어서,
상기 인식하는 단계는
상기 추출된 번호판 영역의 콘트라스트(contrast)가 미리 설정된 기준 콘트라스트보다 낮은 경우 상기 추출된 번호판 영역의 콘트라스트(contrast)를 기준 콘트라스트로 조정한 후 상기 인식 기법을 이용하여 상기 식별 정보를 인식하는 것을 특징으로 하는 번호판 인식 방법.
- 제1항에 있어서,
미리 설정된 오브젝트를 포함하는 영상 데이터를 이용한 학습을 통해 상기 오브젝트에 부착된 번호판 영역을 추출하는 학습 모델을 생성하는 단계
를 더 포함하고,
상기 추출하는 단계는
상기 생성된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출하는 것을 특징으로 하는 번호판 인식 방법.
- 입력 영상이 수신되면 미리 학습된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출하는 추출부; 및
미리 설정된 인식 기법을 이용하여 상기 추출된 번호판 영역으로부터 해당 오브젝트의 번호판에 대한 식별 정보를 인식하는 인식부
를 포함하는 번호판 인식 시스템.
- 제6항에 있어서,
상기 인식 기법은
광학 문자 인식 기법(OCR; optical character recognition)을 포함하는 것을 특징으로 하는 번호판 인식 시스템.
- 제6항에 있어서,
상기 인식부는
상기 추출된 번호판 영역에 대한 영상 보정을 수행하고, 상기 인식 기법을 이용하여 영상 보정된 번호판 영역으로부터 상기 식별 정보를 인식하는 것을 특징으로 하는 번호판 인식 시스템.
- 제6항에 있어서,
상기 인식부는
상기 추출된 번호판 영역의 콘트라스트(contrast)가 미리 설정된 기준 콘트라스트보다 낮은 경우 상기 추출된 번호판 영역의 콘트라스트(contrast)를 기준 콘트라스트로 조정한 후 상기 인식 기법을 이용하여 상기 식별 정보를 인식하는 것을 특징으로 하는 번호판 인식 시스템.
- 제6항에 있어서,
미리 설정된 오브젝트를 포함하는 영상 데이터를 이용한 학습을 통해 상기 오브젝트에 부착된 번호판 영역을 추출하는 학습 모델을 생성하는 생성부
를 더 포함하고,
상기 추출부는
상기 생성된 학습 모델의 신경망을 이용하여 상기 입력 영상으로부터 번호판 영역을 추출하는 것을 특징으로 하는 번호판 인식 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190078724A KR20210002893A (ko) | 2019-07-01 | 2019-07-01 | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190078724A KR20210002893A (ko) | 2019-07-01 | 2019-07-01 | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210002893A true KR20210002893A (ko) | 2021-01-11 |
Family
ID=74129068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190078724A KR20210002893A (ko) | 2019-07-01 | 2019-07-01 | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210002893A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022065547A1 (ko) * | 2020-09-24 | 2022-03-31 | 주식회사 키센스 | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 |
| KR102556036B1 (ko) * | 2023-03-29 | 2023-07-18 | 주식회사 로드맵 | Ai 딥러닝 영상 분석 기술 및 라이다 센서를 활용한 야외 주차장 관리 시스템 |
-
2019
- 2019-07-01 KR KR1020190078724A patent/KR20210002893A/ko not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022065547A1 (ko) * | 2020-09-24 | 2022-03-31 | 주식회사 키센스 | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 |
| KR102556036B1 (ko) * | 2023-03-29 | 2023-07-18 | 주식회사 로드맵 | Ai 딥러닝 영상 분석 기술 및 라이다 센서를 활용한 야외 주차장 관리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Vehicle detection in intelligent transportation systems and its applications under varying environments: A review | |
| CN106652465B (zh) | 一种道路异常驾驶行为的识别方法及系统 | |
| Davis et al. | A two-stage template approach to person detection in thermal imagery | |
| KR102002225B1 (ko) | 번호판 인식 방법 및 그 시스템 | |
| KR102077396B1 (ko) | 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치 | |
| Parvin et al. | Vehicle number plate detection and recognition techniques: a review | |
| Gao et al. | On‐line vehicle detection at nighttime‐based tail‐light pairing with saliency detection in the multi‐lane intersection | |
| KR20210002893A (ko) | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 | |
| JP5316337B2 (ja) | 画像認識システム、方法、及び、プログラム | |
| CN115952531A (zh) | 图像处理方法、装置、设备及存储介质 | |
| FAN et al. | Robust lane detection and tracking based on machine vision | |
| JP7264428B2 (ja) | 道路標識認識装置及びそのプログラム | |
| CN104463238A (zh) | 一种车牌识别方法和系统 | |
| Soga et al. | Pedestrian detection for a near infrared imaging system | |
| Lee et al. | A cumulative distribution function of edge direction for road-lane detection | |
| Boliwala et al. | Automatic number plate detection for varying illumination conditions | |
| Deb et al. | Vehicle license plate detection algorithm based on color space and geometrical properties | |
| Dandu et al. | Vehicular number plate recognition using edge detection and characteristic analysis of national number plates | |
| Zaman et al. | Deep Learning Approaches for Vehicle and Pedestrian Detection in Adverse Weather | |
| CN111639640A (zh) | 基于人工智能的车牌识别方法、装置及设备 | |
| KR101727432B1 (ko) | 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법 | |
| Megalingam et al. | Dual Thresholding Based License Plate Recognition | |
| KR102412133B1 (ko) | 강화된 차량 번호판 자동탐지 시스템 | |
| Petwal et al. | Computer vision based real time lane departure warning system | |
| WO2022065547A1 (ko) | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |