KR102458896B1 - 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치 - Google Patents
세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치 Download PDFInfo
- Publication number
- KR102458896B1 KR102458896B1 KR1020200107962A KR20200107962A KR102458896B1 KR 102458896 B1 KR102458896 B1 KR 102458896B1 KR 1020200107962 A KR1020200107962 A KR 1020200107962A KR 20200107962 A KR20200107962 A KR 20200107962A KR 102458896 B1 KR102458896 B1 KR 102458896B1
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- vehicle
- image
- text
- segmentation map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000011218 segmentation Effects 0.000 title claims abstract description 99
- 238000012015 optical character recognition Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 19
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치는, 컴퓨팅 디바이스에 의하여 실행되는 차량관리 어플리케이션이 세그멘테이션 맵 기반 차량 번호판 인식(license plate recognition, LPR)을 수행하는 방법으로서, 차량을 촬영한 영상인 차량 촬영영상을 획득하는 단계; 상기 세그멘테이션 맵을 기반으로 상기 차량 촬영영상 내 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계; 상기 검출된 배향 대응형 바운딩 박스의 번호판 플레이트 영역을 기초로 번호판 플레이트 이미지를 획득하는 단계; 상기 획득된 번호판 플레이트 이미지에 대한 워핑 처리를 수행하는 단계; 상기 워핑 처리된 번호판 플레이트 이미지를 기반으로 광학 문자 인식(OCR)을 수행하는 단계; 및 상기 광학 문자 인식에 기초하여 상기 차량에 대한 차량정보를 획득하여 제공하는 단계를 포함한다.
Description
본 발명은 세그멘테이션 맵(Segmentation map)을 기반으로 차량 번호판을 인식하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 차량을 촬영한 영상을 기초로 세그멘테이션 맵 기반 인식을 수행하여 해당 영상으로부터 차량 번호판 영역을 추출하고, 추출된 차량 번호판 영역 내 텍스트를 검출하여 차량 번호판을 인식하는 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치에 관한 것이다.
최근 들어, 차량이 증가하고 교통 환경이 복잡해짐에 따라 효율적인 교통관리를 위해 지능형 교통 시스템(intelligent transport system, ITS)이 연구되고 있으며, 이는 지능형 인프라 시스템과 지능형 차량 시스템으로 구성되어 있다.
특히, 차량의 번호판 인식(license plate recognition, LPR)은, 지능형 인프라 시스템의 핵심적인 부분이며, 고속도로 통행료 지불 시스템, 주차장 출입관리, 교통량 감시 및 정보 관리 등 실제로 많은 응용들에 쓰이고 사람의 단순 반복 업무를 대행하는 중요한 역할을 하고 있다.
그리하여 이와 관련된 다수의 종래 기술들이 개발되었으며, 본 기술 분야에서의 종래 기술들은, 일반적으로 차량을 촬영한 영상에서의 차량 번호판 영역을 검출하고, 검출된 차량 번호판 영역 내에서 문자나 숫자를 인식하는 방식에 기초하고 있다.
보다 자세히, 종래 기술의 일례들에서는, 차량 번호판의 높이 및 너비의 비율, 대칭성, 색상, 질감, 명암의 분포, 사용되는 문자의 특징 및/또는 바운딩 박스 검출 등을 이용하여 차량을 촬영한 영상에서의 차량 번호판 인식을 수행하였다.
그러나 종래의 방식에 기반한 번호판 인식은, 차량을 촬영하는 영상 내의 차량 각도에 따라서, 해당하는 차량의 번호판을 오인식하거나 미인식하는 경우가 발생한다는 문제점이 있다.
즉, 종래 방식의 번호판 인식 기술은, 카메라에 의해 촬영되는 차량의 입출차 및/또는 주차 각도 등에 따라서, 해당하는 차량의 번호판이 소정의 기울기(회전각)를 가지는 경우, 해당 번호판에 대한 텍스트 검출에 어려움이 있다는 한계가 있다.
또한, 종래의 번호판 인식에서는, 다양한 촬영각도에 대한 대응이 어려움으로 인하여, 차량을 촬영한 영상으로부터 번호판 영역이라고 판단되는 영역 내에 번호판 이외의 영역(예컨대, 번호판 이외의 배경 영역)이 상당 부분 포함되는 등 정확하게 번호판 영역을 인식하지 못하는 경우가 발생하여 차량 번호판 인식 과정에서의 신뢰도가 저하되는 문제가 있다.
또한, 번호판 인식에서는, 해당하는 번호판 영역에 기초한 이미지에 기반하여 해당 번호판의 텍스트를 추출하는 이미치 처리가 수행되는데, 이 과정에도 마찬가지로 위와 같이 번호판 이외의 영역에 의한 잡음이 포함된 이미지에 기초하여 이미지 처리를 수행하는 경우, 번호판 인식의 정확성이 저하되어 그 결과에 대한 품질에 악영향을 미친다는 문제가 있다.
본 발명은, 상술된 문제점들을 해결하기 위하여 안출된 것으로서, 차량을 촬영한 영상을 기초로 세그멘테이션 맵 기반 인식을 수행하여 차량 번호판 영역을 추출하고, 추출된 차량 번호판 영역 내 텍스트를 검출하여 차량 번호판을 인식하는 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치를 제공하고자 한다.
자세히, 본 발명은, 세그멘테이션 맵 기반 인식에 기초하여 차량을 촬영한 영상으로부터 번호판 이외의 영역은 온전히 배제된 차량 번호판 영역을 추출하는 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은, 세그멘테이션 맵 기반 인식에 기초하여 추출된 번호판 영역을 기반으로 획득되는 번호판 이미지가 소정의 기울기(회전각)을 가지는 경우, 해당 번호판 이미지에 대한 워핑(warping) 처리를 수행하는 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은, 워핑 처리된 번호판 이미지에 기반하여 광학 문자 인식(OCR)을 수행해 해당 번호판 이미지 내 텍스트를 검출하는 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치를 제공하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치는, 컴퓨팅 디바이스에 의하여 실행되는 차량관리 어플리케이션이 세그멘테이션 맵 기반 차량 번호판 인식(license plate recognition, LPR)을 수행하는 방법으로서, 차량을 촬영한 영상인 차량 촬영영상을 획득하는 단계; 상기 세그멘테이션 맵을 기반으로 상기 차량 촬영영상 내 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계; 상기 검출된 배향 대응형 바운딩 박스의 번호판 플레이트 영역을 기초로 번호판 플레이트 이미지를 획득하는 단계; 상기 획득된 번호판 플레이트 이미지에 대한 워핑 처리를 수행하는 단계; 상기 워핑 처리된 번호판 플레이트 이미지를 기반으로 광학 문자 인식(OCR)을 수행하는 단계; 및 상기 광학 문자 인식에 기초하여 상기 차량에 대한 차량정보를 획득하여 제공하는 단계를 포함한다.
이때, 상기 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계는, 상기 세그멘테이션 맵 기반의 인식에 기초하여 상기 차량 촬영영상에서 상기 번호판 플레이트 영역과 대응된 상기 배향 대응형 바운딩 박스로 상기 번호판 플레이트 영역으로 검출하는 단계를 포함한다.
또한, 상기 워핑 처리를 수행하는 단계는, 표준 번호판 플레이트 형태에 기초하여 상기 워핑 처리를 수행하는 단계를 포함하고, 상기 표준 번호판 플레이트 형태는, 상기 번호판 플레이트 이미지 내 텍스트를 수평방향으로 나열하는 소정의 각도를 가지는 번호판 플레이트 형태이다.
또한, 상기 워핑 처리를 수행하는 단계는, 상기 번호판 플레이트 이미지가 소정의 기울기를 가지는 경우, 상기 번호판 플레이트 이미지의 양단의 좌표값에 기초하여 기울기를 연산하고, 연산된 기울기를 기반으로 상기 번호판 플레이트 이미지에 대한 역회전을 수행하는 단계, 또는 상기 번호판 플레이트 이미지의 꼭지점과 상기 표준 번호판 플레이트 형태의 꼭지점에 기반하여 상기 번호판 플레이트 이미지를 상기 표준 번호판 플레이트 형태로 변형하는 단계 중 어느 하나의 단계를 더 포함한다.
또한, 상기 차량정보는, 상기 차량 촬영영상 내 상기 차량에 대하여 획득된 상기 번호판 플레이트 이미지의 텍스트를 기반으로 획득되어 상기 차량을 특정하는 정보이다.
또한, 상기 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계는, 상기 차량 촬영영상으로부터 복수의 상기 번호판 플레이트 영역이 감지되면, 사용자 입력 또는 상기 번호판 플레이트 영역의 면적에 기초하여 상기 번호판 플레이트 이미지를 생성할 상기 번호판 플레이트 영역을 선택하는 단계를 포함한다.
또한, 상기 배향 대응형 바운딩 박스는, 상기 번호판 플레이트 영역의 외곽을 따라서 형성되는 경계선을 기초로 형성되는 바운딩 박스이다.
또한, 상기 배향 대응형 바운딩 박스로 검출하는 단계는, 상기 촬영영상 내 번호판 플레이트 영역의 촬영각도에 따라서 서로 다른 형상으로 구현되는 상기 배향 대응형 바운딩 박스를 획득하는 단계를 포함한다.
또한, 상기 배향 대응형 바운딩 박스로 검출하는 단계는, 상기 번호판 플레이트 영역 내 텍스트가 상기 촬영각도에 따라서 소정의 왜곡을 가지는 경우, 상기 왜곡된 텍스트의 사방 각 경계선을 따라서 직각이 아닌 각도를 가지며 상기 배향 대응형 바운딩 박스를 획득하는 단계를 더 포함한다.
또한, 상기 워핑 처리를 수행하는 단계는, 상기 왜곡된 텍스트의 사방 각 경계선을 따라서 직각이 아닌 각도를 가지며 형성된 상기 배향 대응형 바운딩 박스를, 표준 번호판 플레이트 형태를 기반으로 변형하는 단계를 포함한다.
본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치는, 차량을 촬영한 영상을 기초로 세그멘테이션 맵 기반 인식을 수행하여 차량 번호판 영역을 추출하고, 추출된 차량 번호판 영역 내 텍스트를 검출하여 차량 번호판을 인식함으로써, 다양한 각도에서 획득되는 차량 촬영영상으로부터 번호판 이외의 영역은 온전히 배제된 영역만을 차량 번호판 영역으로 추출할 수 있고, 이를 통해 번호판 인식 결과의 정확도와 신뢰성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치는, 세그멘테이션 맵 기반 인식에 기초하여 차량을 촬영한 영상으로부터 번호판 이외의 영역은 온전히 배제된 차량 번호판 영역을 추출함으로써, 번호판 인식 수행 시 번호판 이외의 영역의 간섭에 의한 잡음을 최소화할 수 있고, 이를 통해 번호판 인식 프로세스의 성능 증진과 함께 그 결과에 대한 인식률(정확도 및/또는 신뢰도)을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치는, 세그멘테이션 맵 기반 인식에 기초하여 추출된 번호판 영역을 기반으로 획득되는 번호판 이미지가 소정의 기울기(회전각)을 가지는 경우, 해당 번호판 이미지에 대한 워핑(warping) 처리를 수행함으로써, 소정의 기울기를 가지는 번호판 이미지 내 텍스트 추출에 최적화된 형태로 해당 번호판 이미지를 변환할 수 있고, 이를 통해 번호판 이미지로부터 보다 명확한 텍스트 추출 결과 데이터를 획득할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치는, 워핑 처리된 번호판 이미지에 기반하여 광학 문자 인식(OCR)을 수행해 해당 번호판 이미지 내 텍스트를 검출함으로써, 텍스트 추출에 최적화된 형태(기울기(회전각))를 가지는 번호판 이미지를 기반으로 텍스트 검출을 수행할 수 있고, 이를 통해 어떠한 각도에서 차량 번호판이 촬영되더라도 해당 번호판으로부터의 텍스트 추출을 높은 정확도로 수행할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 데스크탑 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 컴퓨팅 디바이스의 기능적 관점에 따른 내부 블록도를 나타낸다.
도 5는 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 인식에 기초하여 차량 촬영영상으로부터 번호판 플레이트 영역을 검출하는 모습의 일례이다.
도 7은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 서비스의 개념도이다.
도 8은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 인식에 기초한 차량 번호판 영역 추출과, 종래의 회귀 기반 인식에 기초한 차량 번호판 영역 추출을 비교한 모습의 일례이다.
도 9는 본 발명의 실시예에 따른 워핑(Warping) 처리를 수행하는 방법을 설명하기 위한 도면의 일례이다.
도 10은 본 발명의 실시예에 따른 광학 문자 인식(OCR)을 수행하는 방법을 설명하기 위한 도면의 일례이다.
도 2는 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 데스크탑 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 컴퓨팅 디바이스의 기능적 관점에 따른 내부 블록도를 나타낸다.
도 5는 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 인식에 기초하여 차량 촬영영상으로부터 번호판 플레이트 영역을 검출하는 모습의 일례이다.
도 7은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 서비스의 개념도이다.
도 8은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 인식에 기초한 차량 번호판 영역 추출과, 종래의 회귀 기반 인식에 기초한 차량 번호판 영역 추출을 비교한 모습의 일례이다.
도 9는 본 발명의 실시예에 따른 워핑(Warping) 처리를 수행하는 방법을 설명하기 위한 도면의 일례이다.
도 10은 본 발명의 실시예에 따른 광학 문자 인식(OCR)을 수행하는 방법을 설명하기 위한 도면의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식 시스템은, 컴퓨팅 디바이스 및 카메라 시스템을 포함할 수 있다.
실시예에서, 컴퓨팅 디바이스 및 카메라 시스템은, 컴퓨팅 디바이스에서 실행되는 차량관리 어플리케이션의 구동을 통해 상호 연동하여, 카메라 시스템 및/또는 자체의 이미지 센서 등으로부터 획득되는 차량 촬영영상을 기초로 세그멘테이션 맵 기반 인식을 수행해 해당 차량 촬영영상 내 차량 번호판을 인식하는 세그멘테이션 맵 기반 자동차 등록 번호판 인식 서비스(license plate recognition, LPR: 이하, 번호판 인식 서비스)를 제공할 수 있다.
자세히, 실시예에서 컴퓨팅 디바이스는, 어플리케이션 제공서버 등으로부터 차량관리 어플리케이션을 다운받아 설치할 수 있으며, 차량관리 어플리케이션의 구동을 통해 번호판 인식(LPR) 서비스를 제공할 수 있다.
이때, 실시예에서 차량관리 어플리케이션은, 차량의 자동차등록번호판(이하, 번호판 플레이트)에 기반하여 적어도 하나 이상의 차량을 관리하는 주차공간 관리(주차 및/또는 입출차 관리 등) 서비스, 차량추적 서비스 및/또는 차체관리 서비스 등을 포함하는 종합적인 차량관리 플랫폼을 제공할 수 있는 어플리케이션일 수 있다.
이하의 실시예에서는, 차량관리 어플리케이션이 주차공간(주차장 등)에 대한 주차 및/또는 입출차를 관리하는 주차공간 관리 서비스를 수행하는 과정에 기준하여 설명하나, 이에 한정되는 것은 아니며 다양한 실시예들이 가능할 수 있다.
자세히, 실시예에서 차량관리 어플리케이션은, 카메라 시스템으로부터 주차공간에 관련된 차량을 촬영한 차량 촬영영상을 획득할 수 있다.
또한, 차량관리 어플리케이션은, 획득된 차량 촬영영상 내 번호판 플레이트 영역을 검출할 수 있고, 검출된 번호판 플레이트 영역을 기초로 번호판 플레이트 이미지를 획득할 수 있다.
이때, 실시예에서 차량관리 어플리케이션은, 세그멘테이션(Segmentation) 기반 인식에 기초하여 차량 촬영영상으로부터 번호판 플레이트 이미지를 획득할 수 있다.
또한, 차량관리 어플리케이션은, 획득된 번호판 플레이트 이미지에 기초한 워핑(Warping) 처리를 수행할 수 있다.
또한, 실시예에서 차량관리 어플리케이션은, 워핑 처리된 번호판 플레이트 이미지에 기반한 광학 문자 인식(optical character recognition, OCR)을 수행할 수 있다.
또한, 차량관리 어플리케이션은, 수행된 광학 문자 인식(OCR)에 기초하여 해당하는 차량에 대한 차량정보를 획득해 제공할 수 있다.
여기서, 실시예에 따른 차량정보란, 해당하는 차량을 특정하는 정보로서, 해당 차량의 번호판 플레이트 이미지 내 차량번호(숫자) 및/또는 문자 정보 등을 포함할 수 있다.
한편, 도 1의 컴퓨팅 디바이스 및 카메라 시스템은, 네트워크를 기반으로 연결될 수 있다.
여기서, 네트워크는, 컴퓨팅 디바이스 및 카메라 시스템 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
- 컴퓨팅 디바이스(100: Computing Device)
본 발명의 실시예에서 컴퓨팅 디바이스(100)는, 실시예에 따른 번호판 인식(LPR) 서비스를 이용하기 위한 환경을 제공하며, 이러한 번호판 인식(LPR) 서비스 환경 내에서 카메라 시스템 및/또는 자체의 이미지 센서 등으로부터 획득되는 차량 촬영영상을 기초로 세그멘테이션 맵 기반 인식을 수행해 해당 차량 촬영영상 내 차량 번호판에 대한 텍스트 정보를 감지하는 차량관리 어플리케이션을 실행할 수 있다.
또한, 실시예에서 컴퓨팅 디바이스(100)는, 이미지 딥러닝 뉴럴 네트워크(Image Deep-learning Neural Network)와 연동하여 번호판 인식(LPR) 서비스에 필요한 이미지 딥러닝을 수행할 수 있다.
여기서, 이미지 딥러닝 뉴럴 네트워크는, 컨볼루션 뉴럴 네트워크(CNN, Convolution Neural Network, 예컨대, 유-넷 컨볼루션 뉴럴 네트워크(U-net Convolution Neural Network)), 및 Mask R-CNN 중 적어도 하나의 딥러닝 뉴럴 네트워크를 포함할 수 있다.
이때, 실시예에 따른 컴퓨팅 디바이스(100)는, 위와 같은 이미지 딥러닝 뉴럴 네트워크를, 입력되는 이미지 및/또는 영상에 대한 세그멘테이션 기반 인식에 기초하여 해당 이미지 및/또는 영상 내 차량의 번호판 플레이트 영역만을 검출하도록 트레이닝하여 사용할 수 있다.
예시적으로, 컴퓨팅 디바이스(100)는, 번호판 플레이트 색상 훈련영상, 번호판 플레이트 질감 훈련영상 및/또는 비번호판 플레이트 영역 훈련영상 등에 기초하여, 입력되는 이미지 및/또는 영상으로부터 번호판 플레이트 영역만을 추출해내도록 트레이닝될 수 있다.
즉, 실시예에서 컴퓨팅 디바이스(100)는, 위처럼 기학습된 이미지 딥러닝 뉴럴 네트워크를 이용하여 세그멘테이션 맵 인식 기반의 번호판 인식(LPR)을 구현할 수 있다.
이때, 실시예에 따라서 위와 같은 이미지 딥러닝 뉴럴 네트워크는, 컴퓨팅 디바이스(100)와는 별도의 장치 및/또는 서버로서 구현될 수도 있고, 컴퓨팅 디바이스(100)에 포함되어 구현될 수도 있다.
이하의 설명에서는, 이미지 딥러닝 뉴럴 네트워크가 컴퓨팅 디바이스(100)에 포함되어 구현되는 것으로 설명하나 이에 한정되는 것은 아니다.
또한, 실시예에서 위와 같은 컴퓨팅 디바이스(100)는, 차량관리 어플리케이션이 설치된 다양한 타입(예컨대, 모바일 타입 또는 데스크탑 타입)의 컴퓨팅 디바이스(100)를 포함할 수 있다.
1. 모바일 타입 컴퓨팅 디바이스(200: Mobile type computing device)
본 발명의 실시예에서 모바일 타입 컴퓨팅 디바이스(200)는, 차량관리 어플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다.
예를 들어, 모바일 타입 컴퓨팅 디바이스(200)는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다.
도 2는 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스(200)의 내부 블록도이다.
도 2를 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다.
자세히, 메모리(210)에는, 차량관리 어플리케이션(211)이 저장되며, 차량관리 어플리케이션(211)에는 번호판 인식(LPR) 서비스를 구현할 수 있는 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
예를 들면, 메모리(210)는, 차량 촬영영상 정보, 번호판 플레이트 이미지 및/또는 차량정보 등을 포함할 수 있다.
즉, 메모리(210)는 번호판 인식(LPR) 서비스 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
또한, 메모리(210)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(210)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(210)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(220)는, 번호판 인식(LPR) 서비스 환경을 구현하기 위한 다양한 작업을 수행하기 위해, 메모리(210)에 저장된 차량관리 어플리케이션(211)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(220)는, 번호판 인식(LPR) 서비스를 제공하기 위하여 메모리(210)의 차량관리 어플리케이션(211)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 어셈블리(220)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(220)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 모듈(230)은, 다른 컴퓨팅 장치(예컨대, 카메라 시스템)와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(230)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 통신 모듈(230)은, 번호판 인식(LPR) 서비스 환경을 구현하기 위한 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서 통신 모듈(230)은, 번호판 인식(LPR) 서비스와 관련된 각종 데이터를 카메라 시스템 및/또는 다른 컴퓨팅 디바이스(100)와 송수신할 수 있다.
이러한 통신 모듈(230)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(260)은, 이미지 센서(261), 위치 센서(IMU, 263), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.
이미지 센서(261)는, 모바일 타입 컴퓨팅 디바이스(200) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서 이미지 센서(261)는, 번호판 인식(LPR) 서비스에 관련된 영상(실시예로, 차량 촬영영상 등)이 필요한 경우, 이를 촬영하여 획득할 수 있다.
또한, 이미지 센서(261)는, 모바일 타입 컴퓨팅 디바이스(200)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 모바일 타입 컴퓨팅 디바이스(200)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다.
이러한 이미지 센서(261)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(261)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(261)는, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(261)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
IMU(263)는 모바일 타입 컴퓨팅 디바이스(200)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(230)의 GPS와 같은 위치 통신 모듈(230)과 연동하여, 모바일 타입 컴퓨팅 디바이스(200) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
또한, IMU(263)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.
또한, 일부 구현들에서, 차량관리 어플리케이션(211)은 이러한 IMU(263) 및 이미지 센서(261)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.
오디오 센서(265)는, 모바일 타입 컴퓨팅 디바이스(200) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(265)는, 모바일 타입 컴퓨팅 디바이스(200) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(265)는, 번호판 인식(LPR) 서비스를 위해 필요한 음성 데이터를 사용자로부터 입력 받을 수 있다.
인터페이스 모듈(240)은, 모바일 타입 컴퓨팅 디바이스(200)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(240)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스 모듈(240)을 통해 모바일 타입 컴퓨팅 디바이스(200)는, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스 모듈(240)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로 오디오 출력장치가 인터페이스 모듈(240)을 통해 연결되는 것으로 설명하였으나, 모바일 타입 컴퓨팅 디바이스(200) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스 모듈(240)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(250)은 번호판 인식(LPR) 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(250)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(261)를 포함할 수 있다.
또한, 입력 시스템(250)은, 인터페이스 모듈(240)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(270)은, 번호판 인식(LPR) 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.
자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.
예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
2. 데스크탑 타입 컴퓨팅 디바이스(300: Desktop type computing device)
도 3은 본 발명의 실시예에 따른 데스크탑 타입 컴퓨팅 디바이스(300)의 내부 블록도이다.
데스크탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 모바일 타입 컴퓨팅 디바이스(200)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 모바일 타입 컴퓨팅 디바이스(200)와의 차이점을 중심으로 설명한다.
도 3을 참조하면, 다른 예시에서 데스크탑 타입 컴퓨팅 디바이스(300)는, 차량관리 어플리케이션(311)이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 번호판 인식(LPR) 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.
또한, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.
예시적으로, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.
또한, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치 등에 연결될 수 있다.
또한, 예시적인 구현에 따른 데스크탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 모듈(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 데스크탑 타입 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.
데스크탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명은 모바일 타입 컴퓨팅 디바이스(200)의 구성요소에 대한 설명으로 대체하기로 한다.
다만, 본 발명의 실시예에서 도 2 및 3에 도시된 구성요소들은, 컴퓨팅 디바이스(100)를 구현하는데 있어 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 컴퓨팅 디바이스(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
도 4는 본 발명의 실시예에 따른 컴퓨팅 디바이스(100)의 기능적 관점에 따른 내부 블록도를 나타낸다.
한편, 도 4를 참조하면, 실시예에서 기능적 관점에 따른 컴퓨팅 디바이스(100)는, 영상 획득부, 번호판 플레이트 추출부, 워핑부, 광학 문자 인식(OCR)부, 데이터베이스부 및 제어부를 포함할 수 있다.
여기서, 실시예에 따른 영상 획득부는, 외부의 카메라 시스템과 연동하거나, 또는 자체의 이미지 센서(261, 361)에 기반하여 소정의 차량(예컨대, 주차공간 입출입 차량 및/또는 주차 차량 등)을 촬영한 영상인 차량 촬영영상을 획득할 수 있다.
또한, 실시예에서 번호판 플레이트 추출부는, 이미지 딥러닝 뉴럴 네트워크와 연동하여, 획득된 차량 촬영영상에 대한 세그멘테이션 맵 기반 인식을 수행할 수 있다.
또한, 번호판 플레이트 추출부는, 세그멘테이션 맵 기반 인식을 통해 해당 차량 촬영영상 내 차량에 대한 번호판 플레이트 영역을 추출할 수 있다.
또한, 실시예에 따른 워핑부는, 이미지 및/또는 영상 내의 일부 영역을 정의된 영역(실시예에서, 표준 번호판 플레이트 영역)에 적합한 형태로 변형(warping)시킬 수 있다.
또한, 실시예에서 광학 문자 인식(OCR)부는, 이미지 및/또는 영상에 기반한 광학 문자 인식(OCR) 프로세스를 수행할 수 있다.
또한, 광학 문자 인식(OCR)부는, 광학 문자 인식(OCR) 프로세스의 수행으로 도출된 결과 데이터를 제공할 수 있다.
또한, 데이터베이스부는, 번호판 인식(LPR) 서비스를 구현하기 위한 각종 응용 프로그램, 어플리케이션, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.
실시예에서, 데이터베이스부는, 차량 촬영영상 정보, 번호판 플레이트 이미지 및/또는 차량정보 등을 저장 및 관리할 수 있다.
또한, 제어부는, 번호판 인식(LPR) 서비스를 제공하기 위하여 전술한 각 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 제어부는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 이하의 실시예에서는, 위와 같은 컴퓨팅 디바이스(100)를 주차공간(주차장)에 대한 관리를 수행하는 주차관리 컴퓨팅 디바이스에 기준하여 설명하나 이에 한정되는 것은 아니다.
또한, 이하의 실시예에서는, 위와 같은 컴퓨팅 디바이스(100)를 대용량의 데이터 처리에 유리한 데스크탑 타입 컴퓨팅 디바이스(300)에 기준하여 설명하나 이에 한정되는 것은 아니다.
- 카메라 시스템(400: Camera Systems)
본 발명의 실시예에 따른 카메라 시스템은, 차량의 번호판 인식(LPR) 서비스에 필요한 이미지 및/또는 영상을 촬영하여 획득할 수 있다.
이때, 이하의 실시예에서 카메라 시스템은, 주차공간(주차장 등)에 배치되어 번호판 인식(LPR) 서비스에 필요한 이미지 및/또는 영상을 획득한다고 설명되나, 이에 한정되는 것은 아니다.
자세히, 실시예에서 카메라 시스템은, 주차공간(주차장 등)에 관련된 차량(예를 들면, 주차공간 입출차 차량 및/또는 주차 차량 등)을 촬영한 영상인 차량 촬영영상을 획득할 수 있고, 이를 외부의 컴퓨팅 장치(실시예에서, 컴퓨팅 디바이스(100))로 제공할 수 있다.
보다 상세히, 실시예에서 카메라 시스템은, 주차공간 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
예시적으로, 카메라 시스템은, 주차공간에 배치된 CCTV(Closed-Circuit TeleVision) 및/또는 블랙박스 등으로 구현될 수 있다.
이때, 실시예에서 카메라 시스템은, 차량을 센싱할 수 있는 위치라면 어디에도 배치되어 동작할 수 있다.
또한, 실시예에서 카메라 시스템은, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다.
자세히, 카메라 시스템은, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 카메라 시스템은, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서 및/또는 외부의 컴퓨팅 장치(실시예로, 컴퓨팅 디바이스(100) 등)에 전달할 수 있다.
이러한 카메라 시스템은, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다.
이때, 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
또한, 카메라 시스템은, 감지되는 공간 영역 상의 오브젝트(즉, 실시예에서 차량)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다.
예를 들어, 카메라 시스템은, 가속도계, 자이로스코프, 자력계, 또는 에너지(빛, 소리 및/또는 진동)를 감지할수 있는 다양한 센서의 조합으로 이루어 질 수 있다.
또한, 실시예에서 카메라 시스템은, GPS와 같은 위치 통신 모듈과 연동하여, 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
더하여, 실시예에서 카메라 시스템은, 센싱(촬영)되는 영역에 대한 공간 인식과 함께 해당 공간 내 오브젝트(실시예에서, 차량)에 대한 트래킹(Tracking)을 수행할 수 있다.
자세히, 카메라 시스템은, 감지된 공간 내의 오브젝트의 위치 및/또는 방위(자세) 등에 대한 변화를 트래킹할 수 있다.
그리고 카메라 시스템은, 트래킹 정보(예컨대, 오브젝트의 위치, 움직임, 방향 및/또는 속도 등에 대한 감지정보 등)를 획득할 수 있다.
여기서는, 카메라 시스템이 감지된 공간에 대한 트래킹을 수행하여 트래킹 정보를 획득한다고 설명하였으나, 실시예에 따라서 컴퓨팅 디바이스(100)가 카메라 시스템으로부터 획득된 영상 정보에 기초하여 트래킹을 수행해 트래킹 정보를 획득할 수도 있는 등 다양한 실시예 또한 가능하다.
- 세그멘테이션 맵 기반 차량 번호판 인식(LPR) 방법
이하, 주차공간(주차장 등)을 관리하는 컴퓨팅 디바이스(100)의 차량관리 어플리케이션(211, 311)이, 세그멘테이션 맵에 기반하여 차량 번호판을 인식하는 방법을 도 5 내지 도 10을 참조하여 상세히 설명한다.
여기서의 차량관리 어플리케이션(211, 311)은, 모바일 타입 컴퓨팅 디바이스(200)의 차량관리 어플리케이션(211) 및/또는 데스크탑 타입 컴퓨팅 디바이스(300)의 차량관리 어플리케이션(311)을 의미할 수 있다.
이하의 설명에서는, 데스크탑 타입 컴퓨팅 디바이스(300)의 차량관리 어플리케이션(311)을 기준으로 세그멘테이션 맵에 기반하여 차량 번호판을 인식하는 방법을 수행하는 과정을 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식(LPR) 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 발명의 실시예에서 데스크탑 컴퓨팅 디바이스(300)의 차량관리 어플리케이션(311)은, 차량 촬영영상을 획득할 수 있다. (S101)
자세히, 실시예에서 차량관리 어플리케이션(311)은, 카메라 시스템 및/또는 자체 이미지 센서(361)로부터 소정의 차량(실시예에서, 주차공간(주차장 등)에 위치하는 적어도 하나 이상의 차량(예컨대, 주차공간 입출차 차량 및/또는 주차 차량 등))을 촬영한 영상인 차량 촬영영상을 획득할 수 있다.
여기서, 상기 차량 촬영영상은, 해당 영상 내 차량의 번호판 플레이트 영상을 포함하는 영상일 수 있다.
또한, 예시적으로 차량 촬영영상은, 주차공간 내 배치된 카메라 시스템에 의해 소정의 차량을 촬영한 CCTV(Closed-Circuit TeleVision) 영상 및/또는 블랙박스 영상 등으로 구현될 수 있다.
이때, 위와 같은 차량 촬영영상의 파일 타입은, 현재 널리 쓰이고 있는 JPEG, BMP 또는 GIF 등을 포함할 수 있고, 이외의 파일 형식도 가능할 수 있다.
또한, 실시예에서 차량관리 어플리케이션(311)은, 획득된 차량 촬영영상 내 번호판 플레이트 영역을 검출하여 번호판 플레이트 이미지를 획득할 수 있다. (S103)
도 6은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 인식에 기초하여 차량 촬영영상으로부터 번호판 플레이트 영역을 검출하는 모습의 일례이다.
자세히, 도 6을 참조하면, 실시예에서 차량관리 어플리케이션(311)은, 이미지 딥러닝 뉴럴 네트워크와 연동하여, 획득된 차량 촬영영상에 대한 세그멘테이션(Segmentation) 맵 인식 기반의 번호판 플레이트 영역을 검출할 수 있다.
자세히, 실시예에서 차량관리 어플리케이션(311)은, 획득된 차량 촬영영상에 기초한 오브젝트 디텍션(Object Detection)을 수행할 수 있다.
이때, 차량관리 어플리케이션(311)은, 해당 차량 촬영영상 내 텍스트를 추출하는 텍스트 오브젝트 디텍션을 수행하여, 추출된 텍스트 영역을 지정하는 사각형태의 바운딩 박스(Bounding Box)를 생성할 수 있다.
즉, 실시예에서 차량관리 어플리케이션(311)은, 차량 촬영영상 내 번호판 플레이트 영역이 포함하는 소정의 텍스트(실시예로, 해당 번호판 플레이트 내 숫자 및/또는 문자)를 딥러닝 기반의 오브젝트 디텍션을 수행하여 추출할 수 있고, 추출된 텍스트를 지정하는 바운딩 박스를 생성할 수 있다.
다만, 일반적으로 위와 같이 형성되는 바운딩 박스(10)는, 추출된 텍스트 영역(즉, 번호판 플레이트 영역)의 외곽에 대한 기울기(회전각)나 방향과는 관계없이, 해당 텍스트 영역을 에워싸는 직사각형 형태의 바운딩 박스로 구현되고 있다.
즉, 오브젝트 디텍션은, 찾고자하는 객체를 전부 포괄하는 이미지 외곽선과 평행한 직사각형 형태의 바운딩 박스(10)로 객체를 검출한다.
이러한 바운딩 박스(10)의 경우, 해당 바운딩 박스(10) 내에 번호판 플레이트 영역 이외의 배경 영역을 상당 부분 더 포함한다.
이로 인하여, 바운딩 박스(10)를 기반으로 번호판 플레이트 영역을 검출하는 경우, 차량 촬영영상 내 차량의 입출차 및/또는 주차 각도나 방향 등에 따라서 해당 차량의 번호판 플레이트 영역이 소정의 기울기(회전각)를 가지면, 해당 번호판 플레이트 영역에 대한 텍스트 검출(즉, 광학 문자 인식(OCR)) 시 잡음(예컨대, 배경 영역 등)이 간섭하여, 정확한 텍스트 인식에 어려움이 발생할 수 있다.
그리하여 본 발명의 실시예에서 차량관리 어플리케이션(311)은, 세그멘테이션에 기반한 오브젝트 디텍션에 기초하여, 차량 촬영영상 내 소정의 기울기(회전각)을 가지는 번호판 플레이트가 존재하는 경우, 해당 번호판 플레이트 영역의 기울기(회전각)나 방향에 따른 맞춤형 바운딩 박스인 배향 대응형 바운딩 박스(20)를 생성하는 세그멘테이션 맵 기반의 번호판 인식 서비스를 제공하고자 한다.
여기서, 실시예에 따른 세그멘테이션이란, 패턴 인식 알고리즘 등에 기반하여 이미지 및/또는 영상에 포함된 텍스트(숫자 및/또는 문자 등)를 인식하는 과정 이전에 수행되는 전처리 프로세싱으로서, 카메라 시스템 및/또는 자체 이미지 센서(361)로부터 획득된 영상 정보에서 소정의 텍스트를 포함하는 번호판 플레이트 영역만을 추출하는 프로세싱을 의미할 수 있다.
즉, 실시예에서 세그멘테이션 맵 기반의 번호판 플레이트 영역 인식은, 차량 촬영영상에 대한 텍스트 오브젝트 디텍션을 수행함과 동시에, 딥러닝에 기반한 세그멘테이션을 기초로 위와 같이 디텍션된 텍스트 오브젝트 영역(즉, 번호판 플레이트 영역)의 기울기(회전각)나 배열방향에 맞춤형 형상으로 형성되는 배향 대응형 바운딩 박스(20)를 획득하는 프로세싱일 수 있다.
보다 상세히, 실시예에서 차량관리 어플리케이션(311)은, 위와 같은 세그멘테이션에 기반한 이미지 딥러닝에 기초하여, 소정의 기울기(회전각)을 가지는 번호판 플레이트가 존재하는 경우에도, 해당 번호판 플레이트 영역의 기울기(회전각)나 배열방향에 따라서 형성된 배향 대응형 바운딩 박스(20)를 차량 촬영영상으로부터 획득할 수 있다.
여기서, 실시예에 따른 배향 대응형 바운딩 박스(20)는, 바운딩 박스(10)와는 달리, 텍스트 오브젝트 디텍션을 통해 검출된 텍스트 오브젝트 영역(즉, 번호판 플레이트 영역)의 외곽을 따라서 맞춤형 형태로 형성될 수 있다.
자세히, 배향 대응형 바운딩 박스(20)는, 차량 촬영영상의 외곽선과 평행하지 않은 직선으로 형성될 수 있다.
예를 들어, 배향 대응형 바운딩 박스(20)는, 차량 촬영영상에서 검출된 텍스트들이 나열된 방향에 따라 연장된 직선으로 이루어진 경계선으로 이루어진 사각형 박스일 수 있다.
또한, 배향 대응형 바운딩 박스(20)는, 직사각형이 아닌, 다양한 사각형태의 박스로 형성될 수 있다.
예를 들어, 텍스트들이 기울어지거나 촬영 각도에 따라서 왜곡된 경우, 텍스트들의 상측과 하측에서 일어난 왜곡을 나타내기 위해, 텍스트 사방의 각 경계선은 직각이 아닌 각도를 가지며 형성될 수 있다.
즉, 실시예에서 배향 대응형 바운딩 박스(20)는, 차량 촬영영상 내 번호판 플레이트 영역의 기울기나 방향에 따라서 형성되므로 직사각형 형태 이외의 다양한 형태로 구현될 수 있다.
예를 들면, 배향 대응형 바운딩 박스(20)는, 사다리꼴 형태 바운딩 박스 또는 마름모꼴 형태 바운딩 박스 등의 형태로 형성될 수 있다.
이와 같이, 실시예에서 차량관리 어플리케이션(311)은, 위와 같은 배향 대응형 바운딩 박스(20)를 생성하여 세그멘테이션 맵 인식 기반의 차량 번호판 플레이트 인식을 수행함으로써, 바운딩 박스(10)와는 달리 번호판 플레이트 영역 이외의 영역(배경 영역 등)이 바운딩 박스에 포함되는 것을 최소화할 수 있고, 이를 통해 추후 해당 번호판 플레이트 영역을 기초로 수행되는 이미지 처리 프로세스(실시예에서, 워핑 변환 및/또는 광학 문자 인식(OCR) 등)의 정확도를 현저히 향상시킬 수 있다.
또한, 실시예에서 차량관리 어플리케이션(311)은, 위와 같은 세그멘테이션 맵 인식 기반의 차량 번호판 플레이트 인식을 수행함으로써, 바운딩 박스(10)를 검출하는 방식으로 텍스트 영역을 추출하고, 추출된 텍스트 영역을 기초로 별도의 세그멘테이션을 수행하는 방식에 비교하여 데이터 처리 시간을 단축시킴과 동시에 실시간 대응을 수행해야하는 주차관리 시스템에 대한 성능을 향상시킬 수 있다.
또한, 실시예에서 차량관리 어플리케이션(311)은, 추출된 번호판 플레이트 영역을 마스킹하여 번호판 플레이트 이미지를 획득할 수 있다.
이때, 예시적으로 차량관리 어플리케이션(311)은, 개시된 Mask RCNN 알고리즘 기술 등에 기반하여 위와 같은 세그멘테이션 맵 인식 기반의 번호판 플레이트 영역 검출을 수행할 수 있다.
자세히, 예시에서 차량관리 어플리케이션(311)은, Mask RCNN 알고리즘을 이용하여 차량 촬영영상 내 적어도 하나 이상의 오브젝트에 대한 분류(Classification), 바운딩 박스 검출(BBox Regression) 및 마스킹(Masking) 프로세스를 동시에 수행할 수 있다.
이때, 차량관리 어플리케이션(311)은, ROI(Region of Interest Pooling) 프로세스에 기반하여, 서로 다른 크기의 피처 맵(feature maps)을 동일한 크기로 변환시켜줄 수 있고, 이를 통해 해당하는 차량 촬영영상 내 적어도 하나 이상의 번호판 플레이트 후보 영역 ROI(즉, 오브젝트 경계박스)를 검출할 수 있다.
또한, 예시에서 차량관리 어플리케이션(311)은, 적어도 하나 이상의 후보 ROI에 대한 특징 맵을 RolAlign 방식을 기초로 추출할 수 있고, 추출된 특징 맵으로부터 해당 후보 ROI에 대한 오브젝트 클래스를 분류함과 동시에 해당 오브젝트에 대한 마스크를 획득할 수 있다.
그리고, 차량관리 어플리케이션(311)은, 획득된 마스크에 기초한 세그멘테이션을 수행하여, 최종적으로 번호판 플레이트 영역이라고 판단되는 영역을 검출할 수 있고, 검출된 영역에 기초하여 해당 차량 촬영영상에 대한 번호판 플레이트 이미지를 획득할 수 있다.
이상에서, 예시적으로 차량관리 어플리케이션(311)이 세그멘테이션 맵 기반 인식을 Mask RCNN 알고리즘에 기반하여 수행한다고 설명하였으나, 본 발명의 실시예에서는 세그멘테이션 맵 기반 인식을 수행하는 방법에 있어서 종래의 공지된 수학적 알고리즘을 적용할 수 있으며, 이러한 세그멘테이션 맵 기반의 인식을 수행하는 알고리즘 자체를 한정하거나 제한하지는 않는다.
이와 같이, 실시예에서 차량관리 어플리케이션(311)은, 세그멘테이션 맵 인식을 기반으로 차량 촬영영상 내의 번호판 플레이트 이미지를 획득함으로써, 차량 촬영영상으로부터 번호판 플레이트 영역 이외의 배경 영역은 모두 배제된 번호판 플레이트 이미지를 획득할 수 있다.
또한, 이를 통해 차량관리 어플리케이션(311)은, 상기 배경 영역의 간섭에 의한 잡음이 최소화된 상태로 오로지 번호판 플레이트 영역만을 기반으로 추후 해당 번호판 플레이트 내 텍스트 추출을 수행할 수 있고, 그 결과의 정확도와 성능을 향상시킬 수 있다.
보다 구체적으로 설명하자면, 통상적으로 차량 촬영영상 내 번호판 플레이트가 포함하는 텍스트를 타겟으로 일반적인 세그멘테이션을 적용하는 경우, 각각의 텍스트에 대한 픽셀 단위 라벨링의 처리 부하나 비효율성 문제가 발생할 수 있다.
도 7은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식(LPR) 서비스의 개념도이다.
그리하여, 도 7을 참조하면, 본 발명의 실시예에서 차량관리 어플리케이션(311)은, 위와 같은 문제를 최소화하기 위해, 차량 촬영영상 내 번호판 플레이트 영역만을 세그멘테이션 맵에 기반하여 먼저 검출할 수 있다.
또한, 실시예에서 차량관리 어플리케이션(311)은, 검출된 번호판 플레이트 영역을 기반으로 번호판 플레이트 이미지를 획득할 수 있다.
또한, 차량관리 어플리케이션(311)은, 획득된 번호판 플레이트 이미지에 와핑(Warping) 처리를 수행하여 보정 작업을 진행할 수 있다.
또한, 차량관리 어플리케이션(311)은, 와핑 처리에 기반한 보정에 의하여 표준 번호판 플레이트 형태(예컨대, 번호판 표준 규격의 직사각형 형태 등)를 가지는 번호판 플레이트 이미지를 획득할 수 있다.
또한, 차량관리 어플리케이션(311)은, 획득된 표준 번호판 플레이트 형태의 번호판 플레이트 이미지에 기초하여 광학 문자 인식(OCR) 프로세스를 수행할 수 있다.
그리고 차량관리 어플리케이션(311)은, 위와 같이 수행된 광학 문자 인식(OCR) 프로세스에 기반하여, 해당하는 번호판 플레이트 이미지 내 텍스트를 감지하여 제공하는 번호판 인식(LPR) 서비스를 구현할 수 있다.
도 8은 본 발명의 실시예에 따른 세그멘테이션 맵 기반 인식(Segmentation-based detection)에 기초한 차량 번호판 영역 추출과, 종래의 회귀 기반 인식(Regression-based detection)에 기초한 차량 번호판 영역 추출을 비교한 모습의 일례이다.
여기서, 종래의 본 기술분야에서는, 차량 촬영영상 내 번호판 플레이트 영역을 검출할 시, 번호판 플레이트의 기울기(회전각)에 관계없이, 번호판 플레이트가 시작하는 지점과 끝나는 지점을 수평적으로 감지하여 직사각형 형태의 바운딩 박스(10)를 검출해 번호판 플레이트 영역을 감지하는 프로세스(예컨대, 회귀 기반 인식 프로세스(Regression-based methods) 등)를 사용하였다.
그러나 이러한 종래 방식에서는, 차량 촬영영상 내의 번호판 플레이트가 소정의 기울기(회전각)을 가지는 등의 경우, 해당 번호판 플레이트에 대하여 획득되는 번호판 플레이트 이미지가, 번호판 플레이트 영역을 표시하는 픽셀 이외의 배경 영역을 나타내는 픽셀까지 상당 영역 포함하는 문제가 발생한다.
그러나, 본 발명의 실시예에서 차량관리 어플리케이션(311)은, 세그멘테이션 맵 기반의 번호판 플레이트 영역 검출을 수행함으로써, 소정의 기울기(회전각)를 가지는 번호판 플레이트인 경우에도 해당 번호판 플레이트 영역을 표시하는 픽셀만이 해당 번호판 플레이트 이미지에 포함되도록 추출할 수 있다.
즉, 본 발명의 실시예에서 차량관리 어플리케이션(311)은, 차량 촬영영상으로부터 번호판 플레이트 영역 이외의 배경 영역은 모두 배제된 번호판 플레이트 영역(20)을 검출할 수 있고, 검출된 번호판 플레이트 영역을 기초로 번호판 플레이트 이미지를 획득할 수 있고, 이를 통해 추후 위와 같이 획득된 번호판 플레이트 이미지에 기초하여 수행되는 워핑 처리 및/또는 광학 문자 인식(OCR) 프로세스의 정확도와 성능을 향상시킬 수 있다.
여기서, 예시적으로 차량관리 어플리케이션(311)은, 획득된 차량 촬영영상에 기반한 세그멘테이션 수행 시, 해당 차량 촬영영상으로부터 번호판 플레이트 영역을 검출하기 위하여 기설정된 번호판 색상 모델을 이용해 상기 차량 촬영영상에 대한 색상 양자화를 수행할 수 있다.
이때, 상기 번호판 색상 모델은, 번호판 플레이트 배경색 영역, 번호판 플레이트 글자색 영역 및 기타 영역에 대한 기설정된 색상 모델을 포함할 수 있다.
또한, 차량관리 어플리케이션(311)은, 색상 양자화된 차량 촬영영상으로부터 소정의 번호판 플레이트(예컨대, 제조사 별 표준 번호판 플레이트 등)와 유사한 색상 및/또는 질감을 가지는 영역을 추출할 수 있다.
또한, 차량관리 어플리케이션(311)은, 추출된 영역에 대하여 너무 작거나 기형적인 잡음 영역이 존재할 경우, 해당 잡음 영역에 대한 제거 처리를 수행할 수 있다.
그리하여, 차량관리 어플리케이션(311)은, 최종적인 번호판 플레이트 영역을 도출할 수 있고, 이를 기초로 해당 번호판 플레이트 영역에 대한 번호판 플레이트 이미지를 획득할 수 있다.
이때, 실시예에 따라서 차량관리 어플리케이션(311)은, DeepLab V3+ 및/또는 PixelLink 알고리즘 등을 더 이용하여 위와 같은 세그멘테이션 맵 기반 인식 프로세스를 수행할 수도 있다.
참고적으로, DeepLab V3+ 알고리즘이란, 딥러닝 네트워크 중간의 피처 맵(Feature map)에 서로 다른 커널 크기의 풀링(Pooling)을 적용하는 SPP모듈이 다양한 크기의 물체를 감지할 수 있도록 보조하는 알고리즘일 수 있다.
또한, PixelLink 알고리즘이란, 이미지 및/또는 영상에 대한 딥러닝을 수행할 시, 해당 이미지 및/또는 영상의 각 픽셀 별 주변에 위치하는 8개의 픽셀이 기준 픽셀이 속하는 영역에 함께 속하는지 여부를 예측 가능한 알고리즘일 수 있다.
이상에서 DeepLab V3+ 및/또는 PixelLink 알고리즘과 같은 종래 기술을 더 이용하여 세그멘테이션 맵 기반의 인식 프로세스를 수행할 수 있다고 설명하였으나, 본 발명의 실시예에서는 세그멘테이션 맵 기반 인식을 수행하는 방법에 있어서 종래의 공지된 다양한 수학적 알고리즘을 적용할 수 있으며, 이러한 세그멘테이션 맵 기반의 인식을 수행하는 알고리즘 자체를 한정하거나 제한하지는 않는다.
이와 같이, 실시예에서 차량관리 어플리케이션(311)은, 위와 같은 세그멘테이션 맵 인식을 기반으로 차량 촬영영상 내의 번호판 플레이트 이미지를 획득함으로써, 다양한 각도에서 획득되는 차량 촬영영상에서의 번호판 플레이트 영역을, 일반 직사각형 형태의 바운딩 박스를 기반으로 감지할 때보다 더욱 정확하게 추출해낼 수 있는 효과가 있다.
또한, 이를 통해 차량관리 어플리케이션(311)은, 차량 촬영영상으로부터 번호판 플레이트 영역 이외의 배경 영역은 모두 배제된 번호판 플레이트 이미지를 획득하여, 추후 해당 번호판 플레이트 내 텍스트 추출을 수행할 시 그 결과의 인식률을 향상시킬 수 있다.
이때, 실시예에 따라서 차량관리 어플리케이션(311)은, 차량 촬영영상로부터 복수의 번호판 플레이트가 감지되는 경우, 1) 차량 촬영영상 내에서 가장 근접한 위치에 존재하는 번호판 플레이트를 자동으로 검출할 수 있다.
예를 들면, 차량관리 어플리케이션(311)은, 차량 촬영영상 내 복수의 번호판 플레이트 영역 중에서, 가장 큰 면적을 차지하는 번호판 플레이트 영역을 검출할 수 있다.
그리고 차량관리 어플리케이션(311)은, 위와 같이 검출된 번호판 플레이트 영역에 기반한 번호판 플레이트 이미지를 획득할 수 있고, 획득된 이미지에 기초하여 후술되는 기능 동작을 수행할 수 있다.
다른 실시예로, 차량관리 어플리케이션(311)은, 2) 사용자 선택 입력에 기초하여 복수의 번호판 플레이트 중 하나를 선택할 수 있다.
그리고 차량관리 어플리케이션(311)은, 사용자 입력에 의해 선택된 번호판 플레이트 영역을 기반으로 번호판 플레이트 이미지를 획득하여 후술되는 기능 동작을 수행할 수 있다.
이와 같이, 실시예에 따라서 차량관리 어플리케이션(311)은, 차량 촬영영상이 복수의 번호판 플레이트 영역을 포함하더라도, 해당 차량 촬영영상이 타겟으로 하고 있는 메인 번호판 플레이트 영역을 판단하여 활용할 수 있다.
도 9는 본 발명의 실시예에 따른 워핑(Warping) 처리를 수행하는 방법을 설명하기 위한 도면의 일례이다.
또한, 도 9를 참조하면, 실시예에서 차량관리 어플리케이션(311)은, 획득된 번호판 플레이트 이미지에 기초한 워핑(Warping) 처리를 수행할 수 있다. (S105)
여기서, 실시예에 따른 워핑 처리란, 이미지 및/또는 영상 내의 일부 영역을 지정하여, 정의된 영역(실시예에서, 표준 번호판 플레이트 영역)에 적합한 형태로 변형(warping)시켜주는 연산을 의미할 수 있다. 즉, 워핑 처리는, 픽셀의 위치 이동에 기초한 기하학적 이미지 및/또는 영상 처리 기술일 수 있다.
구체적으로, 실시예에서 번호판 플레이트 이미지는, 해당 번호판 플레이트 이미지가 획득된 차량 촬영영상에서의 차량의 위치 및/또는 배치에 따라서 소정의 기울기(회전각)를 가질 수 있다.
다만, 번호판 플레이트 이미지가 소정의 기울기(회전각)를 가지는 경우, 해당 번호판 플레이트 이미지 내의 텍스트를 검출하는데 어려움이 발생할 수 있다.
그러므로, 본 발명의 실시예에서는 차량관리 어플리케이션(311)은, 번호판 플레이트 이미지가 소정의 기울기(회전각)을 가지는 경우, 해당 번호판 플레이트 이미지에 기초한 텍스트 검출 등의 후속 영상 처리의 성능 향상을 위하여, 해당 번호판 플레이트 이미지 내 텍스트에 대한 감지 정확도를 최대화할 수 있는 기울기(회전각)를 가지는 번호판 플레이트로 해당 번호판 플레이트 이미지를 변형시키는 워핑 보정을 수행할 수 있다.
자세히, 본 발명의 실시예에서 차량관리 어플리케이션(311)은, 획득된 번호판 플레이트 이미지를 표준 번호판 플레이트 형태로 변환하는 워핑 프로세스를 수행할 수 있다.
여기서, 실시예에 따른 표준 번호판 플레이트 형태란, 번호판 플레이트 이미지 내 텍스트(실시예에서, 숫자 및/또는 문자 등)에 대한 감지 정확도를 최대화할 수 있는 기설정된 기울기(회전각)를 가지는 번호판 플레이트 영역(형태)일 수 있다.
실시예에서, 표준 번호판 플레이트 형태는, 번호판 플레이트 이미지 내 텍스트가 수평으로 위치하게 하는 소정의 각도(예컨대, 수평각)를 가지는 번호판 플레이트 형태(영역)일 수 있다.
또한, 이러한 표준 번호판 플레이트 형태는, 번호판 인식(LPR) 서비스 상에 기설정되어 있을 수 있다.
예를 들면, 표준 번호판 플레이트 형태는, 차량 제조사 별로 기설정되어 번호판 인식(LPR) 서비스 상에 저장 및 관리될 수 있다.
즉, 실시예에서 차량관리 어플리케이션(311)은, 표준 번호판 플레이트 형태에 기초하여, 차량 촬영영상으로부터 획득된 번호판 플레이트 이미지가 소정의 기울기(회전각)을 가지면, 해당 번호판 플레이트 이미지 내 텍스트가 수평으로 위치하도록 역회전시키는 워핑 처리를 수행할 수 있다.
보다 상세히, 실시예에서 차량관리 어플리케이션(311)은, 차량 촬영영상에서의 차량의 위치 및/또는 배치에 따라서 소정의 기울기(회전각)을 가진 채 생성되는 번호판 플레이트 이미지에 대한 워핑 보정을 수행하여, 기설정된 표준 번호판 플레이트 형태로 변형할 수 있다.
이때, 실시예에서 차량관리 어플리케이션(311)은, 번호판 플레이트 이미지 양단의 좌표값에 기초하여 기울기를 연산할 수 있고, 연산된 기울기만큼 해당 번호판 플레이트 이미지를 역회전시킬 수 있다.
그리하여 차량관리 어플리케이션(311)은, 해당 번호판 플레이트 이미지 내 텍스트가 수평각을 가지도록 변환된 번호판 플레이트 이미지를 획득할 수 있다.
다른 실시예로, 차량관리 어플리케이션(311)은, 번호판 플레이트 이미지 및 표준 번호판 플레이트 형태의 각 꼭지점에 기준하여, 워핑 처리를 수행할 수 있다.
자세히, 차량관리 어플리케이션(311)은, 번호판 플레이트 이미지의 제 1 내지 4 꼭지점이, 표준 번호판 플레이트 형태의 제 1 내지 4 꼭지점에 각각 대응되어 매칭되도록 형태를 변환함으로써, 소정의 기울기(회전각)을 가지는 번호판 플레이트 이미지를 표준 번호판 플레이트 형태로 변형하는 워핑 프로세스를 수행할 수 있다.
이와 같이, 차량관리 어플리케이션(311)은, 다양한 촬영각도에서 촬영된 차량 촬영영상의 번호판 플레이트 이미지(즉, 다양한 각도로 회전된 번호판 플레이트 이미지)를, 해당 번호판 플레이트 이미지 내 텍스트에 대한 감지 정확도를 최대화할 수 있는 기울기(회전각)를 가지는 번호판 플레이트 영역(형태)으로 변환하여 줌으로써, 추후 번호판 플레이트 이미지에 기반한 텍스트 추출의 정확도와 성능을 향상시킬 수 있다.
도 10은 본 발명의 실시예에 따른 광학 문자 인식(OCR)을 수행하는 방법을 설명하기 위한 도면의 일례이다.
또한, 도 10을 참조하면, 실시예에서 차량관리 어플리케이션(311)은, 워핑 처리된 번호판 플레이트 이미지에 기반한 광학 문자 인식(Optical Character Recognition, OCR)을 수행할 수 있다. (S107)
여기서, 광학 문자 인식(OCR)이란, 번호판 플레이트 이미지에 포함된 텍스트(실시예로, 숫자 및/또는 문자 등)를 개별 단위로 분리하여 검출하는 프로세싱을 의미할 수 있다.
즉, 실시예에서 차량관리 어플리케이션(311)은, 표준 번호판 플레이트 형태로 워핑 보정된 번호판 플레이트 이미지를 기초로 광학 문자 인식(OCR) 프로세스를 수행하여, 해당 번호판 플레이트 이미지 내 텍스트를 검출할 수 있다.
예시적으로, 차량관리 어플리케이션(311)은, 기 트레이닝된 실세계 데이터셋(real-world dataset) 및/또는 STN(Spatial Transformer Network)를 이용하여, 워핑 보정된 번호판 플레이트 이미지에 기반한 광학 문자 인식(OCR)을 수행할 수 있다.
본 발명의 실시예에서는, 광학 문자 인식(OCR)을 수행하는데 있어 예시와 같은 종래의 공지된 수학적 알고리즘을 적용할 수 있으며, 광학 문자 인식(OCR)을 수행하는 알고리즘 자체를 한정하거나 제한하지는 않는다.
이와 같은, 실시예에서 차량관리 어플리케이션(311)은, 세그멘테이션 맵 기반 인식을 통해 획득된 번호판 플레이트 이미지를, 해당 번호판 플레이트 이미지 내 텍스트를 인식하기 용이한 형태(실시예에서, 번호판 플레이트 이미지 내 텍스트가 수평으로 위치하게 하는 형태 등)로 워핑 보정하고, 워핑 보정된 번호판 플레이트 이미지를 기반으로 광학 문자 인식(OCR)을 수행함으로써, 어떠한 각도에서 번호판 플레이트가 촬영되더라도, 해당 번호판 플레이트에 기초한 텍스트 추출을 높은 정확도로 수행할 수 있다.
또한, 본 발명의 실시예에서 차량관리 어플리케이션(311)은, 수행된 광학 문자 인식(OCR)에 기초한 차량정보를 획득해 출력할 수 있다. (S109)
여기서, 실시예에 따른 차량정보란, 차량 촬영영상 내 차량에 대하여 획득된 번호판 플레이트 이미지의 텍스트를 기반으로 획득되어 해당 차량을 특정하는 정보로서, 실시예에서 번호판 플레이트 이미지 내 차량번호(숫자) 및/또는 자동차등록번호 정보 등을 포함할 수 있다.
자세히, 실시예에서 차량관리 어플리케이션(311)은, 차량 촬영영상 내 소정의 차량에 대해 획득되어 워핑 처리된 번호판 플레이트 이미지에 대한 광학 문자 인식(OCR)을 통해, 해당 번호판 플레이트 이미지로부터 소정의 텍스트(실시예로, 해당 번호판 플레이트 내 숫자 및/또는 문자)를 획득할 수 있다.
또한, 차량관리 어플리케이션(311)은, 위와 같이 획득된 텍스트에 기초하여 해당 차량에 대응되는 차량정보를 생성할 수 있다.
실시예로, 차량관리 어플리케이션(311)은, 제 1 차량의 번호판 플레이트 이미지로부터 획득된 숫자 텍스트에 기초하여, 제 1 차량의 차량번호 정보를 생성할 수 있다.
또한, 실시예에서 차량관리 어플리케이션(311)은, 제 1 차량의 번호판 플레이트 이미지로부터 획득된 숫자 텍스트와 문자 텍스트를 기초로, 제 1 차량의 자동차등록번호 정보를 생성할 수 있다.
그리고 실시예에서 차량관리 어플리케이션(311)은, 생성된 제 1 차량에 대한 차량번호 정보 및/또는 자동차등록번호 정보에 기반하여 제 1 차량에 대응되는 차량정보를 생성할 수 있다.
또한, 차량관리 어플리케이션(311)은, 위와 같이 생성된 차량정보를 디스플레이(371)로 출력하여 사용자에게 제공할 수 있다.
이와 같이, 실시예에서 차량관리 어플리케이션(311)은, 워핑 처리된 번호판 플레이트 이미지로부터 보다 높은 정확도로 텍스트를 추출하고, 추출된 텍스트를 기초로 해당 번호판 플레이트에 매칭되는 차량에 대한 차량정보를 생성해 제공함으로써, 차량 촬영영상에 기초한 세그멘테이션 맵 기반 인식을 수행하는 번호판 인식(LPR) 서비스를 통해 해당 차량 촬영영상 내 차량에 대한 보다 명확하고 신뢰성 있는 차량정보를 도출하여 제공할 수 있다.
이상, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식(LPR) 방법 및 장치는, 차량을 촬영한 영상을 기초로 세그멘테이션 맵 기반 인식을 수행하여 차량 번호판 영역을 추출하고, 추출된 차량 번호판 영역 내 텍스트를 검출하여 차량 번호판을 인식함으로써, 다양한 각도에서 획득되는 차량 촬영영상으로부터 번호판 이외의 영역은 온전히 배제된 영역만을 차량 번호판 영역으로 추출할 수 있고, 이를 통해 번호판 인식(LPR) 결과의 정확도와 신뢰성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식(LPR) 방법 및 장치는, 세그멘테이션 맵 기반 인식에 기초하여 차량을 촬영한 영상으로부터 번호판 이외의 영역은 온전히 배제된 차량 번호판 영역을 추출함으로써, 번호판 인식(LPR) 수행 시 번호판 이외의 영역의 간섭에 의한 잡음을 최소화할 수 있고, 이를 통해 번호판 인식(LPR) 프로세스의 성능 증진과 함께 그 결과에 대한 인식률(정확도 및/또는 신뢰도)을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식(LPR) 방법 및 장치는, 세그멘테이션 맵 기반 인식에 기초하여 추출된 번호판 영역을 기반으로 획득되는 번호판 이미지가 소정의 기울기(회전각)을 가지는 경우, 해당 번호판 이미지에 대한 워핑(warping) 처리를 수행함으로써, 소정의 기울기를 가지는 번호판 이미지 내 텍스트 추출에 최적화된 형태로 해당 번호판 이미지를 변환할 수 있고, 이를 통해 번호판 이미지로부터 보다 명확한 텍스트 추출 결과 데이터를 획득할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 세그멘테이션 맵 기반 차량 번호판 인식(LPR) 방법 및 장치는, 워핑 처리된 번호판 이미지에 기반하여 광학 문자 인식(OCR)을 수행해 해당 번호판 이미지 내 텍스트를 검출함으로써, 텍스트 추출에 최적화된 형태(기울기(회전각))를 가지는 번호판 이미지를 기반으로 텍스트 검출을 수행할 수 있고, 이를 통해 어떠한 각도에서 차량 번호판이 촬영되더라도 해당 번호판으로부터의 텍스트 추출을 높은 정확도로 수행할 수 있는 효과가 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
Claims (20)
- 컴퓨팅 디바이스에 의하여 실행되는 차량관리 어플리케이션이 세그멘테이션 맵 기반 차량 번호판 인식(license plate recognition, LPR)을 수행하는 방법으로서,
차량을 촬영한 영상인 차량 촬영영상을 획득하는 단계;
상기 세그멘테이션 맵을 기반으로 상기 차량 촬영영상 내 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계;
상기 검출된 배향 대응형 바운딩 박스의 번호판 플레이트 영역을 기초로 번호판 플레이트 이미지를 획득하는 단계;
상기 획득된 번호판 플레이트 이미지에 대한 워핑 처리를 수행하는 단계;
상기 워핑 처리된 번호판 플레이트 이미지를 기반으로 광학 문자 인식(OCR)을 수행하는 단계; 및
상기 광학 문자 인식에 기초하여 상기 차량에 대한 차량정보를 획득하여 제공하는 단계를 포함하고,
상기 세그멘테이션 맵을 기반으로 상기 차량 촬영영상 내 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계는,
텍스트 오브젝트 디텍션 및 세그멘테이션을 동시에 실행하도록 학습된 Mask RCNN 알고리즘을 실행하는 단계와,
상기 실행한 Mask RCNN 알고리즘을 기초로 상기 번호판 플레이트 영역의 분류 프로세스, 상기 번호판 내 텍스트의 사방 경계선을 따라서 소정의 각도를 가지고 형성되는 상기 텍스트 배향 대응형 바운딩 박스의 검출 프로세스 및 마스킹 프로세스를 하나의 모듈에서 동시에 처리하는 단계를 포함하는
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 삭제
- 제 1 항에 있어서,
상기 워핑 처리를 수행하는 단계는,
표준 번호판 플레이트 형태에 기초하여 상기 워핑 처리를 수행하는 단계를 포함하고,
상기 표준 번호판 플레이트 형태는,
상기 번호판 플레이트 이미지 내 텍스트를 수평방향으로 나열하는 소정의 각도를 가지는 번호판 플레이트 형태인
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 제 3 항에 있어서,
상기 워핑 처리를 수행하는 단계는,
상기 번호판 플레이트 이미지가 소정의 기울기를 가지는 경우,
상기 번호판 플레이트 이미지의 양단의 좌표값에 기초하여 기울기를 연산하고, 연산된 기울기를 기반으로 상기 번호판 플레이트 이미지에 대한 역회전을 수행하는 단계, 또는 상기 번호판 플레이트 이미지의 꼭지점과 상기 표준 번호판 플레이트 형태의 꼭지점에 기반하여 상기 번호판 플레이트 이미지를 상기 표준 번호판 플레이트 형태로 변형하는 단계 중 어느 하나의 단계를 더 포함하는
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 제 1 항에 있어서,
상기 차량정보는,
상기 차량 촬영영상 내 상기 차량에 대하여 획득된 상기 번호판 플레이트 이미지의 텍스트를 기반으로 획득되어 상기 차량을 특정하는 정보인
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 제 1 항에 있어서,
상기 세그멘테이션 맵을 기반으로 상기 차량 촬영영상 내 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계는,
상기 차량 촬영영상으로부터 복수의 상기 번호판 플레이트 영역이 감지되면,
사용자 입력 또는 상기 번호판 플레이트 영역의 면적에 기초하여 상기 번호판 플레이트 이미지를 생성할 상기 번호판 플레이트 영역을 선택하는 단계를 더 포함하는
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 삭제
- 제 1 항에 있어서,
상기 배향 대응형 바운딩 박스로 검출하는 단계는,
상기 촬영영상 내 번호판 플레이트 영역의 촬영각도에 따라서 서로 다른 형상으로 구현되는 상기 배향 대응형 바운딩 박스를 획득하는 단계를 포함하는
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 제 8 항에 있어서,
상기 세그멘테이션 맵을 기반으로 상기 차량 촬영영상 내 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하는 단계는,
상기 번호판 플레이트 영역 내 텍스트가 상기 촬영각도에 따라서 소정의 왜곡을 가지는 경우, 상기 왜곡된 텍스트의 사방 각 경계선을 따라서 직각이 아닌 각도를 가지며 상기 배향 대응형 바운딩 박스를 획득하는 단계를 더 포함하는
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 제 9 항에 있어서,
상기 워핑 처리를 수행하는 단계는,
상기 왜곡된 텍스트의 사방 각 경계선을 따라서 직각이 아닌 각도를 가지며 형성된 상기 배향 대응형 바운딩 박스를, 표준 번호판 플레이트 형태를 기반으로 변형하는 단계를 포함하는
세그멘테이션 맵 기반 차량 번호판 인식 방법. - 카메라 시스템과 연동하여 차량 촬영영상을 획득하는 통신 모듈;
상기 획득된 차량 촬영영상을 저장하는 메모리;
상기 차량 촬영영상을 기초로 세그멘테이션 맵 기반 차량 번호판 인식(LPR)을 수행하는 차량관리 어플리케이션;
상기 차량 번호판 인식을 수행하여 획득되는 차량정보를 출력하는 디스플레이; 및
상기 차량관리 어플리케이션을 실행하는 프로세서를 포함하고,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여 상기 세그멘테이션 맵을 기반으로 상기 차량 촬영영상 내 번호판 플레이트 영역을 상기 번호판 내 텍스트 배향 대응형 바운딩 박스로 검출하고, 상기 검출된 배향 대응형 바운딩 박스의 번호판 플레이트 영역을 기초로 번호판 플레이트 이미지를 획득하며,
상기 획득된 번호판 플레이트 이미지에 대한 워핑 처리를 수행하고, 상기 워핑 처리된 번호판 플레이트 이미지를 기반으로 광학 문자 인식(OCR)을 수행하며, 상기 광학 문자 인식에 기초하여 상기 차량정보를 획득해 상기 디스플레이를 제어하여 출력하고,
상기 프로세서는,
텍스트 오브젝트 디텍션 및 세그멘테이션을 동시에 실행하도록 학습된 Mask RCNN 알고리즘을 실행하고,
상기 실행한 Mask RCNN 알고리즘을 기초로 상기 번호판 플레이트 영역의 분류 프로세스, 상기 번호판 내 텍스트의 사방 경계선을 따라서 소정의 각도를 가지고 형성되는 상기 텍스트 배향 대응형 바운딩 박스의 검출 프로세스 및 마스킹 프로세스를 동시에 처리하는
세그멘테이션 맵 기반 차량 번호판 인식 장치. - 삭제
- 제 11 항에 있어서,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여 상기 번호판 플레이트 이미지 내 텍스트를 수평방향으로 나열하는 소정의 각도를 가지는 번호판 플레이트 형태인 표준 번호판 플레이트 형태를 기초로 상기 워핑 처리를 수행하는
세그멘테이션 맵 기반 차량 번호판 인식 장치. - 제 13 항에 있어서,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여, 상기 번호판 플레이트 이미지가 소정의 기울기를 가지는 경우 상기 번호판 플레이트 이미지의 양단의 좌표값에 기초하여 기울기를 연산하고, 연산된 기울기를 기반으로 상기 번호판 플레이트 이미지에 대한 역회전을 수행하거나, 또는 상기 번호판 플레이트 이미지의 꼭지점과 상기 표준 번호판 플레이트 형태의 꼭지점에 기반하여 상기 번호판 플레이트 이미지를 상기 표준 번호판 플레이트 형태로 변형하는
세그멘테이션 맵 기반 차량 번호판 인식 장치. - 제 11 항에 있어서,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여, 상기 차량 촬영영상 내 차량에 대하여 획득된 상기 번호판 플레이트 이미지의 텍스트를 기반으로 획득되어 상기 차량을 특정하는 정보인 상기 차량정보를 획득하는
세그멘테이션 맵 기반 차량 번호판 인식 장치. - 제 11 항에 있어서,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여, 상기 차량 촬영영상으로부터 복수의 상기 번호판 플레이트 영역이 감지되면, 사용자 입력 또는 상기 번호판 플레이트 영역의 면적에 기초하여 상기 번호판 플레이트 이미지를 생성할 상기 번호판 플레이트 영역을 선택하는
세그멘테이션 맵 기반 차량 번호판 인식 장치. - 삭제
- 제 11 항에 있어서,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여, 상기 차량 촬영영상 내 번호판 플레이트 영역의 촬영각도에 따라서 서로 다른 형상으로 구현되는 상기 배향 대응형 바운딩 박스를 획득하는
세그멘테이션 맵 기반 차량 번호판 인식 장치. - 제 18 항에 있어서,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여 상기 번호판 플레이트 영역 내 텍스트가 상기 촬영각도에 따라서 소정의 왜곡을 가지는 경우, 상기 왜곡된 텍스트의 사방 각 경계선을 따라서 직각이 아닌 각도를 가지며 상기 배향 대응형 바운딩 박스를 획득하는
세그멘테이션 맵 기반 차량 번호판 인식 장치. - 제 19 항에 있어서,
상기 프로세서는,
상기 차량관리 어플리케이션을 제어하여 상기 왜곡된 텍스트의 사방 각 경계선을 따라서 직각이 아닌 각도를 가지며 형성된 상기 배향 대응형 바운딩 박스를, 표준 번호판 플레이트 형태를 기반으로 변형하는
세그멘테이션 맵 기반 차량 번호판 인식 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200107962A KR102458896B1 (ko) | 2020-08-26 | 2020-08-26 | 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200107962A KR102458896B1 (ko) | 2020-08-26 | 2020-08-26 | 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220026881A KR20220026881A (ko) | 2022-03-07 |
| KR102458896B1 true KR102458896B1 (ko) | 2022-10-26 |
Family
ID=80817787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200107962A KR102458896B1 (ko) | 2020-08-26 | 2020-08-26 | 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102458896B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102612593B1 (ko) * | 2022-09-14 | 2023-12-08 | 인천대학교 산학협력단 | 전방 차량의 위치에 따라 지향성 광신호를 전송할 수 있는 차량용 신호 전송 장치 및 그 동작 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101403876B1 (ko) * | 2012-03-19 | 2014-06-09 | 한밭대학교 산학협력단 | 차량 번호판 인식 방법과 그 장치 |
| KR101778605B1 (ko) | 2017-02-21 | 2017-09-14 | 주식회사 엑시냅스 | 차량 번호판 인식 방법 및 장치 |
-
2020
- 2020-08-26 KR KR1020200107962A patent/KR102458896B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220026881A (ko) | 2022-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210001885A1 (en) | Method for predicting direction of movement of target object, vehicle control method, and device | |
| US9602728B2 (en) | Image capturing parameter adjustment in preview mode | |
| US8965117B1 (en) | Image pre-processing for reducing consumption of resources | |
| US9436883B2 (en) | Collaborative text detection and recognition | |
| WO2019214313A1 (zh) | 一种车辆定损的交互处理方法、装置、处理设备及客户端 | |
| US9177224B1 (en) | Object recognition and tracking | |
| US11709282B2 (en) | Asset tracking systems | |
| CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| CN112184818A (zh) | 基于视觉的车辆定位方法及应用其方法的停车场管理系统 | |
| KR101491461B1 (ko) | 공분산 기술자를 이용하는 물체 인식 방법 및 장치 | |
| US10062195B2 (en) | Method and device for processing a picture | |
| WO2019171628A1 (en) | Image processing system and image processing method | |
| CN103270535A (zh) | 用于跟踪脸部部分的方法、装置和计算机程序产品 | |
| CN111950570B (zh) | 目标图像提取方法、神经网络训练方法及装置 | |
| US20210097290A1 (en) | Video retrieval in feature descriptor domain in an artificial intelligence semiconductor solution | |
| KR102625000B1 (ko) | 딥러닝 기반의 자동차 번호판 인식 방법 및 그 시스템 | |
| CN103971087A (zh) | 一种实时搜索及识别交通标志的方法及装置 | |
| US20230360246A1 (en) | Method and System of Real-Timely Estimating Dimension of Signboards of Road-side Shops | |
| KR102458896B1 (ko) | 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치 | |
| Kong et al. | Particle filter‐based vehicle tracking via HOG features after image stabilisation in intelligent drive system | |
| Delibaşoğlu | Moving object detection method with motion regions tracking in background subtraction | |
| CN112822471B (zh) | 投影控制方法、智能机器人及相关产品 | |
| US20190096073A1 (en) | Histogram and entropy-based texture detection | |
| CN111310595B (zh) | 用于生成信息的方法和装置 | |
| CN113449629B (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |