KR102269367B1 - 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템 - Google Patents
딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템 Download PDFInfo
- Publication number
- KR102269367B1 KR102269367B1 KR1020200141619A KR20200141619A KR102269367B1 KR 102269367 B1 KR102269367 B1 KR 102269367B1 KR 1020200141619 A KR1020200141619 A KR 1020200141619A KR 20200141619 A KR20200141619 A KR 20200141619A KR 102269367 B1 KR102269367 B1 KR 102269367B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- license plate
- deep learning
- image
- characteristic information
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 118
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 31
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 229940061368 sonata Drugs 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G06K9/00664—
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
- G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
- G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
-
- G06K2209/15—
-
- G06K2209/23—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Finance (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Devices For Checking Fares Or Tickets At Control Points (AREA)
Abstract
딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템을 개시한다. 본 발명의 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템은, 주차장 안으로 진입하는 차량의 번호판을 포함하는 입차 차량의 외관 이미지 또는 주차장 밖으로 진출하는 차량의 번호판을 포함하는 출차 차량의 외관 이미지를 촬상하는 촬상부, 입차 차량의 외관 이미지 또는 출차 차량의 외관 이미지에서 번호판 영역과 번호판 이외의 영역을 식별하고, 식별된 번호판 영역에서 차량 번호 정보를 추출하여 해당 차량을 식별하는 차량 식별부, 차량 식별부에 의해서 차량 식별이 불가한 입차 차량에 대한 이미지를 딥러닝 서버로 전송하고, 차량 식별부에 의해서 출차 차량을 식별할 수 없는 경우에 딥러닝 서버로 해당 출차 차량에 관한 특징 정보를 요청하고, 딥러닝 서버로 부터 수신한 특징 정보를 이용하여 해당 출차 차량을 식별하는 딥러닝 모델링부 및 차량 식별부 또는 딥러닝 모델링부에 의해서 처리된 차량 식별 결과에 기초하여 주차 정산 처리를 실행하는 정산 처리부를 포함한다.
Description
본 발명은 주차 정산 시스템에 관한 것으로써, 보다 상세하게는 딥러닝 기반의 차량 특징점을 이용하여 차량을 식별할 수 있는 주차 정산 시스템에 관한 것이다.
최근 정보 통신 기술과 자동화 기술의 발전으로 인하여 무인 정산 시스템이 다양한 곳곳에 적용되서 활용되고 있다. 그 중에서도 주차 정산 시스템에는 무인화의 시도가 활발하게 이루어지고 있다. 무인 주차 정산 시스템을 성공적으로 구축하기 위해서는 주차장으로 입출입하는 차량을 정확히 식별해야 한다.
일반적으로 입출입하는 차량을 식별하기 위해서는 입출시에 차량에 대한 정지영상을 촬영하고, 번호판 영역을 검출한 뒤 이를 이진 영상으로 변환한다. 이진영상으로 변환된 번호판 이미지를 전처리 과정을 거쳐서 번호판의 내용을 인식한다. 이때, 숫자, 문자 등을 인식하여 차량 번호를 최종적으로 산출하게 된다.
하지만, 촬영 조건이 열악한 상황에서 차량 번호판이 촬영되면 번호판 영역을 검출하지 못할 수 있다. 또는 차량의 번호판이 물리적으로 훼손되거나 오염등이 되어서 해당 번호판의 내용을 분석할 수 없는 경우에 해당 차량을 식별할 수 있는 방법이 기존에는 없었다. 이러한 경우에는 입출입 단계에서 차량 번호 미인식이라는 오류가 발생될 수 있다.
입차 단계에서 차량 번호 미인식이 발생하면 운전자가 출입 시설에 구비된 인터폰 등을 이용하여 관제실과 통화하여 해당 차량에 대한 입차 정보를 관리자에게 알려주어야 한다. 또는 관리자는 CCTV 등을 이용하여 해당 차량 정보를 확인하여 이를 수기로 입력해야 한다. 출차 단계에서 차량 번호 미인식이 발생하면 운전자는 관제실에 연락을 취하여 해당 차량의 입차 기록에 대해서 문의하고, 관리자가 기 입력된 정보와 대조하는 과정을 거쳐서 해당 차량에 대한 정산을 할 수 밖에 없다.
하지만, 사람에 의한 차량 식별도 어려운 경우에는 해당 차량에 대한 미인식 오류를 해결할 수 있는 방법이 사실상 없으므로 입차 과정에서는 차량이 입차하지 못하는 문제가 발생하고, 출차 과정에서는 주차비 정산을 할 수 없는 문제점이 야기될 수 있다.
상술한 문제점을 해결하기 위하여 안출된 본 발명은 차량을 식별하는 과정에서 차량 번호 정보를 이용할 수 없는 경우에 차량 번호 정보 이외에 차량의 특징 정보를 파악하여 해당 차량을 식별함으로써 차량에 대한 식별 정확도를 높여줄 수 있는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템은 주차장 안으로 진입하는 차량의 번호판을 포함하는 입차 차량의 외관 이미지 또는 주차장 밖으로 진출하는 차량의 번호판을 포함하는 출차 차량의 외관 이미지를 촬상하는 촬상부; 상기 입차 차량의 외관 이미지 또는 상기 출차 차량의 외관 이미지에서 번호판 영역과 번호판 이외의 영역을 식별하고, 식별된 번호판 영역에서 차량 번호 정보를 추출하여 해당 차량을 식별하는 차량 식별부; 상기 차량 식별부에 의해서 차량 식별이 불가한 입차 차량에 대한 이미지를 딥러닝 서버로 전송하고, 상기 차량 식별부에 의해서 출차 차량을 식별할 수 없는 경우에 상기 딥러닝 서버로 해당 출차 차량에 관한 특징 정보를 요청하고, 상기 딥러닝 서버로 부터 수신한 특징 정보를 이용하여 해당 출차 차량을 식별하는 딥러닝 모델링부; 및 상기 차량 식별부 또는 상기 딥러닝 모델링부에 의해서 처리된 차량 식별 결과에 기초하여 주차 정산 처리를 실행하는 정산 처리부;를 포함한다.
이 경우에, 상기 촬상부는, 차량의 번호판 영역을 포함하되, 차량의 보닛, 헤드라이트 및 라디에이터 그릴 영역의 일부 또는 전부 중 적어도 하나 이상의 차량의 번호판 이외 영역을 더 포함하는 차량 외관 이미지를 촬상할 수 있다.
이 경우에, 상기 촬상부는, 상기 차량 외관 이미지를 촬상할 경우에 상기 차량의 번호판 영역을 포함하는 제1 영역을 제1 해상도로 촬상하고, 상기 차량의 번호판 이외 영역을 포함하는 제2 영역을 제2 해상도로 촬상하며, 상기 제1 해상도는 상기 제2 해상도보다 고해상도이다.
이 경우에, 상기 차량 식별부는, 상기 차량 외관 이미지를 상기 차량의 번호판 영역과 상기 차량의 번호판 이외 영역으로 구분하는 머신 러닝 기반의 분류 모델을 포함한다.
이 경우에, 상기 차량 식별부는, 상기 차량의 번호판 영역을 번호 정보 영역과 비번호 정보 영역으로 분리하고, 상기 분리된 번호 정보 영역을 이미지 분석하여 차량 번호 정보를 추출하여 해당 차량을 식별할 수 있다.
이 경우에, 상기 딥러닝 모델링부는, 상기 차량 식별부에 의한 차량 식별이 불가한 경우, 상기 차량의 번호판 영역 중 번호 정보 영역과 비번호 정보 영역으로 분리하고, 상기 분리된 비번호 정보 영역을 이미지 분석하여 번호판의 특징 정보를 추출할 수 있다.
한편, 상기 딥러닝 모델링부는, 상기 차량 식별부에 의한 차량 식별이 불가한 경우, 상기 차량의 번호판 이외의 영역 중 차량의 보닛, 헤드라이트 및 라디에이터 그릴 영역 중 어느 하나의 이미지를 분석하여 차량의 특징 정보를 추출할 수 있다.
한편, 상기 딥러닝 모델링부는, 상기 딥러닝 서버로부터 사전 훈련된 차량 식별 모델을 수신하고, 상기 수신한 차량 식별 모델에 상기 차량의 번호판 영역 이미지 정보 또는 상기 차량의 번호판 이외 영역 이미지 정보를 입력하여 해당 차량의 식별 결과를 획득할 수 있다.
이 경우에, 상기 딥러닝 모델링부는, 상기 딥러닝 서버로부터 해당 차량의 식별 정보로서 번호판 특징 정보 또는 차량 특징 정보를 수신하여 해당 차량을 식별할 수 있다.
이 경우에, 상기 정산 처리부는, 상기 차량 식별부에 의해서 식별된 입차 차량 번호 정보와 출차 차량 번호 정보가 불일치할 경우에 상기 딥러닝 모델링부에 의해서 차량 특징 정보 또는 번호판 특징 정보에 의해서 해당 차량을 식별할 수 있다.
본 발명의 다양한 실시 예에 따르면, 차량을 식별하기 위하여 차량 번호 정보를 이용할 수 없는 경우에 번호 정보 이외에 차량의 특징 정보를 파악하여 해당 차량을 식별함으로서 차량 미인식율을 낮춰주는 효과를 발휘하고,
차량 번호 인식 오류가 발생하더라도 차량 특징 정보에 기초하여 해당 차량을 식별함으로써 주차 정산 처리를 효율적으로 실행할 수 있는 효과를 발휘하며,
서버에서 학습된 식별 모델을 엣지 단말에서 활용함으로써 딥러닝 모델링 연산량을 낮추고 연산 속도를 향상시켜서 차량의 식별 정확도를 높여주는 효과를 발휘한다.
도 1은 본 발명의 일 실시 예에 따른 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템의 구성을 예시적으로 설명하는 도면,
도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템을 예시적으로 설명하는 블럭도,
도 3은 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 정상 인식된 상황을 예시적으로 설명하는 도면,
도 4는 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 인식 오류가 발생된 상황을 예시적으로 설명하는 도면,
도 5는 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 판독 불가가 발생된 상황을 예시적으로 설명하는 도면,
도 6은 본 발명의 일 실시 예에 따른 입차 관리 데이터베이스 구성의 일 예를 설명하는 도면,
도 7은 본 발명의 일 실시 예에 따른 출차 관리 데이터베이스 구성의 일 예를 설명하는 도면,
도 8은 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 차량 외관 이미지를 촬상하는 일 예를 설명하는 도면,
도 9는 본 발명의 다른 실시 예에 따른 주차 정산 시스템에 의해 생성되는 입차 관리 데이터베이스를 예시적으로 설명하는 도면, 그리고,
도 10은 본 발명의 다른 실시 예에 따른 주차 정산 시스템에 의해 생성되는 출차 관리 데이터베이스를 예시적으로 설명하는 도면.
도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템을 예시적으로 설명하는 블럭도,
도 3은 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 정상 인식된 상황을 예시적으로 설명하는 도면,
도 4는 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 인식 오류가 발생된 상황을 예시적으로 설명하는 도면,
도 5는 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 판독 불가가 발생된 상황을 예시적으로 설명하는 도면,
도 6은 본 발명의 일 실시 예에 따른 입차 관리 데이터베이스 구성의 일 예를 설명하는 도면,
도 7은 본 발명의 일 실시 예에 따른 출차 관리 데이터베이스 구성의 일 예를 설명하는 도면,
도 8은 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 차량 외관 이미지를 촬상하는 일 예를 설명하는 도면,
도 9는 본 발명의 다른 실시 예에 따른 주차 정산 시스템에 의해 생성되는 입차 관리 데이터베이스를 예시적으로 설명하는 도면, 그리고,
도 10은 본 발명의 다른 실시 예에 따른 주차 정산 시스템에 의해 생성되는 출차 관리 데이터베이스를 예시적으로 설명하는 도면.
이하에서, 도면을 참고하여 본 발명의 바람직한 실시 예에 대해서 설명한다. 이하의 구성 요소는 실시 예에 따라서는 하나의 모듈로 통합되거나 별도의 하드웨어 또는 소프트웨어적인 방식으로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템의 구성을 예시적으로 설명하는 도면이다. 도 1을 참고하면, 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템(100)은 주차장의 입구 및 출구에 설치될 수 있으며, 입구 또는 출구에 개별적으로 설치되거나 통합 시스템으로 구출될 수도 있다. 도 1에 도시된 주차 정산 시스템(100)은 출구에 설치된 예를 도시하고 있으나, 본 발명의 일 실시 예에 따르면, 촬상부(110)는 입구에 진입하는 차량의 외관 이미지를 촬상할 수 있고, 출구에 진출하는 차량의 외관 이미지를 촬상할 수 있다.
또한, 주차 정산 시스템(100)은 사전 정산을 위한 별도의 사전 정산 장치를 별도의 장소에 설치하여 운영할 수도 있고, 이러한 사전 정산 장치에 대해서는 본 발명을 이해함에 있어서 필수적인 구성이 아니므로 자세한 설명을 생략한다.
도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템을 예시적으로 설명하는 도면이다. 도 2를 참고하면, 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템(100)은 딥러닝 모델을 직접 훈련시킬 수도 있으나, 연산량을 낮추고 연산속도를 높여주기 위해서 딥러닝 서버(200)에서 사전 학습된 식별 모델을 전달받아서 딥러닝 기반 차량 특징점을 이용하여 차량을 식별하여 주차 정산 처리를 실행할 수 있다. 여기서, 주차 정산 시스템(100)은 엣지(Edge) 컴퓨터이고, 엣지 컴퓨터는 딥러닝 서버(Deep Learning Server)와 클라우딩 컴퓨팅 방식으로 상호 동작할 수 있다.
도 2에 도시된 주차 정산 시스템(100)은 촬상부(110), 차량 식별부(130), 딥러닝 모델링부(150) 및 정산 처리부(170)를 포함한다. 주차 정산 시스템(100)과 딥러닝 서버(200) 사이에는 유무선 네트워크에 의해서 데이터 통신을 수행할 수 있다. 여기서 사용되는 통신 방식은 본 발명의 본질적인 구성이 아니므로 이에 대한 자세한 설명을 생략한다. 다만, 클라우딩 컴퓨터 방식으로 동작하므로 주차 정산 시스템(100)은 유무선 통신 모듈을 포함하고 있음은 해당 기술 분야의 통상의 기술자에게 자명한 사실이다.
주차 정산 시스템(100)은 유인 또는 무인 주차장에 모두 설치될 수 있고, 유인 주차장과 무인 주차장은 주차 결산을 하는 사람이 존재하지 않는 점에서 공통점이고, 주차장 내에 관리자가 있고 없음을 의미하지는 않는다.
촬상부(110)는 주차장 안으로 진입하는 차량의 번호판을 포함하는 입차 차량의 외관 이미지를 촬상할 수 있다. 촬상부(110)는 주차장 밖으로 진출하는 차량의 번호판을 포함하는 출차 차량의 외관 이미지를 촬상할 수도 있다. 촬상부(110)는 적어도 하나 이상의 카메라와 적어도 하나 이상의 조명 및 그 밖의 센서 등을 포함하여 구성할 수 있다.
촬상부(110)는 차량의 번호판 영역을 포함하는 차량 외관 이미지를 촬상할 수 있다. 또는 촬상부(110)는 차량의 번호판 영역을 포함하되, 차량의 보닛, 헤드라이트 및 라디에이터 그릴 영역의 일부 또는 전부 중 적어도 하나 이상의 차량의 번호판 이외 영역을 더 포함하는 차량 외관 이미지를 촬상할 수도 있다.
촬상부(110)는 차량 외관 이미지를 촬상할 경우에 차량의 번호판 영역을 포함하는 제1 영역을 제1 해상도로 촬상할 수 있다. 또한, 촬상부(110)는 차량의 번호판 이외 영역을 포함하는 제2 영역을 제2 해상도로 촬상할 수 있으며, 제1 영역에 대한 해상도인 제1 해상도는 제2 영역에 대한 해상도인 제2 해상도보다 고해상도로 촬상할 수 있다.
차량 식별부(130)는 촬상부(110)에 의해서 촬상된 입차 차량의 외관 이미지로부터 차량 번호를 추출하여 해당 입차 차량을 식별할 수 있다. 또는 차량 식별부(130)는 촬상부(110)에 의해서 촬상된 출차 차량의 외관 이미지로부터 차량 번호를 추출하여 해당 출차 차량을 식별할 수 있다.
차량 식별부(130)는 차량 외관 이미지를 차량의 번호판 영역과 차량의 번호판 이외 영역으로 구분하는 머신 러닝 기반의 분류 모델을 포함한다. 여기서 머신 러닝 모델은 분류기로 SVM(Support Vector Machine), LR(Logistic Regression), NB(Naive Bayesian), ANN(Artificial Neural Network) 등으로 구축될 수 있고, 딥러닝 모델로 기본 CNN(Convolution Neural Network) 또는 CNN을 확장시킨 AlexNet, GoogleNet, ResNet, DenseNet, R-CNN, Fast R-CNN, Faster R-CNN 등 다양한 방식으로 구현될 수도 있다.
차량 식별부(130)는 차량의 번호판 영역(plate_image)을 번호 정보 영역(number_image)과 비번호 정보 영역(un-number_image)으로 분리하고, 분리된 번호 정보 영역(number_image)을 이미지 분석하여 차량 번호 정보(number_string)를 추출함으로써 해당 차량을 식별할 수 있다.
구체적으로, 차량 식별부(130)는 차량의 외관 이미지(car_image)에서 차량 번호판 영역(plate_image)을 분리하고, 차량 번호판 영역(plate_image)에서 차량 번호 이미지(number_image)를 분리하며, 해당 차량 번호 이미지(number_image)를 분석하여 차량 번호 문자열(number_string) 정보로 변환함으로써, 해당 차량의 외관 이미지(car_image)로부터 최종적으로 차량 번호 문자열 정보(number_string)를 추출할 수 있다.
딥러닝 모델링부(150)는 차량 식별부(130)에 의한 차량 식별이 불가한 경우, 차량의 번호판 영역 중 번호 정보 영역과 비번호 정보 영역으로 분리하고, 분리된 비번호 정보 영역을 이미지 분석하여 번호판의 특징 정보를 추출할 수 있다.
딥러닝 모델링부(150)는 차량 식별부(130)에 의한 차량 식별이 불가한 경우, 차량의 번호판 이외의 영역(un-plate_image) 중 차량의 보닛(bonnet), 헤드라이트 (headlight_image)및 라디에이터 그릴(radiatorgrill_image) 영역 중 어느 하나의 이미지를 분석하여 차량의 특징 정보를 추출할 수 있다.
딥러닝 모델링부(150)는 차량 식별부(130)에 의해서 차량 식별이 불가한 경우, 해당 입차 차량에 관한 외관 이미지를 딥러닝 서버(200)로 전송한다. 또한, 딥러닝 모델링부(150)는 차량 식별부(130)에 의해서 출차 차량을 식별할 수 없거나 입차 정보와 불일치하는 경우에 딥러닝 서버(200)로 해당 출차 차량에 관한 특징 정보를 요청할 수 있다.
딥러닝 모델링부(150)는 딥러닝 서버(200)로부터 사전 훈련된 차량 식별 모델을 수신할 수 있다. 딥러닝 모델링부(150)는 수신한 차량 식별 모델에 차량의 번호판 영역 이미지 정보 또는 차량의 번호판 이외 영역 이미지 정보를 입력하여 해당 차량에 대한 식별 결과를 획득할 수 있다.
딥러닝 모델링부(150)는 딥러닝 서버(200)로부터 수신한 특징 정보를 이용하여 해당 출차 차량을 식별할 수도 있다. 또는 딥러닝 모델링부(150)는 딥러닝 서버(200)로부터 정기적 또는 비정기적으로 차량 식별 모델을 다운로드 받아서 업그레이드할 수 있다. 또는 딥러닝 모델링부(150)는 딥러닝 서버(200)로부터 해당 차량의 식별 정보로서 번호판 특징 정보 또는 차량 특징 정보를 수신하여 해당 차량을 식별할 수도 있다.
정산 처리부(170)는 차량 식별부(130)에 의해서 차량 번호가 식별된 경우에는 식별된 차량 번호에 기초해서 해당 차량에 대한 주차 정산을 실행할 수 있다. 또는 정산 처리부(170) 딥러닝 모델링부(150)에 의해서 처리된 차량 식별 결과에 기초하여 해당 차량에 대한 주차 정산을 실행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 정상 인식된 상황을 예시적으로 설명하는 도면이다. 도 3을 참고하면, 촬상부(110)는 주차장에 들어오는 입차 차량의 번호판을 포함하는 차량 외관 이미지(Car_Image)를 촬상한다. 차량 식별부(130)는 이미지 프로세싱을 통해서 차량 외관 이미지(Car_Image)에 포함된 차량 번호판 영역(Plate_Image)을 분리하고, 차량 번호판 영역(Plate_Image)에서 차량 번호 이미지(Number_Image)를 분리한다. 차량 식별부(130)는 분리된 차량 번호 이미지(Number_Image)에서 차량 번호 정보(Number_String)를 "123가4568"으로 추출함으로써, 해당 차량에 대한 입차 정보로써 차량 번호("123가4568")를 식별할 수 있다. 이렇게 식별된 차량 번호("123가4568")를 정산 처리부(170)로 전달하여 주차 관리 데이터베이스에 기록한다.
마찬가지 방식으로 촬상부(110)는 주차장으로부터 빠져나가는 출차 차량의 번호판을 포함하는 차량 외관 이미지(Car_Image)를 촬상한다. 차량 식별부(130)는 이미지 프로세싱을 통해서 차량 외관 이미지(Car_Image)에 포함된 차량 번호판 영역(Plate_Image)을 분리하고, 차량 번호판 영역(Plate_Image)에서 차량 번호 이미지(Number_Image)를 분리한다. 차량 식별부(130)는 분리된 차량 번호 이미지(Number_Image)에서 차량 번호 정보(Number_String)를 "123가4568"으로 추출함으로써, 해당 차량에 대한 출차 정보로써 차량 번호("123가4568")를 식별할 수 있다.
이렇게 식별된 출차 차량 정보를 정산 처리부(170)로 전달하면, 정산 처리부(170)는 주차 정산 처리를 실행할 수 있다. 즉, 정산 처리부(170)는 입차 데이터베이스에 기록된 차량 번호("123가4568")와 출차 데이터베이스에 기록된 차량 번호("123가4568")를 독출하고 이들 정보를 이용하여 해당 차량에 대한 정산 절차를 실행한다.
도 4는 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 인식 오류가 발생된 상황을 예시적으로 설명하는 도면이다. 도 4를 참고하면, 촬상부(110)는 주차장에 들어오는 입차 차량의 번호판을 포함하는 차량 외관 이미지(Car_Image)를 촬상한다. 차량 식별부(130)는 이미지 프로세싱을 통해서 차량 외관 이미지(Car_Image)에 포함된 차량 번호판 영역(Plate_Image)을 분리하고, 차량 번호판 영역(Plate_Image)에서 차량 번호 이미지(Number_Image)를 분리한다. 차량 식별부(130)는 분리된 차량 번호 이미지(Number_Image)에서 차량 번호 정보(Number_String)를 "126가4563"으로 추출함으로써 오리지널 차량 번호("123가4568")을 오인식하였다. 이러한 오인식으로 인하여 해당 차량에 대한 입차 정보로써 차량 번호("126가4563")를 식별하고, 식별된 차량 번호("126가4563")를 정산 처리부(170)로 전달하여 주차 관리 입차 데이터베이스에 기록한다.
마찬가지 방식으로 촬상부(110)는 주차장으로부터 빠져나가는 출차 차량의 번호판을 포함하는 차량 외관 이미지(Car_Image)를 촬상한다. 차량 식별부(130)는 이미지 프로세싱을 통해서 차량 외관 이미지(Car_Image)에 포함된 차량 번호판 영역(Plate_Image)을 분리하고, 차량 번호판 영역(Plate_Image)에서 차량 번호 이미지(Number_Image)를 분리한다. 차량 식별부(130)는 분리된 차량 번호 이미지(Number_Image)에서 차량 번호 정보(Number_String)를 "125가4568"로 추출함으로써 오리지널 차량 번호("123가4568")를 오인식하였다. 이러한 오인식으로 인하여 해당 차량에 대한 출차 정보로써 차량 번호("125가4568")를 식별하고, 식별된 차량 번호("126가4563")를 정산 처리부(170)로 전달하여 주차 관리 출차 데이터베이스에 기록한다.
정산 처리부(170)는 출차 차량 정보("125가4568")와 입차 차량 정보("126가4563")를 비교하지만. 이들 정보가 서로 불일치하므로 해당 차량에 대한 식별이 불가능하다. 이런 상황에서는 정산 처리부(170)는 정산이 불가하므로 해당 차량에 대한 차량 번호 이외의 식별 정보로 해당 차량을 식별하기 위한 프로세싱을 진행하도록 차량 식별부(130) 및/또는 딥러닝 모델링부(150)에 요청할 수 있다.
딥러닝 모델링부(150)는 해당 차량에 대한 외관 이미지를 이용하여 해당 차량에 대한 차량 특징 정보 및/또는 번호판 특징 정보를 생성하고, 해당 차량에 대해서 생성된 차량 특징 정보 및/또는 번호판 특징 정보와 일치하는 입차 정보를 탐색하고, 입차 정보가 확인되면 해당 차량에 대한 식별 결과를 정산 처리부(170)로 넘겨준다. 만약, 딥러닝 모델링부(150)에 의해서도 해당 차량에 대한 출차 정보와 매칭되는 입차 정보를 확인할 수 없으면 관리자에게 해당 상황에 대해 보고하는 이벤트를 발생시킨다.
도 5는 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 번호 판독 불가가 발생된 상황을 예시적으로 설명하는 도면이다. 도 5를 참고하면, 촬상부(110)는 주차장에 들어오는 입차 차량의 번호판을 포함하는 차량 외관 이미지(Car_Image)를 촬상한다. 차량 식별부(130)는 이미지 프로세싱을 통해서 차량 외관 이미지(Car_Image)에 포함된 차량 번호판 영역(Plate_Image)을 분리하고, 차량 번호판 영역(Plate_Image)에서 차량 번호 이미지(Number_Image)를 분리한다. 차량 식별부(130)는 분리된 차량 번호 이미지(Number_Image)에서 차량 번호 정보(Number_String)를 추출할 수 없으므로 판독 불가로 판정하고, 해당 차량에 대한 번호 정보 이외의 차량 특징 정보를 추출하기 위한 절차를 진행한다. 차랑 특징 정보를 추출하는 프로세스가 완료되면 딥러닝 모델링부(150)는 해당 차량에 대한 차량 특징 정보 및/또는 번호판 특징 정보를 정산 처리부(170)로 전달한다. 정산 처리부(170)는 해당 차량에 대한 차량 특징 정보 및 번호판 특징 정보를 해당 차량에 대한 입차 정보로써, 입차 관리 데이터베이스에 기록한다.
마찬가지 방식으로 촬상부(110)는 주차장으로부터 빠져나가는 출차 차량의 번호판을 포함하는 차량 외관 이미지(Car_Image)를 촬상한다. 차량 식별부(130)는 이미지 프로세싱을 통해서 차량 외관 이미지(Car_Image)에 포함된 차량 번호판 영역(Plate_Image)을 분리하고, 차량 번호판 영역(Plate_Image)에서 차량 번호 이미지(Number_Image)를 분리한다. 차량 식별부(130)는 분리된 차량 번호 이미지(Number_Image)에서 차량 번호 정보(Number_String)를 추출할 수 없으므로 판독 불가로 판정하고, 해당 차량에 대한 번호 정보 이외의 차량 특징 정보를 추출하기 위한 절차를 진행한다. 차랑 특징 정보를 추출하는 프로세스가 완료되면 딥러닝 모델링부(150)는 해당 차량에 대한 차량 특징 정보 및/또는 번호판 특징 정보를 정산 처리부(170)로 전달한다. 정산 처리부(170)는 해당 차량에 대한 차량 특징 정보 및 번호판 특징 정보를 해당 차량에 대한 출차 정보로써, 출차 관리 데이터베이스에 기록한다.
정산 처리부(170)는 출차 차량 정보(차종, 연식, 차색)를 이용하여 입차 정보를 탐색하고, 입차 정보가 확인되면 해당 차량에 대한 식별 결과를 정산 처리부(170)로 넘겨준다. 만약, 딥러닝 모델링부(150)에 의해서도 해당 차량에 대한 출차 정보와 매칭되는 입차 정보를 확인할 수 없으면 관리자에게 해당 상황에 대해 보고하는 이벤트를 발생시킨다.
도 6은 본 발명의 일 실시 예에 따른 입차 관리 데이터베이스 구성의 일 예를 설명하는 도면이다. 도 6을 참고하면, 정산 처리부(170)는 차량 식별부(130) 또는 딥러닝 모델링부(150)에 의해서 식별된 차량 번호(예컨대, "123가4568")를 차량 식별 정보로써 입차 시간(예컨대, "10:20")과 함께 입차 관리 데이터베이스에 기록한다. 이렇게 차량 번호가 식별된 경우에는 차량 특징 정보 및 번호판 특징 정보를 별도로 기록하지 않을 수 있다. 다만, 문제 상황에 대비하여 해당 차량에 대한 외관 이미지(ID 1번 차량 외관 이미지)를 함께 저장할 수도 있다.
하지만, 차량 번호가 판독 불가이거나 오인식된 경우에 딥러닝 모델링부(150)는 해당 차량을 식별할 수 있는 차량 특징 정보를 스스로 생성하거나 딥러닝 서버(200)에 요청하여 차량 특징 정보를 전달 받을 수 있다.
이러한 차량 특징 정보는 딥러닝 모델링부(150) 또는 딥러닝 서버(200)에서 딥러닝에 기반하여 차량 외관 이미지를 이용하여 해당 차량에 대한 차종, 차색, 연식 등을 예측한 정보이다. 예컨대, ID 2번 차량은 차량 번호(예컨대, "126가4563")가 오인식된 경우에 해당하므로 실제 차량 번호와 차이가 있다. 하지만, 이러한 입차 단계에서의 오인식은 출차 단계와 결부되지 않는 이상 크게 문제되지 않을 수도 있다. 다만, 출차 단계에서 주차 정산을 할 수 없는 문제점을 예방하기 위해서, 해당 차량에 대한 외관 이미지 파일을 딥러닝 서버(200)로 전달하고, 딥러닝 서버(200)는 해당 외관 이미지 파일을 이용하여 딥러닝 모델에 기초하여 해당 차량에 대한 차종, 차색, 연식 중 적어도 하나 이상의 정보를 식별 정보로 생성한다. 이렇게 생성된 식별 정보는 딥러닝 서버(200)에서 입차 관리 데이터베이스로 전달되고, ID 2번 차량에 대한 차량 특징 정보('차종 : 투싼', '차색 : 회색', '연식 : 2017')로 입차 관리 데이터베이스에 기록된다.
마찬가지 방식으로 ID 3번 차량은 입차 과정에서 차량 번호를 판독할 수 없는 것으로 처리된 경우에 해당하므로, 입차 기록으로 차량 번호를 기입할 수 없다. 이러한 경우에는 해당 차량에 대한 외관 이미지 파일을 딥러닝 서버(200)로 전달하고, 딥러닝 서버(200)는 해당 외관 이미지 파일을 딥러닝 모델에 입력하여 해당 차량에 대한 차종, 차색, 연식 중 적어도 하나 이상의 정보를 식별 정보로 생성한다. 이렇게 생성된 식별 정보는 딥러닝 서버(200)에서 입차 관리 데이터베이스로 전달되고, ID 3번 차량에 대한 차량 특징 정보('차종 : 쏘나타', '차색 : 흰색', '연식 : 2015')로 출차 관리 데이터베이스에 기록된다.
도 7은 본 발명의 일 실시 예에 따른 출차 관리 데이터베이스 구성의 일 예를 설명하는 도면이다. 도 7을 참고하면, 정산 처리부(170)는 차량 식별부(130) 또는 딥러닝 모델링부(150)에 의해서 식별된 차량 번호(예컨대, "123가4568")를 차량 식별 정보로써 입차 시간(예컨대, "10:20")과 함께 입차 관리 데이터베이스에 기록한다. 이렇게 차량 번호가 식별된 경우에는 차량 특징 정보 및 번호판 특징 정보를 별도로 기록하지 않을 수 있다. 다만, 문제 상황에 대비하여 해당 차량에 대한 외관 이미지(ID 1번 차량 외관 이미지)를 함께 저장할 수도 있다.
하지만, 차량 번호가 판독 불가이거나 오인식된 경우에 딥러닝 모델링부(150)는 해당 차량을 식별할 수 있는 차량 특징 정보를 스스로 생성하거나 딥러닝 서버(200)에 요청하여 차량 특징 정보를 전달 받을 수 있다.
이러한 차량 특징 정보는 딥러닝 모델링부(150) 또는 딥러닝 서버(200)에서 딥러닝에 기반하여 차량 외관 이미지를 이용하여 해당 차량에 대한 차종, 차색, 연식 등을 예측한 정보이다. 예컨대, ID 2번 차량은 차량 번호(예컨대, "125가4568")가 오인식된 경우에 해당하므로 입차 관리 데이터베이스에 기록된 차량 번호(예컨대, "126가4563")와 같은 차량임에도 차량 번호의 불일치가 발생될 수 있다. 이러한 문제점을 해결하기 위해서 출차 단계에서 이미지 오인식이 발생되는 경우 또는 인식율이 낮은 것으로 판단되면, 해당 차량에 대한 외관 이미지 파일을 딥러닝 서버(200)로 전달하고, 딥러닝 서버(200)는 해당 외관 이미지 파일을 이용하여 딥러닝 모델에 기초하여 해당 차량에 대한 차종, 차색, 연식 중 적어도 하나 이상의 정보를 식별 정보로 생성한다. 이렇게 생성된 식별 정보는 딥러닝 서버(200)에서 출차 관리 데이터베이스로 전달되고, ID 2번 차량에 대한 차량 특징 정보('차종 : 투싼', '차색 : 회색', '연식 : 2017')로 출차 관리 데이터베이스에 기록된다.
마찬가지 방식으로 ID 3번 차량은 출차 과정에서 차량 번호를 판독할 수 없는 것으로 처리된 경우에 해당하므로, 출차 기록으로 차량 번호를 기입할 수 없다. 이러한 경우에는 해당 차량에 대한 외관 이미지 파일을 딥러닝 서버(200)로 전달하고, 딥러닝 서버(200)는 해당 외관 이미지 파일을 딥러닝 모델에 입력하여 해당 차량에 대한 차종, 차색, 연식 중 적어도 하나 이상의 정보를 식별 정보로 생성한다. 이렇게 생성된 식별 정보는 딥러닝 서버(200)에서 출차 관리 데이터베이스로 전달되고, ID 3번 차량에 대한 차량 특징 정보('차종 : 쏘나타', '차색 : 흰색', '연식 : 2015')로 출차 관리 데이터베이스에 기록된다.
본 발명은 차량을 식별하기 위한 정보로써 차량 번호(기존의 유일한 식별 정보)를 판독할 수 없거나 오인 인식한 경우에 해당 차량에 대한 입차 기록과 출차 기록이 불일치하여 해당 차량에 대한 주차 정산을 할 수 없는 문제점을 해결하기 위해서 차량 번호 이외에 다른 차량 특징 정보(차종, 차색, 연식, 번호판의 고유 특징값)를 입차 관리 데이터베이스 및 출차 관리 데이터베이스에 기록함으로써, 차량 번호를 식별할 수 없는 경우에도 해당 차량에 대한 주차 정산 프로세스를 실행할 수 있는 현저한 효과를 발휘한다.
도 8은 본 발명의 일 실시 예에 따른 주차 정산 시스템에 의해 차량 외관 이미지를 촬상하는 일 예를 설명하는 도면이다. 도 8을 참고하면, 촬상부(110)는 차량 번호판 영역과 차량 번호판 이외 영역을 구분하여 촬상할 수 있다. 촬상부(110)는 차량 번호판 영역에 관한 이미지(Img_1)를 제1 해상도로 촬상하여 획득한다. 촬상부(110)는 차량 번호판 영역에 대해서 높은 해상도로 촬상하여 고품질의 이미지를 확보한다. 촬상부(110)는 차량 번호판 이외 영역에 관한 이미지(Img_2 내지 Img_4)를 제2 해상도로 촬상하여 획득한다. 촬상부(110)는 차량 번호판 이외 영역에 대해서는 중간 해상도로 촬상하여 중간품질의 이미지를 확보한다. 이러한 차량 번호판 이외 영역에 관한 이미지는 라디에이터 그릴 영역 이미지(Img_2), 헤드라이트 영역 이미지(Img_3) 및 보닛 영역 이미지(Img_4) 중 적어도 하나 이상을 포함한다.
이러한 차량 번호판 이외 영역에 관한 이미지는 딥러닝 모델에 입력 데이터로 입력된다. 딥러닝 모델은 이러한 입력 데이터를 이용해서 차량의 종류, 연식, 색상을 결과 데이터로 출력할 수 있다. 이러한 예측 알고리즘은 기계학습을 이용한 학습된 모델로 구현할 수 있다. 기계학습의 모델로 서포트벡터머신(Support Vectore Machine ; SVM), k-최근접 이웃(K-Nearest Neighbor), 나이브베이지안(Naive Bayesian), 의사결정나무(Decision Tree), 랜덤포레스트(Random Forest), 인공신경망(Artificial Neuaral Network) 등이 사용될 수 있다. 그 밖에도 딥러닝 모델을 이용하여 차량을 식별할 수 있다.
도 9는 본 발명의 다른 실시 예에 따른 주차 정산 시스템에 의해 생성되는 입차 관리 데이터베이스를 예시적으로 설명하는 도면이다. 도 9를 참고하면, 4대의 차량에 대한 입차 관리 데이터베이스를 확인할 수 있다. 입차 관리 데이터베이스의 데이터 컬럼은 ID, 차량 번호 식별 여부, 입차 시간, 차량 특징 정보, 번호판 특징 정보로 구성된다. 데이터 컬럼(Column)에는 ID별로 차량 번호, 입차시간, 차량 특징 정보 및 번호판 특징 정보에 관한 값을 기록한다.
예컨대, ID 1번은 차량 번호를 식별할 수 있으므로 차량 번호 컬럼에는 차량 번호("123가4568")를 기록하고, 입차시간은 '10:20'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'Null'을 기록한다.
ID 2번은 차량 번호를 식별할 수 없으므로 차량 번호 컬럼에는 차량 번호('Null')를 기록하고, 입차시간은 '10:30'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'ID2의 차량 외관 이미지' 파일의 저장 경로값을 기록한다. ID 2 차량의 입차 시간(10:30)으로부터 소정의 처리 시간(예컨대, 10분)이 경과한 시간(10:40)에 딥러닝 모델링부(150) 또는 딥러닝 서버(200)는 차량 외관 이미지 정보를 이용하여 차량 특징 정보 및 번호판 특징 정보의 값을 산출한다. 산출된 차량 특징 정보(차종, 차색, 연식)와 번호판 특징 정보는 해당 외관 이미지 파일 처리 개시 시간(10:40)으로부터 소정의 기록 시간(예컨대, 30분)이 경과한 시간(11:10)에 입차 관리 데이터베이스의 차량 특징 정보 컬럼 및 번호판 특징 정보 컬럼에 각각 기록한다.
ID 3번은 차량 번호를 식별할 수 없으므로 차량 번호 컬럼에는 차량 번호('Null')를 기록하고, 입차시간은 '10:30'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'ID3의 차량 외관 이미지' 파일의 저장 경로값을 기록한다. ID 3 차량의 입차 시간(10:30)으로부터 소정의 처리 시간(예컨대, 10분)이 경과한 시간(10:40)에 딥러닝 모델링부(150) 또는 딥러닝 서버(200)는 차량 외관 이미지 정보를 이용하여 차량 특징 정보 및 번호판 특징 정보의 값을 산출한다. 산출된 차량 특징 정보(차종, 차색, 연식)와 번호판 특징 정보는 해당 외관 이미지 파일 처리 개시 시간(10:40)으로부터 소정의 기록 시간(예컨대, 30분)이 경과한 시간(11:10)에 입차 관리 데이터베이스의 차량 특징 정보 컬럼 및 번호판 특징 정보 컬럼에 각각 기록한다.
ID 4번은 차량 번호를 식별할 수 없으므로 차량 번호 컬럼에는 차량 번호('Null')를 기록하고, 입차시간은 '10:40'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'ID4의 차량 외관 이미지' 파일의 저장 경로값을 기록한다. ID 4 차량의 입차 시간(10:40)으로부터 소정의 처리 시간(예컨대, 10분)이 경과한 시간(10:40)에 딥러닝 모델링부(150) 또는 딥러닝 서버(200)는 차량 외관 이미지 정보를 이용하여 차량 특징 정보 및 번호판 특징 정보의 값을 산출한다. 산출된 차량 특징 정보(차종, 차색, 연식)와 번호판 특징 정보의 값은 해당 외관 이미지 파일 처리 개시 시간(10:40)으로부터 소정의 기록 시간(예컨대, 30분)이 경과한 시간(11:10)에 입차 관리 데이터베이스의 차량 특징 정보 컬럼 및 번호판 특징 정보 컬럼에 각각 기록된다.
도 10은 본 발명의 또 다른 실시 예에 따른 주차 정산 시스템에 의해 생성된 출차 관리 데이터베이스를 예시적으로 설명하는 도면이다. 도 10을 참고하면, 4대의 차량에 대한 출차 관리 데이터베이스를 확인할 수 있다. 출차 관리 데이터베이스의 데이터 컬럼은 ID, 차량 번호 식별 여부, 출차 시간, 차량 특징 정보, 번호판 특징 정보로 구성된다. 데이터 열에는 ID별로 차량 번호, 출차시간, 차량 특징 정보 및 번호판 특징 정보에 관한 값을 기록한다.
예컨대, ID 1번은 차량 번호를 식별할 수 있으므로 차량 번호 컬럼에는 차량 번호("123가4568")를 기록하고, 출차시간은 '12:20'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'Null'을 기록한다.
ID 2번은 차량 번호를 식별할 수 없으므로 차량 번호 컬럼에는 차량 번호('Null')를 기록하고, 출차시간은 '12:30'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'ID2의 차량 외관 이미지' 파일의 저장 경로값을 기록한다. ID 2 차량의 출차 시간(12:30)으로부터 즉시 시간(12:30)에 딥러닝 모델링부(150)는 차량 외관 이미지 정보를 이용하여 차량 특징 정보 및 번호판 특징 정보의 값을 산출한다. 산출된 차량 특징 정보(차종, 차색, 연식)와 번호판 특징 정보는 해당 외관 이미지 파일 처리 개시 시간(12:30)으로부터 소정의 기록 시간(예컨대, 0.5 ~ 1분)이 경과한 시간(12:31)에 출차 관리 데이터베이스의 차량 특징 정보 컬럼 및 번호판 특징 정보 컬럼에 각각 기록한다.
ID 3번은 차량 번호를 식별할 수 없으므로 차량 번호 컬럼에는 차량 번호('Null')를 기록하고, 출차시간은 '12:30'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'ID3의 차량 외관 이미지' 파일의 저장 경로값을 기록한다. ID 3 차량의 출차 시간(12:30)으로부터 즉시 시간(12:30)에 딥러닝 모델링부(150)는 차량 외관 이미지 정보를 이용하여 차량 특징 정보 및 번호판 특징 정보의 값을 산출한다. 산출된 차량 특징 정보(차종, 차색, 연식)와 번호판 특징 정보는 해당 외관 이미지 파일 처리 개시 시간(12:30)으로부터 소정의 기록 시간(예컨대, 0.5 ~ 1분)이 경과한 시간(12:31)에 출차 관리 데이터베이스의 차량 특징 정보 컬럼 및 번호판 특징 정보 컬럼에 각각 기록한다.
ID 4번은 차량 번호를 식별할 수 없으므로 차량 번호 컬럼에는 차량 번호('Null')를 기록하고, 출차시간은 '12:40'을 기록한다. 차량 특징 정보 및 번호판 특징 정보에는 'ID4의 차량 외관 이미지' 파일의 저장 경로값을 기록한다. ID 4 차량의 출차 시간(12:40)으로부터 즉시 시간(12:40)에 딥러닝 모델링부(150)는 차량 외관 이미지 정보를 이용하여 차량 특징 정보 및 번호판 특징 정보의 값을 산출한다. 산출된 차량 특징 정보(차종, 차색, 연식)와 번호판 특징 정보의 값은 해당 외관 이미지 파일 처리 개시 시간(12:40)으로부터 소정의 기록 시간(예컨대, 0.5 ~ 1분)이 경과한 시간(12:41)에 출차 관리 데이터베이스의 차량 특징 정보 컬럼 및 번호판 특징 정보 컬럼에 각각 기록된다.
상술한 바와 같이 본원 발명은 주차장에 차량이 입차할 경우에 해당 차량에 대한 차량 번호 인식이 안되는 상황이 발생하면, 해당 차량에 대한 외관 이미지 정보를 원격의 딥러닝 서버(200)로 전달하여 해당 차량에 대한 차량 특징 정보 및 번호판 특징 정보를 생성하게 한다. 또한, 이러한 훈련 과정에서 생성된 식별 모델을 딥러닝 서버(200)에서 딥러닝 모델링부(150)로 전달해줌으로써, 출차 과정에서 차량 번호를 인식할 수 없는 차량에 대한 식별 속도 및 정확도를 보다 향상시킬 수 있다.
즉, 차량 외관 이미지를 이용하여 해당 차량의 차종, 차색, 연식 및 번호판 특징 정보를 추출하는 딥러닝 기반 식별 모델을 딥러닝 서버(200)에서 미리 학습시킨다. 이렇게 학습된 식별 모델을 딥러닝 서버(200)에서 딥러닝 모델(150)로 전달함으로써, 주차 정산 시스템(100)은 엣지 컴퓨터로 동작하더라도, 컴퓨팅 파워(GPU 및 CPU 파워)가 충분한 딥러닝 서버(200)에서 훈련된 식별 모델을 이용하게 되므로 해당 차량의 차량 특징 정보 및 번호판 특징 정보의 예측 정확도 및 속도를 향상시킬 수 있게 된다.
따라서, 본원 발명의 경우에 입차 과정에서 차량 번호의 식별이 불가능한 차량에 대해서도 출차 과정에서 빠른 속도(1분 이내)로 차량을 식별할 수 있도록 동작함으로써 차량 번호 미인식으로 인한 문제점을 해결할 수 있는 무인 주차 정산 시스템을 제공할 수 있게 된다.
100 : 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템
110 : 촬상부
130 : 차량 식별부
150 : 딥러닝 모델링부
170 : 정산 처리부
200 : 딥러닝 서버
110 : 촬상부
130 : 차량 식별부
150 : 딥러닝 모델링부
170 : 정산 처리부
200 : 딥러닝 서버
Claims (10)
- 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템에 있어서,
주차장 안으로 진입하는 차량의 번호판을 포함하는 입차 차량의 외관 이미지 또는 주차장 밖으로 진출하는 차량의 번호판을 포함하는 출차 차량의 외관 이미지를 촬상하는 촬상부;
상기 입차 차량의 외관 이미지 또는 상기 출차 차량의 외관 이미지에서 번호판 영역과 번호판 이외의 영역을 식별하고, 식별된 번호판 영역에서 차량 번호 정보를 추출하여 해당 차량을 식별하는 차량 식별부;
상기 차량 식별부에 의해서 차량 식별이 불가한 입차 차량에 대한 이미지를 딥러닝 서버로 전송하여 해당 입차 차량에 대한 차량 특징 정보 및 번호판 특징 정보를 제1 처리 시간 이내 처리하여 생성하도록 요청하고, 상기 차량 식별부에 의해서 출차 차량을 식별할 수 없는 경우에 해당 출차 차량의 상기 번호판 이외의 영역(un-plate_image) 중 차량의 보닛(bonnet), 헤드라이트(headlight_image) 및 라디에이터 그릴(radiatorgrill_image) 영역 중 적어도 하나 이상의 이미지를 분석하여 차량의 연식, 색상, 차종을 차량 특징 정보로써 제2 처리 시간 이내 처리하여 생성하고, 상기 번호판 영역에 대한 특징 정보를 분석하여 번호판 특징 정보로써 상기 제2 처리 시간 이내 처리하여 생성하며, 해당 출차 차량의 차량 특징 정보와 미리 처리되어 입차 관리 데이터베이스에 저장된 차량 특징 정보와 비교하거나 해당 출차 차량의 번호판 특징 정보와 미리 처리되어 입차 관리 데이터베이스에 저장된 번호판 특징 정보를 비교하여 해당 출차 차량을 식별하는 딥러닝 모델링부; 및
상기 차량 식별부 또는 상기 딥러닝 모델링부에 의해서 처리된 차량 식별 결과에 기초하여 주차 정산 처리를 실행하는 정산 처리부;를 포함하고,
상기 정산 처리부는, 상기 입차 관리 데이터베이스 및 출차 관리 데이터베이스를 포함하고, 상기 입차 관리 데이터베이스의 저장 데이터로써 ID별로 차량번호, 차량 번호 식별 여부, 입차 시간, 차량 특징 정보 및 번호판 특징 정보를 기록하며, 상기 출차 관리 데이터베이스의 저장 데이터로써 ID별로 차량번호, 차량 번호 식별 여부, 출차 시간, 차량 특징 정보 및 번호판 특징 정보를 기록하여 관리하고,
상기 딥러닝 모델링부는, 상기 제2 처리 시간을 상기 제1 처리 시간보다 짧은 시간 이내에 처리하는 것을 특징으로 하는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템.
- 삭제
- 제1 항에 있어서,
상기 촬상부는, 상기 차량 외관 이미지를 촬상할 경우에 상기 차량의 번호판 영역을 포함하는 제1 영역을 제1 해상도로 촬상하고, 상기 차량의 번호판 이외 영역을 포함하는 제2 영역을 제2 해상도로 촬상하며,
상기 제1 해상도는 상기 제2 해상도보다 고해상도인 것을 특징으로 하는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템.
- 제3 항에 있어서,
상기 차량 식별부는, 상기 차량 외관 이미지를 상기 차량의 번호판 영역과 상기 차량의 번호판 이외 영역으로 구분하는 머신 러닝 기반의 분류 모델을 포함하는 것을 특징으로 하는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템.
- 제4 항에 있어서,
상기 차량 식별부는, 상기 차량의 번호판 영역을 번호 정보 영역과 비번호 정보 영역으로 분리하고, 상기 분리된 번호 정보 영역을 이미지 분석하여 차량 번호 정보를 추출하여 해당 차량을 식별하는 것을 특징으로 하는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 딥러닝 모델링부는, 상기 딥러닝 서버로부터 사전 훈련된 차량 식별 모델을 수신하고, 상기 수신한 차량 식별 모델에 상기 차량의 번호판 영역 이미지 정보 또는 상기 차량의 번호판 이외 영역 이미지 정보를 입력하여 해당 차량의 식별 결과를 획득하는 것을 특징으로 하는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템.
- 제8항에 있어서,
상기 딥러닝 모델링부는, 상기 딥러닝 서버로부터 해당 차량의 식별 정보로서 번호판 특징 정보 또는 차량 특징 정보를 수신하여 해당 차량을 식별하는 것을 특징으로 하는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템.
- 제9 항에 있어서,
상기 정산 처리부는, 상기 차량 식별부에 의해서 식별된 입차 차량 번호 정보와 출차 차량 번호 정보가 불일치할 경우에 상기 딥러닝 모델링부에 의해서 차량 특징 정보 또는 번호판 특징 정보에 의해서 해당 차량을 식별하는 것을 특징으로 하는 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200141619A KR102269367B1 (ko) | 2020-10-29 | 2020-10-29 | 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200141619A KR102269367B1 (ko) | 2020-10-29 | 2020-10-29 | 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102269367B1 true KR102269367B1 (ko) | 2021-06-25 |
Family
ID=76629377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200141619A KR102269367B1 (ko) | 2020-10-29 | 2020-10-29 | 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102269367B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102339841B1 (ko) * | 2021-10-12 | 2021-12-16 | 주식회사 다래파크텍 | 주차관제시의 꼬리물기 대응 엘피알 수행방법 및 그 시스템 |
| KR102407315B1 (ko) | 2021-09-30 | 2022-06-13 | 주식회사 라온에이치씨 | 번호판 및 차량 인식의 하이브리드 방식에 기반한 주차 관제 시스템 및 이를 이용한 주차 관제 방법 |
| KR102562135B1 (ko) * | 2023-02-15 | 2023-08-01 | (주)한국알파시스템 | 주차 관제 장치 및 주차 정산 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101625384B1 (ko) * | 2016-02-26 | 2016-06-13 | (주)토마토전자 | 차량 식별 시스템 및 방법 |
| KR101730465B1 (ko) * | 2016-12-19 | 2017-04-27 | 주식회사 디아이랩 | 차량의 부가정보를 활용한 차량 인식 방법 및 시스템 |
| KR101979654B1 (ko) | 2018-01-15 | 2019-05-17 | 주식회사 비엔인더스트리 | 차량번호 인식 장치 및 그 방법 |
| KR20190143548A (ko) * | 2018-06-14 | 2019-12-31 | 주식회사 아임클라우드 | 차량번호, 종류, 및 색상 학습을 통한 번호판 인식률이 향상되고, 실시간 학습이 가능한 차량 인식 시스템 |
| KR102090907B1 (ko) | 2019-10-15 | 2020-03-19 | 주식회사 넥스파시스템 | 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템 |
-
2020
- 2020-10-29 KR KR1020200141619A patent/KR102269367B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101625384B1 (ko) * | 2016-02-26 | 2016-06-13 | (주)토마토전자 | 차량 식별 시스템 및 방법 |
| KR101730465B1 (ko) * | 2016-12-19 | 2017-04-27 | 주식회사 디아이랩 | 차량의 부가정보를 활용한 차량 인식 방법 및 시스템 |
| KR101979654B1 (ko) | 2018-01-15 | 2019-05-17 | 주식회사 비엔인더스트리 | 차량번호 인식 장치 및 그 방법 |
| KR20190143548A (ko) * | 2018-06-14 | 2019-12-31 | 주식회사 아임클라우드 | 차량번호, 종류, 및 색상 학습을 통한 번호판 인식률이 향상되고, 실시간 학습이 가능한 차량 인식 시스템 |
| KR102090907B1 (ko) | 2019-10-15 | 2020-03-19 | 주식회사 넥스파시스템 | 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102407315B1 (ko) | 2021-09-30 | 2022-06-13 | 주식회사 라온에이치씨 | 번호판 및 차량 인식의 하이브리드 방식에 기반한 주차 관제 시스템 및 이를 이용한 주차 관제 방법 |
| KR102339841B1 (ko) * | 2021-10-12 | 2021-12-16 | 주식회사 다래파크텍 | 주차관제시의 꼬리물기 대응 엘피알 수행방법 및 그 시스템 |
| KR102562135B1 (ko) * | 2023-02-15 | 2023-08-01 | (주)한국알파시스템 | 주차 관제 장치 및 주차 정산 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102269367B1 (ko) | 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템 | |
| US11164051B2 (en) | Image and LiDAR segmentation for LiDAR-camera calibration | |
| JP2016110635A (ja) | 画像署名をフィッシャーベクトルとマッチングするための適応型語彙 | |
| KR102259457B1 (ko) | 개인정보 비식별화 처리 방법, 검증 방법 및 시스템 | |
| JP7185419B2 (ja) | 車両のための、対象物を分類するための方法および装置 | |
| Salma et al. | Development of ANPR framework for Pakistani vehicle number plates using object detection and OCR | |
| US20220303738A1 (en) | On-board machine vision device for activating vehicular messages from traffic signs | |
| CN112567398A (zh) | 用于匹配不同输入数据的技术 | |
| KR101809490B1 (ko) | 고해상도 영상 기반의 차량 진출입관리추적장치 | |
| CN111161435A (zh) | 一种新型的高速路无卡收费系统 | |
| CN115810134A (zh) | 一种车险反欺诈的图像采集质检方法、系统和装置 | |
| Prajapati et al. | A Review Paper on Automatic Number Plate Recognition using Machine Learning: An In-Depth Analysis of Machine Learning Techniques in Automatic Number Plate Recognition: Opportunities and Limitations | |
| CN112150467A (zh) | 一种货物数量确定方法、系统和装置 | |
| KR102407315B1 (ko) | 번호판 및 차량 인식의 하이브리드 방식에 기반한 주차 관제 시스템 및 이를 이용한 주차 관제 방법 | |
| Shahrear et al. | An automatic traffic rules violation detection and number plate recognition system for Bangladesh | |
| KR102428930B1 (ko) | 차량 인식을 통한 세차 요금 결제 방법 및 시스템 | |
| CN112686076A (zh) | 一种图像处理方法、系统及计算机可读存储介质 | |
| KR102427535B1 (ko) | 신분증 인식 기술을 활용한 비대면 주차 요금 감면 시스템 및 그 방법 | |
| WO2021075277A1 (ja) | 情報処理装置および方法、並びに、プログラム | |
| CN115396658A (zh) | 相机篡改检测 | |
| Baviskar et al. | Auto Number Plate Recognition | |
| CN112418234A (zh) | 识别车牌号的方法、装置、电子设备及存储介质 | |
| Venkatesh et al. | An intelligent traffic management system based on the Internet of Things for detecting rule violations | |
| US20240054795A1 (en) | Automatic Vehicle Verification | |
| KR20210035360A (ko) | 교행 다차로를 위한 차량번호 인식방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| GRNT | Written decision to grant | ||
| X701 | Decision to grant (after re-examination) |