KR102090907B1 - 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템 - Google Patents

영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템 Download PDF

Info

Publication number
KR102090907B1
KR102090907B1 KR1020190127821A KR20190127821A KR102090907B1 KR 102090907 B1 KR102090907 B1 KR 102090907B1 KR 1020190127821 A KR1020190127821 A KR 1020190127821A KR 20190127821 A KR20190127821 A KR 20190127821A KR 102090907 B1 KR102090907 B1 KR 102090907B1
Authority
KR
South Korea
Prior art keywords
vehicle
server
image
vehicle number
recognizer
Prior art date
Application number
KR1020190127821A
Other languages
English (en)
Inventor
서춘영
송우식
Original Assignee
주식회사 넥스파시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스파시스템 filed Critical 주식회사 넥스파시스템
Priority to KR1020190127821A priority Critical patent/KR102090907B1/ko
Application granted granted Critical
Publication of KR102090907B1 publication Critical patent/KR102090907B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • G06K9/3258
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/2355
    • G06K2209/15
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Abstract

본 발명은 차량식별 시스템에 관한 것으로, 로컬에 설치되어있는 차량번호인식기가 차량의 번호인식을 실패하는 경우, 서버에서 차량 및 차량 번호를 인식하여 차량번호인식기에 전달하는 차량식별 시스템에 관한 것이다. 본 발명의 일 양상인 차량번호인식기 및 상기 차량번호인식기와 통신하는 서버를 포함하는 시스템을 이용한 차량 식별 방법에 있어서, 상기 차량번호인식기의 카메라가, 미리 설정된 2개의 노출값((exposure value)을 기초로, 적어도 하나의 차량과 관련된 HDR 영상을 획득하는 제 1 단계; 상기 차량번호인식기의 제어부가 상기 HDR 영상을 기초로 상기 적어도 하나의 차량번호 인식을 시도하는 제 2 단계; 상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 실패하는 제 3 단계; 상기 차량번호인식기의 통신부가 상기 서버로 상기 HDR 영상을 전송하는 제 4 단계; 상기 서버가 상기 영상을 기초로, SSD(Single Shot Detection) 딥러닝 알고리즘을 적용하여, 상기 LDR에서 HDR 영상 내에서 상기 적어도 하나의 차량을 인식하는 제 5 단계; 차량의 번호판에 포함된 번호의 종류를 학습한 서버가, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 복수의 번호 정보를 추출하고, 상기 학습을 기초로 상기 복수의 번호 정보 간의 간격, 상기 복수의 번호 정보 각각의 크기 및 상기 복수의 번호 정보의 개수를 이용하여 상기 적어도 하나의 차량의 차량번호를 인식하는 제 6 단계; 및 상기 서버가 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 차량번호인식기로 전송하는 제 7 단계;를 포함할 수 있다.

Description

영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템 {vehicle detection method and number cognition method using image enhancement and deep learning, and park systems using the method}
본 발명은 차량식별 시스템에 관한 것으로, 로컬에 설치되어있는 차량번호인식기가 차량의 번호인식을 실패하는 경우, 서버에서 차량 및 차량 번호를 인식하여 차량번호인식기에 전달하는 차량식별 시스템에 관한 것이다.
경제성장과 소득증가로 인해 차량의 수요가 급증하고 있는 데 반하여 도로 사정이나 교통상황을 관리하는 인력은 이에 미치지 못하고 있다. 따라서 제한된 인원으로 현재의 열악한 교통 관리 체계를 극복하고자 하는 노력들이 많이 이루어지고 있다.
이러한 노력의 일환으로서 차량의 자동인식(번호인식 포함) 시스템의 개발이 활발하게 진행되고 있다. 차량 인식 혹은 차량의 번호(문자) 인식을 통해 교통 단속은 물론 교통량 조사, 도난 차량 검거, 출입 차량 통제, 주차 시설 관리 등의 다양한 분야에 효과적으로 이용할 수 있으며, 현재까지 많은 연구가 이루어져 왔다.
특히, 차량 번호판의 문자를 인식하기 위한 과정은 다른 문자 인식과는 달리 주변 환경적인 영향으로 카메라 잡음, 조명변화, 날씨 등으로 인해 왜곡된 현상이 발생하기 때문에 강인한 처리방법들이 고려되어야 한다. 하지만 차량의 번호판 영역의 경우 그 고유의 특성상 내용이 제한되어 있고, 일반적인 문자 인식(패턴인식)에 비해 구조가 단순하다. 이러한 이유로 인해서 차량 번호 인식(License Plate Recognition: LPR)은 환경적인 특성, 차량의 수요 증가, 인력수급 및 주차공간의 자원 관리를 효율적으로 운영하기 위한 가장 보편적인 시스템이라고 할 수 있다.
LPR 시스템 또는 번호인식 기술은 영국에서 1976년에 가장 먼저 개발되었다. 그 이후 수십 년 동안, 기술이 진화하고 시장 수요가 증가함에 따라 LPR 시스템은 꾸준히 성장하였고, 동남아시아를 비롯한 유럽 국가에서 점차 확대되었다. 이로 인해 미국 북미 지역에서도 LPR 시스템 시장이 크게 성장하고 있다. 이는 효율적인 범죄 진압 및 예방 기술에 대한 강한 동기부여로 이어져서 더 넓은 시장으로 활성화되는 계기가 되었다.
과거의 차량 번호 인식(LPR) 또는 ALPR(Automated LPR) 시스템은 차량 번호판을 판독하기 위해 카메라로부터 획득된 이미지(영상)에서 광학문자인식(Optical Character Recognition: OCR)을 사용하여 감시방법(Surveillance Method)에 적용되었다. 최근에는 주차관리 시스템이란 명칭으로 주차공간의 효율적인 업무를 진행하고 있다. 현재 LPR 시스템은 주차환경과 관련하여 관리인이 주차 요금을 정산함으로써 인력수급 및 인건비 부담과 요금 누수현상을 해결하고 있고, LPR 시스템의 수요는 끊임없이 증가되고 가면서 기술의 변화 및 개발이 지속적으로 이어지고 있다.
또한, 공공안전과 개인보안 등의 이유로 현대에는 곳곳에 CCTV(closed circuit television)가 설치되어 있고, 현재도 진행 중이며, CCTV 등을 통해 기록된 자료는 범죄 예방과 범죄 발생 시에 증거자료로 활용되고 있다.
공공안전과 시설물 및 개인의 안전으로부터 위협받거나 생활의 편의를 도모하기 위한 이유로 현대에는 곳곳에 CCTV(closed circuit television)가 설치되어 있고 현재도 진행 중이다.
이러한 배경들은 IT기술의 지속적인 발전에 따른 기능을 유연하게 수용하며 미래 환경변화에 대응할 수 있는 차세대 무인교통단속장비 및 CCTV 지능형 영상솔루션의 객체 검출과 행동분석을 통한 감시 및 재난, 재해 방지 등의 역할로 발전하게 되었다.
특히, 무인교통단속장비와 같은 교통법규를 준수하도록 유도하는 형태의 시스템 및 솔루션은 교통사고 발생의 감소와 함께 궁극적으로 도로교통의 안전을 지향하기 위한 일환으로 설치 및 운영되고 있다.
사실상 단속의 효과는 과거(2012년~2013년도)에 교통공학적 측면에 의존성이 높았다면, 현재에는 교통뿐만 아니라 안전과 복지 그리고 편의성을 갖춘 복합적인 시스템을 요구하게 되었다.
또한, 단속에 의한 운전자의 운전형태의 개선과 교통소통 및 교통안전성을 확보함으로써 도로 및 교통여건의 변화에 따른 교통사고 변화추이와 교통사고 심각분포를 고려한 도시 환경 조정에도 활용되고 있다.
이와 같이 산업의 특성에 반영될 수 있었던 배경들 중에서 지능형교통시스템(ITS) 분야에서 쉽게 살펴볼 수 있다.
이는 도로 및 교통정보제공, 대중교통 및 화물차량의 운영등과 같이 교통의 전 분야에 걸쳐 정보통신 기술, 센서 및 제어기술, 영상해석 및 처리기술등과 함께 유기적으로 접목하여 교통의 효율성을 극대화시킬 뿐만 아니라 비용의 절감을 향상시킨 계기가 되었다.
또한, 이에 대해 우리나라 ITS 기본계획 21에서도 설명하고 있으며 총 3단계에 걸쳐 최첨단 인프라를 완성하는 기본 계획을 갖고 있다.
최근에는 다양한 산업의 관련 업체들이 시장에 참여하기에는 수익성 확보에 어려움이 있기 때문에 시장성이 있는 분야의 중심과 민간 업체들의 참여로 비즈니스 모델의 개발과 지속적인 기술개발을 통한 새로운 서비스를 추구하고 있고 u-City 사업 등의 광범위한 시스템 설계 및 솔루션을 통한 개선을 도모하고 있다.
이러한 산업분야 내에서 교통 영상감시 기능에 대한 신뢰도가 높일수록 시스템의 오류발생 확률을 낮출 수 있을수록 기존 CCTV 제품 및 솔루션 대비 성능 우수성을 보장 할 수 있어야 경쟁력 확보가 가능하고 시장 우위를 점할 수 있다.
하지만 교통흐름을 실시간으로 관리 및 감독하기에는 교통과 관련된 시스템들이 저변확대가 되어야 하고 신뢰성 높은 기술의 성능이 유지되어야 한다.
그러나 현재의 상황은 캠코더를 이용하여 영상 단속을 시행하거나 도로환경에 주행중인 차량이용자로부터 정보를 수집하거나 무인교통감시 시스템 및 방법기능을 갖는 영상수집 카메라 등이 활용되고 있는 실정에서 효과적인 결과를 얻기에는 자동보다는 수동화된 시스템을 의존할 수밖에 없다.
따라서 상기한 문제점을 해소할 수 있는 해결방안이 요구되고 있는 실정이다.
대한민국 특허청 등록번호 제10-1565978호
본 발명은 차량식별 시스템에 관한 것으로, 로컬에 설치되어있는 차량번호인식기가 차량의 번호인식을 실패하는 경우, 서버에서 차량 및 차량 번호를 인식하여 차량번호인식기에 전달하는 차량식별 시스템을 사용자에게 제공하고자 한다.
구체적으로, 본 발명은 통합센터에 서버를 구축하고, 로컬에서는 정기권인 경우 신속한 입차를 위해 1차 번호인식을 빠르게 하며, 2차로 서버에서 추가된 기술을 적용하여 미인식, 부분인식 등 인식되지 않은 차량의 번호판을 인식하여 인식률을 높임으로써, 보다 완벽한 차량번호인식 시스템을 사용자에게 제공하고자 한다.
본 발명에 따른 서버는 현장당 1대가 아닌 여러 개의 현장을 적용할 수 있고, 서버 구축비용은 사업장에서 지불하지 않고, 단일의 서버를 기초로 활용하는 것이 가능하다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 차량번호인식기 및 상기 차량번호인식기와 통신하는 서버를 포함하는 시스템을 이용한 차량 식별 방법에 있어서, 상기 차량번호인식기의 카메라가, 미리 설정된 2개의 노출값((exposure value)을 기초로, 적어도 하나의 차량과 관련된 HDR 영상을 획득하는 제 1 단계; 상기 차량번호인식기의 제어부가 상기 HDR 영상을 기초로 상기 적어도 하나의 차량번호 인식을 시도하는 제 2 단계; 상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 실패하는 제 3 단계; 상기 차량번호인식기의 통신부가 상기 서버로 상기 HDR 영상을 전송하는 제 4 단계; 상기 서버가 상기 HDR 영상을 기초로, SSD(Single Shot Detection) 딥러닝 알고리즘을 적용하여, 상기 HDR 영상 내에서 상기 적어도 하나의 차량을 인식하는 제 5 단계; 차량의 번호판에 포함된 번호의 종류를 학습한 서버가, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 복수의 번호 정보를 추출하고, 상기 학습을 기초로 상기 복수의 번호 정보 간의 간격, 상기 복수의 번호 정보 각각의 크기 및 상기 복수의 번호 정보의 개수를 이용하여 상기 적어도 하나의 차량의 차량번호를 인식하는 제 6 단계; 및 상기 서버가 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 차량번호인식기로 전송하는 제 7 단계;를 포함할 수 있다.
또한, 상기 제 1 단계는, 상기 차량번호인식기의 카메라가 상기 2개의 노출 값 중 제 1 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 1 영상을 획득하는 제 1-1 단계; 상기 차량번호인식기의 카메라가 상기 2개의 노출 값 중 제 2 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 2 영상을 획득하는 제 1-2 단계; 상기 제 1 영상과 상기 제 2 영상을 조합하여 1개의 HDR 영상을 획득하는 제 1-3 단계; 및 상기 제 1-1 단계 및 제 1-2 단계를 복수회 반복하여, 상기 제 1-3 단계의 HDR 영상을 복수개 획득하는 제 1-4 단계;를 포함하고, 상기 제 2 단계는, 상기 복수의 HDR 영상을 기초로, 상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 시도할 수 있다.
또한, 상기 SSD 딥러닝 알고리즘은, 승용차, 버스, 오토바이, 사람 및 자전거를 대상으로 학습된 알고리즘이고, 상기 제 5 단계에서, 상기 학습된 SSD 딥러닝 알고리즘을 기초로, 상기 승용차 및 버스에 대응되는 객체만을 추출함으로써, 상기 적어도 하나의 차량을 인식할 수 있다.
또한, 상기 제 6 단계에서, 상기 서버가 학습하는 상기 차량의 번호판에 포함된 번호의 종류는, 국내 번호판인 경우, 상기 국내 번호판에 이용되는 10개 종류의 번호이고, 해외 번호판인 경우, 상기 해외 번호판에 이용되는 26개 종류의 번호일 수 있다.
또한, 상기 제 6 단계에서, 상기 서버는, 기울기 및 크기에 관계 없이, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 모든 복수의 번호 정보를 추출할 수 있다.
또한, 상기 차량번호인식기는 복수이고, 상기 서버는 단수이며, 상기 단수의 서버가 상기 복수의 차량번호인식기로부터 정보를 수신하여, 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 복수의 차량번호인식기 각각으로 전송할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 차량번호인식기 및 상기 차량번호인식기와 통신하는 서버를 포함하는 차량 식별 시스템에 있어서, 상기 차량번호인식기는, 미리 설정된 2개의 노출값((exposure value)을 기초로, 적어도 하나의 차량과 관련된 HDR 영상을 획득하는 카메라; 상기 HDR 영상을 기초로 상기 적어도 하나의 차량번호 인식을 시도하는 제어부; 및 상기 제어부가 상기 적어도 하나의 차량번호 인식을 실패하는 경우, 상기 서버로 상기 HDR 영상을 전송하는 통신부;를 포함하고, 상기 서버는, 상기 HDR 영상을 기초로, SSD(Single Shot Detection) 딥러닝 알고리즘을 적용하여, 상기 HDR 영상 내에서 상기 적어도 하나의 차량을 인식하고, 차량의 번호판에 포함된 번호의 종류를 미리 학습하며, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 복수의 번호 정보를 추출하고, 상기 학습을 기초로 상기 복수의 번호 정보 간의 간격, 상기 복수의 번호 정보 각각의 크기 및 상기 복수의 번호 정보의 개수를 이용하여 상기 적어도 하나의 차량의 차량번호를 인식하며, 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 차량번호인식기의 통신부로 전송할 수 있다.
또한, 상기 카메라는, 상기 2개의 노출 값 중 제 1 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 1 영상을 획득하고, 상기 2개의 노출 값 중 제 2 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 2 영상을 획득하며, 상기 제 1 영상과 상기 제 2 영상을 조합하여 1개의 HDR 영상을 획득하고, 상기 제 1 영상의 획득 과정 및 상기 제 2 영상의 획득 과정을 복수회 반복하여, 상기 HDR 영상을 복수개 획득하며, 상기 제어부는, 상기 복수의 HDR 영상을 기초로, 상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 시도할 수 있다.
또한, 상기 SSD 딥러닝 알고리즘은, 승용차, 버스, 오토바이, 사람 및 자전거를 대상으로 학습된 알고리즘이고, 상기 서버는, 상기 학습된 SSD 딥러닝 알고리즘을 기초로, 상기 승용차 및 버스에 대응되는 객체만을 추출함으로써, 상기 적어도 하나의 차량을 인식할 수 있다.
또한, 상기 서버가 학습하는 상기 차량의 번호판에 포함된 번호의 종류는, 국내 번호판인 경우, 상기 국내 번호판에 이용되는 10개 종류의 숫자이고, 해외 번호판인 경우, 상기 해외 번호판에 이용되는 26개의 알파벳과 10개의 숫자일 수 있다.
또한, 상기 서버는, 기울기 및 크기에 관계 없이, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 모든 복수의 번호 및 문자 정보를 추출할 수 있다.
또한, 상기 차량번호인식기는 복수이고, 상기 서버는 단수이며, 상기 단수의 서버가 상기 복수의 차량번호인식기로부터 정보를 수신하여, 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 복수의 차량번호인식기 각각으로 전송할 수 있다.
본 발명은 차량식별 시스템에 관한 것으로, 로컬에 설치되어있는 차량번호인식기가 차량의 번호인식을 실패하는 경우, 서버에서 차량 및 차량 번호를 인식하여 차량번호인식기에 전달하는 차량식별 시스템을 사용자에게 제공할 수 있다.
구체적으로, 본 발명은 통합센터에 서버를 구축하고, 로컬에서는 정기권인 경우 신속한 입차를 위해 1차 번호인식을 빠르게 하며, 2차로 서버에서 추가된 기술을 적용하여 미인식, 부분인식 등 인식되지 않은 차량의 번호판을 인식하여 인식률을 높임으로써, 보다 완벽한 차량번호인식 시스템을 사용자에게 제공할 수 있다.
또한, 본 발명에 따른 서버는 현장당 1대가 아닌 여러 개의 현장을 적용할 수 있고, 서버 구축비용은 사업장에서 지불하지 않고, 단일의 서버를 기초로 활용하는 것이 가능하다.
또한, 본 발명이 제안하는 내용이 적용될 경우, 기존에 인식하지 못한 차량번호를 인식하여 미인식으로 인한 운영상의 문제를 해결하고, 입차 데이터가 없어 비용을 받지 못하고 출차시켜 누수된 수입금도 증가될 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
또한. 차량이 아닌 물체에 의한 오감지를 제거하여 주차장내 차량 카운터의 정확성을 높일 수 있는 효과를 얻을 수 있다.
도 1은 본 발명에 적용될 수 있는 차량식별 시스템의 블록 구성도의 일례를 나타낸 것이다.
도 2는 본 발명에 적용될 수 있는 차량번호 인식기의 블록 구성도의 일례를 나타낸 것이다.
도 3은 본 발명에 적용될 수 있는 차량식별 방법을 설명하는 순서도이다.
도 4는 본 발명에 적용될 수 있는 개선된 차량식별 방법을 설명하는 순서도이다.
도 5는 본 발명에 적용되는 장면의 밝기 값에 따른 두 장의 LDR 영상을 취득하는 방법을 설명하는 순서도이다.
도 6은 노출이 다른 2장의 LDR 영상의 일례를 도시한 것이고, 도 7은 최소제곱근사를 적용하여 얻은 화소값와 노출 값(셔터 속도)의 비율에 대한 곡선을 도시한 것이며, 도 8은 셔터 속도 추정 과정을 도시한 것이다.
도 9는 본 발명에 따른 HDR을 적용한 인식률 개선의 일례를 도시한 것이다.
도 10은 본 발명에 따른 딥러닝 기반을을 이용한 차량인식 개선의 일례를 도시한 것이다.
도 11은 본 발명에 따른 딥러닝 기반의 신개념 차량번호 인식 방법의 일례를 도시한 것이다.
도 12는 본 발명에 따른 딥러닝 기반의 신개념 차량번호 인식의 일례를 도시한 것이다.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 일 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
차량식별 시스템
도 1은 본 발명에 적용될 수 있는 차량식별 시스템의 블록 구성도의 일례를 나타낸 것이다.
도 1을 참조하면, 본 발명이 제안하는 차량식별 시스템(1)은 차량번호 인식기(100)와 서버(10)로 구성된다.
차량번호 인식기(100)와 서버(10) 간에는 근거리 통신 또는 원거리 통신하여 서로 데이터를 주고 받는 것이 가능하다.
여기서 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), ZigBee, Wi-Fi (Wireless Fidelity) 기술을 포함할 수 있다.
또한, 원거리 통신은 LTE CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
서버(20)는 차량번호 인식기(100)로부터 수신한 데이터를 처리 또는 저장하고, 외부의 요청에 따라 처리 또는 저장된 데이터를 제공하는 것이 가능하다.
특히, 서버(20)는, 로컬에 설치되어있는 차량번호인식기(100)가 차량의 번호인식을 실패하는 경우, 서버(20)에서 차량 및 차량 번호를 인식하여 차량번호인식기(100)에 전달할 수 있다.
차량번호 인식기
도 2는 본 발명에 적용될 수 있는 차량번호 인식기의 블록 구성도의 일례를 나타낸 것이다.
도 2를 참조하면, 상기 차량번호 인식기는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다.
단, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 차량번호 인식기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 차량번호 인식기와 무선 통신 시스템 사이 또는 차량번호 인식기와 차량번호 인식기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 차량번호 인식기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 차량번호 인식기, 서버 중 적어도 하나와 무선 신호를 송수신한다.
문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량번호 인식기에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, 와이파이(Wireless Fidelity, Wi-Fi) 등이 이용될 수 있다.
위치정보 모듈(115)은 차량번호 인식기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 2을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 차량번호 인식기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 차량번호 인식기의 개폐 상태, 차량번호 인식기의 위치, 사용자 접촉 유무, 차량번호 인식기의 방위, 차량번호 인식기의 가속/감속 등과 같이 차량번호 인식기의 현 상태를 감지하여 차량번호 인식기의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 차량번호 인식기 결합 여부 등을 센싱할 수도 있다.
한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다.
디스플레이부(151)는 차량번호 인식기에서 처리되는 정보를 표시(출력)한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 차량번호 인식기 바디의 디스플레이부(151)가 차지하는 영역을 통해 차량번호 인식기 바디의 후방에 위치한 사물을 볼 수 있다.
차량번호 인식기의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 차량번호 인식기에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 차량번호 인식기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 차량번호 인식기에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 차량번호 인식기의 이벤트 발생을 알리기 위한 신호를 출력한다.
알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.
상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다.
예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 차량번호 인식기의 구성 태양에 따라 2개 이상이 구비될 수 있다.
프로젝터 모듈(155)은, 차량번호 인식기를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(155)은, 차량번호 인식기의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 차량번호 인식기의 어느 위치에라도 구비될 수 있음은 당연하다.
메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 차량번호 인식기는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 차량번호 인식기에 연결되는 모든 외부차량번호 인식기와의 통로 역할을 한다. 인터페이스부(170)는 외부 차량번호 인식기로부터 데이터를 전송받거나, 전원을 공급받아 차량번호 인식기 내부의 각 구성 요소에 전달하거나, 차량번호 인식기 내부의 데이터가 외부 차량번호 인식기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 차량번호 인식기의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 차량번호 인식기와 연결될 수 있다.
상기 인터페이스부는 이동차량번호 인식기가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동차량번호 인식기에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동차량번호 인식기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동차량번호 인식기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 차량번호 인식기의 전반적인 동작을 제어한다.
제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
한편, 서버(10)에 대해서는 별도의 구성을 도시 및 설명하지는 않았으나 도 2를 통해 설명된 구성 중 적어도 일부에 대해 서버(10)가 포함하는 것이 가능하다.
차량식별 방법
전술한 본 발명의 구성을 기초로 본 발명의 기술적 특징에 대해 구체적으로 설명한다.
현재, 로컬에 설치되어있는 차량번호인식기(100)는 차량을 촬영 후 번호인식 결과값을 0.1초이내에 결과값을 도출해야 하므로, 여러 가지의 기술을 적용할 수 없고, 한가지 또는 시간이 많이 소요되지 않는 단순한 기술을 적용할 수 밖에 없다.
이에 따라 현재 시스템 상에서는, 반사번호판, 태양광반사등으로 인해 미인식 및 부분인식이 발생되어 출차 시 요금징수를 할 수 없어 완벽한 무인화 시스템을 운영하는데 어려움이 있다.
이를 해결 하기 위해 여러가지의 알고리즘을 적용하여 미인식 및 부분인식을 해결하여야 하나 현재의 차량번호인식기(100)는 적정한 가격을 위해, 고사양의 H/W를 설치할 수 없어 적용하기가 어렵다.
따라서 현재의 주차관제에서는 이와 같이 인식되지 않은 이미지에 대응되는 차량에 대해서는, 번호인식 제외항목으로 운영시 요금을 지불하지 않고 출차시키고 있는 실정이다.
따라서 본 발명에서는 이러한 문제점을 해소하고자 로컬에 설치되어있는 차량번호인식기(100)가 차량의 번호인식을 실패하는 경우, 서버(10)에서 차량 및 차량 번호를 인식하여 차량번호인식기에 전달하는 차량식별 시스템을 사용자에게 제공하고자 한다.
구체적으로, 본 발명은 통합센터에 서버(10)를 구축하고, 로컬에서는 정기권인 경우 신속한 입차를 위해 1차 번호인식을 빠르게 하며, 2차로 서버(10)에서 추가된 기술을 적용하여 미인식, 부분인식 등 인식되지 않은 차량의 번호판을 인식하여 인식률을 높임으로써, 보다 완벽한 차량번호인식 시스템을 사용자에게 제공하고자 한다.
본 발명에 따른 서버는 현장당 1대가 아닌 여러 개의 현장을 적용할 수 있고, 서버 구축비용은 사업장에서 지불하지 않고, 단일의 서버를 기초로 활용하는 것이 가능하다.
도 3은 본 발명에 적용될 수 있는 차량식별 방법을 설명하는 순서도이다.
가장 먼저, 로컬에 설치되어있는 차량번호인식기(100)가 차량의 번호인식을 실패하는 단계(S10)가 진행된다.
이 경우, 차량번호인식기(100)가 차량과 관련하여 획득된 영상 정보를 서버(10)로 전송하고(S20), 서버(10)에서 차량을 인식하는 단계(S30)가 진행된다.
이후, 서버(10)에서 인식된 차량의 번호를 인식(S40)하게 되면, 서버(10)가 인식된 차량의 번호를 차량번호인식기(100)로 전송하게 된다(S50)
도 4는 도 3에서 설명한 방법을 보다 구체화 시킨 방법을 설명하는 순서도이다.
도 4를 참조하면, 먼저, 로컬에 설치된 차량번호인식기(100)가 카메라(121)에 설정된 두 exposure 값으로 사진 번갈아 가며 LDR 영상을 획득하는 단계(S5)가 진행된다.
S5 단계에서, 카메라(121)는 설정된 두 exposure 값으로 사진 번갈아 가며 사진을 획득하게 되는데, 두 값은 현재 촬영 장소 밝기에 비례 하여 한번은 조금 어둡게, 한번은 조급 밝게 찍어 각각 번호 인식을 시도하게 된다.
이러한 S5 단계의 목적은 반사가 심한 경우(반사 번호판, 태양광 반사)에 번호 인식률을 올리기 위해서 이다.
가끔 태양광에 의해 부분 반사일 경우 어두운 이미지는 반사 된 곳만 밝은 쪽 이미지는 어두운 쪽만 번호가 보여 번호 인식이 안 되는 경우, 발생된 이미지를 합성하여 적정한 이미지를 만들면 번호인식 가능할 수 있다.
이후, 차량번호인식기(100)가 차량의 번호인식을 실패하는 단계(S10)가 진행되는 경우, 차량번호인식기(100)가 차량과 관련하여 획득된 LDR 영상 정보를 서버(10)로 전송하는 단계가 진행된다(S21).
S21 단계 이후, 서버(10)에서 상기 LDR 영상을 HDR 영상으로 변환하고(S25), 서버(10)는 SSD(Single ShotDetection) 딥러닝 알고리즘을 이용하여 차량을 인식하는 단계(S31)를 진행한다.
종래에는, 차량이 아닌 사람, 리어카, 오토바이 등등에 의해 차량으로 인식 되고 게이트가 열리며 번호 인식은 미인식이 되는 경우가 빈번하게 발행하였다.
따라서 본 발명에서는, 이미지에서 차량을 검출하여 차량이 아닌 경우를 걸러냄으로써, 차량 카운트 정확성 향상과 미 출차 차량의 누적을 피할 수 있게 된다.
S31 단계에서는, SSD(Single Shot Detection) 딥러닝 알고리즘을 승용차, 버스, 오토바이, 사람, 자전거 5가지를 가지고 학습하여 적용할 수 있다.
이후, 서버(10)에서 번호판에 포함된 번호의 종류를 학습하고, 이미지 상의 적정한 크기의 번호를 모두 찾은 후, 해당 번호들의 간격, 크기, 갯수 등을 종합 판단 하여 인식된 차량의 번호를 인식하는 단계(S41)가 진행된다.
상기에서 설명한 딥러닝 기반에서 번호 10 종류를 학습 시켜 이미지 상의 적정한 크기의 번호를 모두 찾고, 그 번호들의 간격, 크기, 갯수 등을 종합 판단 하여 차량 번호를 인식하게 된다.
단, 해외 번호판인 경우 알파벳 26자를 추가하여 총 36개의 문자를 디텍션할 수도 있다.
이런 방식의 특징은 많이 기울어진 번호, 작은 번호등의 인식률이 기존 보다 우수하다.
또한, 글자가 붙어 있거나 부분적으로 보이는 경우도 인식률이 좋아지게 된다.
이후, 서버(10)가 인식된 차량의 번호를 차량번호인식기(100)로 전송하는 단계(S50)가 진행된다.
이하에서는, 로컬에 설치된 차량번호인식기(100)가 카메라(121)에 설정된 두 exposure 값으로 사진 번갈아 가며 HDR 영상을 획득하는 단계(S5), 서버(10)에서 SSD(Single Shot Detection) 딥러닝 알고리즘을 이용하여 차량을 인식하는 단계(S31) 및 서버(10)에서 번호판에 포함된 번호의 종류를 학습하고, 이미지 상의 적정한 크기의 번호를 모두 찾은 후, 해당 번호들의 간격, 크기, 갯수 등을 종합 판단 하여 인식된 차량의 번호를 인식하는 단계(S41)에 대해 도면을 참조하여 보다 구체적으로 설명한다.
두 장의 LDR 영상을 이용한 HDR 영상 취득
도 5는 본 발명에 적용되는 장면의 밝기 값에 따른 두 장의 LDR 영상을 취득하는 방법을 설명하는 순서도이다.
도 4를 참조하면, 먼저 이미지가 입력되고(S210), 화소와 측광을 보정하는 단계(S220)가 진행된다.
이후, 노출 곡선을 추정(S230)하고, 장면의 밝기 값에 따른 두 장의 LDR 영상을 취득하게 된다(S240).
즉, 두 장의 초기 영상만을 이용하여 영상의 각 화소값 사이의 상대적인 노출 비율을 나타내는 노출 곡선을 추정한다. 이를 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별하여 HDR 영상을 생성한다.
또한, 주변광의 밝기가 연속적으로 변하는 환경에서도 이전 평균 밝기 값과 현재 평균 밝기 값 사이의 상대적인 노출 비율을 이용하여 지속적으로 최적의 LDR 영상을 취득함으로써 HDR 비디오 취득으로 확장할 수 있다.
도 6은 노출이 다른 2장의 LDR 영상의 일례를 도시한 것이고, 도 7은 최소제곱근사를 적용하여 얻은 화소값와 노출 값(셔터 속도)의 비율에 대한 곡선을 도시한 것이며, 도 8은 셔터 속도 추정 과정을 도시한 것이다.
어떤 정적인(static) 장면의 노출 시간, 즉 셔터 속도
Figure 112019105036739-pat00001
에 의하여 취득한 첫 번째 영상
Figure 112019105036739-pat00002
(도 6a의 (a))과 셔터 속도
Figure 112019105036739-pat00003
을 가진 두 번째 영상
Figure 112019105036739-pat00004
(도 6a의 (b))을 취득하였다고 가정한다.
이 때, 영상의 화소
Figure 112019105036739-pat00005
에서의 화소값은 하기의 수학식 (1)에 나타낸 바와 같이 셔터 속도
Figure 112019105036739-pat00006
와 센서의 단위 면적당 입사되는 방사도 (irradiance)
Figure 112019105036739-pat00007
의 곱의 함수로 표현된다.
수학식 1
Figure 112019105036739-pat00008
여기서
Figure 112019105036739-pat00009
는 센서의 단위 면적당 입사되는 빛의 양을 영상의 화소값으로 매핑해주는 카메라 반응함수이다.
Figure 112019105036739-pat00010
에서 어떤 화소 위치
Figure 112019105036739-pat00011
에 입사하는 빛의 양을
Figure 112019105036739-pat00012
라 하면,
Figure 112019105036739-pat00013
에서 ?
Figure 112019105036739-pat00014
에 입사하는 빛의 양은
Figure 112019105036739-pat00015
이다.
여기서
Figure 112019105036739-pat00016
라 하면,
Figure 112019105036739-pat00017
에서
Figure 112019105036739-pat00018
과 동일한 화소값을 가지는 위치를
Figure 112019105036739-pat00019
하면,
Figure 112019105036739-pat00020
이고
Figure 112019105036739-pat00021
에 사하는 빛의 양은
Figure 112019105036739-pat00022
이다.
또한,
Figure 112019105036739-pat00023
에서
Figure 112019105036739-pat00024
로 입사하는 빛의 양은
Figure 112019105036739-pat00025
이다.
즉, 같은 영상에서는 셔터 속도가 같으므로 단위면적당 입사하는 빛의 양은 k 차이가 나며 두 영상간의 화소의 위치가 같으면
Figure 112019105036739-pat00026
는 같고 셔터 속도만 k 만큼의 차이가 난다.
따라서
Figure 112019105036739-pat00027
에서 위의 조건을 만족하는 화소의 집합을
Figure 112019105036739-pat00028
,
Figure 112019105036739-pat00029
와 취득된 각 화소값들의 빛의 증가량에 대한 집합을
Figure 112019105036739-pat00030
라 하면 위의 방법은 일반적으로 하기의 수학식 (2)와 같이 표현된다.
수학식 2
Figure 112019105036739-pat00031
여기서
Figure 112019105036739-pat00032
Figure 112019105036739-pat00033
는 집합 P와 T의 i 번째 원소를 의미한다.
이 관계를 그래프로 도시하면 그림 6b 같다. 그림 6b의 (a)는 노출이 다른 두 영상 사이에 수학식 (1)을 만족하는 화소값 사이의 관계를 도시하고 있다.
그림 6b의 (b)는
Figure 112019105036739-pat00034
에 입사하는 광량에 대한
Figure 112019105036739-pat00035
에 입사하는 광량의 증가량을 도시하였다.
이상적인 경우 단위 면적당 동일한 빛의 양이 입사하면 영상의 화소값은 항상 동일한 값을 가진다.
그러나 카메라 내부에서 발생하는 잡음의 영향으로 단위 면적당 동일한 빛의 양이 입사하는 화소값은 완전히 동일한 값을 가지지 않는다.
따라서
Figure 112019105036739-pat00036
과 수학식 2의 관계가 성립하는 화소값
Figure 112019105036739-pat00037
Figure 112019105036739-pat00038
의 밝기를 가지는 화소들이
Figure 112019105036739-pat00039
의 대응되는 위치에서의 화소값의 평균
Figure 112019105036739-pat00040
로 정의한다.
일반적으로 영상의 화소값은 단위 면적당 입사되는 빛의 양이 카메라 반응 함수에 매핑되어 결정된다. 그러나 카메라의 센서 종류에 따라 반응 함수가 다르기 때문에 영상을 통해 반응 함수를 추정해야 한다. 실제 카메라 모델의 카메라 반응 함수는 비선형으로 모델링되어 있으며 정규화된 노출 값이 증가함에 따라 정규화된 화소값 역시 단조 증가한다. 이 성질을 이용하면 노출의 상대적인 비율에 대한 각 화소값과의 관계를 구할 수 있다.
여기서 화소값과 각 화소값 사이의 상대적인 노출 비율의 관계를 표현하는 노출 곡선을 정의하고, 노출 곡선 또한 카메라 반응 함수처럼 비선형이므로, 수학식 4와 같이 고차 다항식으로 모델링할 수 있다.
따라서 각 화소값 사이의 상대적인 노출 비율의 집합
Figure 112019105036739-pat00041
와 각 화소값의 집합
Figure 112019105036739-pat00042
를 수학식 (1)에 적용하면 수학식 (3)와 같이 표현된다.
수학식 3
Figure 112019105036739-pat00043
수학식 4
Figure 112019105036739-pat00044
수학식 3에서, f는 수학식 (1)에서의 g의 역함수이다.
수학식 (4)을 행렬식으로 표현하기 위해 취득된 n개의 화소와 m의 차수를 가지는 다항식을 수학식 (5)와 같이 n×(m+1)의 디자인 행렬 A로, 취득된 각 화소의 노출 증가율의 집합 T를 n×1의 행렬 B로 정의한다.
수학식 (3)을 만족하는 곡선에 대한 최적의 계수를 구하기 위해 Mitsunaga 등과 달리 최소제곱근사 (lease square estimation) 알고리즘을 이용하여 도 7과 같이 각 화소값과 각 화소값 사이의 상대적인 노출 비율에 대한 곡선을 추정한다.
도 7은 본 발명에 따른 HDR을 적용한 인식률 개선의 일례를 도시한 것으로, 화소값 128을 기준으로 정규화한 각 화소간의 상대적인 노출 비율을 나타내고 있다.
다른 노출 값으로 취득한 영상의 히스토그램은 전반적인 형태는 비슷하며 평균 밝기 값만 달라진다.
사용자의 경험에 의하거나 자동 카메라의 측광에 의해 얻어지는 노출에 의해 얻은 영상을 기준 영상으로서 취득하고, 이로부터 두 장의 셔터 속도를 추정하는 과정을 거친다.
이후 기준 영상은 사용되지 않고, 정적인 장면에 대해 영상의 히스토그램은 장면 방사도가 커지는 경우 기준영상에 비해 오른쪽(도 8의 (b)) 으로, 장면 방사도가 적어지는 경우는 왼쪽(도 8의 (c))으로 이동된 형태를 가진다.
도 8의 (a) 와 같이 영상이 포화되지 않았다면 히스토그램을
Figure 112019105036739-pat00045
값만큼 이동시키고, 이동된 영상의 평균 밝기 값
Figure 112019105036739-pat00046
보다 큰 화소들의 평균 값
Figure 112019105036739-pat00047
을 밝은 LDR 영상
Figure 112019105036739-pat00048
의 평균 밝기 값으로 설정한다(도 8의 (b)).
반대로 매우 어두운 영상의 경우 최소 화소 값
Figure 112019105036739-pat00049
은 0이 되고,
Figure 112019105036739-pat00050
이 0보다 크면 -
Figure 112019105036739-pat00051
만큼 이동 시킨다.
이동된 영상의 평균 밝기 값
Figure 112019105036739-pat00052
보다 작은 화소들의 평균 값
Figure 112019105036739-pat00053
을 어두운 LDR 영상
Figure 112019105036739-pat00054
의 평균 밝기 값으로 설정한다(도 8의 (c)).
도 9는 본 발명에 따른 HDR을 적용한 인식률 개선의 일례를 도시한 것이다.
도 9를 참조하면, 차량번호인식기(100)는 1대의 차량이 입차시 6장의 이미지를 번호인식을 하고, 이때 카메라(121)에서 설정된 두 exposure 값으로 사진을 번갈아 가며 획득하여 한번은 조금 어둡게 한번은 조급 밝게 찍어2장의 이미지를 1장의 이미지로 조합하여 번호인식을 한다.
도 9의 목적은 반사가 심한 경우(반사 번호판, 태양광 반사)에 번호 인식률을 올리기 위함이다.
차량 인식 방법
서버(10)에서 SSD(Single Shot Detection) 딥러닝 알고리즘을 이용하여 차량을 인식하는 단계(S31)를 도 10을 참조하여 설명한다.
도 10은 본 발명에 따른 딥러닝 기반을 이용한 차량인식 개선의 일례를 도시한 것이다.
도 10의 (a)는 현재 차량 기준을 적용한 결과를 도시한 것이고, (b)는 본 발명이 제안한 방법이 적용된 결과를 도시한 것이다.
도 10의 (a)를 참조하면, 기존 루우프코일 방식은 차량이 아닌 사람(카드), 리어카, 오토바이, 자전거등의 이미지도 차량으로 판단하여 인식된 결과값(이미지, 결과값데이터)을 DB에 저장한다.
이는 출차시 입차정보를 검색할 때 차량이 아님에도 불구하고 모든 데이터를 검색하여 결과값을 도출하고 차량이 아닌 불필요한 데이터를 저장한다는 문제점이 있다.
또한 입,출차시 촬영된 결과값으로 주차장내 여유대수 정보를 표출하고 있으나 실제 차량이 아니여도 촬영되었다는 기준으로 차량으로 판단하여 카운터를 표출하고 있어 주차장내 여유대수 정보 표출이 정확하지 않아 관리자가 수시로 카운터를 조정하여 사용하는 불편함이 있다.
또한, Local에서 번호판 유무로 차량을 판단 할 수 없는 경우 추가로 인식시도를 하지 않고, 운영하여 데이터가 정확하지 않다
이를 해결하기 위해, 차량이 아닌 이미지는 SSD(Single Shot Detection) 딥러닝 알고리즘 기술을 이용하여 승용차, 버스, 오토바이, 사람, 자전거 5가지를 가지고 학습 및 적용하여 사전에 차량 유/무를 정확하게 판단하여 불필요한 데이터(이미지,결과값데이터)를 저장하지 않아 검색시 속도를 향상 시키고 차량만을 판별하기 때문에 주차장내 여유대수 정보 표출도 정확하게 안내 할 수 있다.
도 10의 (b)는 본 발명이 제안한 방법이 적용된 결과를 도시한 것이다.
차량번호 인식 방법
이하에서는, 서버(10)에서 번호판에 포함된 번호의 종류를 학습하고, 이미지 상의 적정한 크기의 번호를 모두 찾은 후, 해당 번호들의 간격, 크기, 갯수 등을 종합 판단 하여 인식된 차량의 번호를 인식하는 단계(S41)에 대해 도면을 참조하여 보다 구체적으로 설명한다.
도 11은 본 발명에 따른 딥러닝 기반의 신개념 차량번호 인식 방법의 일례를 도시한 것이다.
도 11을 참조하면, SSD(Single Shot Detection) 딥러닝 알고리즘을 이용하여 번호 10종류를 1종류당 1만개이상의 이미지를 학습 시켜 이미지 상의 적정한 크기의 번호를 모두 찾고 그 번호들의 간격, 크기, 갯수 등을 종합 판단하여 차량번호를 인식한다.
또한, 해외인 경우 알파벳 26자를 추가하여 총 36개의 문자를 인식한다.
이런 방식의 특징은 많이 기울어진 번호, 작은 번호등의 인식률이 기존 보다 우수하며 또한 글자가 붙어 있거나 부분적으로 보이는 경우도 인식률이 좋아진다는 것이다.
또한, 도 12는 본 발명에 따른 딥러닝 기반의 신개념 차량번호 인식의 일례를 도시한 것이다.
도 12의 (a) 내지 (e)를 참조하면, 현재 운영상 인식률에 문제되는 차량번호는 기울어진 번호. 작은번호, 붙어 있는 번호, 부분적으로 보이는 번호 등을 해결할 수 있다.
즉, 문제되는 번호판을 SSD 기술을 적용하여 아래의 샘플의 번호판의 인식률을 높여 기존의 문제점을 해결할 수 있다.
효과
본 발명은 차량식별 시스템에 관한 것으로, 로컬에 설치되어있는 차량번호인식기가 차량의 번호인식을 실패하는 경우, 서버에서 차량 및 차량 번호를 인식하여 차량번호인식기에 전달하는 차량식별 시스템을 사용자에게 제공할 수 있다.
구체적으로, 본 발명은 통합센터에 서버를 구축하고, 로컬에서는 정기권인 경우 신속한 입차를 위해 1차 번호인식을 빠르게 하며, 2차로 서버에서 추가된 기술을 적용하여 미인식, 부분인식 등 인식되지 않은 차량의 번호판을 인식하여 인식률을 높임으로써, 보다 완벽한 차량번호인식 시스템을 사용자에게 제공할 수 있다.
또한, 본 발명에 따른 서버는 현장당 1대가 아닌 여러 개의 현장을 적용할 수 있고, 서버 구축비용은 사업장에서 지불하지 않고, 단일의 서버를 기초로 활용하는 것이 가능하다.
또한, 본 발명이 제안하는 내용이 적용될 경우, 기존에 인식하지 못한 차량번호를 인식하여 미인식으로 인한 운영상의 문제를 해결하고, 입차 데이터가 없어 비용을 받지 못하고 출차시켜 누수된 수입금도 증가될 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
한편, 상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (12)

  1. 차량번호인식기 및 상기 차량번호인식기와 통신하는 서버를 포함하는 시스템을 이용한 차량 식별 방법에 있어서,
    상기 차량번호인식기의 카메라가, 미리 설정된 2개의 노출값((exposure value)을 기초로, 적어도 하나의 차량과 관련된 LDR 영상을 획득하는 제 1 단계;
    상기 차량번호인식기의 제어부가 상기 LDR 영상을 기초로 상기 적어도 하나의 차량번호 인식을 시도하는 제 2 단계;
    상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 실패하는 제 3 단계;
    상기 차량번호인식기의 통신부가 상기 서버로 상기 LDR 영상을 전송하는 제 4 단계;
    상기 서버가 상기 LDR 영상으로부터 도출된 HDR 영상을 기초로, SSD(Single Shot Detection) 딥러닝 알고리즘을 적용하여, 상기 HDR 영상 내에서 상기 적어도 하나의 차량을 인식하는 제 5 단계;
    차량의 번호판에 포함된 번호의 종류를 학습한 서버가, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 복수의 번호 정보를 추출하고, 상기 학습을 기초로 상기 복수의 번호 정보 간의 간격, 상기 복수의 번호 정보 각각의 크기 및 상기 복수의 번호 정보의 개수를 이용하여 상기 적어도 하나의 차량의 차량번호를 인식하는 제 6 단계; 및
    상기 서버가 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 차량번호인식기로 전송하는 제 7 단계;를 포함하고,

    상기 제 1 단계는,
    상기 차량번호인식기의 카메라가 상기 2개의 노출 값 중 제 1 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 1 영상을 획득하는 제 1-1 단계;
    상기 차량번호인식기의 카메라가 상기 2개의 노출 값 중 제 2 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 2 영상을 획득하는 제 1-2 단계;
    상기 제 1 영상과 상기 제 2 영상을 조합하여 1개의 HDR 영상을 획득하는 제 1-3 단계; 및
    상기 제 1-1 단계 및 제 1-2 단계를 복수회 반복하여, 상기 제 1-3 단계의 HDR 영상을 복수개 획득하는 제 1-4 단계;를 포함하고,
    상기 제 2 단계는, 상기 복수의 HDR 영상을 기초로, 상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 시도하며,

    상기 SSD 딥러닝 알고리즘은, 승용차, 버스, 오토바이, 사람 및 자전거를 대상으로 학습된 알고리즘이고,
    상기 제 5 단계에서,
    상기 학습된 SSD 딥러닝 알고리즘을 기초로, 상기 승용차 및 버스에 대응되는 객체만을 추출함으로써, 상기 적어도 하나의 차량을 인식하며,

    상기 제 6 단계에서,
    상기 서버는, 기울기 및 크기에 관계 없이, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 모든 복수의 번호 정보를 추출하는 것을 특징으로 하는 차량 식별 방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 제 6 단계에서,
    상기 서버가 학습하는 상기 차량의 번호판에 포함된 번호의 종류는,
    국내 번호판인 경우, 상기 국내 번호판에 이용되는 10개 종류의 번호이고,
    해외 번호판인 경우, 상기 해외 번호판에 이용되는 26개 종류의 번호인 것을 특징으로 하는 차량 식별 방법.
  5. 삭제
  6. 제 1항에 있어서,
    상기 차량번호인식기는 복수이고,
    상기 서버는 단수이며,
    상기 단수의 서버가 상기 복수의 차량번호인식기로부터 정보를 수신하여, 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 복수의 차량번호인식기 각각으로 전송하는 것을 특징으로 하는 차량 식별 방법.
  7. 차량번호인식기 및 상기 차량번호인식기와 통신하는 서버를 포함하는 차량 식별 시스템에 있어서,
    상기 차량번호인식기는,
    미리 설정된 2개의 노출값((exposure value)을 기초로, 적어도 하나의 차량과 관련된 HDR 영상을 획득하는 카메라;
    상기 HDR 영상을 기초로 상기 적어도 하나의 차량번호 인식을 시도하는 제어부; 및
    상기 제어부가 상기 적어도 하나의 차량번호 인식을 실패하는 경우, 상기 서버로 상기 HDR 영상을 전송하는 통신부;를 포함하고,
    상기 서버는,
    상기 HDR 영상을 기초로, SSD(Single Shot Detection) 딥러닝 알고리즘을 적용하여, 상기 HDR 영상 내에서 상기 적어도 하나의 차량을 인식하고,
    차량의 번호판에 포함된 번호의 종류를 미리 학습하며,
    상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 복수의 번호 정보를 추출하고,
    상기 학습을 기초로 상기 복수의 번호 정보 간의 간격, 상기 복수의 번호 정보 각각의 크기 및 상기 복수의 번호 정보의 개수를 이용하여 상기 적어도 하나의 차량의 차량번호를 인식하며,
    상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 차량번호인식기의 통신부로 전송하고,

    상기 카메라는,
    상기 2개의 노출 값 중 제 1 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 1 영상을 획득하고,
    상기 2개의 노출 값 중 제 2 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 2 영상을 획득하며,
    상기 제 1 영상과 상기 제 2 영상을 조합하여 1개의 HDR 영상을 획득하고,
    상기 제 1 영상의 획득 과정 및 상기 제 2 영상의 획득 과정을 복수회 반복하여, 상기 HDR 영상을 복수개 획득하며,
    상기 제어부는,
    상기 복수의 HDR 영상을 기초로, 상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 시도하고,

    상기 SSD 딥러닝 알고리즘은, 승용차, 버스, 오토바이, 사람 및 자전거를 대상으로 학습된 알고리즘이고,
    상기 서버는,
    상기 학습된 SSD 딥러닝 알고리즘을 기초로, 상기 승용차 및 버스에 대응되는 객체만을 추출함으로써, 상기 적어도 하나의 차량을 인식하며,

    상기 서버는, 기울기 및 크기에 관계 없이, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 모든 복수의 번호 정보를 추출하는 것을 특징으로 하는 차량 식별 시스템.
  8. 삭제
  9. 삭제
  10. 제 7항에 있어서,
    상기 서버가 학습하는 상기 차량의 번호판에 포함된 번호의 종류는,
    국내 번호판인 경우, 상기 국내 번호판에 이용되는 10개 종류의 번호이고,
    해외 번호판인 경우, 상기 해외 번호판에 이용되는 26개 종류의 번호인 것을 특징으로 하는 차량 식별 시스템.
  11. 삭제
  12. 제 7항에 있어서,
    상기 차량번호인식기는 복수이고,
    상기 서버는 단수이며,
    상기 단수의 서버가 상기 복수의 차량번호인식기로부터 정보를 수신하여, 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 복수의 차량번호인식기 각각으로 전송하는 것을 특징으로 하는 차량 식별 시스템.
KR1020190127821A 2019-10-15 2019-10-15 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템 KR102090907B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190127821A KR102090907B1 (ko) 2019-10-15 2019-10-15 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190127821A KR102090907B1 (ko) 2019-10-15 2019-10-15 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템

Publications (1)

Publication Number Publication Date
KR102090907B1 true KR102090907B1 (ko) 2020-03-19

Family

ID=69957077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190127821A KR102090907B1 (ko) 2019-10-15 2019-10-15 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템

Country Status (1)

Country Link
KR (1) KR102090907B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269367B1 (ko) 2020-10-29 2021-06-25 (주)아이트로 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템
KR102407315B1 (ko) 2021-09-30 2022-06-13 주식회사 라온에이치씨 번호판 및 차량 인식의 하이브리드 방식에 기반한 주차 관제 시스템 및 이를 이용한 주차 관제 방법
KR20220079479A (ko) 2020-12-04 2022-06-13 주식회사 두원전자통신 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120133338A (ko) * 2011-05-31 2012-12-10 중앙대학교 산학협력단 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법
KR101565978B1 (ko) 2015-03-18 2015-11-05 (주)테라테코 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법
KR101730465B1 (ko) * 2016-12-19 2017-04-27 주식회사 디아이랩 차량의 부가정보를 활용한 차량 인식 방법 및 시스템
KR101948817B1 (ko) * 2018-07-19 2019-02-15 파킹클라우드 주식회사 주차장용 번호판 인식시스템
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법
KR102011624B1 (ko) * 2019-03-29 2019-08-16 주식회사 넥스파시스템 개선된 차량검출 방법과 이를 활용한 비정상적 주정차 차량식별 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120133338A (ko) * 2011-05-31 2012-12-10 중앙대학교 산학협력단 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법
KR101565978B1 (ko) 2015-03-18 2015-11-05 (주)테라테코 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법
KR101730465B1 (ko) * 2016-12-19 2017-04-27 주식회사 디아이랩 차량의 부가정보를 활용한 차량 인식 방법 및 시스템
KR101948817B1 (ko) * 2018-07-19 2019-02-15 파킹클라우드 주식회사 주차장용 번호판 인식시스템
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법
KR102011624B1 (ko) * 2019-03-29 2019-08-16 주식회사 넥스파시스템 개선된 차량검출 방법과 이를 활용한 비정상적 주정차 차량식별 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269367B1 (ko) 2020-10-29 2021-06-25 (주)아이트로 딥러닝 기반의 차량 특징점을 이용한 주차 정산 시스템
KR20220079479A (ko) 2020-12-04 2022-06-13 주식회사 두원전자통신 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템
KR102407315B1 (ko) 2021-09-30 2022-06-13 주식회사 라온에이치씨 번호판 및 차량 인식의 하이브리드 방식에 기반한 주차 관제 시스템 및 이를 이용한 주차 관제 방법

Similar Documents

Publication Publication Date Title
US10977917B2 (en) Surveillance camera system and surveillance method
KR102090907B1 (ko) 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템
WO2020173155A1 (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
KR101525364B1 (ko) 전방위 카메라를 사용하는 차량번호 인식 노상주차 시스템
KR101057882B1 (ko) 휴대용 불법단속 및 교통위반단속 시스템
KR101691312B1 (ko) 주차지역 안내 방법 및 시스템
WO2020100922A1 (ja) データ配信システム、センサデバイス及びサーバ
CN101795397B (zh) 一种检测车辆内部乘客的红外成像方法
CN110136091B (zh) 图像处理方法及相关产品
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
US11651594B2 (en) Systems and methods of legibly capturing vehicle markings
KR101998052B1 (ko) 빅데이터 기반 객체 인식을 이용한 전방위 카메라 1대 다면 주차장 관리 시스템 및 관리방법
CN103914980A (zh) 摄像装置及影像撷取方法
AU2021240327A1 (en) Infringement detection method, device and system
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN109274945B (zh) 一种自适应进行图像真彩色还原的方法及系统
CN116630866B (zh) 音视频雷达融合的异常事件监控方法、装置、设备及介质
CN103337168B (zh) 一种车辆数据采集方法、装置及系统
KR101986463B1 (ko) 주차유도 시스템 및 그 제어방법
KR20190113393A (ko) 차량 인식 프로그램 내장형 촬상 장치, 상기 장치의 동작 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
KR101236266B1 (ko) 주차공간정보 관리시스템
KR101416457B1 (ko) 역주행 차량 및 보행자 위험상황 인지가 적용된 도로방범시스템
KR102302619B1 (ko) 장애인 주차 구역 위반 단속 방법 및 시스템
KR101319518B1 (ko) 음성 인터페이스를 이용한 자동 단속 주행 시스템 및 그 제어방법
KR100770157B1 (ko) 이동형 차량번호 판독 및 증거수집 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant