KR102304802B1 - Image Processing Method for Highway Toll Calculation and System for the same - Google Patents

Image Processing Method for Highway Toll Calculation and System for the same Download PDF

Info

Publication number
KR102304802B1
KR102304802B1 KR1020190093036A KR20190093036A KR102304802B1 KR 102304802 B1 KR102304802 B1 KR 102304802B1 KR 1020190093036 A KR1020190093036 A KR 1020190093036A KR 20190093036 A KR20190093036 A KR 20190093036A KR 102304802 B1 KR102304802 B1 KR 102304802B1
Authority
KR
South Korea
Prior art keywords
image
license plate
vehicle
information
recognition
Prior art date
Application number
KR1020190093036A
Other languages
Korean (ko)
Other versions
KR20210014937A (en
Inventor
황준현
김태균
원영하
Original Assignee
주식회사 크래비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크래비스 filed Critical 주식회사 크래비스
Priority to KR1020190093036A priority Critical patent/KR102304802B1/en
Publication of KR20210014937A publication Critical patent/KR20210014937A/en
Application granted granted Critical
Publication of KR102304802B1 publication Critical patent/KR102304802B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G06K9/3258—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/133—Evaluation of quality of the acquired characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/06—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems
    • G07B15/063—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems using wireless information transmission between the vehicle and a fixed station
    • G06K2209/01—
    • G06K2209/15—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Character Discrimination (AREA)

Abstract

고속도로 진입 및 진출 차량의 과금을 위해 번호판을 인식하는 개선된 영상 처리 기술이 개시된다. 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하되, 인식에 실패한 글자는 저장된 과거 번호판 인식 결과를 참조하여 인식한다. 여전히 인식에 실패한 글자는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식을 시도할 수 있다.An improved image processing technology for recognizing a license plate for charging a vehicle entering and exiting a highway is disclosed. Characters are recognized in units of characters for each digit in the license plate image, but the characters that fail to recognize are recognized by referring to the stored past license plate recognition results. Characters that still fail to be recognized can be recognized by referring to similar license plate images received from other information processing devices through the network.

Description

고속도로 요금 과금을 위한 영상 처리 시스템 및 그 방법{Image Processing Method for Highway Toll Calculation and System for the same}Image Processing Method for Highway Toll Calculation and System for the same

영상 처리 기술, 특히 고속도로 진입 및 진출 차량의 과금을 위해 번호판을 인식하는 개선된 영상 처리 기술이 개시된다. An image processing technology, in particular, an improved image processing technology for recognizing a license plate for charging a vehicle entering and exiting a highway is disclosed.

고속도로 톨게이트에서 무선 통신을 이용한 과금이 행해지고 있지만, 특별한 단말기나 결제 수단을 구비하지 않은 차량의 과금을 위해 인력이 여전히 투입되고 있다. 카메라를 이용하여 고속도로에 진입하는 차량과 진출하는 차량을 인식하여 후불로 청구하는 시스템의 개발이 진행되고 있으나, 97~98% 수준의 인식률에 머물러 있다. 2~3%의 인식 실패율을 금전적으로 환산하면 엄청난 금액이 되기 때문에 카메라를 이용한 과금이 아직 적용되지 못하고 있다. Although billing using wireless communication is being performed at highway toll gates, manpower is still being put in for billing for vehicles that do not have a special terminal or payment method. The development of a system for recognizing vehicles entering and exiting the highway using a camera and charging a deferred payment is in progress, but the recognition rate remains at the level of 97-98%. If the recognition failure rate of 2-3% is converted into money, it is a huge amount, so charging using the camera has not yet been applied.

출원인은 이러한 문제를 해결하기 위해 다양한 영상 인식 기술을 시도하였다. 그러한 과정에서 주로 악천후이거나 태양이 카메라와 차량 번호판에 대해 특정한 위치에 있을 때, 즉 특정한 시간대에 일어난다는 사실을 알게 되었다. 악천후가 장시간 지속되는 경우는 드물고 태양의 위치는 하루 중에 계속 변하므로 진입시 인식에 실패한 경우에 진출시에도 실패하는 경우는 극히 드물다. 반대로 진출시 인식에 실패한 경우에는 진입시에는 성공하였을 가능성이 높다. 또 전체 번호판의 문자 중 3자 이상이 인식 실패로 되는 경우는 드물고 대부분의 경우는 1, 2 글자의 정인식 확률이 기준치 미달로 된다는 사실도 알게 되었다. Applicants have tried various image recognition techniques to solve this problem. In the process, we learned that it usually happens when the weather is bad or when the sun is in a specific position with respect to the camera and license plate, i.e. at a specific time of day. It is rare that bad weather lasts for a long time, and the position of the sun keeps changing throughout the day. Conversely, if the recognition fails at the time of entry, it is highly likely that it succeeds at the time of entry. In addition, it was found that 3 or more characters among the characters on the entire license plate are rarely recognized as failures, and in most cases, the probability of authentic recognition of 1 or 2 characters is lower than the standard.

한국공개특허 제10-2015-0078971호 (2015.07.08 공개)Korean Patent Publication No. 10-2015-0078971 (published on July 8, 2015)

제안된 발명은 카메라를 이용하여 차량의 고속도로 입출 정보를 제공하는 과금 시스템에서 정인식률을 한층 더 높이는 것을 목적으로 한다.The proposed invention aims to further increase the recognition rate in a billing system that uses a camera to provide vehicle entry/exit information on a highway.

제안된 발명의 일 양상에 따르면, 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하되, 인식에 실패한 글자는 저장된 과거 번호판 인식 결과를 참조하여 인식한다. According to an aspect of the proposed invention, a character is recognized in units of characters for each digit in the license plate image, but the character that has failed to recognize is recognized with reference to the stored past license plate recognition results.

추가적인 양상에 따르면, 여전히 인식에 실패한 글자는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식을 시도할 수 있다. According to an additional aspect, the character still unsuccessful in recognition may be recognized by referring to a similar license plate image received from another information processing device through a network.

보조적인 양상에 따르면, 유사 번호판 영상은 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하는 번호판 영상일 수 있다. According to an auxiliary aspect, the similar license plate image may be a license plate image including at least some of the characters validly recognized as a result of previous recognition in the same license plate position.

또 다른 보조적인 양상에 따르면, 유사 번호판 영상은 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상일 수 있다.According to another auxiliary aspect, the similar license plate image may be a license plate image in which the image coincidence with the advancing image is evaluated above the reference value.

추가적인 양상에 따르면, 여전히 인식에 실패한 글자는 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 해결을 시도할 수 있다.According to an additional aspect, the character still unsuccessful in recognition may be attempted to be resolved by querying the vehicle database with vehicle information recognized from the previous recognition result and vehicle image.

제안된 발명에 따라 번호판 인식율은 98% 내지 99% 수준으로 올릴 수 있다.According to the proposed invention, the license plate recognition rate can be raised to 98% to 99% level.

도 1은 제안된 발명이 적용되는 고속도로 과금 시스템의 전체적인 구성의 일 예를 도시한다.
도 2는 고속도로 진입 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다.
도 3은 정보 처리 장치가 유사 번호판 영상을 추출하는 과정의 일 실시예를 도시한 흐름도이다.
도 4는 고속도로 진출 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다.
도 5는 도 4에서 진입 정보 획득 단계의 구성의 일 실시예를 도시한 흐름도이다.
도 6은 일 실시예에 따른 영상 진출입 정보 처리 장치의 구성을 도시한 블록도이다.1 shows an example of the overall configuration of the highway charging system to which the proposed invention is applied.
2 is a flowchart illustrating the configuration of an embodiment of an image processing method of a vehicle entering a highway.
3 is a flowchart illustrating an embodiment of a process in which the information processing device extracts a similar license plate image.
4 is a flowchart illustrating the configuration of an embodiment of an image processing method of a vehicle entering a highway.
5 is a flowchart illustrating an embodiment of the configuration of the step of obtaining entry information in FIG. 4 .
6 is a block diagram illustrating a configuration of an image entry/exit information processing apparatus according to an exemplary embodiment.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 다양한 조합이 가능한 것으로 이해된다. 이하에서는 이러한 양상들을 첨부된 도면을 참조하여 설명하는 실시예들을 통하여 상세히 설명한다. The foregoing and additional aspects are embodied through the embodiments described with reference to the accompanying drawings. It is understood that various combinations of elements of each of the embodiments are possible as long as there is no contradiction between them or other mentions. Hereinafter, these aspects will be described in detail through embodiments described with reference to the accompanying drawings.

도 1은 제안된 발명이 적용되는 고속도로 과금 시스템의 전체적인 구성의 일 예를 도식적으로 도시한다. 카메라들(11,13)은 고속도로 진입로 및 진출로에 차선별로 설치될 수 있다. 출원인의 시스템에서 카메라들(11,13)은 이동통신망을 통해 영상 처리 서버(30)로 연결된다. 이동통신망과 유선망의 사이에 게이트웨이가 존재할 수 있다. 현재의 5G 이동통신망은 고해상도 카메라 영상을 실시간 전송할 수 있다. 차량들은 고속도로 진입로나 진출로에서 속도를 줄일 필요가 없다. 차량의 통과를 감지하는, 예를 들면 루프 코일들이 도로 바닥에 매설되어 카메라에 촬영을 지시하는 셔터링 신호를 제공할 수 있다. 또 다른 예로, 카메라는 차량의 진입을 인식하여 적절한 시점, 즉 번호판이 제대로 보이는 시점에 획득한 영상을 영상 처리 서버(30)로 전송한다. 1 schematically shows an example of the overall configuration of the highway charging system to which the proposed invention is applied. The cameras 11 and 13 may be installed for each lane on the entrance and exit of the highway. In the applicant's system, the cameras 11 and 13 are connected to the image processing server 30 through a mobile communication network. A gateway may exist between the mobile communication network and the wired network. The current 5G mobile communication network can transmit high-resolution camera images in real time. Vehicles do not need to slow down on highway ramps or exits. For example, loop coils that detect the passage of a vehicle may be embedded in the road floor to provide a shuttering signal instructing the camera to shoot. As another example, the camera recognizes the entrance of the vehicle and transmits the image acquired at an appropriate time, that is, when the license plate is properly visible, to the image processing server 30 .

카메라들(11-1,11-2,…,11-N1, 13-1,13-2,…,13-N2)은 예를 들면 설치된 지역별로 영상 처리 서버들(30-1, 30-2,…, 30-M)에게 할당될 수 있다. 영상 처리 서버들(30-1, 30-2,…, 30-M)로 서로 간에 통신망, 예를 들면 유선 네트워크를 통해 상호간에 연결될 수 있다. 영상 처리 서버들(30-1, 30-2,…, 30-M)은 각각이 하나의 서버로 구성될 수도 있고, 기능별로 또는 부하를 분산하기 위해 몇 개의 서버로 구성될 수도 있다. 서버들(30-1, 30-2,…, 30-M)의 각각은 서로 간에 상이한 구성을 가질 수 있다. 또 이들 영상 처리 서버들(30-1, 30-2,…, 30-M)은 통합된 과금 서버(50)에 예를 들면 이더넷과 같은 전용의 유선망을 통해 연결될 수 있다. 영상 처리 서버들(30-1, 30-2,…, 30-M)은 카메라로부터 수신한 영상을 처리하여 차량의 진입, 진출 정보를 생성하여 통합된 과금 서버(50)로 전송한다. 과금 서버(50)는 차량의 진입, 진출 정보를 토대로 과금 정보를 생성하여, 예를 들면 익월에 각 차량의 차주에게 청구서를 발송하도록 처리한다. 과금 서버(50)는 단일의 서버로 구성될 수도 있고, 기능별로 또는 부하를 분산하기 위해 몇 개의 서버로 구성될 수도 있다.The cameras 11-1, 11-2, …, 11-N 1 , 13-1, 13-2, …, 13-N 2 are, for example, the image processing servers 30-1, 30 in each installed region. -2,…, 30-M). The image processing servers 30-1, 30-2, ..., 30-M may be connected to each other through a communication network, for example, a wired network. Each of the image processing servers 30-1, 30-2, ..., 30-M may consist of one server, or may be composed of several servers for each function or to distribute the load. Each of the servers 30-1, 30-2, ..., 30-M may have a different configuration from each other. In addition, these image processing servers (30-1, 30-2, ..., 30-M) may be connected to the integrated billing server 50, for example, through a dedicated wired network such as Ethernet. The image processing servers 30-1, 30-2, ..., 30-M process the image received from the camera, generate vehicle entry and exit information, and transmit it to the integrated billing server 50 . The billing server 50 generates billing information based on vehicle entry and exit information, and processes, for example, to send a bill to the owner of each vehicle in the following month. The billing server 50 may be composed of a single server, or may be composed of several servers for each function or to distribute the load.

도 2는 고속도로 진입 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다. 도시된 실시예에서, 방법을 이루는 단계들은 서버 컴퓨터에서 실행되는 프로그램 명령어들로 구현될 수 있다. 특별히 처리량이 많은 모듈, 예를 들면 번호판 영상을 인식하는 모듈의 경우 처리 속도를 높이기 위해 하드웨어를 포함하여 구현될 수도 있다. 또 하나의 서버에 이러한 번호판 인식 모듈이 복수로 구비될 수도 있다. 이하에서는 이와 같은 정보처리요소들을 '프로세서'라고 통칭하기로 한다.2 is a flowchart illustrating a configuration of an image processing method of a vehicle entering a highway according to an embodiment. In the illustrated embodiment, the steps making up the method may be implemented as program instructions executed on a server computer. In the case of a module that has a particularly high throughput, for example, a module for recognizing a license plate image, hardware may be included to increase the processing speed. A plurality of such license plate recognition modules may be provided in another server. Hereinafter, such information processing elements will be collectively referred to as a 'processor'.

도시된 바와 같이, 일 실시예에 따른 고속도로 진입 차량의 영상 처리 방법에 따르면, 먼저 카메라로부터 차량의 진입 영상이 수신된다(단계 210). 일 양상에 따라, 일 실시예에 따른 고속도로 진입 차량의 영상 처리 방법은 현재 번호판 영상 인식 단계(221)와, 자체 저장 정보 참조 인식 단계(231)를 포함한다. 현재 번호판 영상 인식 단계(221)에서, 프로세서는 카메라로부터 수신한 진입 영상에서 추출된 현재 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하여 인식 결과를 저장한다. 프로세서는 진입 영상에서 먼저 번호판 영상을 추출한다. 차량 영상에서 번호판 영상을 추출하는 몇 가지 방법이 알려져 있다. 이후에 추출된 번호판 영상에서 번호판의 유형을 파악하고, 유형별로 정해지는 각각의 글자의 위치 정보를 참조하여 글자 영상들을 추출한다. 예를 들어 각각의 글자 영상에 위치에 따른 인덱스가 부여될 수 있다. 이후에 각 글자 영상들의 문자 인식이 시도된다. 문자 인식은 영상 매칭과 같은 고전적인 방법이나 딥러닝과 같은 방법으로 처리될 수 있다. 인식 결과는 데이터베이스로 저장될 수 있다. 예를 들어 인식 결과는 차량 영상, 번호판 영상, 글자 영상들, 그리고 글자 위치별 인식 결과값, 진입/진출 구분값, 진입/진출 시각, 진입/진출 톨게이트 식별자 등의 정보를 포함할 수 있다. As shown, according to the method for processing an image of a vehicle entering a highway according to an embodiment, an image of entering the vehicle is first received from a camera (step 210). According to an aspect, the image processing method of the vehicle entering the highway according to an embodiment includes a current license plate image recognition step 221 and a self-stored information reference recognition step 231 . In the current license plate image recognition step 221 , the processor recognizes characters in character units for each digit in the current license plate image extracted from the entry image received from the camera and stores the recognition result. The processor first extracts the license plate image from the entry image. Several methods for extracting license plate images from vehicle images are known. Then, the type of the license plate is identified from the extracted license plate image, and the character images are extracted with reference to the location information of each character determined for each type. For example, an index according to a position may be assigned to each character image. Afterwards, character recognition of each character image is attempted. Character recognition can be processed by classical methods such as image matching or by methods such as deep learning. The recognition result may be stored in a database. For example, the recognition result may include information such as a vehicle image, a license plate image, character images, and a recognition result value for each character position, an entry/exit division value, an entry/exit time, and an entry/exit toll gate identifier.

이후에, 자체 저장 정보 참조 인식 단계(231)에서 프로세서는 인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가한다. 고속도로를 많이 이용하는 화물차의 경우 정기적인 경로를 운행하는 경우가 많다. 따라서 특정한 톨게이트에서 이전에 촬영되어 인식에 성공한 인식 결과가 그 톨게이트의 인식 결과 데이터베이스에 저장되어 있을 가능성이 높다. 일 실시예에서, 프로세서는 먼저 인식에 성공한 글자를 기초로 후보 번호판 영상을 검색한다. Thereafter, in the self-stored information reference recognition step 231, the processor recognizes a character that has failed to be recognized with reference to the stored past license plate recognition result and adds it to the recognition result. In the case of trucks that use a lot of expressways, they often operate on regular routes. Therefore, it is highly probable that the recognition result that was previously photographed at a specific tollgate and successfully recognized is stored in the recognition result database of that toll gate. In one embodiment, the processor first searches for a candidate license plate image based on the successfully recognized characters.

일 양상에 따르면, 자체 저장 정보 참조 인식 단계(231)에서 유사 번호판 영상은 진입 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상일 수 있다. 번호판 영상은 차량 영상에 비해 사이즈가 크지 않기 때문에 두 영상간의 일치도를 평가하는 것이 많은 시간을 소요하지 않는다. 두 영상의 일치도는 예를 들면 길쌈 신경망 회로(Convolutional Neural Network)를 사용하여 확률값으로 평가할 수 있다. According to one aspect, the similar license plate image in the self-stored information reference recognition step 231 may be a license plate image in which the image match with the entry image is evaluated to be more than a reference value. Since the size of the license plate image is not larger than that of the vehicle image, it does not take much time to evaluate the correspondence between the two images. The degree of correspondence between the two images may be evaluated as a probability value using, for example, a convolutional neural network.

또 다른 양상에 따르면, 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하는 번호판 영상들이 검색된다. 일 예로, 진입 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진입 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상이 선택된다. 이후에 선택된 번호판 영상과 현재의 진입 번호판 영상간의 영상 일치도를 산출할 수 있다. 영상 일치도가 기준값 이상이라면 동일한 번호판으로 판단하여, 선택된 번호판의 해당 위치의 글자의 저장된 인식값으로 진입 영상의 번호판 인식시 인식에 실패한 글자를 인식한다. 전술한 예에 비해, 저장된 전체 번호판 영상에 대해 영상 일치도를 산출하지 않고 텍스트 기반의 검색을 통해 검색 과정을 더 신속하게 처리할 수 있다. According to another aspect, license plate images including at least some of the characters validly recognized as a result of previous recognition in the same license plate position are searched. For example, a similar license plate image that succeeds in recognizing the letters that failed to recognize the license plate recognition of the entry image is selected from among the similar license plate images with the largest number of characters matching the license plate image of the entry image and the recognition result. Afterwards, it is possible to calculate the image match between the selected license plate image and the current entry license plate image. If the image coincidence is more than the reference value, it is determined as the same license plate, and the character that has failed to be recognized when the license plate of the entry image is recognized is recognized with the stored recognition value of the character at the corresponding position of the selected license plate. Compared to the above-described example, the search process can be processed more quickly through text-based search without calculating the image match for the entire stored license plate image.

추가적인 양상에 따르면, 진입 차량의 영상 처리 방법은 수집 영상 참조 인식 단계(243)를 더 포함할 수 있다. 수집 영상 참조 인식 단계(243)에서 프로세서는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식할 수 있다. According to a further aspect, the method of processing an image of an approaching vehicle may further include the step of recognizing the reference of the collected image ( 243 ). In the collected image reference recognition step 243, the processor may recognize by referring to the similar license plate image received from another information processing device through a network.

이러한 양상에 따르면, 자체 저장 정보 참조 인식 단계(231)에서 완전한 인식에 실패한 경우(단계 233), 프로세서는 네트워크를 통해 타 정보처리장치로 유사 번호판 영상을 요청하여 수집한다(단계 241). 유사 번호판 영상은 대상 번호판과 동일한 번호판을 촬영한 영상일 가능성이 높은 영상이다. 추가적인 양상에 따르면, 유사 번호판 영상은 진입 영상의 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하고 상이하게 인식된 글자를 포함하지 않는 번호판 영상일 수 있다. 예를 들어 자체 저장 정보 참조 인식 단계(231)에서 인식된 값이 “12가345*”일 때 “12가3*56”, “*2가3457”으로 인식된 영상은 유사 번호판 영상으로 취급되고, “13가3456”으로 인식된 영상은 두 번째 글자가 상이하게 인식되었기 때문에 유사 번호판 영상이 아닌 것으로 취급된다. According to this aspect, when the complete recognition fails in the self-stored information reference recognition step 231 (step 233), the processor requests and collects a similar license plate image from another information processing device through the network (step 241). A similar license plate image is an image that is highly likely to be an image of the same license plate as the target license plate. According to an additional aspect, the similar license plate image may be a license plate image that includes at least some of the characters validly recognized as a result of the previous recognition of the entry image in the same license plate position and does not include the differently recognized characters. For example, when the value recognized in the self-stored information reference recognition step 231 is “12 is 345*”, the images recognized as “12 is 3*56” and “*2 is 3457” are treated as similar license plate images and , the image recognized as “13th 3456” is treated as not a similar license plate image because the second character was recognized differently.

추가적인 양상에 따르면, 수집 영상 참조 인식 단계(243)에서 프로세스는 진입 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진입 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상을 참조하여 차량 번호판 정보를 획득할 수 있다. 예를 들어 자체 저장 정보 참조 인식 단계(231)에서 인식된 값이 “12가345*”일 때 유사 번호판 영상으로 “12가3**6”, “*2가3456”, “12*34*6”, “12가34**” 으로 인식된 영상들이 있는 경우 인식 결과가 일치하는 글자수는 각각 4,5,4,5이므로 가장 많은 유사번호판 영상은 두 번째, 네 번째인데, 그 중 진입 영상에서 인식에 실패한 글자인 마지막 문자의 인식에 성공한 두 번째 유사 영상을 참조하여 차량 번호판 정보가 획득될 수 있다. 이 경우 추가적인 영상 인식을 거치지 않고 바로 마지막 글자의 인식값인 '6'을 취하여 전체 번호판의 인식 값을 '12가3456'으로 결정할 수 있다. According to an additional aspect, in the collected image reference recognition step 243, the process succeeds in recognizing the letters that failed to recognize the license plate image of the entry image among the similar license plate images with the largest number of characters matching the license plate image and the recognition result of the entry image. Vehicle license plate information can be obtained by referring to the license plate image. For example, when the value recognized in the self-stored information reference recognition step 231 is “12 is 345*”, as a similar license plate image, “12 is 3**6”, “*2 is 3456”, “12*34*” If there are images recognized as “6”, “12 is 34**”, the number of matching characters is 4,5,4,5, respectively, so the most similar license plate images are the second and fourth, among them Vehicle license plate information may be obtained by referring to a second similar image in which recognition of the last character, which is a character that has failed to be recognized, in the image is successful. In this case, it is possible to determine the recognition value of the entire license plate as '12 is 3456' by taking '6', which is the recognition value of the last character, without going through additional image recognition.

추가적인 양상에 따르면, 수집 영상 참조 인식 단계(243)에서 프로세스는 진입 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상을 유사 번호판 영상으로 선택할 수 있다. 번호판 영상은 번호판 부분만 잘라낸 영상이고 글자의 크기와 배치가 몇 개의 형식으로 제한되어 있으므로 영상간의 유사도 판단이 상당한 신뢰도로 수행될 수 있다. 예를 들어 두 영상의 일치도는 예를 들면 길쌈 신경망 회로(Convolutional Neural Network)를 사용하여 확률값으로 평가할 수 있다. 또 다른 예로 휘도 히스토그램 분포를 통해서도 판단할 수 있다. 또는 사각 번호판 영상의 2축 방향의 휘도 값의 분포로도 영상의 일치도를 판단할 수도 있다. 저장된 번호판 영상에 대해 이러한 유사도 판단 기준 값들이 사전에 계산되어 저장되고, 진입 영상의 유사도 판단 기준값과 비교에 의해 유사 번호판 영상들이 선택될 수 있다. 이 경우 수집 영상 참조 인식 단계는 선택된 유사 번호판 영상들을 전체적으로 고려하여 인식에 실패한 글자를 결정하거나 번호판을 다시 인식할 수 있다. 예를 들어 진입 영상에 비해 훨씬 영상 품질이 양호한 번호판 영상이 있다면 그 번호판의 인식 결과를 진입 영상의 인식 결과와 비교하여 인식 결과를 전체적으로 다시 결정할 수 있다. 진입 영상에서 비록 인식에 성공한 것으로 판단된 글자라도 그 정인식 확률이 낮다면 양호한 번호판 영상으로 다시 인식하는 것이 더 바람직할 수도 있다. According to an additional aspect, in the collected image reference recognition step 243, the process may select the license plate image, the entry image and the image match is evaluated as more than a reference value as a similar license plate image. The license plate image is an image cut out of only the license plate part, and since the size and arrangement of letters are limited to several formats, the similarity between images can be determined with great reliability. For example, the degree of correspondence between two images may be evaluated as a probability value using, for example, a convolutional neural network. As another example, it can be determined through a luminance histogram distribution. Alternatively, it is also possible to determine the degree of matching of the image by the distribution of the luminance values in the two-axis direction of the rectangular license plate image. For the stored license plate image, these similarity judgment reference values are calculated and stored in advance, and similar license plate images can be selected by comparison with the similarity judgment reference value of the entry image. In this case, the collected image reference recognition step may determine a character that has failed to recognize the selected similar license plate images as a whole, or recognize the license plate again. For example, if there is a license plate image with much better image quality than the entry image, the recognition result may be entirely re-determined by comparing the recognition result of the license plate with the recognition result of the entry image. Even if the character in the entry image is determined to be recognized successfully, it may be more preferable to re-recognize it as a good license plate image if the authentic recognition probability is low.

추가적인 양상에 따르면, 진입 차량의 영상 처리 방법은 차적 데이터베이스 조회 단계(253)를 더 포함할 수 있다. 이전 인식 단계에서 완전한 인식에 실패하면, 차적 데이터베이스 조회 단계(253)에서 프로세서는 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가할 수 있다. 도시된 실시예에서, 수집 영상 참조 인식 단계(243)에서 여전히 인식에 실패한 경우(단계 245), 프로세서는 차량 영상을 인식한다(단계 251). 예를 들어 차량 영상을 인식하여 차량의 색상, 차종, 차량 제조사 등을 인식할 수 있다. 이후에 이전 단계에서 인식된 결과인 번호판의 확보된 문자 정보로 차량 등록 데이터베이스를 조회하여 조회된 결과 리스트에서 차량 영상 인식 결과에 매치되는 결과를 선택한다(단계 253). 차적 데이터베이스 조회 단계(253)에서 완전한 번호판 정보를 알아내는데 성공하면 해당 차량의 진입 정보가 저장된다(단계 291). 진입 정보는 향후 진출정보와 결합하여 과금 기초 정보가 된다. 그러나 매치되는 결과가 없는 경우 인식 실패로 처리된다(단계 293). 인식 실패로 처리될 경우 관련 정보가 수집되며, 사후 처리 과정, 예를 들면 사람이 수작업으로 판별하는 과정을 거칠 수 있다. According to a further aspect, the method of processing an image of an oncoming vehicle may further include the vehicle vehicle database inquiry step 253 . If complete recognition fails in the previous recognition step, in the vehicle vehicle database inquiry step 253, the processor may query the vehicle vehicle database with the vehicle information recognized from the previous recognition result and the vehicle image and add it to the recognition result. In the illustrated embodiment, if recognition still fails in the collected image reference recognition step 243 (step 245), the processor recognizes the vehicle image (step 251). For example, a vehicle image may be recognized to recognize a vehicle color, a vehicle type, a vehicle manufacturer, and the like. Thereafter, the vehicle registration database is searched with the secured character information of the license plate, which is the result recognized in the previous step, and a result matching the vehicle image recognition result is selected from the searched result list (step 253). If it succeeds in finding out the complete license plate information in the vehicle vehicle database inquiry step 253, the entry information of the vehicle is stored (step 291). The entry information is combined with the future entry information to become basic billing information. However, if there is no matching result, it is treated as a recognition failure (step 293). In the case of recognition failure, related information is collected, and a post-processing process, for example, a process of determining manually by a human may be performed.

도 3은 정보 처리 장치가 유사 번호판 영상을 추출하는 과정의 일 실시예를 도시한 흐름도이다. 정보 처리 장치의 프로세서는 타 정보 처리 장치로부터 유사 영상 요청 전문을 수신한다(단계 311). 전문을 수신하면, 프로세서는 유사 번호판 영상을 검색한다(단계 313). 유사 번호판 영상을 검색함에 있어서, 요청한 타 정보 처리 장치가 진입 톨게이트인지 진출 톨게이트인지에 따라 검색 과정을 달리할 수 있다. 진입 톨게이트로부터의 요청이라면 프로세서는 과거에 해당 톨게이트를 통과한 이력을 검색해야 하므로, 해당 차량이 빈번하게 입출하는 톨게이트에서 발견될 가능성이 높다. 예를 들어 1단계로 10일 이내 전출입 영상들을 대상으로 검색할 수 있다. 이후에, 2단계로 1년치 전출입 영상들을 대상으로 검색할 수 있다. 특정한 톨게이트를 포함하는 지역 관할의 프로세서가 유사 번호판 영상의 검색에 성공하면, 해당 프로세서는 결과를 요청한 톨게이트의 프로세서로 회신하는 한편, 다른 관할의 프로세서가 검색 작업을 중단하도록 검색 성공 사실을 브로드캐스팅(broadcasting)할 수 있다(단계 315). 3 is a flowchart illustrating an embodiment of a process in which the information processing device extracts a similar license plate image. The processor of the information processing apparatus receives a similar image request message from another information processing apparatus (step 311). Upon receiving the full text, the processor searches for a similar license plate image (step 313). In searching for similar license plate images, the search process may be different depending on whether the requested other information processing device is an entry toll gate or an exit toll gate. If it is a request from an entrance toll gate, the processor must search the history of passing the toll gate in the past, so it is highly likely to be found at a toll gate where the vehicle enters and leaves frequently. For example, in the first step, you can search for videos that moved in and out within 10 days. After that, in two steps, one year's worth of moving-in and out images can be searched for. If the processor in the jurisdiction including a specific tollgate succeeds in retrieving the similar license plate image, the processor returns the result to the processor of the toll gate requesting the result, while broadcasting ( broadcasting) (step 315).

도 4는 고속도로 진출 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다. 도시된 실시예에서, 방법을 이루는 단계들은 서버 컴퓨터에서 실행되는 프로그램 명령어들로 구현될 수 있다. 특별히 처리량이 많은 모듈, 예를 들면 번호판 영상을 인식하는 모듈의 경우 처리 속도를 높이기 위해 하드웨어를 포함하여 구현될 수도 있다. 또 하나의 서버에 이러한 번호판 인식 모듈이 복수로 구비될 수도 있다. 이하에서는 이와 같은 정보처리요소들을 '프로세서'라고 통칭하기로 한다.4 is a flowchart illustrating the configuration of an embodiment of an image processing method of a vehicle entering a highway. In the illustrated embodiment, the steps making up the method may be implemented as program instructions executed on a server computer. In the case of a module that has a particularly high throughput, for example, a module for recognizing a license plate image, hardware may be included to increase the processing speed. A plurality of such license plate recognition modules may be provided in another server. Hereinafter, such information processing elements will be collectively referred to as a 'processor'.

도시된 바와 같이, 일 실시예에 따른 고속도로 진출 차량의 영상 처리 방법에 따르면, 먼저 카메라로부터 차량의 진출 영상이 수신된다(단계 410). 일 양상에 따라, 일 실시예에 따른 고속도로 진출 차량의 영상 처리 방법은 현재 번호판 영상 인식 단계(421)와, 자체 저장 정보 참조 인식 단계(431)를 포함한다. 현재 번호판 영상 인식 단계(421)에서, 프로세서는 카메라로부터 수신한 진출 영상에서 추출된 현재 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하여 인식 결과를 저장한다. 이러한 인식 과정은 도 2에서 현재 번호판 영상 인식 단계(221)와 유사하므로 상세한 설명은 생략한다. 인식 결과는 데이터베이스로 저장될 수 있다. 예를 들어 인식 결과는 차량 영상, 번호판 영상, 글자 영상들, 그리고 글자 위치별 인식 결과값, 진입/진출 구분값, 진입/진출 시각, 진입/진출 톨게이트 식별자 등의 정보를 포함할 수 있다. As shown, according to the method for processing an image of a vehicle entering a highway according to an embodiment, an image of the vehicle entering the highway is first received from a camera (step 410). According to an aspect, the image processing method of the vehicle entering the highway according to an embodiment includes a current license plate image recognition step 421 and a self-stored information reference recognition step 431 . In the current license plate image recognition step 421, the processor recognizes the characters in character units for each digit in the current license plate image extracted from the advance image received from the camera and stores the recognition result. Since this recognition process is similar to the current license plate image recognition step 221 in FIG. 2, a detailed description will be omitted. The recognition result may be stored in a database. For example, the recognition result may include information such as a vehicle image, a license plate image, character images, and a recognition result value for each character position, an entry/exit division value, an entry/exit time, and an entry/exit toll gate identifier.

이후에, 자체 저장 정보 참조 인식 단계(431)에서 프로세서는 인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가한다. 일 양상에 따르면, 자체 저장 정보 참조 인식 단계(231)에서 유사 번호판 영상은 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상일 수 있다. 또 다른 양상에 따르면, 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하는 번호판 영상들이 검색된다. 이러한 인식 과정은 도 2에서의 자체 저장 정보 참조 인식 단계(231)와 유사하므로 상세한 설명은 생략한다. Thereafter, in the self-stored information reference recognition step 431, the processor recognizes a character that has failed to be recognized with reference to the stored past license plate recognition result and adds it to the recognition result. According to one aspect, the similar license plate image in the self-stored information reference recognition step 231 may be a license plate image in which the image matching with the advance image is evaluated to be more than a reference value. According to another aspect, license plate images including at least some of the characters validly recognized as a result of previous recognition in the same license plate position are searched. Since this recognition process is similar to the self-stored information reference recognition step 231 in FIG. 2 , a detailed description thereof will be omitted.

추가적인 양상에 따르면, 진출 차량의 영상 처리 방법은 수집 영상 참조 인식 단계(443)를 더 포함할 수 있다. 수집 영상 참조 인식 단계(443)에서 프로세서는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식할 수 있다. According to a further aspect, the method of processing an image of an oncoming vehicle may further include the step of recognizing the reference of the collected image ( 443 ). In the collected image reference recognition step 443, the processor may recognize by referring to the similar license plate image received from another information processing device through a network.

이러한 양상에 따르면, 자체 저장 정보 참조 인식 단계(431)에서 완전한 인식에 실패한 경우(단계 433), 프로세서는 네트워크를 통해 타 정보처리장치로 유사 번호판 영상을 요청하여 수집한다(단계 441). 추가적인 양상에 따르면, 유사 번호판 영상은 진출 영상의 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하고 상이하게 인식된 글자를 포함하지 않는 번호판 영상일 수 있다. 추가적인 양상에 따르면, 수집 영상 참조 인식 단계(443)에서 프로세스는 진출 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진출 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상을 참조하여 차량 번호판 정보를 획득할 수 있다. 추가적인 양상에 따르면, 수집 영상 참조 인식 단계(443)에서 프로세스는 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상을 유사 번호판 영상으로 선택할 수 있다. 이러한 인식 과정은 도 2에서의 수집 영상 참조 인식 단계(243)와 유사하므로 상세한 설명은 생략한다. 다만, 진출 영상의 인식에 있어서 가장 발견될 확률이 높은 유사 번호판 영상은 진입 영상일 수 있으므로, 타 정보 처리 장치는 유사 번호판 영상을 요청 받으면 먼저 최근의 진입 영상부터 검색할 수 있다. According to this aspect, when the complete recognition fails in the self-stored information reference recognition step 431 (step 433), the processor requests and collects a similar license plate image from another information processing device through the network (step 441). According to an additional aspect, the similar license plate image may be a license plate image that includes at least some of the characters validly recognized as a result of the previous recognition of the advance image in the same license plate position and does not include the differently recognized characters. According to an additional aspect, in the collected image reference recognition step 443, the process succeeds in recognizing the letters that failed to recognize the license plate image of the advancing image among the similar license plate images with the largest number of characters matching the license plate image and the recognition result of the advancing image. Vehicle license plate information can be obtained by referring to the license plate image. According to an additional aspect, in the collected image reference recognition step 443, the process may select a license plate image, which is evaluated above a reference value, as a similar license plate image with the image matching with the exit image. This recognition process is similar to the collected image reference recognition step 243 in FIG. 2 , so a detailed description thereof will be omitted. However, since the similar license plate image that is most likely to be found in the recognition of the entry image may be the entry image, other information processing devices may first search for the most recent entry image when the similar license plate image is requested.

추가적인 양상에 따르면, 진출 차량의 영상 처리 방법은 차적 데이터베이스 조회 단계(453)를 더 포함할 수 있다. 이전 인식 단계에서 완전한 인식에 실패하면, 차적 데이터베이스 조회 단계(453)에서 프로세서는 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가할 수 있다. 이러한 조회 과정은 도 2 차적 데이터베이스 조회 단계(253)와 유사하므로 상세한 설명은 생략한다. 차적 데이터베이스 조회 단계(453)에서 완전한 번호판 정보를 알아내는데 성공하면 해당 차량의 진입 정보가 획득된다(단계 460). 진입 정보는 진출 영상에서 획득된 번호판 정보에 해당하는 차량이 진입한 톨게이트와 진입 시간 등 진입 정보를 포함한다. 차량 진입 정보는 해당 차량의 진입 정보를 요청하는 전문을 정보 처리 장치가 타 정보 처리 장치로 브로드캐스팅하여 회신을 수신하여 획득하거나 중앙의 통합된 정보 처리 서버로 조회하여 획득할 수 있다. 이에 대해서는 이후에 도 5를 참조하여 상술하기로 한다. 차량 진입 정보가 획득되면, 차량 입출 정보, 즉 진입, 진출 관련 정보가 외부 서버, 예를 들면 과금 서버로 출력된다(단계 470). 차적 데이터베이스 조회 단계(453)에서도 매치되는 결과가 없는 경우 인식 실패로 처리된다(단계 493). 인식 실패로 처리될 경우 관련 정보가 수집되며, 사후 처리 과정, 예를 들면 사람이 수작업으로 판별하는 과정을 거칠 수 있다. According to a further aspect, the method of processing an image of an oncoming vehicle may further include a vehicle vehicle database inquiry step 453 . If complete recognition fails in the previous recognition step, in the vehicle vehicle database inquiry step 453 , the processor may query the vehicle vehicle database with the vehicle information recognized from the previous recognition result and the vehicle image and add it to the recognition result. Since this inquiry process is similar to the secondary database inquiry step 253 of FIG. If it succeeds in finding out the complete license plate information in the vehicle vehicle database inquiry step 453, the entry information of the vehicle is obtained (step 460). The entry information includes entry information such as the toll gate and entry time into which the vehicle corresponding to the license plate information obtained from the exit image entered. Vehicle entry information may be obtained by receiving a reply by the information processing device broadcasting a message requesting entry information of the corresponding vehicle to other information processing devices, or by querying the central integrated information processing server. This will be described in detail later with reference to FIG. 5 . When vehicle entry information is obtained, vehicle entry/exit information, that is, entry/exit related information is output to an external server, for example, a billing server (step 470). If there is no matching result in the secondary database inquiry step 453, it is treated as a recognition failure (step 493). In the case of recognition failure, related information is collected, and a post-processing process, for example, a process of determining manually by a human may be performed.

도 5는 도 4에서 진입 정보 획득 단계의 구성의 일 실시예를 도시한 흐름도이다. 정보 처리 장치는 진입 정보를 확보하기 위해 먼저 진입 정보 질의 전문을 생성하여 송신한다. 진입 정보 질의 전문은 전문의 종류와, 진출 차량의 번호판 정보와, 진출 차량이 진출 톨게이트를 통과한 시각 정보와, 진출 톨게이트 식별자를 포함할 수 있다. 추가로 진출 차량의 완전한 번호판 정보가 확보되지 않은 경우의 처리를 위해, 차량 영상과, 번호판 영상을 더 포함할 수도 있다. 이러한 진입 정보 질의 전문은 네트워크 상의 모든 정보 처리 장치로 브로드캐스팅될 수 있다. 5 is a flowchart illustrating an embodiment of the configuration of the step of obtaining entry information in FIG. 4 . In order to secure the entry information, the information processing device first generates and transmits the entry information query message. The entry information query full text may include a type of a message, license plate information of an exit vehicle, visual information at which the exit vehicle passes through an exit toll gate, and an exit toll gate identifier. In addition, for processing when the complete license plate information of the outgoing vehicle is not secured, it may further include a vehicle image and a license plate image. This entry information query full text may be broadcast to all information processing devices on the network.

질의 전문 송신 이후 일정 시간 안에 완전한 진입 정보가 수신되면(단계 513), 처리는 종료된다. 질의 전문 송신 이후 일정 시간 안에 완전한 진입 정보가 수신되지 않으면(단계 513), 유사 번호판 영상의 요청 전문이 생성되어 브로드캐스팅된다. When complete entry information is received within a predetermined time after the query message transmission (step 513), the process is terminated. If complete entry information is not received within a certain period of time after transmission of the query message (step 513), a request message for a similar license plate image is generated and broadcast.

일정 시간 안에 완전한 진입 정보가 수신되지 않는 경우는 진입 시 번호판 인식에 실패한 경우일 수 있다. 이 경우 진출시 촬영된 영상을 이용하여 인식을 시도할 수 있다. 타 정보처리장치로부터 각 정보 처리 장치의 데이터베이스에 저장된 진입 영상 중 일정한 시간 범위, 예를 들면 3일 이내의 유사 번호판 영상이 수집된다(단계 543). 이후에, 타 정보 처리 장치로부터 수집된 진입시의 유사 번호판 영상의 처리를 통해, 진입 정보가 획득된다(단계 545). 각각의 정보 처리 장치가 유사 번호판 영상을 인식하여 진입 정보를 생성하는 것보다, 요청한 정보 처리 장치가 진입시의 유사 번호판 영상을 수집하고 통합하여 인식하는 것이 더 신뢰성을 높일 수 있다. 예를 들어 수집한 유사 번호판 영상 중 진출 번호판 영상과 영상 일치도가 기준치 이상이면서 가장 높은 영상을 선택하여 그 진입 정보를 해당 차량의 진입 정보로 선택할 수 있다. 이러한 유사 번호판 영상 수집을 통해서도 진입 정보 획득에 실패하면, 최종적으로 인식 실패로 처리된다(단계 570). If complete entry information is not received within a certain period of time, it may be a case of failure to recognize the license plate upon entry. In this case, recognition may be attempted by using an image captured at the time of advancing. From other information processing devices, similar license plate images within a certain time range, for example, within 3 days, are collected among the entry images stored in the database of each information processing device (step 543). Thereafter, through the processing of similar license plate images at the time of entry collected from other information processing devices, entry information is obtained (step 545). Rather than each information processing device recognizing the similar license plate image to generate entry information, the requested information processing device collects and integrates the similar license plate image at the time of entry and recognizes it can be more reliable. For example, it is possible to select an image having the highest level of matching between the exit license plate image and the image among the collected similar license plate images, and select the highest image as the entry information of the corresponding vehicle. If it fails to acquire entry information even through such similar license plate image collection, it is finally processed as a recognition failure (step 570).

도 6은 일 실시예에 따른 영상 진출입 정보 처리 장치의 구성을 도시한 블록도이다. 영상 진출입 정보 처리 장치는 고속도로 톨게이트에 설치된 복수의 카메라 및 타 정보 처리 장치와 네트워크를 통해 연결되며, 그 카메라로부터의 차량 영상을 수신하여 처리한다. 6 is a block diagram illustrating a configuration of an image entry/exit information processing apparatus according to an exemplary embodiment. The image entry/exit information processing apparatus is connected to a plurality of cameras and other information processing apparatuses installed in a highway tollgate through a network, and receives and processes vehicle images from the cameras.

도시된 바와 같이, 일 실시예에 따른 영상 진출입 정보 처리 장치는 통신부(610)와, 차량 입출 정보 생성부(630)와, 번호판 정보 획득부(670)와, 번호판 영상 인식부(691)를 포함한다. 통신부(610)는 하나 혹은 복수의 통신 모뎀을 포함할 수 있다. 도시된 실시예에서, 통신부(610)는 이더넷 통신부를 통해 외부의 타 정보 처리 장치와, 추가로 네트워크 카메라와 연결된다. 일 양상에 따르면, 차량 입출 정보 생성부(630)는 진입 정보 획득부(631)와, 진출 정보 획득부(633)를 포함하며, 차량의 진입, 진출 정보를 획득하여 출력한다. 예를 들어 차량 입출 정보 생성부(630)는 생성된 차량의 진입, 진출 정보를 통신부(610)를 통해 외부의 과금 서버로 전송할 수 있다. As shown, the image entry/exit information processing device according to an embodiment includes a communication unit 610, a vehicle entry/exit information generation unit 630, a license plate information acquisition unit 670, and a license plate image recognition unit 691. do. The communication unit 610 may include one or a plurality of communication modems. In the illustrated embodiment, the communication unit 610 is connected to another external information processing device and additionally a network camera through an Ethernet communication unit. According to an aspect, the vehicle entry/exit information generation unit 630 includes an entry information acquisition unit 631 and an exit information acquisition unit 633 , and obtains and outputs vehicle entry and exit information. For example, the vehicle entry/exit information generation unit 630 may transmit the generated vehicle entry and exit information to an external charging server through the communication unit 610 .

번호판 정보 획득부(670)는 차량 입출 정보 생성부(630)의 제어 하에 진입 혹은진출하는 차량의 번호판 정보를 획득하여 리턴한다. 획득된 정보들은 진출입 차량 데이터베이스(630)에 저장된다. 번호판 영상 인식부(691)는 차량의 번호판 영상을 인식하여 번호판 정보를 획득하여 출력한다. 일 양상에 따르면, 번호판 영상 인식부(691)는 입력된 차량 번호판 영상을 자리별로 글자 단위로 문자 인식하여 인식 결과를 출력한다. The license plate information acquisition unit 670 obtains and returns license plate information of a vehicle entering or exiting under the control of the vehicle entry/exit information generation unit 630 . The obtained information is stored in the entry/exit vehicle database 630 . The license plate image recognition unit 691 recognizes the license plate image of the vehicle to obtain and output license plate information. According to an aspect, the license plate image recognition unit 691 recognizes the input vehicle license plate image in character units for each digit and outputs a recognition result.

진입 정보 획득부(631)는 진출 정보를 타 정보 처리 장치로 송신하여 해당 차량의 진입 정보를 획득한다. 이에 대해서는 도 5를 참조하여 진입 정보 질의 전문 송신 단계(511)에서 설명한 바 있으므로 상세한 설명은 생략한다. 진출 정보 획득부(633)는 카메라로부터 수신한 진출 영상을 번호판 정보 획득부(670)로 제공하여 진출 정보를 획득한다. The entry information acquisition unit 631 acquires entry information of the corresponding vehicle by transmitting the exit information to another information processing device. Since this has been described in the step 511 of transmitting the entry information query message with reference to FIG. 5, a detailed description thereof will be omitted. The advance information obtaining unit 633 obtains the advance information by providing the advance image received from the camera to the license plate information obtaining unit 670 .

일 양상에 따르면, 번호판 정보 획득부(670)는 현재 번호판 영상 처리부(671)와, 자체 저장 정보 참조 인식부(673)를 포함한다. 현재 번호판 영상 처리부(671)는 입력된 차량 영상에서 번호판 영상을 추출하여 번호판 영상 인식부(691)로 제공하여 그 인식 결과를 출력한다. 자체 저장 정보 참조 인식부(673)는 입력된 불완전한 인식 결과에서 인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 진출입 차량 데이터베이스(630)에 저장된 기존의 인식 결과에 추가한다. 이와 같은 현재 번호판 영상 처리부(671)와 자체 저장 정보 참조 인식부(673)의 동작에 대해서는 도 2를 참조하여 현재 번호판 영상 처리 단계(221)와, 자체 저장 정보 참조 인식 단계(231)에서 설명한 바 있으므로 상세한 설명은 생략한다. According to an aspect, the license plate information acquisition unit 670 includes a current license plate image processing unit 671 and a self-stored information reference recognition unit 673 . The current license plate image processing unit 671 extracts the license plate image from the input vehicle image and provides it to the license plate image recognition unit 691 to output the recognition result. The self-stored information reference recognition unit 673 recognizes the letters that have failed to be recognized in the input incomplete recognition results with reference to the stored past license plate recognition results and adds them to the existing recognition results stored in the entry/exit vehicle database 630 . For the operation of the current license plate image processing unit 671 and the self-storage information reference recognition unit 673 as described above in the current license plate image processing step 221 and the self-storage information reference recognition step 231 with reference to FIG. Therefore, detailed description is omitted.

추가적인 양상에 따르면, 번호판 정보 획득부(670)는 수집 영상 참조 인식부(675)를 더 포함할 수 있다. 수집 영상 참조 인식부(675)는 네트워크를 통해 타 정보 처리 장치로부터 수신한 유사 번호판 영상을 참조하여 인식하여 진출입 차량 데이터베이스(630)에 저장된 기존의 인식 결과에 추가한다. 수집 영상 참조 인식부(675)의 동작에 대해서는 도 2를 참조하여 수집 영상 참조 인식 단계(243)에서 설명한 바 있으므로 상세한 설명은 생략한다.According to an additional aspect, the license plate information acquisition unit 670 may further include a collected image reference recognition unit 675 . The collected image reference recognition unit 675 recognizes with reference to a similar license plate image received from another information processing device through a network and adds it to the existing recognition result stored in the entry/exit vehicle database 630 . Since the operation of the collected image reference recognition unit 675 has been described in the collected image reference recognition step 243 with reference to FIG. 2 , a detailed description thereof will be omitted.

추가적인 양상에 따르면, 번호판 정보 획득부(670)는 차적 데이터베이스 조회부 (677)를 더 포함할 수 있다. 차적 데이터베이스 조회부(677)는 저장된 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 진출입 차량 데이터베이스(630)에 저장된 기존의 인식 결과에 추가한다. 차량 영상 인식부(693)는 차적 데이터베이스 조회부(677)의 제어 하에 차량 영상을 인식하여 차량 정보를 획득하여 출력한다. 이러한 차량 영상 인식 및 차적 데이터베이스의 조회를 통한 진입 혹은 진출 차량의 정보를 획득하는 과정에 대해서는 도 2를 참조하여 차적 데이터베이스 조회 단계(253)에서 설명한 바 있으므로 상세한 설명은 생략한다. According to an additional aspect, the license plate information acquisition unit 670 may further include a vehicle vehicle database inquiry unit 677 . The vehicle vehicle database inquiry unit 677 searches the vehicle vehicle database with the stored recognition result and vehicle information recognized from the vehicle image, and adds it to the existing recognition result stored in the entry/exit vehicle database 630 . The vehicle image recognition unit 693 acquires and outputs vehicle information by recognizing a vehicle image under the control of the vehicle vehicle database inquiry unit 677 . The process of acquiring information on the vehicle entering or exiting through the vehicle image recognition and inquiry of the vehicle vehicle database has been described in the vehicle vehicle database inquiry step 253 with reference to FIG. 2 , so a detailed description thereof will be omitted.

추가적인 양상에 따르면, 영상 진출입 정보 처리 장치는 차량 정보 서비스부(650)를 더 포함할 수 있다. 차량 정보 서비스부(650)는 외부의 타 영상 진출입 정보 처리 장치의 요청에 대해 서비스를 제공한다. 추가적인 양상에 따르면, 차량 정보 서비스부(650)는 진입 차량 정보 서비스부(651)를 더 포함할 수 있다. 진입 차량 정보 서비스부(651)는 타 정보 처리 장치로부터 진출 정보를 포함하는 진입 차량 정보 요청에 응답하여 대응하는 진입 정보를 진출입 차량 데이터베이스(640)를 검색하여 송신한다. 추가적인 양상에 따르면, 영상 진출입 정보 처리 장치는 인식 지원 서비스부(653)를 더 포함할 수 있다. 인식 지원 서비스부(653)는 타 정보 처리 장치의 요청에 응답하여 요청에 포함된 번호판 영상과 유사한 번호판 영상을 가진 진입 및/또는 진출 영상을 검색하여 회신한다. 요청한 타 정보 처리 장치는 여러 정보 처리 장치에서 수집한 유사 번호판 영상을 전체적으로 비교하여 좀 더 정확한 번호판 인식을 할 수 있다. According to an additional aspect, the image entry/exit information processing apparatus may further include a vehicle information service unit 650 . The vehicle information service unit 650 provides a service in response to a request from an external image entry/exit information processing device. According to an additional aspect, the vehicle information service unit 650 may further include an entry vehicle information service unit 651 . The entry vehicle information service unit 651 searches the entry and exit vehicle database 640 for corresponding entry information in response to a request for entry vehicle information including exit information from another information processing device, and transmits the search. According to an additional aspect, the image entry/exit information processing apparatus may further include a recognition support service unit 653 . The recognition support service unit 653 searches for and returns an entry and/or exit image having a license plate image similar to the license plate image included in the request in response to a request from another information processing device. The requested other information processing device can perform more accurate license plate recognition by comparing the similar license plate images collected from various information processing devices as a whole.

추가적인 양상에 따르면, 진입 정보 획득부(631)는 수집 영상 참조 인식부(675)를 통해 진출 번호판 영상과 유사한 진입시의 유사 번호판 영상을 네트워크를 통해 타 정보 처리 장치로부터 수신하여 이를 인식하여 진입 정보를 획득할 수 있다. 이에 대해서는 도 5를 참조하여 설명한 바 있으므로 상세한 설명은 생략한다. According to an additional aspect, the entry information acquisition unit 631 receives a similar license plate image at the time of entry similar to the exit license plate image through the collected image reference recognition unit 675 from other information processing devices through the network, recognizes it, and obtains entry information can be obtained Since this has been described with reference to FIG. 5, a detailed description thereof will be omitted.

이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다. Although the present invention has been described above with reference to the accompanying drawings, the present invention is not limited thereto, and it should be construed to encompass various modifications that can be apparent from those skilled in the art. The claims are intended to cover such modifications.

610 : 통신부 630 : 차량 입출 정보 생성부
631 : 진입 정보 획득부 633 : 진출 정보 획득부
640 : 진출입 차량 데이터베이스
650 : 차량 정보 서비스부 651 : 진입 차량 정보 서비스부
653 : 인식 지원 서비스부
670 : 번호판 정보 획득부 671 : 현재 번호판 영상 처리부
673 : 자체 저장 정보 참조 인식부 675 : 수집 영상 참조 인식부
677 : 차적 조회 인식부
691 : 번호판 영상 인식부 693 : 차량 영상 인식부610: communication unit 630: vehicle entry and exit information generating unit
631: entry information acquisition unit 633: exit information acquisition unit
640: entry and exit vehicle database
650: vehicle information service unit 651: entry vehicle information service unit
653: Department of Cognitive Support Services
670: license plate information acquisition unit 671: current license plate image processing unit
673: self-stored information reference recognition unit 675: collected image reference recognition unit
677: vehicle tracking recognition unit
691: license plate image recognition unit 693: vehicle image recognition unit

Claims (12)

지역별 고속도로 톨게이트에 각각 설치된 복수의 카메라와 네트워크를 통해 연결되어, 그 카메라로부터의 차량 영상을 수신하는 정보 처리 장치에서 수행되는 고속 도로 과금시 진출 차량의 영상 처리 방법에 있어서,
카메라로부터 수신한 진출 영상에서 추출된 현재 번호판 영상에서 자리별로 글자 단위로 문자를 인식하여 인식 결과를 저장하는 현재 번호판 영상 인식 단계;
인식에 실패한 글자를 동일 장치에 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가하되, 인식에 성공한 글자를 기초로 과거 번호판 인식 결과에서 후보 번호판 영상을 검색하고 인식에 실패한 위치의 글자를 인식한 후보 번호판 인식 결과로부터 인식에 실패한 글자를 인식하는 자체 저장 정보 참조 인식 단계;
진출 정보로 조회하여 해당 차량의 진입 정보를 획득하는 진입 정보 획득 단계;
차량 입출 정보를 출력하는 차량 입출 정보 출력 단계;
를 포함하되,
상기 방법은 자체 저장 정보 참조 인식 단계에서 완전한 인식에 실패하면, 네트워크를 통해 타 정보 처리 장치에 유사 번호판 영상 전문을 요청하여 수신한 유사 번호판 영상을 참조하여 인식하여 인식 결과에 추가하는 수집 영상 참조 인식 단계;를 더 포함하고,
타 정보 처리 장치는 유사 번호판 영상 검색 시 과거 전출입 영상들을 대상으로 검색하되, 검색에 성공하면 유사 번호판 영상을 요청한 정보 처리 장치에 회신하고 다른 타 정보 처리 장치에 검색 성공 사실을 브로드캐스팅하는 고속도로 과금시 진출 차량의 영상 처리 방법.In the image processing method of a vehicle advancing on a highway, the image processing method is performed in an information processing device that is connected to a plurality of cameras installed at each regional highway tollgate through a network and receives a vehicle image from the camera, the method comprising:
A current license plate image recognition step of recognizing characters in units of characters for each digit in the current license plate image extracted from the advancing image received from the camera and storing the recognition result;
Recognize the letters that failed to recognize by referring to the past license plate recognition results stored in the same device and add them to the recognition results, but based on the successful letters, search for candidate license plate images from the past license plate recognition results and recognize the letters in the locations where recognition failed Self-storage information reference recognition step of recognizing a character that has failed to be recognized from one candidate license plate recognition result;
an entry information acquisition step of acquiring entry information of the corresponding vehicle by inquiring with exit information;
a vehicle entry/exit information output step of outputting vehicle entry/exit information;
including,
In the method, if complete recognition fails in the self-stored information reference recognition step, the collected image reference recognition is added to the recognition result by requesting the full text of the similar license plate image from another information processing device through the network and recognizing it with reference to the received similar license plate image further comprising;
When searching for similar license plate images, other information processing devices search for past entrance and exit images, but if the search is successful, reply to the information processing device requesting similar license plate images and broadcast the search success to other information processing devices. Image processing method of an oncoming vehicle. 삭제delete 청구항 1에 있어서, 수집 영상 참조 인식 단계에서 유사 번호판 영상은 진출 영상의 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하고 상이하게 인식된 글자를 포함하지 않는 번호판 영상인 고속도로 과금시 진출 차량의 영상 처리 방법.The highway of claim 1, wherein the similar license plate image in the collected image reference recognition step includes at least some of the characters validly recognized as a result of the previous recognition of the advance image in the same license plate position and does not include the differently recognized characters. A method of processing the image of the vehicle entering the vehicle at the time of billing. 청구항 3에 있어서, 수집 영상 참조 인식 단계는 진출 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진출 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상을 참조하여 차량 번호판 정보를 획득하는 고속도로 과금시 진출 차량의 영상 처리 방법.The method according to claim 3, The collected image reference recognition step by referring to the similar license plate image that succeeded in recognizing the letters that failed to recognize the license plate recognition of the advancing image among the similar license plate images with the largest number of characters matching the license plate image and the recognition result of the advancing image. An image processing method of a vehicle entering the highway during charging to obtain vehicle license plate information. 청구항 1에 있어서, 수집 영상 참조 인식 단계에서 유사 번호판 영상은 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상인 고속도로 과금시 진출 차량의 영상 처리 방법.The method according to claim 1, wherein the similar license plate image in the collected image reference recognition step is a license plate image in which the image coincidence with the exit image is evaluated to be greater than or equal to a reference value. 청구항 1에 있어서, 상기 방법이 :
이전 인식 단계에서 완전한 인식에 실패하면, 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가하는 차적 데이터베이스 조회 단계;를 더 포함하는 고속도로 과금시 진출 차량의 영상 처리 방법.The method of claim 1 , wherein the method comprises:
If complete recognition fails in the previous recognition step, a vehicle database inquiry step of querying the vehicle database with the vehicle information recognized from the previous recognition result and vehicle image and adding it to the recognition result; . 청구항 1에 있어서, 상기 진입 정보 획득 단계가 :
진출 정보와 유사한 유사 진입 영상을 네트워크를 통해 타 정보 처리 장치로부터 수신하여 인식하여 진입 정보를 획득하는 수집한 수집한 진입 영상 참조 인식 단계;
를 포함하는 고속도로 과금시 진출 차량의 영상 처리 방법.The method according to claim 1, wherein the step of obtaining the entry information comprises:
Recognizing the collected entry image reference recognition step of acquiring entry information by receiving and recognizing a similar entry image similar to entry information from another information processing device through a network;
An image processing method of a vehicle exiting during charging on a highway comprising a. 고속도로 톨게이트에 설치된 복수의 카메라 및 타 정보 처리 장치와 네트워크를 통해 연결되며, 그 카메라로부터의 차량 영상을 수신하여 처리하는 영상 진출입 정보 처리 장치에 있어서,
입력된 차량 번호판 영상을 자리별로 글자 단위로 문자 인식하여 인식 결과를 출력하는 번호판 영상 인식부와;
차량 진출입 정보를 저장하는 진출입 차량 데이터베이스와;
입력된 차량 영상에서 번호판 영상을 추출하여 번호판 영상 인식부로 제공하여 그 인식 결과를 출력하는 현재 번호판 영상처리부와, 입력된 불완전한 인식 결과에서 인식에 실패한 글자를 동일 장치에 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가하되, 인식에 성공한 글자를 기초로 과거 번호판 인식 결과에서 후보 번호판 영상을 검색하고 인식에 실패한 위치의 글자를 인식한 후보 번호판 인식 결과로부터 인식에 실패한 글자를 인식하는 자체 저장 정보 참조 인식부를 포함하는 번호판 정보 획득부와;
진출 정보를 타 정보 처리 장치로 송신하여 해당 차량의 진입 정보를 획득하는 진입 정보 획득부와, 카메라로부터 수신한 진출 영상을 상기 번호판 정보 획득부로 제공하여 진출 정보를 획득하는 진출 정보 획득부;를 포함하며, 획득된 차량의 진입, 진출 정보를 출력하는 차량 입출 정보 생성부;
를 포함하되,
상기 번호판 정보 획득부는 네트워크를 통해 타 정보 처리 장치에 유사 번호판 영상 전문을 요청하여 수신한 유사 번호판 영상을 참조하여 인식하여 인식 결과에 추가하는 수집 영상 참조 인식부;를 더 포함하고,
타 정보 처리 장치는 유사 번호판 영상 검색 시 과거 전출입 영상들을 대상으로 검색하되, 검색에 성공하면 유사 번호판 영상을 요청한 정보 처리 장치에 회신하고 다른 타 정보 처리 장치에 검색 성공 사실을 브로드캐스팅하는 영상 진출입 정보 처리 장치.An image entry/exit information processing device connected to a plurality of cameras and other information processing devices installed in a highway tollgate through a network, and receiving and processing vehicle images from the cameras,
a license plate image recognition unit for recognizing the input vehicle license plate image in character units for each digit and outputting a recognition result;
an entry/exit vehicle database for storing vehicle entry/exit information;
The current license plate image processing unit that extracts the license plate image from the input vehicle image and provides it to the license plate image recognition unit to output the recognition result, and the character that failed to be recognized in the input incomplete recognition result by referring to the past license plate recognition result stored in the same device Self-stored information that recognizes and adds to the recognition result, but searches for candidate license plate images from the past license plate recognition results based on the successfully recognized characters, and recognizes the characters that failed recognition from the candidate license plate recognition results that recognize the characters in the location where the recognition failed a license plate information obtaining unit including a reference recognition unit;
Including; an entry information acquisition unit that transmits exit information to another information processing device to acquire entry information of the corresponding vehicle, and an exit information acquisition unit that obtains exit information by providing the exit image received from the camera to the license plate information acquisition unit; and a vehicle entry/exit information generating unit for outputting the obtained vehicle entry and exit information;
including,
The license plate information acquisition unit requests a full text similar license plate image to another information processing device through a network, and refers to the received similar license plate image to recognize and recognize the collected image reference recognition unit to add to the recognition result;
When other information processing devices search for similar license plate images, it searches past previous entrance and exit images, but if the search is successful, it returns to the information processing device that requested the similar license plate image and broadcasts the search success to other information processing devices. processing unit. 삭제delete 청구항 8에 있어서, 번호판 정보 획득부가 :
저장된 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가하는 차적 데이터베이스 조회부;를 더 포함하는 영상 진출입 정보 처리 장치.The method of claim 8, wherein the license plate information obtaining unit:
The image entry/exit information processing apparatus further comprising a; vehicle database inquiry unit for querying the vehicle vehicle database with the stored recognition result and vehicle information recognized from the vehicle image and adding it to the recognition result. 청구항 8에 있어서, 상기 정보 처리 장치가 :
타 정보 처리 장치로부터 진출 정보를 포함하는 진입 차량 정보 요청에 응답하여 대응하는 진입 정보를 진출입 차량 데이터베이스를 검색하여 송신하는 진입 차량 정보 서비스부;를 더 포함하는 영상 진출입 정보 처리 장치.The method according to claim 8, wherein the information processing device comprises:
The image entry/exit information processing apparatus further comprising a; an entry vehicle information service unit that searches the entry/exit vehicle database and transmits corresponding entry information in response to a request for entry vehicle information including exit information from another information processing device. 청구항 8에 있어서, 상기 진입 정보 획득부가 :
수집 영상 참조 인식부를 통해 진출 번호판 영상과 유사한 진입시의 유사 번호판 영상을 네트워크를 통해 타 정보 처리 장치로부터 수신하여 이를 인식하여 진입 정보를 획득하는 영상 진출입 정보 처리 장치.

The method of claim 8, wherein the entry information obtaining unit:
An image entry/exit information processing device for acquiring entry information by receiving a similar license plate image at the time of entry similar to the exit license plate image through the collected image reference recognition unit from another information processing device through a network.
KR1020190093036A 2019-07-31 2019-07-31 Image Processing Method for Highway Toll Calculation and System for the same KR102304802B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190093036A KR102304802B1 (en) 2019-07-31 2019-07-31 Image Processing Method for Highway Toll Calculation and System for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190093036A KR102304802B1 (en) 2019-07-31 2019-07-31 Image Processing Method for Highway Toll Calculation and System for the same

Publications (2)

Publication Number Publication Date
KR20210014937A KR20210014937A (en) 2021-02-10
KR102304802B1 true KR102304802B1 (en) 2021-09-24

Family

ID=74560943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190093036A KR102304802B1 (en) 2019-07-31 2019-07-31 Image Processing Method for Highway Toll Calculation and System for the same

Country Status (1)

Country Link
KR (1) KR102304802B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240420B (en) * 2022-07-23 2023-06-13 宁波市杭州湾大桥发展有限公司 Highway auxiliary command method, system, storage medium and intelligent terminal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099664A1 (en) * 2007-02-15 2008-08-21 Mitsubishi Heavy Industries, Ltd. Vehicle number recognizing device
KR101595544B1 (en) * 2015-03-11 2016-03-21 한국도로공사 Apparatus and method for verifying of recognition accuracy of image device of intelligent transportation system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100479905B1 (en) * 2002-10-02 2005-03-31 삼성테크윈 주식회사 Car identification apparatus and car identification system using the same
KR101569712B1 (en) 2013-12-31 2015-11-17 대보정보통신(주) Apparatus for detecting number of vehicle and method thereof
KR20170084463A (en) * 2016-01-12 2017-07-20 상명대학교산학협력단 Equipment and method of vehicle authentication
KR20180012722A (en) * 2016-07-27 2018-02-06 백용현 Smart high-pass system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099664A1 (en) * 2007-02-15 2008-08-21 Mitsubishi Heavy Industries, Ltd. Vehicle number recognizing device
KR101595544B1 (en) * 2015-03-11 2016-03-21 한국도로공사 Apparatus and method for verifying of recognition accuracy of image device of intelligent transportation system

Also Published As

Publication number Publication date
KR20210014937A (en) 2021-02-10

Similar Documents

Publication Publication Date Title
CN110135852B (en) Riding payment method, riding payment system, payment acceptance equipment and server
RU2649847C2 (en) Method for reading vehicle license plates
CN107273833B (en) Method for monitoring floating population and system thereof
CN109685956B (en) Method, device, equipment and storage medium for scanning and unlocking shared bicycle license plate
KR101678004B1 (en) node-link based camera network monitoring system and method of monitoring the same
KR102304802B1 (en) Image Processing Method for Highway Toll Calculation and System for the same
JP2019046092A (en) On-vehicle unit, base station device, video information providing system, video information providing method, and computer program
CN111695538A (en) Illegal invader detection method, device and readable storage medium
US9306749B2 (en) Method of biometric authentication, corresponding authentication system and program
CN211669680U (en) ETC-based parking lot charging system
CN112770265A (en) Pedestrian identity information acquisition method, system, server and storage medium
CN111046705A (en) Image recognition method, device and system and computing equipment
CN110995745A (en) Method and device for separating and identifying illegal machine card of Internet of things
KR20030012371A (en) System and Method for Integrated Remote Control of Watching Camera using Communication Network and Method for Processing Image Data Using the Same
KR100382460B1 (en) A fare collection a means
CN110727751B (en) Scenic spot tourist delineation method and system based on real-name system
CN112712626A (en) Vehicle verification method and device based on license plate information, computer equipment and storage medium
CN115909526B (en) Expressway charging method and device
CN113436356B (en) Vehicle track reduction method, high-speed toll determination method and device
CN115797842A (en) Vehicle lane occupation operation detection method and device, electronic equipment and storage medium
CN115719537A (en) Intelligent community intelligent visitor reservation management method and system based on AI technology
CN113920596A (en) License plate recognition data re-matching method and system for unattended parking lot
CN114944028A (en) Vehicle access management method, device and system, vehicle-mounted terminal and intelligent terminal
KR102142392B1 (en) Real-time vehicle management system and method on toll road
CN113112626A (en) Highway toll information acquisition system

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant