WO2022055063A1 - 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법 - Google Patents

영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법 Download PDF

Info

Publication number
WO2022055063A1
WO2022055063A1 PCT/KR2021/004546 KR2021004546W WO2022055063A1 WO 2022055063 A1 WO2022055063 A1 WO 2022055063A1 KR 2021004546 W KR2021004546 W KR 2021004546W WO 2022055063 A1 WO2022055063 A1 WO 2022055063A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
information
classification
classification key
Prior art date
Application number
PCT/KR2021/004546
Other languages
English (en)
French (fr)
Inventor
안순현
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to US18/040,987 priority Critical patent/US20230306716A1/en
Priority to CN202180055207.7A priority patent/CN116075837A/zh
Publication of WO2022055063A1 publication Critical patent/WO2022055063A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to an apparatus, system and method for classifying a vehicle through image analysis, and more particularly, by using license plate recognition and vehicle registration information, to obtain labeling information for classifying a vehicle, and to obtain labeling information and a vehicle in a learner. It is about making the video learn together.
  • the type of vehicle or vehicle type means all classification information that can classify a vehicle, and for example, vehicle registration information (information in FIG. 3 ) managed by a national institution (Ministry of Land, Infrastructure and Transport). Correspondingly, it may be formed by a combination of at least one of vehicle registration information.
  • Vehicle registration information means the information listed in the vehicle registration certificate, and in order for the vehicle to travel on the road, the government agency (Ministry of Land, Infrastructure and Transport) registers, manages, and manages vehicle information. number), vehicle model, use, vehicle name, model and model year, vehicle identification number, owner, specifications, etc. are stored.
  • the government agency Ministry of Land, Infrastructure and Transport
  • LF SONATA a number of vehicle images (thousands) of the same vehicle name (ie, LF SONATA) are acquired, and the vehicle name is determined using this.
  • vehicle type in vehicle registration information is information that classifies vehicles according to size, and there are 9 types (small passenger vehicle, small van, small cargo, medium passenger vehicle, medium vehicle, medium cargo, large passenger vehicle, large passenger vehicle) in the current vehicle registration information. vans, large cargo).
  • the present invention has been proposed to solve the above-described problems, and as label information for learning a vehicle image, it is intended to provide vehicle registration information and vehicle image as its inputs, and to receive the input of vehicle recognition and detection through vehicle image. We want to increase the accuracy to a significant level.
  • labeling work through human intervention has been mainstream to provide learning data in the prior art, but it is intended to provide label information in a device or system without human intervention.
  • an apparatus for classifying a vehicle through image analysis comprising: an image acquisition unit for acquiring a vehicle image including a license plate of the vehicle; a vehicle information obtaining unit for extracting vehicle identification information from the obtained vehicle image; a registration information obtaining unit obtaining vehicle registration information corresponding to the vehicle identification information; a control unit that selectively extracts a part of the vehicle registration information indicating the external characteristics of the vehicle, allocates a classification key, and classifies the vehicle image according to the classification key; and a learning processing unit configured to learn the vehicle image using the classification key.
  • the vehicle registration information may include at least one of: vehicle registration number, vehicle model, vehicle name, type and model year, vehicle identification number, and specifications.
  • the vehicle identification information may include: an identifier of a communication unit installed in the vehicle or a media access control (MAC) address.
  • MAC media access control
  • the registration information acquisition unit may additionally acquire exterior information of the vehicle based on at least one of a vehicle model, a vehicle name, a model and model year, and a vehicle identification number included in the vehicle registration information.
  • control unit may include: a storage unit for storing the vehicle image using a predetermined classification key or vehicle registration number as an index.
  • the learning processing unit may extract learning information by analyzing a vehicle image corresponding to the same classification key.
  • the vehicle image input to the learning processing unit may include a vehicle region extracted from the vehicle image by using the coordinates of the license plate.
  • a vehicle classification system through image analysis includes a vehicle classification apparatus and an operation unit, and the vehicle classification apparatus: Acquires a vehicle image including a license plate of a vehicle image acquisition unit for; a vehicle information obtaining unit for extracting vehicle identification information from the obtained vehicle image; a registration information obtaining unit obtaining vehicle registration information corresponding to the vehicle identification information; a control unit that selectively extracts a part of the vehicle registration information indicating the external characteristics of the vehicle, allocates a classification key, and classifies the vehicle image according to the classification key; and a learning processing unit for learning the vehicle image by using the classification key, wherein the operation unit classifies the vehicle type of the vehicle using the readjusted classification key through readjustment to integrate or separate the classification key according to use.
  • the vehicle classification apparatus Acquires a vehicle image including a license plate of a vehicle image acquisition unit for; a vehicle information obtaining unit for extracting vehicle identification information from the obtained vehicle image; a registration information obtaining unit obtaining vehicle registration information corresponding to the vehicle identification information; a control
  • the operation unit determines whether the vehicle registration information obtained in response to the vehicle identification information and the vehicle information directly obtained from the vehicle image are different, and the directly obtained vehicle information is the learning It may be obtained using data learned by the processing unit.
  • the operation unit may: determine whether there is a duplicate vehicle registration number among the previously stored vehicle image and the classification key.
  • a method for classifying a vehicle through image analysis comprising: obtaining a vehicle image including a license plate of the vehicle; extracting vehicle identification information from the obtained vehicle image; obtaining vehicle registration information corresponding to the vehicle identification information; selectively extracting a part of the vehicle registration information indicating the external characteristics of the vehicle, assigning a classification key, and classifying the vehicle image according to the classification key; and learning the vehicle image using the classification key.
  • the present invention it is possible to efficiently obtain label information for vehicle recognition and vehicle information acquisition from a vehicle image using vehicle registration information, thereby significantly reducing time and cost for labeling.
  • FIG. 1 shows the overall configuration of a traffic control system related to the present invention.
  • FIG. 3 shows a vehicle registration certificate (registration information) related to the present invention.
  • FIG. 4 shows a block diagram of an apparatus or system related to the present invention.
  • FIG. 5 shows a procedure for setting a classification key from a vehicle image related to the present invention.
  • Figure 6 shows a flow chart for detecting a vehicle license plate forgery related to the present invention.
  • FIG. 7 is a flowchart illustrating a procedure for obtaining and learning label information for a vehicle in a vehicle image using a classification key related to the present invention.
  • 8 shows a vehicle image related to the present invention.
  • 9 shows a vehicle image related to the present invention.
  • an image acquisition device 1 such as a camera for acquiring an image by photographing a traffic situation and related accessories
  • a server 2 connected to the image acquisition device by wire or wirelessly, and the image It
  • the image acquisition device may include a control system (3) such as a traffic control room operated by various local governments, road corporations, facilities corporation, and the National police Agency, etc. that receive and control real-time or store and manage images.
  • the image acquisition device may operate in conjunction with means for detecting a vehicle such as a vehicle detection sensor (eg, at least one of an electromagnetic sensor, a radar sensor, and an image sensor).
  • the device, system, etc. according to the present invention may be included in any one of the components shown in FIG. 1 or may exist as a separate device, system, or the like.
  • FIG. 2 shows an LF Sonata (SONATA) vehicle
  • the right side shows an example of analyzing the YF Sonata vehicle.
  • SONATA LF Sonata
  • a vehicle of the same type as the corresponding vehicle was visually read from numerous vehicle images, and thousands of data sets were created and learned so that classification was possible.
  • FIG. 3 shows a vehicle registration certificate (registration information) related to the present invention.
  • FIG. 3 is a copy of the vehicle registration certificate.
  • the vehicle registration information managed by the state contains more information about the vehicle than the contents described in the “vehicle registration certificate” provided to the vehicle owner.
  • vehicle-related matters includes vehicle information such as vehicle registration number (vehicle number), vehicle model, vehicle name, model and model year, vehicle identification number, and “owner information”.
  • vehicle registration number vehicle number
  • vehicle model vehicle model
  • vehicle name model and model year
  • vehicle identification number vehicle identification number
  • owner information owner information
  • Items is registered including name, address, resident registration number, and “vehicle specifications”.
  • vehicle registration information included in the vehicle registration certificate shown in FIG. 3 may be stored and managed in a database operated by a separate country.
  • a vehicle classification apparatus according to the present invention which will be described later, may receive vehicle registration information stored in a national database.
  • the vehicle manufacturer database stores various vehicle information (vehicle color and engine type, etc.) corresponding to the type, model year, and vehicle identification number among vehicle registration information, and the vehicle classification device according to the present invention to be described later is the vehicle manufacturer data
  • the information stored in the base may be provided.
  • FIG. 4 shows a block diagram of an apparatus 40 and system 100 in accordance with the present invention.
  • the vehicle classification system 100 may include a vehicle classification apparatus 40 and an operation unit 50 .
  • the vehicle classification apparatus 40 may include an image obtaining unit 41 , a vehicle information obtaining unit 42 , a registration information obtaining unit 43 , a control unit 44 , and a learning processing unit 45 .
  • an image obtaining unit 41 may include an image obtaining unit 41 , a vehicle information obtaining unit 42 , a registration information obtaining unit 43 , a control unit 44 , and a learning processing unit 45 .
  • the image acquisition unit 41 may acquire a vehicle image including a license plate.
  • a vehicle image including a license plate.
  • the vehicle image obtained or received in the present invention detects the license plate area or the occupant area of the vehicle and replaces or blurs the image of the corresponding area for personal information protection, prior to masking for personal information protection. desirable.
  • identification of the vehicle in the vehicle image is basically performed through detection and recognition of the license plate area of the vehicle, but this is not necessarily the case.
  • a vehicle image that is proven to be the same vehicle as the vehicle image for which a specific vehicle registration number is obtained may be used as the vehicle image of the present invention even if the vehicle license plate is not included.
  • the side image may also be included in the vehicle image according to the present invention.
  • the vehicle information obtaining unit 42 may obtain vehicle identification information from the obtained vehicle image.
  • the vehicle identification information may include not only the vehicle registration number, but also information capable of identifying the vehicle as mentioned above.
  • the vehicle identification information includes the vehicle registration number in text form extracted from the vehicle number plate included in the vehicle image using the vehicle number recognition algorithm, and in particular, it must be completely configured to fit the vehicle registration number configuration system.
  • composition of license plates with white background is in the form of “112 to 1234”. ⁇ 79, 80 ⁇ 97, 98 ⁇ 97), it is a 2-3 digit number indicating which type it is.
  • the license plate with a yellow background color is in the form of “Seoul 70 Bar 1234” and must include the name of the region (“Seoul”) at the beginning, and the Korean characters for use are “ba”, “sa”, “ah”, and “ja”. It is configured to include at least one.
  • the vehicle registration number completely configured to fit the vehicle registration number configuration system is uniquely present in vehicle registration information and can specify the vehicle.
  • the vehicle information acquisition unit 42 detects, recognizes or extracts various areas of the vehicle based on the vehicle license plate, or detects and recognizes only the vehicle area within the vehicle image. Or it can be extracted. This is because vehicle images include vehicles, roads, lanes, passengers, or various background images.
  • the occupant area includes objects unnecessary for learning according to the occupant or an object attached to the dashboard. It is possible to carry out learning by exclusion.
  • the vehicle information obtaining unit 42 may extract a vehicle area based on the location of the license plate by using the position coordinates of the license plate included in the vehicle image.
  • the vehicle identification information may include an identifier (ID) or a media access control (MAC) address of a communication unit mounted on the vehicle.
  • ID identifier
  • MAC media access control
  • the registration information acquisition unit 43 may acquire vehicle registration information corresponding to the vehicle identification information.
  • the vehicle registration information may include at least one of a vehicle registration number, vehicle model, vehicle name, type and model year, vehicle identification number, and specifications.
  • the vehicle registration number “49ha 1XXX” is the vehicle model “medium size passenger”, the use “commercial use”, the vehicle name “SONATA”, the model and model year “LF4DBG-S6” 2019” is included, and accordingly, it is possible to obtain vehicle registration information using vehicle identification information.
  • the registration information acquisition unit 43 can acquire useful information (eg, vehicle color information, engine type) provided by the vehicle manufacturer, and , it is possible to obtain information having a difference in the appearance of the vehicle from this item. That is, the registration information acquisition unit 43 may also acquire additional information of the vehicle linked to or included in information such as the model and model year or vehicle identification number in the vehicle registration information. In the present specification, it is assumed that additional information is also included in vehicle registration information.
  • useful information eg, vehicle color information, engine type
  • the registration information acquisition unit 43 may also acquire additional information of the vehicle linked to or included in information such as the model and model year or vehicle identification number in the vehicle registration information. In the present specification, it is assumed that additional information is also included in vehicle registration information.
  • registration information of a vehicle of interest is registration information of a vehicle capable of classifying vehicles having different external characteristics. Accordingly, it is possible to generate a classification key, which will be described later, by using at least one item (eg, car name, etc.) capable of distinguishing vehicles having different external characteristics in the above-described various vehicle registration information.
  • the vehicle identification information includes an identifier (ID) or MAC address of a communication unit mounted on the vehicle, it is possible to obtain vehicle registration information using the ID or MAC address of the communication unit.
  • ID identifier
  • MAC address MAC address
  • vehicle owner information may be excluded from the vehicle registration information.
  • the controller 44 may generate a classification key by using at least a part of the vehicle registration information having a difference in appearance on the vehicle image, and classify the vehicle image according to the generated classification key.
  • the classification key refers to vehicle classification information (eg, vehicle model, vehicle name, type, model year, etc.) related to at least one external feature of a vehicle that can be recognized or detected in a vehicle image. Accordingly, for example, assuming that the appearance or appearance features of two vehicles (referred to as A and B, respectively) exist or they are used to generate a classification key, the classification key K AB corresponding to the combination of A and B can be created. Vehicle images for vehicles having the same appearance or appearance features (A, B) are all assigned the same classification key K AB and may be classified accordingly.
  • vehicle color information can be subdivided so that it is possible to selectively determine whether to apply a classification key according to the purpose of using the result of image analysis and learning according to the present invention (eg, toll collection, police/prosecution investigation, etc.) Do.
  • a classification key e.g, toll collection, police/prosecution investigation, etc.
  • the selection of such a classification key is configured to generate a classification key using the “type and model year” of a newly released vehicle, and even if the “type and model year” of a previously released vehicle is the same, there are differences in appearance.
  • Vehicle information can be configured to enable generation and setting of a classification key by additionally using “vehicle identification number”.
  • vehicle registration information For example, “manufacturer”, “car name”, “model and model year” are basically included. It is possible to do In the case of “manufacturer”, it may be information that can be obtained from “car name” or other information among vehicle registration information.
  • the vehicle classification algorithm according to the present invention can be used in various ways, such as toll collection, investigation, and traffic information collection, if it is classified according to the purpose of using it. , it is desirable to integrate and separate classification keys according to their use. That is, as described above, the classification key may be subdivided or integrated according to the purpose, such that the classification key is configured to indicate the appearance or appearance characteristics, or a combination or combination thereof.
  • control unit 44 may generate a classification key and use it to classify and store a vehicle image, or indexing capable of calling an existing vehicle image may be additionally considered. That is, the controller 44 may index and store the obtained vehicle image by the generated classification key, and may use the corresponding classification key when calling later.
  • process for the previously registered and driven vehicle and the process for the new vehicle may have the same overall configuration, but may be configured differently in detail.
  • the learning processing unit 45 may learn the vehicle image by using the generated classification key. Also, the learning processing unit 45 may learn the vehicle image and the generated classification key. The learning processing unit 45 may extract the characteristic information of the vehicle included in the vehicle image, and in more detail, the vehicle image classified by the classification key (eg, “passenger_SONATA_ASCD-A_2019”) in the control unit 44 . features can be extracted. That is, the learning processing unit 45 may extract learning information by analyzing the vehicle image corresponding to the same classification key.
  • the classification key eg, “passenger_SONATA_ASCD-A_2019
  • the shape of the front of Hyundai's “Sonata” and Kia's “K5" is very different even with the human eye. It is possible to extract the characteristic information of The biggest difference is the grille, light, and emblem in the features that allow the vehicle to be classified in the front image of the vehicle.
  • the learning processing unit 45 uses the position coordinates of the license plate included in the vehicle image in the vehicle information acquisition unit 42 to extract and learn the area of the vehicle based on the position of the license plate, or, in more detail, to specify the vehicle It is possible to extract and learn feature information in detail only in areas (eg, grills, lights, and emblems).
  • the operation unit 50 may include a database unit that classifies vehicle types through readjustment to integrate or separate the classification keys according to usage.
  • the operation unit 50 may be communicatively connected to the vehicle classification device 40 through a wired or wireless network.
  • the database unit can integrate and classify vehicle types into 6 types using thousands of classification keys and information on the appearance characteristics of vehicles in accordance with the highway toll system, for example, ), cargo (small, medium, large), etc. can also be classified.
  • a “vehicle classification system” which classifies vehicles into 6 types using information on the number of axles, wheel width, and track length of the vehicle. Table 1 below is the classification table for car models.
  • a tread sensor is installed on the road surface, and vehicle information is collected through contact with the wheels of a traveling vehicle.
  • reality that increases with the In order to replace such a physical contact sensor, classification of “car type” using vehicle images is attempted. It can be captured and analyzed as a single vehicle image.
  • vehicle registration number can be obtained through vehicle image analysis and vehicle registration information (contents included in the vehicle registration certificate) corresponding to the vehicle registration number can be obtained, in addition to the vehicle image including the vehicle license plate, separately Additional vehicle images such as side and rear images of the vehicle may not be necessary.
  • the operation unit 50 may detect an abnormal vehicle using vehicle registration information. In this case, the operation unit 50 may determine whether the vehicle registration information obtained in response to the vehicle identification information and the vehicle information directly obtained from the vehicle image are different.
  • the operation unit 50 can determine whether there is a duplicate vehicle registration number among the previously stored vehicle image and the classification key, which is to detect a vehicle with the same license plate attached and running, that is, a counterfeit vehicle. it is for
  • the operation unit 50 may additionally include a vehicle registration management unit that acquires and analyzes information regarding registration and cancellation of the target vehicle and information on changes in the owner.
  • 5 shows a procedure for setting a classification key from a vehicle image related to the present invention. 5 may be performed by the vehicle classification apparatus 40 according to the present invention.
  • Vehicle identification information may be extracted from the vehicle image (S510).
  • the vehicle identification information may include not only a vehicle registration number, but also information capable of identifying the vehicle as described above.
  • the vehicle identification information may include an identifier (ID) or a MAC address of a communication unit mounted on the vehicle.
  • Vehicle registration information may be obtained using the obtained vehicle identification information (S520).
  • the vehicle registration information may include at least one of a vehicle registration number required for vehicle registration, a vehicle model, a vehicle name, a model and model year, a vehicle identification number, and specifications.
  • the vehicle registration information may include the external appearance or external characteristics of the vehicle additionally obtained from the above-described various vehicle registration information.
  • a classification key may be determined from the vehicle registration information (S530).
  • the corresponding vehicle image may be stored together with the corresponding classification key or information on the corresponding classification key (S550). At this time, the stored vehicle image is indexed with the corresponding classification key, and when the vehicle image is called later, the vehicle image can be called through indexing.
  • the determined classification key may be generated (S545). Then, the corresponding image may be stored together with the generated classification key (S550).
  • Vehicle registration information obtained through S520 may be as shown in Table 3 below.
  • vehicle identification information Vehicle Registration Number
  • vehicle registration information 49H 1XXX Car type manufacturing company car name Type and model year Specifications car Hyundai Sonata (LF SOANTA) LF4DBG-S6 2019 model year ...
  • the classification key and vehicle image are stored as follows, and it is a data set that is a learning target of the learning processing unit 45 .
  • the vehicle image of FIG. 9 cited in Table 5 is an image excluding the background area from the original vehicle image.
  • Figure 6 shows a flow chart for detecting a vehicle license plate forgery related to the present invention. 6 may be performed by the vehicle classification apparatus 40 or the operation unit 50 according to the present invention.
  • Vehicle identification information may be extracted from the vehicle image (S610).
  • the vehicle identification information may include not only a vehicle registration number, but also information capable of identifying the vehicle as described above.
  • the vehicle identification information may include an identifier (ID) or a MAC address of a communication unit mounted on the vehicle.
  • the vehicle image may be acquired from the image acquisition unit 41 or the image acquisition device 1 of the traffic control system.
  • Vehicle registration information may be obtained using the obtained vehicle identification information (S620).
  • the vehicle registration information may include at least one of a vehicle registration number, vehicle model, vehicle name, type and model year, vehicle identification number, and specifications.
  • the vehicle registration information may include the external appearance or external characteristics of the vehicle additionally obtained from the above-described various vehicle registration information.
  • the vehicle license plate forgery detection procedure is terminated.
  • vehicle registration information and vehicle information directly obtained from the vehicle image do not match, for example, vehicle number 49 under 1XXX is registered as Sonata in vehicle registration information, but the same vehicle number in the directly acquired vehicle information If is Grandeur, it is determined that the license plate forgery (S640), and the information is transmitted to the police, local governments, etc., which can be used for illegal vehicle crackdown. In this case, the transmission of the corresponding information to the police, local governments, etc. may be performed by the operation unit 50 .
  • the label information acquisition and learning procedure may be performed by the vehicle classification apparatus 40 through image analysis, and although described with reference to FIG. 7 , the above-described contents not described with reference to FIG. can be done
  • the device may acquire a vehicle image including a license plate (S710).
  • the vehicle image may be captured by an image acquisition unit.
  • the device may extract vehicle identification information from the obtained vehicle image (S720).
  • vehicle identification information may include a vehicle number (vehicle registration number on a vehicle registration certificate), and other information having external characteristics of the vehicle (referred to as “other information”).
  • vehicle identification information may include an identifier or MAC address of a communication unit installed in the vehicle. In this case, it is preferable that the external characteristic information of the vehicle and the identifier or MAC address may be linked.
  • the device may obtain vehicle registration information corresponding to the vehicle identification information (S730).
  • the vehicle registration information may include at least one of a vehicle registration number required for vehicle registration, a vehicle model, a vehicle name, a model and model year, a vehicle identification number, and specifications. That is, the vehicle registration information includes information related to the vehicle indicated in the vehicle registration certificate.
  • the device may additionally acquire exterior information of the vehicle in the vehicle image based on at least one of a vehicle model, vehicle name, type and model year, and vehicle identification number included in the vehicle registration certificate.
  • the device may allocate a classification key using at least a part of the vehicle registration information indicating external features in the vehicle image, and classify the vehicle image according to the classification key (S740).
  • the device may include a storage unit for storing the vehicle image using a predetermined classification key or vehicle registration number as an index.
  • the device may learn the vehicle image using the classification key (S750).
  • the device may extract learning information by analyzing a vehicle image corresponding to the same classification key.
  • the learning means receiving the vehicle image and the classification key, extracting features in the vehicle image, and matching the extracted features with the classification key or information indicated by the classification key.
  • the vehicle image for learning may include a vehicle region extracted from the vehicle image by using the coordinates of the license plate.
  • the device may be interoperable with an operation unit including a database unit for classifying vehicle types through readjustment that integrates or separates (or subdivides) the classification key according to use.
  • an operation unit including a database unit for classifying vehicle types through readjustment that integrates or separates (or subdivides) the classification key according to use.
  • the operating unit may determine whether the vehicle registration information obtained in response to the vehicle identification information and the vehicle information directly obtained from the vehicle image are different for cracking down on forgery and falsification of the vehicle license plate, and the direct acquisition Information of one vehicle may be obtained using data learned by the learning processing unit.
  • the operating unit may determine whether there is a duplicate vehicle registration number in the previously stored vehicle image and classification key sets.
  • the device may include a storage unit for storing the vehicle image and the classification key, and the operating unit may acquire the stored vehicle image and the classification key from the device, or may store the stored vehicle image and the classification key in the database unit after obtaining.
  • device or “system” and its components (image acquisition unit 41, vehicle information acquisition unit 42, registration information acquisition unit 43, control unit 44, learning processing unit 45) and/or the operation unit 50, etc.) has been described as performing the method or procedure, etc., but the "device” and components belonging thereto are only names, and the scope of rights is not subordinated thereto. That is, the method or procedure may be performed not only as a device but also as a system, and the method or method may be performed by software for vehicle image analysis or a code readable by a computer or other machine, device, etc. .
  • the above-described proposal or operation of the invention is performed by a "computer” (a comprehensive concept including a system on chip (SoC) or (micro) processor, etc.) Code that can be implemented, implemented or executed, or a computer-readable storage medium storing or including the code, or a computer program product, etc. a computer-readable storage medium including a computer program product or a computer program product.
  • a “computer” a comprehensive concept including a system on chip (SoC) or (micro) processor, etc.

Abstract

본 발명의 일 실시예에 따라 영상 분석을 통한 차량 분류 장치가 제안되며, 상기 장치는 차량 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함할 수 있다.

Description

영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법
본 발명은 영상 분석을 통한 차량 분류 장치, 시스템 및 방법에 관한 것으로서, 좀더 상세하게는 차량 번호판 인식과 자동차 등록정보를 이용하여, 차량을 분류하기 위한 라벨링 정보를 획득하고, 학습기에 라벨링 정보와 차량 영상을 함께 학습하게 하기 위한 것에 관한 것이다.
최근 딥 러닝을 이용한 영상을 분석하고 이를 적용하는 분야 및 사례가 급증하고 있는데, 특히, 공공 분야에서는 교통 정보를 수집하고 분석하는 분야에서 다양하게 활용되고 있다.
한편, 딥 러닝(Deep learning)은 많은 양의 데이터 셋이 필요하고, 각각의 영상은 목적에 맞는 레이블(label)을 생성을 해야 하며, 특히 차량의 종류를 분류하기 위해서는 2천 종 이상의 차량 영상을 분류하여 확보해야 하는 어려움과 차량 종류별로 적절한 데이터의 양을 확보해야 하는 어려움이 있다.
본 명세서에서, 차량의 종류 또는 차량 종류라 함은, 차량을 구분할 수 있는 모든 구분 정보를 의미하며, 예를 들어 국가기관(국토교통부)에서 관리하는 자동차 등록정보(도 3 내 정보들)가 이에 해당하며, 자동차 등록정보 중 적어도 하나의 조합으로도 이루어질 수 있다.
자동차 등록정보는 자동차 등록증에 열거된 정보를 의미하며, 차량이 도로를 주행하기 위해서는 국가기관(국토교통부)은 자동차의 정보를 등록, 관리 관리하는데, 자동차 등록정보에는 자동차등록번호(흔히 일컫는, 차량번호), 차종, 용도, 차명, 형식 및 모델연도, 차대번호, 소유자, 제원 등 많은 정보가 저장되어 있다.
예를 들어, 차량의 영상을 분석하여 차량의 “차명”으로 차량 종류를 구분하려는 경우(즉, 구분/분류하려는 “차량 종류”가 “차명”인 경우), 차명(예, LF SONATA) 을 판별하기 위하여, 본 발명의 도 2에 예시된 사례를 보면, 동일한 차명(즉, LF SONATA)의 수많은 차량 영상(수천 장)을 획득하고, 이를 이용하여 차명을 판별하도록 개발한 것이다.
한편, 자동차 등록정보 내 “차종”은 차량을 크기에 따라 분류한 정보로서, 현행 자동차 등록정보에는 9종(소형 승용, 소형 승합, 소형 화물, 중형 승용, 중형 승합, 중형 화물, 대형 승용, 대형 승합, 대형 화물)으로 분류되어 있다.
이와 같은 차량의 종류에 대한 정보는 차량의 요금징수(주차장, 고속도로), 통행 제한(고속도로 통행방법), 그리고 수사용(번호판 정보 없이 통행한 차량의 모델 정보)으로 그 활용도가 높지만, 현재까지 기존 차량 및 새로운 차량의 증가로 이를 해결할 수 있는 방법은 없는 현실이다.
또한, 대한민국의 지방자치단체, 유관 기관(예, 한국도로공사)에는 다양한 형태의 차량영상 촬영장치 및 차량번호 판독장치가 이미 운영 중에 있는데, 차량영상과 차량의 번호판 정보를 이용하여 상술한 차량 등록정보와 연계하여 기존 차량 및 새롭게 출시하는 차량에 대하여 외형상 차이가 있는 차량 종류에 따라 레이블을 하도록 구성하고, 이를 이용하여 효율적으로 알고리즘을 개발, 신속한 업그레이드가 가능한 시스템이 요구된다.
본 발명은 앞서 설명한 문제점을 해결하기 위해 제안된 것으로서, 차량 영상의 학습을 위한 레이블 정보로서, 자동차 등록정보와 차량 영상을 그 입력으로 제공하고자 하며, 이를 입력받아 차량 영상을 통한 차량 인식, 검출의 정확도를 상당 수준으로 높이고자 한다. 아울러, 본 발명은 종래에 학습 데이터 제공을 위해 인간의 개입을 통한 레이블링 작업이 주류였으나, 인간의 개입 없이 장치 또는 시스템에서 레이블 정보를 부여하고자 한다.
본 발명에서 이루고자 하는 해결하고자 하는 과제들은 상기 해결하고자 하는 과제로 제한되지 않으며, 언급하지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따라 영상 분석을 통한 차량 분류 장치가 제안되며, 상기 장치는 차량의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함할 수 있다.
추가로 또는 대안으로, 상기 차량 등록 정보는: 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다.
추가로 또는 대안으로, 상기 차량 식별 정보는: 상기 차량에 설치된 통신부의 식별자 또는 MAC(media access control) 주소를 포함할 수 있다.
추가로 또는 대안으로, 상기 등록 정보 획득부는 상기 차량 등록 정보에 포함된 차종, 차명, 형식 및 모델 연도, 차대번호 중 적어도 하나를 기초로 차량의 외관 정보를 추가적으로 획득할 수 있다.
추가로 또는 대안으로, 상기 제어부는: 소정의 분류키 또는 자동차 등록번호를 인덱스로 하여 상기 차량 영상을 저장하는 저장부를 포함할 수 있다.
추가로 또는 대안으로, 상기 학습 처리부는: 동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출할 수 있다.
추가로 또는 대안으로, 상기 학습 처리부에 입력되는 차량 영상은 상기 차량 영상에서 상기 차량 번호판의 좌표를 이용하여 추출된 차량 영역을 포함할 수 있다.
본 발명의 또다른 일 실시예에 따라 영상 분석을 통한 차량 분류 시스템이 제안되며, 상기 시스템은 차량 분류 장치 및 운영부를 포함하고, 상기 차량 분류 장치는: 차량의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함하고, 상기 운영부는 용도에 따라 상기 분류키를 통합 또는 분리하는 재조정을 통해 재조정된 분류키를 이용하여 상기 차량의 차종을 분류할 수 있다.
추가로 또는 대안으로, 상기 운영부는: 상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단하고, 상기 직접 획득한 차량의 정보는 상기 학습 처리부에 의해 학습된 데이터를 이용하여 획득될 수 있다.
추가로 또는 대안으로, 상기 운영부는: 기 저장된 차량 영상과 분류키 중에서, 중복하는 자동차 등록번호가 있는지 여부를 판단할 수 있다.
본 발명의 또다른 실시예에 따라 영상 분석을 통한 차량 분류를 위한 방법이 개시되며, 상기 방법은 차량의 번호판을 포함하는 차량 영상을 획득하는 단계; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하는 단계; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 단계; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 단계; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 단계를 포함할 수 있다.
상기 과제 해결방법들은 본 발명의 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따르면, 자동차 등록정보를 사용하여 차량 영상에서 차량 인식 및 차량 정보 획득을 위한 레이블 정보를 효율적으로 획득하여 레이블링을 위한 시간과 비용을 현저히 줄일 수 있다.
또한, 본 발명에 따르면 신차가 출시되어도, 신속하게 학습 데이터를 제공하여 학습이 가능하다.
또한, 본 발명에 따르면 학습 결과에 기초하여, 용도 또는 목적에 맞는 차량 분류가 가능해진다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명과 관련된 교통 관제 시스템의 전체적인 구성을 도시한다.
도 2는 차량 영상에서 차량 정보를 획득한 결과를 도시한다.
도 3은 본 발명과 관련된 자동차 등록증(등록정보)을 도시한다.
도 4는 본 발명과 관련된 장치 또는 시스템의 블록도를 도시한다.
도 5는 본 발명과 관련된 차량 영상으로부터 분류키를 설정하는 절차를 도시한다.
도 6은 본 발명과 관련된 차량 번호판 위변조 차량 검출을 위한 순서도를 도시한다.
[규칙 제91조에 의한 정정 11.06.2021]　
도 7은 본 발명과 관련된 분류키를 활용한 차량 영상 내 차량에 대한 레이블 정보 획득 및 학습 절차의 순서도를 도시한다.
도 8은 본 발명과 관련된 차량 영상을 도시한다.
도 9는 본 발명과 관련된 차량 영상을 도시한다.
이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
도 1은 본 발명이 속하는 분야의 교통 관제 시스템의 전체적인 구성을 도시한다. 상기 시스템에는, 교통 상황을 촬영하여 영상을 획득하기 위한 카메라 등의 영상 획득 장치(1)와 그와 관련된 부속 장치들, 상기 영상 획득 장치와 유선 또는 무선으로 연결되는 서버(2), 그리고 상기 영상을 전달받아 실시간 관제하거나 영상을 저장하고 관리하는 등의 작업을 수행하는 각종 지자체, 도로공사, 시설공단, 경찰청 등이 운영하고 있는 교통 관제실과 같은 관제 시스템(3)을 포함할 수 있다. 상기 영상 획득 장치는 차량 검출 센서와 같은 차량을 검출하기 위한 수단(예컨대, 전자기적 센서, 레이더 센서, 영상 센서 중 적어도 하나)과 연동하여 동작할 수 있다. 본 발명에 따른 장치, 시스템 등은 도 1에 도시된 구성들 중 어느 하나에 포함되어 존재할 수 있거나, 또는 별도의 장치, 시스템 등으로 존재할 수 있다.
도 2는 차량 영상에서 차량 정보를 획득한 결과를 도시한다.
도 2의 좌측은 LF 소나타(SONATA) 차량을, 우측은 YF 소나타 차량을 분석한 사례를 도시한다. 기존에는 이러한 차종 분류를 위해, 수많은 차량 영상에서 해당 차량과 동일한 종류의 차량을 육안으로 판독하여, 수천장의 데이터 셋(set)을 만들고 이를 학습시켜 분류가 가능하도록 구성했다.
이러한 기존의 방식은 차량 영상을 수집하고, 레이블(label)링, 데이터 셋을 구성하여 850종의 차량을 분류하는 알고리즘을 구성하는데 1년 이상이 소요되기 때문에, 신규 차량 출시 속도에 맞게 이를 신속하게 갱신하는 것은 현실상 불가능했다.
이와 같은 방법으로 기존에 대한민국에 등록된 2천종 이상의 차량 영상을 수집하고, 차량의 종류를 분류하는 것은 현실상 불가능하다. 특히, 등록된 차량 수가 적고, 전국에 산재한 차량 종류의 경우에는, 차량 영상의 학습에 필요한 양의 데이터 확보가 어렵고, 따라서 신뢰성있는 알고리즘을 구성하는 것은 어렵다.
또한, 최근에는 내연기관 자동차 에서 전기자동차, 수소자동차 등 신차의 출시가 계속되는 상황에서 차량의 보급이 많지는 않지만 종류는 늘어나는 상황이므로 차량 영상을 이용하여 차량의 종류를 분석하는 알고리즘의 개발은 더욱 난제가 되고 있다.
도 3은 본 발명과 관련된 자동차 등록증(등록정보)을 도시한다.
국가는 차량을 등록하고, 운행할 수 있도록 자동차 관리법 제5조에서 규정하고 있는데, 도 3은 자동차 등록증 사본이다.
이를 살펴보면 “자동차 등록증”에 포함된 정보는 28종의 항목과 등록일자를 포함하면 총 29종의 항목이 등록 된다. 그러나 국가에서 관리하는 차량의 등록정보는 차량 소유주에게 제공되는 “자동차 등록증”에 기재된 내용 보다 많은 차량에 관한 정보를 포함하고 있다.
차량 등록정보에 기재하고, 차량 소유자에게 배부되는 자동차 등록증에는 “차량에 관한 사항”은 자동차 등록번호(차량 번호), 차종, 차명, 형식 및 모델연도, 차대번호 등의 차량 정보와 “소유자에 관한 사항”은 성명, 주소, 주민 등록 번호 그리고 “차량 제원”등 에 관한 사항을 포함하여 등록한다.
한편, 도 3에 도시된 자동차 등록증에 포함된 자동차 등록 정보는 별도의 국가에서 운영하는 데이터 베이스에 저장되어 관리될 수 있다. 후술할 본 발명에 따른 차량 분류 장치는 국가 데이터베이스에 저장된 자동차 등록 정보를 제공받을 수 있다. 또한, 차량 제조사 데이터베이스는 자동차 등록 정보 중, 형식 및 모델연도 및 차대번호에 대응하는 다양한 차량 정보(차량 색상 및 엔진타입 등)를 저장하고 있으며, 후술할 본 발명에 따른 차량 분류 장치는 차량 제조사 데이터 베이스에 저장된 상기 정보를 제공받을 수 있다.
도 4는 본 발명과 관련된 장치(40), 시스템(100)의 블록도를 도시한다.
본 발명의 실시예에 따른 차량 분류 시스템(100)은 차량 분류 장치(40)와 운영부(50)를 포함할 수 있다.
본 발명의 실시예에 따른 차량 분류 장치(40)는 영상 획득부(41), 차량 정보 획득부(42), 등록 정보 획득부(43), 제어부(44), 학습 처리부(45) 를 포함할 수 있다.
영상 획득부(41)는 차량 번호판을 포함하는 차량 영상을 획득할 수 있다. 통상적으로 도로 주행 또는 주차장에서 사용하는 형태에 따라서 각도와 거리에 따라서 화각에 차이가 있으며, 차량의 번호판 영역을 포함한다. 차량의 번호판 영역에 기록된 번호, 문자 등을 자동차 등록증의 정보의 명칭에 따라, 본 명세서에서는 “자동차 등록번호” 또는 간략하게 “등록번호”라 지칭한다.
본 발명에서 획득 또는 수신하는 차량 영상은 차량의 번호판 영역 또는 탑승자 영역을 검출하고 개인정보 보호를 위해, 해당 영역의 영상을 치환하거나 블러링(blur)하는 등 개인정보 보호를 위한 마스킹을 선행하는 것이 바람직하다.
아울러, 차량 영상에서 차량의 식별은 기본적으로 차량의 번호판 영역의 검출, 인식을 통해 수행되지만, 반드시 그런 것은 아니다. 특정 자동차 등록번호를 획득한 차량 영상과 동일한 차량임이 입증된 차량 영상은 차량 번호판이 포함되어 있지 않더라도 본 발명의 차량 영상으로 사용될 수 있다. 예를 들어, 차량의 정면을 촬영하는 카메라와 측면을 촬영하는 카메라가 동시에 설치되어 있는 상황에서, 차량의 번호판을 포함한 정면 영상과 차량의 번호판을 포함하지 않은 측면 영상이라도, 차량의 동일성이 인정되면, 상기 측면 영상도 본 발명에 따른 차량 영상에 포함될 수 있다.
차량 정보 획득부(42)는 상기 획득된 차량 영상으로부터 차량 식별 정보를 획득할 수 있다. 차량 식별 정보는 자동차 등록번호뿐만 아니라, 앞서 언급한 것처럼 차량을 식별할 수 있는 정보를 포함할 수 있다.
차량 식별 정보는 차량 영상에 포함된 차량 번호판을 차량 번호 인식 알고리즘을 이용하여 추출한 텍스트 형태의 자동차 등록번호를 포함하며, 특히 자동차 등록번호 구성 체계에 맞도록 완전하게 구성되어야 한다.
대한민국의 자동차 등록번호의 구성 체계를 간략히 살펴보면, 차량 번호판의 구성은 바탕색이 흰색인 번호판은, “112 가 1234” 형태로, 해당 자동차가 승용차, 승합차, 화물차, 특수차(각각 100~699, 70~79, 80~97, 98~97로 할당) 중 어떤 종류인지를 나타내는 2 내지 3자리 숫자로, 용도 기호 한글(한글자), 일련번호 4자리 숫자(0000 내지 9999)이어야 한다.
바탕색이 노랑색인 번호판은, “서울 70 바 1234” 형태이며, 맨 앞에 지역명(“서울”)을 반드시 포함하고, 용도 기호 한글은 “바”, “사”, “아”, “자”를 적어도 하나를 포함하도록 구성된다.
본 발명에서 자동차 등록번호 구성 체계에 맞도록 완전하게 구성된 자동차 등록번호는 차량 등록 정보에서 유일하게 존재하는 것이며, 차량을 특정할 수 있다.
차량 영상에서 차량 식별 정보, 특히 자동차 등록번호(차량 번호판에 기록된)를 인식하기 위해서는, 차량 번호판의 좌표를 이용할 수 있다. 이를 통해, 후술할 학습 처리부(45)에서 효율적인 학습을 위해 차량 정보 획득부(42)는 차량 번호판을 기준으로 차량의 다양한 영역을 검출, 인식 또는 추출하거나, 차량 영상 내에서 차량 영역만을 검출, 인식 또는 추출할 수 있다. 차량 영상은 차량, 도로, 차선, 탑승자 또는 다양한 배경 영상을 포함하고 있기 때문이다.
특히, 상술한 차량 영상이 차량의 정면을 촬영하는 경우에 탑승자 영역은 탑승자 또는 대쉬 보드에 부착한 물건 등에 따른 학습에 불필요한 객체가 포함되므로, 학습 효과를 높이기 위해서는 차량의 전면부에서 전면 유리부분을 제외하여 학습을 수행하는 것이 가능하다.
이를 위하여, 차량 정보 획득부(42)에서 차량 영상에 포함된 차량 번호판의 위치좌표를 이용하여, 번호판의 위치를 중심으로 차량의 영역을 추출할 수 있다.
또한, 상기 차량 식별 정보는 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC(media access control) 주소 등을 포함할 수 있다.
등록 정보 획득부(43)는 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득할 수 있다. 상기 차량 등록 정보는 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다.
도 3의 자동차 등록증에 기재된 차량 등록 정보를 살펴보면, 자동차 등록번호 “49하 1XXX”은, 차종 “중형 승용”, 용도 “영업용”, 차명 “쏘나타(SONATA)”, 형식 및 모델연도 “LF4DBG-S6 2019” 등의 차량 등록정보가 포함되고, 이에 따라 차량 식별 정보를 이용하여 차량 등록 정보를 획득하는 것이 가능하다.
또한, 상기 형식 및 모델연도(“LF4DBG-S6 2019”)를 이용하면, 등록 정보 획득부(43)는 차량 제조사에서 제공하는 유용한 정보(예컨대, 차량 색상 정보, 엔진 타입)를 획득하는 것이 가능하며, 이 항목에서 차량의 외형에 차이가 있는 정보를 획득하는 것이 가능하다. 즉, 등록 정보 획득부(43)는 차량 등록 정보에서 형식 및 모델연도 또는 차대번호 등과 같은 정보에 연계 또는 포함되는 차량의 추가 정보를 획득하는 것도 가능하다. 본 명세서에서는 추가 정보 역시 차량 등록 정보에 포함되는 것으로 가정한다.
한편 본 발명에서 관심이 되는 차량의 등록 정보는 차량의 외형의 특징이 서로 다른 차량을 분류할 수 있는 차량의 등록 정보가 그 대상이 된다. 따라서 상술한 다양한 차량 등록 정보에서 차량의 외형적 특징이 서로 다른 차량을 구분할 수 있는 적어도 하나의 항목(예컨대, 차명 등)을 이용하여 후술하게 될 분류키를 생성하는 것이 가능하다.
또한, 상기 차량 식별 정보가 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC 주소 등을 포함하는 경우엔, 통신부의 ID 또는 MAC 주소를 이용하여 차량의 등록 정보를 획득하는 것이 가능하다.
한편, 차량 등록 정보에 포함된 여러가지 정보에서 개인정보보호법을 위반하는 정보는 본 발명과 관련하여 제외되어야 한다. 따라서, 차량의 소유자 정보는 차량의 등록 정보에서 제외될 수 있다.
제어부(44)는 상기 차량 영상 상 외관의 차이를 갖는 상기 차량 등록 정보의 적어도 일부를 이용하여 분류키를 생성하고, 상기 생성된 분류키에 따라 상기 차량 영상을 분류할 수 있다. 여기서, 분류키라 함은 차량 영상에서 인식 또는 검출될 수 있는 적어도 하나의 차량의 외형상 특징과 연관된 차량 분류 정보(예, 차종, 차명, 형식 및 모델 연도 등)를 의미한다. 이에 따라, 예를 들어 두 개의 차량의 외형상 또는 외관상 특징(각각 A와 B라고 지칭함)이 존재하거나 이 둘을 분류키를 생성하는데 사용한다고 하면, A와 B의 조합에 대응하는 분류키 K AB이 생성될 수 있다. 동일한 외형상 또는 외관상 특징 (A, B)을 갖는 차량들에 대한 차량 영상은 모두 동일한 분류키 K AB이 할당되고 이에 따라 분류될 수 있다.
예를 들어, 신규 출시된 차량의 동일한 차명 “KS_SONATA”이고, “형식 및 모델연도”는 2가지 “ABCD-1 2019” 와 “ABCD-2 2019” 가 존재 한다고 가정하면, 본 발명에서는 2가지 차량의 외형상 차이가 있으면, 각각의 “형식 및 모델연도”에 대해 분류키를 서로 다르게 설정하거나, 또는 2가지 차량의 외형이 동일하면, 두 개의 “형식 및 모델연도”에 대해 동일한 분류키로 설정하게 되며, 이는 세분하여 알고리즘을 구성하고 이를 분류하는 단계에서 합리적으로 구성하는 것이 가능하다.
또한, 차량의 색상 정보는 본 발명에 따른 영상 분석 및 학습의 결과물을 이용할 용도(예컨대, 요금징수, 경찰/검찰 수사 등)에 따라 선택적으로 분류키의 적용여부를 판단할 수 있도록 세분하는 것이 가능하다.
따라서, 이와 같은 분류키의 선택은 신규 출시하는 차량의 “형식 및 모델 연도”를 이용하여 분류키를 생성하도록 구성하고, 기존에 출시되어 “형식 및 모델 연도”는 동일하더라도, 외형적 차이가 있는 차량의 정보는 “차대번호” 등을 추가로 이용하여 분류키를 생성, 설정하는 것이 가능하도록 구성할 수 있다.
상술한 여러 개의 차량의 등록 정보 요소 중에서 “차종”, “차명”, “형식 및 모델연도”를 분류 키(예: “승용_SONATA_ABCD-1_2019“)에 적용하는 것이 가능하며, 동일한 “차종”, “차명”, “형식 및 모델연도”를 갖는 차량의 차량 영상을 분류하고 후술하게 될 학습 처리부(45)에 제공하는 기능을 수행하게 된다.
이와 같은 분류키의 구성은 자동차 등록 정보에 포함되어 있는 항목을 선택적으로 추출하여 생성 또는 설정하는 것이 바람직하며, 예를 들면, “제조사”, “차명”, “형식 및 모델 연도”를 기본적으로 포함하는 것이 가능하다. “제조사”의 경우, 자동차 등록 정보 중 “차명” 또는 기타 다른 정보로부터 획득될 수 있는 정보일 수 있다.
본 발명에 따른 차량 분류 알고리즘은 이를 활용하는 용도에 따라 구분하면, 요금징수, 수사, 교통정보 수집 등 다양하게 사용될 수 있으며, 각각의 용도에 맞는 알고리즘을 개발하는 것보다는 세분화된 분류 알고리즘을 구성하고, 이를 용도에 따라서 분류키를 통합, 분리하는 운영이 바람직하다. 즉, 앞서 설명한 것처럼, 분류키가 외형상 또는 외관상 특징 또는 이들의 결합, 조합을 지시할 수 있도록 구성하게 하는 것처럼, 용도에 따라 분류키를 세분화 또는 통합하여 사용할 수 있을 것이다.
한편, 제어부(44)에서 분류키를 생성하고, 이를 이용하여 차량 영상을 분류하여 저장 또는 기존 차량 영상을 호출할 수 있는 인덱싱을 추가적으로 고려할 수 있다. 즉, 제어부(44)는 획득된 차량 영상을 생성된 분류키로 인덱싱하여 저장할 수 있고, 추후에 호출하는 경우에 해당 분류키를 이용할 수 있다.
아울러, 기존에 등록되어 주행하는 차량에 대한 프로세스와 신차에 대한 프로세스는 전체적인 구성은 동일하지만 세부적으로는 다르게 구성할 수 있다.
학습 처리부(45)는 상기 생성된 분류키를 이용하여 상기 차량 영상을 학습할 수 있다. 또한, 학습 처리부(45)는 상기 차량 영상과 상기 생성된 분류키를 학습할 수 있다. 학습 처리부(45)는 차량 영상에 포함된 차량의 특징 정보를 추출할 수 있고, 좀더 상세하게는 제어부(44)에서 분류키(예컨대, “승용_SONATA_ASCD-A_2019“)에 의해 분류되어 있는 차량 영상의 특징을 추출할 수 있다. 즉, 학습 처리부(45)는 동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출할 수 있다.
예를 들면, 현대 "소나타"와 기아의 "K5"의 전면의 형태는 사람의 육안으로도 많은 차이가 있는데, 차량의 전면의 번호판 영역을 중심으로 범퍼, 그릴, 라이트, 엠블럼, 전면 전체 윤곽 등의 특징 정보를 추출하는 것이 가능하다. 차량의 전면 영상에서 차량을 분류할 수 있도록 하는 특징은 그릴, 라이트, 엠블럼이 가장 큰 차이가 있는데, 이들 각 요소의 특징을 추출하고 이를 조합하며 차량을 분류하는 알고리즘의 구성이 가능하다.
한편, 최근에 딥 러닝 (Deep learning)을 이용한 인식(Recognition)과 분류(Classification)를 하는 알고리즘은 차량 영상에서 차량 외형상 차이가 명백한 부분(예컨대, 라이트, 그릴)을 사람이 인위적으로 영역을 지정을 하지 않더라도 차이를 분석하는 것이 가능하다.
그러나, 알고리즘의 효율을 위하여 상세한 부분의 설정은 필요할 수 있으며, 이를 한정하지는 않는다.
학습 처리부(45)는 차량 정보 획득부(42)에서 차량 영상에 포함된 차량 번호판의 위치좌표를 이용하여, 번호판의 위치를 중심으로 차량의 영역을 추출하여 학습하거나, 또는 보다 상세하게 차량의 특정영역(예컨대, 그릴, 라이트, 엠블럼)만을 상세하게 특징정보 추출 및 학습하는 것이 가능하다.
그리고 상술한 바와 같이 상기 차량번호를 포함한 차량과 동일한 차량인 것이 입증된 차량의 번호판이 포함되지 않은 영상(차량의 후방, 측면, 차량 지붕을 촬영한 영상)도 동시에 학습을 수행하는 것이 가능하다. 또한, 후술할 것처럼, 고속도로 요금체계에 따른 차종 분류를 위해서는 차량의 축의 수(축수)를 검출할 수 있어야 하는데, 학습 처리부(45)는 측면 또는 후방 등에서 차량 축의 수를 검출하는 영상을 이용하여 특징 정보를 추출하여 차량의 축수, 윤거, 윤폭 등을 추출할 수 있다.
운영부(50)는 용도에 따라 상기 분류키를 통합 또는 분리하는 재조정을 통해 차종을 분류하는 데이터 베이스부를 포함할 수 있다. 운영부(50)는 차량 분류 장치(40)와 유선 또는 무선 네트워크를 통해 통신 가능하게 연결될 수 있다.
상기 데이터 베이스부는 예를 들어 고속도로 통행요금체계에 맞게 수천 개의 분류키와 차량의 외형상 특징 정보를 이용하여 차종을 6종으로 통합, 구분할 수 있고, 용도에 따라 차량을 승용, 승합(중, 대), 화물(소, 중, 대) 등으로의 분류도 가능하다.
한편, 통행요금체계에 따른 과금을 위하여, “차종분류장치”를 이용하며, 이는 차량의 축수, 윤폭, 윤거 정보를 이용하여 차량은 6종으로 분류한다. 아래의 표 1이 차종 구분 표이다.
차종 차종분류기준 적용차량(예시)
1종
(소형차)		 2축 차량, 윤폭 279.4mm 이하 승용차, 소형승합차, 소형화물차
2종
(중형차)		 2축 차량, 윤폭 279.4mm초과, 윤거 1,800mm 이하 중형승합차, 중형화물차
3종
(대형차)		 2축 차량, 윤폭 279.4mm초과, 윤거 1,800mm 초과 대형승합차, 2축 대형화물차
4종(대형화물차) 3축 대형화물차 　
5종(특수화물차) 4축 이상 특수화물차 　
1종(경형자동차) 배기량 1000cc 미만으로 길이3.6m, 너비1.6m, 높이2.0m 이하 　
일반적으로는, 차량 정보를 생성하기 위하여 노면에 답판 센서를 설치하고, 주행하는 차량의 바퀴와 접촉을 통하여 차량의 정보를 수집하는데, 접촉 방식이므로 파손이 발생하며 유지보수를 위한 비용이 사간에 경과에 따라 증가되는 현실이다. 이와 같은 물리적인 접촉방식의 센서를 대체하기 위하여 차량영상을 이용한 “차종” 분류를 시도하는데, 차량 축의 수를 검출하기 위하여는 측면에서 차량 축의 수를 검출하는 영상을 추가적으로 획득하거나 또는 차량을 대각선으로 촬영하여 하나의 차량 영상으로 획득하고 분석할 수 있다.
한편, 이 경우에도, 차량 영상 분석을 통해 자동차 등록번호를 획득하고, 해당 자동차 등록번호에 대응하는 자동차 등록 정보(자동차 등록증에 포함된 내용)을 획득할 수 있다면, 차량 번호판을 포함한 차량 영상 외에 별도의 측면, 후방 영상 등 부가적인 차량 영상은 필요 없을 수도 있다.
또한, 운영부(50)는 자동차 등록 정보를 이용하여 이상 차량을 검출할 수 있다. 이 때, 운영부(50)는 상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 상기 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단할 수 있다.
또한, 운영부(50)는 기 저장된 차량 영상과 분류키 중에서, 중복하는 자동차 등록번호가 있는지 여부를 판단할 수 있고, 이는 동일한 차량 번호판을 부착하고 운행하고 있는 차량, 즉 차량 번호판 위조 차량을 검출하기 위함이다.
이를 위해서는 대상 차량의 등록 및 말소에 관한 사항 및 소유자 변동사항 정보를 획득하고 분석하는 차량 등록 관리부가 운영부(50)에 추가로 포함될 수 있다.
이상을 통하여 기존의 차량 영상을 이용하여 차량을 분류하고 분석하는 장치, 시스템 및 방법을 개발하기 위해서는 동일한 종류의 차량 별로 수 많은 차량영상을 수집하고, 레이블링을 하여 데이터 셋을 만들고, 이를 학습하는 과정을 차량 등록정보를 이용하여 자동 레이블링 및 데이터 셋 구성, 이를 학습하도록 구성하는 것이 가능하다.
이를 통하여 신규로 출시되는 차량의 대응하여 차량 분류 및 분석 알고리즘의 개발이 가능하고, 현재 등록된 차량의 종류를 분석하는 알고리즘의 개발이 가능할 것이다.
도 5는 본 발명과 관련된 차량 영상으로부터 분류키를 설정하는 절차를 도시한다. 도 5는 본 발명의 따른 차량 분류 장치(40) 에 의해 수행될 수 있다.
차량 영상으로부터 차량 식별 정보가 추출될 수 있다(S510). 상기 차량 식별 정보는 자동차 등록번호뿐만 아니라, 앞서 언급한 것처럼 차량을 식별할 수 있는 정보를 포함할 수 있다. 또한, 상기 차량 식별 정보는 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC 주소 등을 포함할 수 있다.
획득된 차량 식별 정보를 이용하여 차량 등록 정보가 획득될 수 있다(S520). 상기 차량 등록 정보는 자동차 등록에 필요한 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 상기 차량 등록 정보는 상술한 다양한 차량 등록 정보에서 추가적으로 획득된 차량의 외형적 또는 외관적 특징이 포함될 수 있다.
상기 차량 등록 정보에서 분류키가 결정될 수 있다(S530).
결정된 분류키와 동일한 분류키가 존재하는지 여부가 판단될 수 있다(S540). 상기 결정된 분류키와 동일한 분류키가 이미 존재한다면, 해당 차량 영상을 해당 분류키 또는 해당 분류키에 대한 정보와 함께 저장할 수 있다(S550). 이 때, 저장되는 차량 영상은 해당 분류키로 인덱싱되며, 추후에 차량 영상 호출시에 인덱싱을 통해 호출이 가능하다.
상기 차량 등록 정보에 대응하는 분류키가 없다면, 상기 결정된 분류키가 생성될 수 있다(S545). 그리고나서, 해당 영상이 생성된 분류키와 함께 저장될 수 있다(S550).
도 5와 관련하여 설명한 절차에 있어서, 단계 별로 획득되거나 준비되는 데이터를 표현하면 다음과 같다.
[규칙 제91조에 의한 정정 11.06.2021]　
S510의 결과로는, 다음의 표 2와 도 8과 같이 차량 영상과 자동차 등록 번호를 매칭시킬 수 있다.
[규칙 제91조에 의한 정정 11.06.2021]　
[표2]
Figure WO-DOC-FIGURE-table8
S520을 통해, 획득되는 차량 등록 정보는 다음의 표 3과 같을 수 있다.
차량 식별 정보
(자동차 등록 번호)		 차량 등록 정보
49하 1XXX 차종 제조사 차명 형식 및 모델연도 제원
승용차 현대 쏘나타(LF SOANTA) LF4DBG-S6
2019년식		 ...
[규칙 제91조에 의한 정정 11.06.2021]　
S530 내지 S545에서 언급되는 분류키의 예는 다음의 표 4 및 도 8과 같다.
[규칙 제91조에 의한 정정 11.06.2021]　
[표4]
Figure WO-DOC-FIGURE-table4
[규칙 제91조에 의한 정정 11.06.2021]　
아래와 같이 분류키와 차량 영상이 저장되며, 학습 처리부(45)의 학습 대상이 되는 데이터 셋이다. 표 5에서 인용하는 도 9의 차량 영상은 원본 차량 영상에서 배경 영역을 제외한 영상이다.
[규칙 제91조에 의한 정정 11.06.2021]　
[표5]
Figure WO-DOC-FIGURE-table5
도 6은 본 발명과 관련된 차량 번호판 위변조 차량 검출을 위한 순서도를 도시한다. 도 6은 본 발명의 따른 차량 분류 장치(40) 또는 운영부(50)에 의해 수행될 수 있다.
차량 영상으로부터 차량 식별 정보가 추출될 수 있다(S610). 상기 차량 식별 정보는 자동차 등록번호뿐만 아니라, 앞서 언급한 것처럼 차량을 식별할 수 있는 정보를 포함할 수 있다. 또한, 상기 차량 식별 정보는 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC 주소 등을 포함할 수 있다. 한편, 상기 차량 영상은 영상 획득부(41) 또는 교통 관제 시스템의 영상 획득 장치(1)로부터 획득될 수 있다.
획득된 차량 식별 정보를 이용하여 차량 등록 정보가 획득될 수 있다(S620). 상기 차량 등록 정보는 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 상기 차량 등록 정보는 상술한 다양한 차량 등록 정보에서 추가적으로 획득된 차량의 외형적 또는 외관적 특징이 포함될 수 있다.
그리고나서, 상기 차량 등록 정보와 차량 영상으로부터 직접 획득된 차량의 정보가 일치하는지 또는 상이한지 여부가 판단될 수 있다(S630). 이를 위해, 상기 차량 영상에 대한 객체 인식 및 분석 등의 절차가 수행되며, 이에는 학습 처리부(45)에 의해 학습된 데이터가 이용될 수 있다.
상기 차량 등록 정보와 상기 차량 영상으로부터 직접 획득된 차량의 정보가 일치하면, 차량 번호판 위변조 검출 절차는 종료된다.
상기 차량 등록 정보와 상기 차량 영상으로부터 직접 획득된 차량의 정보가 일치하지 않으면, 예를 들어, 차량 등록 정보에는 차량번호 49하 1XXX가 쏘나타로 등록되어 있는데, 직접 획득된 차량의 정보에서는 동일한 차량번호가 그랜저인 경우, 차량 번호판 위변조인 것으로 판단되며(S640), 해당 정보를 경찰, 지방자치단체 등으로 전달하며, 이는 불법 차량 단속 등에 활용될 수 있다. 이 때, 해당 정보의 경찰, 지방자치단체 등으로의 전달은 운영부(50)에 의해 수행될 수 있다.
도 7은 본 발명과 관련된 관련된 분류키를 활용한 차량에 대한 레이블 정보 획득 및 학습 절차의 순서도를 도시한다. 상기 레이블 정보 획득 및 학습 절차는 영상 분석을 통한 차량 분류 장치(40)에 의해 수행될 수 있으며, 도 7을 참조하여 설명하지만, 도 7을 참조하여 설명하지 않은 앞서 설명한 내용도 장치(40)가 수행할 수 있다.
상기 장치는 차량 번호판을 포함하는 차량 영상을 획득할 수 있다(S710). 상기 차량 영상은 영상 획득부에 의해 촬영될 수 있다.
상기 장치는 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출할 수 있다(S720). 상기 차량 식별 정보는 차량 번호(자동차 등록증 상의 자동차 등록번호)를 포함할 수 있고, 그 밖에 차량의 외형적 특징이 있는 정보(“기타 정보”라 지칭함)를 포함할 수 있다. 또한, 상기 차량 식별 정보는 상기 차량에 설치된 통신부의 식별자 또는 MAC 주소를 포함할 수 있는데, 이 때엔 상기 차량의 외형적 특징 정보와 상기 식별자 또는 MAC 주소가 연동될 수 있는 것이 바람직하다.
상기 장치는 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득할 수 있다(S730). 상기 차량 등록 정보는 자동차 등록에 필요한 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함 수 있다. 즉, 상기 차량 등록 정보는 자동차 등록증에 적시된 차량과 관련된 정보를 포함한다.
상기 장치는 자동차 등록증에 포함된 차종, 차명, 형식 및 모델 연도, 차대번호 중 적어도 하나를 기초로 상기 차량 영상 내 차량의 외관 정보를 추가적으로 획득할 수 있다.
상기 장치는 상기 차량 영상 내 외형적 특징을 나타내는 상기 차량 등록 정보의 적어도 일부를 이용하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류할 수 있다(S740). 상기 장치는 소정의 분류키 또는 자동차 등록번호를 인덱스로 하여 상기 차량 영상을 저장하는 저장부를 포함할 수 있다.
그리고나서, 상기 장치는 상기 분류키를 이용하여 상기 차량 영상을 학습할 수 있다(S750). 상기 장치는 동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출할 수 있다. 여기서, 학습은 상기 차량 영상과 상기 분류키를 입력받아 상기 차량 영상 내 특징을 추출하고, 추출된 특징을 상기 분류키 또는 상기 분류키가 지시하는 정보와 매칭하는 것을 의미한다. 이를 통해, 추후 차량 영상 내 차량 번호판의 자동차 등록번호를 이용하지 않아도, 차량의 외형적 특징을 통해 차량 영상 내 차량 검출 및 인식 등의 수행이 가능하며, 차량 검출 및 인식 등의 신뢰도 또는 정확도 등을 높이기 위해 학습이 수행된다. 상기 학습을 위한 차량 영상은 상기 차량 영상에서 상기 차량 번호판의 좌표를 이용하여 추출된 차량 영역을 포함할 수 있다.
상기 장치는 용도에 따라 상기 분류키를 통합 또는 분리(또는 세분)하는 재조정을 통해 차종을 분류하는 데이터 베이스부를 포함하는 운영부와 상호 연동될 수 있다. 상기 분류키의 통합, 분리는 앞선 설명을 참조하도록 한다.
또한, 상기 운영부는 차량 번호판 위변조 등의 단속을 위해, 상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 상기 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단할 수 있고, 상기 직접 획득한 차량의 정보는 상기 학습 처리부에 의해 학습된 데이터를 이용하여 획득될 수 있다.
또한, 상기 운영부는 기 저장된 차량 영상과 분류키 집합들에서, 중복하는 자동차 등록번호가 있는지 여부를 판단할 수 있다. 상기 장치는 상기 차량 영상 및 분류키를 저장하는 저장부를 포함할 수 있으며, 상기 운영부는 저장된 차량 영상 및 분류키를 상기 장치로부터 획득할 수 있거나, 획득한 후에 상기 데이터 베이스부에 저장할 수 있다.
이상의 명세서에서, "장치" 또는 “시스템”과 그에 속한 구성들(영상 획득부(41), 차량 정보 획득부(42), 등록 정보 획득부(43), 제어부(44), 학습 처리부(45) 및/또는 운영부(50) 등)이 해당 방법 또는 절차 등을 수행하는 것으로 설명하였으나, "장치"와 그에 속한 구성들은 명칭일 뿐 권리범위가 그에 종속되는 것은 아니다. 즉, 장치 외에도 시스템 등으로서도 해당 방법 또는 절차가 수행될 수 있으며, 그뿐만 아니라 차량 영상 분석을 위한 소프트웨어 또는 컴퓨터 또는 그 밖의 기계, 장치 등으로 판독가능한 코드에 의해 상기 방법 또는 방식이 수행될 수 있다.
아울러, 본 발명의 또다른 양태(aspect)로서, 앞서 설명한 제안 또는 발명의 동작이 "컴퓨터"(시스템 온 칩(system on chip; SoC) 또는 (마이크로) 프로세서 등을 포함하는 포괄적인 개념)에 의해 구현, 실시 또는 실행될 수 있는 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품(product) 등으로도 제공될 수 있고, 본 발명의 권리범위가 상기 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품으로 확장가능하다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

Claims (15)

  1. 영상 분석을 통한 차량 분류 장치로서,
    차량의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부;
    상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부;
    상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부;
    상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및
    상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함하는 것을 특징으로 하는 차량 분류 장치.
  2. 제1항에 있어서, 상기 차량 등록 정보는:
    자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 분류 장치.
  3. 제1항에 있어서, 상기 차량 식별 정보는:
    상기 차량에 설치된 통신부의 식별자 또는 MAC(media access control) 주소를 포함하는 것을 특징으로 하는 차량 분류 장치.
  4. 제1항에 있어서, 상기 등록 정보 획득부는 상기 차량 등록 정보에 포함된 차종, 차명, 형식 및 모델 연도, 차대번호 중 적어도 하나를 기초로 차량의 외관 정보를 추가적으로 획득하는 것을 특징으로 하는 차량 분류 장치.
  5. 제1항에 있어서, 상기 제어부는:
    소정의 분류키 또는 자동차 등록번호를 인덱스로 하여 상기 차량 영상을 저장하는 저장부를 포함하는 것을 특징으로 하는 차량 분류 장치.
  6. 제1항에 있어서, 상기 학습 처리부는:
    동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출하는 것을 특징으로 하는 차량 분류 장치.
  7. 제1항에 있어서, 상기 학습 처리부에 입력되는 차량 영상은,
    상기 차량 영상에서 상기 차량 번호판의 좌표를 이용하여 추출된 차량 영역을 포함하는 것을 특징으로 하는 차량 분류 장치.
  8. 영상 분석을 통한 차량 분류 시스템으로서,
    차량의 번호판을 포함하는 차량 영상을 획득하고, 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하며, 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하고, 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하며, 상기 분류키를 이용하여 상기 차량 영상을 학습하는 차량 분류 장치; 및
    용도에 따라 상기 분류키를 통합 또는 분리하는 재조정을 통해 재조정된 분류키를 이용하여 상기 차량의 차종을 분류하는 운영부를 포함하는 것을 특징으로 하는 차량 분류 시스템.
  9. 제8항에 있어서, 상기 운영부는:
    상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단하고,
    상기 직접 획득한 차량의 정보는 상기 학습 처리부에 의해 학습된 데이터를 이용하여 획득되는 것을 특징으로 하는 차량 분류 시스템.
  10. 제8항에 있어서, 상기 운영부는:
    기 저장된 차량 영상과 분류키 중에서, 중복하는 자동차 등록번호가 있는지 여부를 판단하는 것을 특징으로 하는 차량 분류 시스템.
  11. 영상 분석을 통한 차량 분류를 위한 방법으로서,
    차량의 번호판을 포함하는 차량 영상을 획득하는 단계;
    상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하는 단계;
    상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 단계;
    상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 적어도 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 단계; 및
    상기 분류키를 이용하여 상기 차량 영상을 학습하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서, 상기 차량 등록 정보를 획득하는 단계는,
    상기 차량 등록 정보에 포함된 차종, 차명, 형식 및 모델 연도, 차대번호 중 적어도 하나를 기초로 차량의 외관 정보를 추가적으로 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서, 소정의 분류키 또는 자동차 등록번호를 인덱스로 하여 상기 차량 영상을 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 제11항에 있어서, 상기 학습하는 단계는,
    동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제11항에 있어서, 상기 학습에 이용되는 차량 영상은,
    상기 차량 영상에서 상기 차량 번호판의 좌표를 이용하여 추출된 차량 영역을 포함하는 것을 특징으로 하는 방법.
PCT/KR2021/004546 2020-09-08 2021-04-12 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법 WO2022055063A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/040,987 US20230306716A1 (en) 2020-09-08 2021-04-12 Vehicle classification device and system using image analysis, and method therefor
CN202180055207.7A CN116075837A (zh) 2020-09-08 2021-04-12 使用图像分析的车辆分类装置和系统及其方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200114933A KR102240266B1 (ko) 2020-09-08 2020-09-08 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법
KR10-2020-0114933 2020-09-08

Publications (1)

Publication Number Publication Date
WO2022055063A1 true WO2022055063A1 (ko) 2022-03-17

Family

ID=75477779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004546 WO2022055063A1 (ko) 2020-09-08 2021-04-12 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법

Country Status (4)

Country Link
US (1) US20230306716A1 (ko)
KR (1) KR102240266B1 (ko)
CN (1) CN116075837A (ko)
WO (1) WO2022055063A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756420B2 (en) 2020-08-27 2023-09-12 Q-Free Asa Vehicle detection system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102638715B1 (ko) * 2021-04-15 2024-02-21 주식회사 대영아이오티 차량특성정보를 활용한 위조 차량번호판 식별시스템
KR102662260B1 (ko) * 2022-03-23 2024-04-30 주식회사 제이엔디 차량 번호판의 위변조 검증 기능을 가지는 보안 강화형 차량 출입관리 시스템
KR102540323B1 (ko) 2022-11-16 2023-06-07 주식회사 인텔리빅스 영상분석 기반의 차종정보 자동추출장치 및 그 장치의 구동방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160125824A (ko) * 2015-04-22 2016-11-01 한국전자통신연구원 차량 번호판 검출 장치 및 방법
KR20160140303A (ko) * 2015-05-29 2016-12-07 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR20180066318A (ko) * 2016-12-07 2018-06-19 대보정보통신 주식회사 차종분류장치 및 그 제어방법
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
KR102093237B1 (ko) * 2017-10-31 2020-03-25 (주)노바코스 비접촉식 자동 차량 감지기를 이용한 차종 분류시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160125824A (ko) * 2015-04-22 2016-11-01 한국전자통신연구원 차량 번호판 검출 장치 및 방법
KR20160140303A (ko) * 2015-05-29 2016-12-07 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR20180066318A (ko) * 2016-12-07 2018-06-19 대보정보통신 주식회사 차종분류장치 및 그 제어방법
KR102093237B1 (ko) * 2017-10-31 2020-03-25 (주)노바코스 비접촉식 자동 차량 감지기를 이용한 차종 분류시스템
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756420B2 (en) 2020-08-27 2023-09-12 Q-Free Asa Vehicle detection system

Also Published As

Publication number Publication date
CN116075837A (zh) 2023-05-05
US20230306716A1 (en) 2023-09-28
KR102240266B1 (ko) 2021-04-14

Similar Documents

Publication Publication Date Title
WO2022055063A1 (ko) 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법
CN100409271C (zh) 在观察车辆上自动识别其他车辆牌照号的系统及其方法
US7786897B2 (en) High occupancy vehicle (HOV) lane enforcement
CN102426786B (zh) 一种自动识别套牌车辆的智能视频分析系统及方法
KR101756849B1 (ko) 노상 무인정산 주차관제 시스템
EP2686841B1 (en) Method and system for vehicle classification
CN103824037B (zh) 车用防跟踪报警装置
Abdullah et al. YOLO-based three-stage network for Bangla license plate recognition in Dhaka metropolitan city
CN103778787B (zh) 汽车假套牌识别逻辑判断方法
CN109871728B (zh) 一种车型识别方法及装置
MX2010005149A (es) Sistemas de seguridad.
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN108491782A (zh) 一种基于行车图像采集的车辆识别方法
JP2008033462A (ja) 車両検索システム
CN105448105A (zh) 一种基于巡逻警车的监控系统
Johnson et al. Number-plate matching for automatic vehicle identification
CN106710225A (zh) 一种车辆号牌违法的识别方法和监测平台
CN112182294A (zh) 一种视频结构化人车检测算法
JP5974448B2 (ja) 車両情報登録方法、車両情報登録装置、及び車両情報登録プログラム
CN104408431A (zh) 交通监控下的车款识别方法
KR20120114099A (ko) 차량 인식장치와 그 방법 및 차량 인식 기반 차량 출입 관리방법
Singh et al. Vehicle number plate detection using image processing
JP2012083996A (ja) 車番認識装置、及びそれを備えた違法車両判別通報システム、並びに車両照合方法、及びそれを適用した違法車両判別通報方法
Prajapati et al. A Review Paper on Automatic Number Plate Recognition using Machine Learning: An In-Depth Analysis of Machine Learning Techniques in Automatic Number Plate Recognition: Opportunities and Limitations
CN111161542B (zh) 车辆识别方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866934

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866934

Country of ref document: EP

Kind code of ref document: A1