WO2022234885A1 - 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 - Google Patents

컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
WO2022234885A1
WO2022234885A1 PCT/KR2021/007395 KR2021007395W WO2022234885A1 WO 2022234885 A1 WO2022234885 A1 WO 2022234885A1 KR 2021007395 W KR2021007395 W KR 2021007395W WO 2022234885 A1 WO2022234885 A1 WO 2022234885A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
entering
model
image
interest
Prior art date
Application number
PCT/KR2021/007395
Other languages
English (en)
French (fr)
Inventor
신상용
허원진
Original Assignee
파킹클라우드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파킹클라우드 주식회사 filed Critical 파킹클라우드 주식회사
Publication of WO2022234885A1 publication Critical patent/WO2022234885A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10297—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves arrangements for handling protocols designed for non-contact record carriers such as RFIDs NFCs, e.g. ISO/IEC 14443 and 18092
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present disclosure relates to a method, a system, and a computer-readable storage medium for computer vision-based vehicle model recognition. More specifically, a method, system, and computer-readable storage medium for determining a vehicle type by utilizing IoU (Intersection over Union) for vehicle type recognition, which are generally used to evaluate performance in the field of object detection technology, are described.
  • IoU Intersection over Union
  • LPR license plate recognition
  • vehicle type classification system that extracts a vehicle type from a photographed image by sharpening an image to extract a characteristic according to a vehicle type, and comparing it with various vehicle data preset in a database, and method is disclosed.
  • vehicle data used for vehicle model classification is a shape of a rearview mirror, a shape of an outer circumferential surface of a side window, an outer circumferential shape of a roof, and the like.
  • the present disclosure is intended to solve the above problems, and increases the efficiency of vehicle model recognition by using the lower surface of the vehicle, which has better characteristics than the exterior of the vehicle and is difficult to deform after leaving the factory, and utilizes IoU for image analysis. It can improve the performance of deep learning models for
  • a system for computer vision-based vehicle model recognition includes a lower camera for photographing the underside of the vehicle entering; and an integrated management server.
  • the integrated management server may include a vehicle model determination unit that determines the vehicle type of the entering vehicle based on the bottom image of the entering vehicle captured from the lower camera and an image database unit that stores bottom images of a plurality of vehicles.
  • the vehicle model determination unit segments the object of interest from the bottom image of the entering vehicle, and a predicted bounding box of the object of interest in the bottom image of the entering vehicle generated by segmentation and a plurality of vehicles stored in the image database unit corresponding to Each intersection over union (IoU) may be measured from a reference bounding box of the object of interest in the bottom image of .
  • the vehicle model determiner may determine a first candidate vehicle model based on the measured IoU.
  • the car model determiner may determine the largest of the measured IoUs as the first candidate car model. Also, the object of interest that the vehicle model determiner pays attention to may be a vehicle pipe.
  • the vehicle model determiner may recognize a plurality of tires from a bottom image of an approaching vehicle before segmentation of the object of interest, and detect a midpoint of each of the recognized tires.
  • the vehicle model determination unit standardizes the bottom image of the approaching vehicle taken based on the plurality of detected midpoints, thereby matching the midpoints between the bottom image of the approaching vehicle and the bottom image of a plurality of vehicles stored in the image database unit, thereby improving the accuracy of IoU measurement can do it
  • the system may further include a top camera that captures the exterior of the approaching vehicle.
  • the vehicle model determiner may determine the second candidate vehicle model based on the exterior image of the approaching vehicle captured by the upper camera. The vehicle model determiner may improve reliability of vehicle model recognition by checking whether the first candidate vehicle model and the second candidate vehicle model match.
  • the system may further include an LPR device for recognizing the license plate number from the license plate of the entering vehicle.
  • the integrated management server may further include a forgery detection unit for determining whether or not forgery of an entering vehicle and a specification database unit for storing a registered vehicle model corresponding to each vehicle number.
  • the forgery detection unit may inquire a registered vehicle model corresponding to the recognized vehicle number of the entering vehicle from the specification database unit, and check whether the registered vehicle model matches the first candidate vehicle model.
  • the forgery detection unit transmits a warning notification to the management server that manages forgery of the vehicle, for example, the vehicle for the purpose of avoiding illegality or charging a fee for the vehicle It is possible to crack down on vehicles that have forged or altered license plates.
  • the system may further include an RFID reader that recognizes the vehicle's unique ID from an RFID tag included in the entering vehicle.
  • the integrated management server may further include a forgery detection unit that determines whether the entering vehicle is forged or not, and a specification database unit that stores a registered vehicle model corresponding to a unique ID of each vehicle.
  • the forgery detection unit may inquire the registered car model corresponding to the unique ID of the entering vehicle from the specification database unit, and check whether the registered car model matches the first candidate car model.
  • the forgery detection unit transmits a warning notification to the management server that manages forgery of the vehicle, for example, to crack down on a vehicle to which an illegal RFID tag is attached.
  • a method for computer vision-based vehicle model recognition includes: receiving a bottom image of an approaching vehicle photographed by a lower camera; segmenting the object of interest from the bottom image of the entering vehicle; and measuring each IoU from the predicted bounding box of the object of interest in the bottom image of the entering vehicle and the reference bounding box of the object of interest in the bottom image of a plurality of vehicles stored in the corresponding image database unit. Also, the method may include determining a first candidate car model based on the measured IoU.
  • determining the first candidate car model may include determining the largest of the measured IoUs as the first candidate car model.
  • the object of interest may be a pipe of a vehicle.
  • the method includes, prior to segmenting the object of interest, recognizing a plurality of tires from a bottom image of an entering vehicle; detecting each midpoint of the recognized tire; And it may further include the step of standardizing the image of the bottom of the approaching vehicle taken based on the detected plurality of midpoints.
  • a computer program stored in a recording medium of the integrated management server for computer vision-based vehicle model recognition and executed by the integrated management server includes at least one instruction related to receiving the bottom image of the vehicle entering the vehicle taken by the lower camera; at least one instruction related to segmenting the object of interest from the bottom image of the entering vehicle; at least one instruction related to measuring each IoU from the predicted bounding box of the object of interest in the bottom image of the entering vehicle and the reference bounding box of the object of interest in the bottom image of a plurality of vehicles stored in the image database unit corresponding to the prediction; and, based on the measured IoU, at least one instruction related to determining the first candidate car model.
  • FIG. 1 is a schematic diagram illustrating an exemplary system for vehicle model recognition, in accordance with at least some embodiments of the present disclosure.
  • FIG. 2 is a block diagram illustrating an exemplary integrated management server for vehicle model recognition, according to at least some embodiments of the present disclosure.
  • FIG 3 illustrates a bottom image of an exemplary approaching vehicle, in accordance with at least some embodiments of the present disclosure.
  • FIG 4 illustrates that the integrated management server measures IoU, according to at least some embodiments of the present disclosure.
  • FIG. 5 is a flowchart illustrating an exemplary process performed in a computing device for computer vision-based vehicle model recognition, in accordance with at least some embodiments of the present disclosure.
  • FIG. 6 illustrates an example computer program product that may be used to recognize a vehicle model based on computer vision, in accordance with at least some embodiments of the present disclosure.
  • the present disclosure generally relates to a method, a system, and a program stored in a computer-readable storage medium for computer vision-based vehicle model recognition.
  • the exemplary system 100 includes an integrated management server 110 , a vehicle 120 , a bottom image recognition device 130 , an LPR device 140 , a blocking device 145 , an RFID reader 150 , and an upper camera 160 ). may include.
  • the integrated management server 110 may be an application server, a standalone server, a web server and any other computing device having a data transmission/reception function, a data identification function, and a data processing function.
  • the integrated management server 110 may process a process for computer vision-based vehicle model recognition, including, for example, a deep learning model, and a specific configuration will be described in more detail in FIG. 2 .
  • the vehicle 120 may be any type of vehicle having a different use, appearance, size, color, or manufacturer.
  • the vehicle 120 may stand by for vehicle recognition in any place requiring vehicle recognition, such as a place requiring security or a place requiring payment of a fee charged to the vehicle 120 .
  • the bottom image recognition device 130 may include a first control unit, a first vehicle sensing unit, and a first communication unit.
  • the first control unit may control the first vehicle sensing unit and the first communication unit of the bottom image recognition device 130 , and may be linked with the integrated management server 110 .
  • the first vehicle detector may recognize the vehicle 120 by, for example, sensing a laser or pressure.
  • the first vehicle detection unit may include a lower camera, and may capture a bottom image of the recognized vehicle 120 .
  • the lower camera is a computer vision camera, for example, a line scan camera may be used.
  • the first communication unit may transmit the bottom image of the vehicle 120 photographed by the lower camera to the integrated management server 110 .
  • the LPR device 140 may include an LPR control unit, an LPR vehicle detection unit, and an LPR communication unit.
  • the LPR control unit may control the LPR vehicle detection unit and the LPR communication unit of the LPR device 140 , and may be interlocked with the integrated management server 110 .
  • the LPR vehicle detection unit may recognize the vehicle number by capturing and analyzing an exterior image of the vehicle 120 .
  • the LPR vehicle detection unit may include a camera, and may use an appropriate image analysis and recognition algorithm such as OCR technology for vehicle image analysis.
  • the LPR communication unit may transmit the vehicle number recognized by the LPR vehicle detection unit to the integrated management server 110 .
  • the LPR communication unit may transmit the exterior image photographed by the LPR vehicle detection unit to the integrated management server 110 to recognize the vehicle number in the integrated management server 110 .
  • the blocking device 145 may play a role of blocking until entry or exit is allowed through the vehicle model recognition process of the vehicle 120 waiting for security search or fee payment, for example.
  • the blocking device 145 opens the blocking bar to allow the vehicle 120 to pass therethrough.
  • the RFID reader 150 may transmit/receive to/from the RFID tag included in the vehicle 120 , and may transmit information about the unique ID of the vehicle 120 collected from the RFID tag to the integrated management server 110 .
  • the upper camera 160 may photograph the exterior of the vehicle 120 , and may transmit an exterior image of the vehicle 120 to the integrated management server 110 .
  • the bottom image recognition equipment 130, the LPR device 140, the RFID reader 150, and the upper camera 160 are illustrated as each performing a separate function, but the components performing the same function in each device are integrated can be used
  • the camera and the upper camera 160 of the LPR device 140 are not configured separately, and may be used as one.
  • the first vehicle detection unit of the bottom image recognition device 130 and the LPR vehicle detection unit of the LPR device 140 are not separately configured, but are used as one to detect the vehicle 120 entering in an arbitrary manner.
  • the system 100 in FIG. 1 is merely exemplary, and those skilled in the art will be able to use the system 100 of FIG. 1 with appropriate modifications or variations to suit the application.
  • the blocking device 145 of the system 100 may have any shape, and in some cases, the blocking device 145 may not be included in the system 100 .
  • the LPR device 140 , the RFID reader 150 , and/or the upper camera 160 may be used selectively or in combination in the system 100 .
  • FIG. 2 is a block diagram illustrating an exemplary integrated management server 110 for vehicle model recognition, in accordance with at least some embodiments of the present disclosure. With reference to the system 100 of FIG. 1 in FIG. 2 , a specific operation of the integrated management server 110 is described.
  • the integrated management server 110 may include a vehicle model determination unit 210 , a forgery detection unit 220 , a communication unit 230 , an image database unit 240 , and a specification database unit 250 .
  • the vehicle model determining unit 210 may determine the vehicle model of the entering vehicle 120 based on the bottom image of the entering vehicle 120 captured by the lower camera installed in the bottom image recognition device 130 .
  • the vehicle model determiner 210 may include an artificial intelligence model for recognizing a vehicle model, for example, a deep learning model.
  • the forgery detection unit 220 may determine whether the vehicle entering the vehicle 120 is forgery or not.
  • the communication unit 230 transmits/receives data to and from each device of the system 100 , that is, the bottom image recognition device 130 , the LPR device 140 , the blocking device 145 , the RFID reader 150 and the upper camera 160 . can do.
  • the image database unit 240 bottom images of a plurality of vehicles may be stored in correspondence with each vehicle type.
  • the specification database unit 250 may store a registered vehicle model corresponding to each vehicle number of a plurality of vehicles or a unique ID of the vehicle. In FIG.
  • the vehicle model determination unit 210 the forgery detection unit 220 , the communication unit 230 , the image database unit 240 and the specification database unit 250 are included in one integrated management server, but each The configuration can be implemented on an independent, separate server.
  • the vehicle model determiner 210 may segment the object of interest from the bottom image of the entering vehicle 120 received from the bottom image recognition device 130 through the communication unit 230 .
  • the object of interest may be a pipe of a vehicle.
  • FIG. 3 illustrates a bottom image of an exemplary approaching vehicle, in accordance with at least some embodiments of the present disclosure.
  • the bottom image of the vehicle in particular, the pipe portion of the vehicle, may have distinctive characteristics depending on the vehicle type.
  • it since it is difficult to arbitrarily remodel the lower part of the vehicle after leaving the factory, it may be effective to use the image of the bottom of the vehicle to identify the vehicle.
  • the vehicle model determination unit 210 is an object of interest in the bottom image of the entering vehicle 120 generated by segmentation, for example, a predicted bounding box of a pipe of the vehicle and a plurality of vehicles stored in the bottom image of the vehicle stored in the image database unit 240.
  • Each Intersection over Union (IoU) may be measured from the reference bounding box of the object of interest.
  • IoU is typically an indicator for evaluating the performance of a model in the field of object detection technology using deep learning models. ), it can be measured as a value obtained by dividing the overlapping area of the two areas by the sum of the two areas. This can be expressed as an expression:
  • the IoU is not used to evaluate the object detection performance of the deep learning model, and the reference bounding box of the object of interest is set in advance in the bottom image of a plurality of vehicles stored in the image database unit 240 , and the entering vehicle 120 ), by comparing it with the predicted bounding box of the object of interest in the bottom image of
  • the vehicle model recognition performance can be improved more than when simply comparing two images.
  • the vehicle model determiner 210 may determine a first candidate vehicle model based on the measured IoU. In one example, the vehicle model determiner 210 may determine the largest of the measured IoUs as the first candidate vehicle model. In another example, the car model determiner 210 may determine, as the first candidate car model, a predetermined threshold value or more among the measured IoUs.
  • the vehicle model determiner 210 may recognize a plurality of tires from the bottom image of the approaching vehicle 120 before segmentation of the object of interest, and detect a midpoint of each of the recognized tires. Thereafter, the vehicle model determiner 210 may standardize the bottom image of the entering vehicle 120 photographed based on a plurality of detected midpoints. If the bottom image is standardized, the midpoint between the bottom image of the approaching vehicle 120 and the bottom image of a plurality of vehicles stored in the image database unit 240 can be matched, thereby improving the accuracy of IoU measurement.
  • the vehicle model determiner 210 may determine the second candidate vehicle model based on the exterior image of the entering vehicle 120 captured by the upper camera 160 and received through the communication unit 230 .
  • the vehicle model determiner may determine the second candidate vehicle model through image analysis by paying attention to a visible part of the vehicle 120 , for example, a color, a dimension, a shape of each component, an emblem, and the like.
  • the vehicle model determiner 210 may improve reliability of vehicle model recognition by checking whether the first candidate vehicle model and the second candidate vehicle model match.
  • the forgery detection unit 220 may receive the vehicle number of the ingress vehicle 120 from the LPR device 140 through the communication unit 230 .
  • the forgery detection unit 220 may inquire a registered vehicle model corresponding to the recognized vehicle number of the entering vehicle 120 in the specification database unit 250 and check whether the registered vehicle model matches the first candidate vehicle model.
  • the forgery detection unit 220 transmits a warning notification to a management server or a enforcement device that manages forgery or forgery of the vehicle, for example, It can crack down on vehicles that have forged or altered the license plate of the vehicle for the purpose of avoiding charging charges.
  • the forgery detection unit 220 may receive the unique ID of the ingress vehicle 120 from the RFID reader 150 through the communication unit 230 .
  • the forgery detection unit 220 may inquire the registered car model corresponding to the unique ID of the entering vehicle 120 from the specification database unit 250 and check whether the registered car model matches the first candidate car model.
  • the forgery detection unit 220 transmits a warning notification to a management server or an enforcement device managing forgery of the vehicle, for example, attaching an illegal RFID tag You can control one vehicle.
  • the components of the integrated management server 110 and the operation of each component in FIG. 2 are merely exemplary, and those skilled in the art based on the present disclosure It may be used with appropriate modifications or variations.
  • FIG 4 illustrates that the integrated management server measures IoU, according to at least some embodiments of the present disclosure.
  • Figure 4 (a) illustrates that the integrated management server 110 recognizes a plurality of tires from the bottom image of the vehicle entering, and detects the midpoint of each of the recognized tires. For example, in the case of a four-wheeled vehicle illustrated in FIG. 4( a ), midpoints of four tires may be detected.
  • the integrated management server 110 resizes and rotates the bottom image of the captured vehicle on the basis of a plurality of detected midpoints, for example, four midpoints, so that the bottom image can be adjusted to meet a predetermined standard.
  • the integrated management server 110 may generate a predicted bounding box of an object of interest (eg, a pipe of a vehicle) by segmenting the standardized bottom image.
  • an object of interest eg, a pipe of a vehicle
  • FIG. 4( b ) illustrates a bottom image of one of a plurality of vehicles stored in the image database unit of the integrated management server 110 .
  • the bottom images of all vehicles stored in the image database have already been standardized based on tires.
  • midpoints of four tires may be displayed.
  • a reference bounding box of an object of interest eg, a pipe of a vehicle
  • Figure 4 (c) is a bottom image of one of a plurality of vehicles stored in the image database unit of Figure 4 (b) and the bottom image of the vehicle of Figure 4 (a) in order for the integrated management server 110 to measure the IoU overlapping (overlapping) is exemplified.
  • Both the bottom image of the vehicle entering in FIG. 4( a ) and the bottom image of the vehicle stored in the image database unit of FIG. 4( b ) are standardized, and midpoints between the bottom images may match when overlapping.
  • the integrated management server 110 may measure IoU by dividing an area in which the bottom image of the entering vehicle and the bottom image of the image database unit are matched into an area in which the bottom image of the entering vehicle and the bottom image of the image database unit are combined.
  • the integrated management server 110 may measure each IoU by repeating the same process for all bottom images stored in the image database unit.
  • the integrated management server 110 may determine the first candidate vehicle model based on the plurality of measured IoUs. In one example, the integrated management server 110 may determine the largest of the measured IoU as the first candidate car model. In another example, the integrated management server 110 may determine, as the first candidate car model, a predetermined threshold value or more among the measured IoU. In the example of FIG. 4, since the bottom image of the vehicle entering in FIG. 4 (a) and the bottom image of the vehicle stored in the image database unit of FIG. 4 (b) are different, the IoU between the two images measured by the integrated management server 110 is low, and accordingly, the vehicle type of the vehicle of FIG. 4(b) may not be selected as the first candidate vehicle type of the entry vehicle of FIG. 4(a) .
  • the entry vehicle and the vehicle stored in the image database may have any shape, for example, a two-wheeled vehicle, a three-wheeled vehicle, a five-wheeled vehicle, or a six-wheeled vehicle.
  • the integrated management server 110 measures the IoU only when the number of tires of the vehicle stored in the image database match with the entering vehicle, that is, additional image analysis when the number of tires in both bottom images does not match. By excluding , it is possible to increase the efficiency of vehicle model recognition.
  • FIG. 5 is a flow diagram illustrating an example process 500 performed in a computing device for computer vision-based vehicle model recognition, in accordance with at least some embodiments of the present disclosure.
  • the process 500 may be performed under the control of a computing device such as the integrated management server 110 of FIGS. 1 and 2 .
  • the process 500 may be performed to perform vehicle type recognition of an entering vehicle at any place where vehicle recognition is required, for example, for security search or fee payment.
  • the process 500 shown in FIG. 5 may include one or more acts, functions, or acts as illustrated by blocks 501 , 502 , 503 and/or 504 .
  • the schematic operations illustrated in FIG. 5 are provided as examples only, and without departing from the essence of the disclosed embodiment, some of the operations may be optional, may be combined into fewer operations, or may be expanded into additional operations.
  • Process 500 may begin at block 501 of receiving an underside image of an incoming vehicle captured with an underside camera.
  • the computing device may receive a bottom image of the approaching vehicle captured by the lower camera.
  • the lower camera may include a computer vision camera, such as a line scan camera.
  • the process 500 may continue, at block 501 , to block 502 , segmenting the object of interest from the bottom image.
  • the computing device may segment the object of interest from the bottom image of the oncoming vehicle.
  • the object of interest may be a pipe of a vehicle.
  • the computing device recognizes a plurality of tires from the bottom image of the entering vehicle, detects the midpoints of each of the recognized tires, and normalizes the bottom image of the entering vehicle photographed based on the detected plurality of midpoints. have.
  • the process 500 includes, in block 502, a block ( 503) can lead to In block 503 , the computing device performs reference bounding of the object of interest in the bottom image of a plurality of vehicles stored in the image database unit corresponding to the predicted bounding box of the object of interest in the bottom image of the entering vehicle, the midpoint coincides with each other through normalization.
  • Each IoU can be measured from the box.
  • the process 500 may continue at block 503 to block 504 of determining a first candidate vehicle type based on the measured IoU.
  • the computing device may determine a first candidate car model based on the measured IoU.
  • the computing device may determine the largest of the measured IoUs as the first candidate car model.
  • the computing device may determine, as the first candidate car model, a predetermined threshold value or more among the measured IoUs.
  • the computing device recognizes the vehicle in a different way to determine whether the first candidate vehicle type is well recognized, or whether the vehicle does not include an incorrect identification means (eg, a forged vehicle license plate or illegal identification). RFID) can be checked.
  • the computing device determines a second candidate vehicle model based on an exterior image of the entering vehicle captured from an upper camera that captures the exterior of the entering vehicle, and determines whether the first candidate vehicle type and the second candidate vehicle type match.
  • the computing device inquires the registered car model corresponding to the vehicle number of the entering vehicle recognized by the LPR device in the specification database unit, and may check whether the registered car model and the first candidate car model match.
  • the computing device inquires the registered car model corresponding to the unique ID of the entering vehicle recognized by the RFID reader in the specification database, and checks whether the registered car model matches the first candidate car model. In addition, when it is determined that the first candidate car model and the registered car model do not match, the computing device may transmit a warning notification to a management server managing forgery or forgery of a vehicle or an enforcement device.
  • the present disclosure it is possible to increase the efficiency of vehicle model recognition by using the bottom part of the vehicle, which has better characteristics than the exterior of the vehicle and is difficult to deform after leaving the factory, and standardizes the bottom image.
  • FIG. 6 illustrates an example computer program product 600 that may be used to recognize a vehicle model based on computer vision, in accordance with at least some embodiments of the present disclosure.
  • An example computer program product embodiment is provided using a signal bearing medium 602 .
  • signal-bearing medium 602 of one or more computer program products 600 includes instructions 604 , computer-readable medium 606 , recordable medium 608 , and/or communication medium 610 . can do.
  • the instructions 604 included in the signal-bearing medium 602 may be executed by a computing device, such as the integrated management server 110 of FIGS. 1 and 2 .
  • the instructions 604, when executed, may include: at least one instruction related to causing the computing device to receive a bottom image of an incoming vehicle captured by the underside camera; at least one instruction related to segmenting the object of interest from the bottom image of the entering vehicle; at least one instruction related to measuring each IoU from the predicted bounding box of the object of interest in the bottom image of the entering vehicle and the reference bounding box of the object of interest in the bottom image of a plurality of vehicles stored in the image database unit corresponding to the prediction; and, based on the measured IoU, at least one instruction related to determining the first candidate car model.
  • a storage medium such as a CD-ROM, a computer disk, a flash memory, etc. includes instructions that, when executed by a computing device such as a computing system, a computing platform, or other systems, may cause the processor to execute according to the embodiments described above. can be saved.
  • Such computing devices may include one or more processing units or processors, one or more input/output devices such as a display, keyboard and/or mouse, and one or more memory such as static random access memory, dynamic random access memory, flash memory and/or hard drives. may include.
  • some aspects of embodiments of the present disclosure include one or more computer programs running on one or more computers (eg, one or more programs running on one or more computer systems), one or more programs running on one or more processors ( writing code for software and/or firmware, which may be equally implemented in whole or in part as, for example, one or more programs running on one or more microprocessors), firmware, or substantially any combination thereof; and/or the design of the circuit is within the skill of those skilled in the art in light of the present disclosure.
  • processors writing code for software and/or firmware, which may be equally implemented in whole or in part as, for example, one or more programs running on one or more microprocessors), firmware, or substantially any combination thereof; and/or the design of the circuit is within the skill of those skilled in the art in light of the present disclosure.
  • firmware or substantially any combination thereof
  • a part when a part is “connected” with another part, this includes not only the case where it is “directly connected” but also the case where it is “electrically connected” with another element interposed therebetween. do.
  • a member when a member is said to be located “on” another member, this includes not only a case in which a member is in contact with another member but also a case in which another member is present between the two members.
  • a part when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless specifically stated to the contrary.

Abstract

본 개시는 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이다. 컴퓨터 비전 기반의 차종 인식을 위한 시스템은, 복수의 차량의 저면 영상을 저장하는 영상 데이터베이스부; 진입 차량의 저면을 촬영하는 하부 카메라; 및 통합 관리 서버를 포함할 수 있다. 통합 관리 서버는 하부 카메라로부터 촬영된 진입 차량의 저면 영상에 기초하여 진입 차량의 차종을 결정하는 차종 결정부를 포함할 수 있다. 차종 결정부는, 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하고, 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하고, 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다.

Description

컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체
본 개시는 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이다. 보다 구체적으로는, 일반적으로 객체 탐지 기술 분야에서 성능을 평가하는 데 사용되는 IoU(Intersection over Union)를 차종 인식에 활용하여 차종을 결정하는 방법, 시스템 및 컴퓨터 판독가능 저장 매체가 설명된다.
여기에서 달리 언급하지 않으면 본 섹션에서 기술되는 내용은 본 출원에서의 청구범위의 선행 기술이 아니며, 본 섹션에 기재하였다는 이유로 선행 기술로 인정되어서는 안 된다.
도로 상에는 용도, 외형, 크기, 색상, 또는 제조사 등이 상이한 여러 종류의 자동차가 존재한다. 차종에 따라 자동차의 세금 혜택이나, 유료 도로 또는 유료 주차장에서 징수되는 요금, 진입 가능한 장소 등이 상이해질 수 있다. 또한, 각각의 차종은 서로 구별되는, 고유한 특징을 갖기 때문에 차량을 식별하는 데에도 사용될 수 있다. 일반적으로 차량을 식별하는 데에는 차량의 번호판을 인식하고 판독하는 LPR(license plate recognition) 기술이 주로 이용되지만, 위법이나 차량에 대한 요금 부과 회피를 목적으로 차량의 번호판을 위조 또는 변조하는 경우나, LPR 장치에서 차량 번호판이 오인식 또는 미인식되는 경우에 대비하여 차량 번호판 외의 수단으로 차량을 인식할 필요가 있다. 이에 따라, 차량 번호판을 대신하여 차종을 이용하여 차량을 식별하는 방법이 고려될 수 있다.
예컨대, 등록 특허공보 제10-1301868호에서는 영상을 선명하게 하여 차량의 종류에 따른 특징을 추출한 후, 데이터베이스에 미리 설정된 각종 차량 데이터와 비교함으로써, 촬영된 영상에서 차종이 추출되도록 하는 차종 분류 시스템 및 방법을 개시하고 있다. 여기에서, 차종 분류에 사용되는 차량 데이터는 백미러의 형태, 옆창의 외주면 형태, 지붕의 외주면 형태 등으로, 선행 특허는 차종을 추출하기 위해 가시적인 차량의 외관의 특징에 주목하고 있다.
그러나, 선행 특허에서 차량의 특징을 추출하는 데 이용되는 차량의 외관은 쉽게 개조가 가능한 문제점이 있으며, 촬영된 영상과 차량 데이터를 단순 비교하는 방식을 취해, 그 차종 분류 성능에 한계가 있다. 따라서, 차종 인식의 정확도를 높여서 신뢰 가능한 차종 인식 시스템을 구현할 필요가 있다.
본 개시는 위와 같은 문제점들을 해결하기 위한 것으로서, 차량의 외관보다 특징이 잘 구분되고 출고 이후 변형이 어려운 차량의 저면부를 사용하여 차종 인식의 효율을 높이고, 영상 분석 시에 IoU를 활용하여 차종 인식을 위한 딥러닝 모델의 성능을 향상시킬 수 있다.
일 실시예에서, 컴퓨터 비전 기반의 차종 인식을 위한 시스템이 설명된다. 시스템은 진입 차량의 저면을 촬영하는 하부 카메라; 및 통합 관리 서버를 포함할 수 있다. 통합 관리 서버는 하부 카메라로부터 촬영된 진입 차량의 저면 영상에 기초하여 진입 차량의 차종을 결정하는 차종 결정부 및 복수의 차량의 저면 영상을 저장하는 영상 데이터베이스부를 포함할 수 있다. 차종 결정부는 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션(segmentation)하고, 세그먼테이션으로 생성된 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스(predicted bounding box)와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스(reference bounding box)로부터 각각의 IoU(Intersection over Union)를 측정할 수 있다. 차종 결정부는, 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다.
일 예시에서, 차종 결정부는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 또한, 차종 결정부가 주목하는 관심 객체는 차량의 파이프일 수 있다.
일 예시에서, 차종 결정부는 관심 객체의 세그먼테이션 전에, 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출할 수 있다. 차종 결정부는 검출된 복수의 중점을 기준으로 촬영된 진입 차량의 저면 영상을 규격화함으로써, 진입 차량의 저면 영상과 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 간의 중점을 일치시켜 IoU 측정의 정확도를 향상시킬 수 있다.
일 예시에서, 시스템은 진입 차량의 외관을 촬영하는 상부 카메라를 더 포함할 수 있다. 여기에서, 차종 결정부는 상부 카메라로부터 촬영된 진입 차량의 외관 영상에 기초하여 제2 후보 차종을 결정할 수 있다. 차종 결정부는 제1 후보 차종과 제2 후보 차종이 일치하는지 확인함으로써, 차종 인식의 신뢰도를 향상시킬 수 있다.
일 예시에서, 시스템은 진입 차량의 번호판으로부터 차량 번호를 인식하는 LPR 장치를 더 포함할 수 있다. 통합 관리 서버는 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량 번호에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함할 수 있다. 여기에서, 위변조 탐지부는 제원 데이터베이스부로부터 진입 차량의 인식된 차량 번호에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버에 경고 알림을 전송하여, 예컨대, 위법이나 차량에 대한 요금 부과 회피를 목적으로 차량의 번호판을 위조 또는 변조한 차량을 단속할 수 있다.
다른 예시에서, 시스템은 진입 차량에 포함된 RFID 태그로부터 차량의 고유 ID를 인식하는 RFID 리더기를 더 포함할 수 있다. 통합 관리 서버는 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량의 고유 ID에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함할 수 있다. 여기에서, 위변조 탐지부는 제원 데이터베이스부로부터 진입 차량의 고유 ID에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버에 경고 알림을 전송하여, 예컨대, 불법 RFID 태그를 부착한 차량을 단속할 수 있다.
다른 실시예에서, 컴퓨터 비전 기반의 차종 인식을 위한 방법이 설명된다. 방법은 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 단계; 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 단계; 및 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 단계를 포함할 수 있다. 또한, 방법은 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 단계를 포함할 수 있다.
일 예시에서, 제1 후보 차종을 결정하는 단계는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정하는 단계를 포함할 수 있다. 또한, 관심 객체는 차량의 파이프일 수 있다.
일 예시에서, 방법은 관심 객체를 세그먼테이션하는 단계 이전에, 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하는 단계; 인식된 타이어의 각각의 중점을 검출하는 단계; 및 검출된 복수의 중점을 기준으로 촬영된 진입 차량의 저면 영상을 규격화하는 단계를 더 포함할 수 있다.
또 다른 실시예에서, 컴퓨터 비전 기반의 차종 인식을 위한 통합 관리 서버의 기록 매체에 저장되어 통합 관리 서버에 의해 실행되는 컴퓨터 프로그램이 설명된다. 통합 관리 서버의 기록 매체에 저장된 컴퓨터 프로그램은 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 것과 관련된 적어도 하나의 명령어; 및 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 것과 관련된 적어도 하나의 명령어를 포함할 수 있다.
이상의 간단한 요약 및 효과에 관한 설명은 단순히 예시적인 것으로서 본 개시에서 의도한 기술적 사항을 제한하기 위한 것이 아니다. 이하의 상세한 설명과 첨부된 도면을 참조함으로써, 전술한 예시적인 실시예들과 기술적 특징들에 더하여, 추가적인 실시예와 기술적 특징들이 이해될 수 있을 것이다.
앞서 설명한 본 개시의 특징들과 기타 추가적인 특징들에 대해서는 첨부된 도면을 참조하여 이하에서 자세하게 설명한다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시예만을 도시한 것이며, 본 개시의 기술적 사상의 범위를 제한하는 것으로 간주되어서는 안 된다. 본 개시의 기술적 사상은 첨부된 도면을 사용하여 더 구체적이고 상세하게 기술될 것이다.
도 1은 본 개시의 적어도 일부 실시예에 따라, 예시적인 차종 인식을 위한 시스템을 도시하는 개략도이다.
도 2는 본 개시의 적어도 일부 실시예에 따라, 차종 인식을 위한 예시적인 통합 관리 서버를 도시하는 블록도이다.
도 3은 본 개시의 적어도 일부 실시예에 따라, 예시적인 진입 차량의 저면 영상을 도시한다.
도 4는 본 개시의 적어도 일부 실시예에 따라, 통합 관리 서버가 IoU를 측정하는 것을 예시한다.
도 5는 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반의 차종 인식을 위하여 컴퓨팅 장치에서 수행되는 예시적인 프로세스를 도시하는 흐름도이다.
도 6은 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반으로 차종을 인식하는 데 이용될 수 있는 예시적인 컴퓨터 프로그램 제품을 도시한다.
이하, 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 구현예 및 실시예를 상세히 설명한다. 그러나, 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현예 및 실시예에 한정되지 않는다.
본 개시는 일반적으로 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 저장된 프로그램에 관한 것이다.
도 1은 본 개시의 적어도 일부 실시예에 따라, 예시적인 차종 인식을 위한 시스템(100)을 도시하는 개략도이다. 예시적인 시스템(100)은 통합 관리 서버(110), 차량(120), 저면 영상 인식 장비(130), LPR 장치(140), 차단 장치(145), RFID 리더기(150) 및 상부 카메라(160)를 포함할 수 있다.
통합 관리 서버(110)는 어플리케이션 서버, 독립형 서버, 웹 서버 및 기타 데이터 송수신 기능, 데이터 식별 기능 및 데이터 처리 기능을 갖춘 임의의 컴퓨팅 장치일 수 있다. 통합 관리 서버(110)는 예컨대, 딥러닝 모델을 포함하여, 컴퓨터 비전 기반의 차종 인식을 위한 프로세스를 처리할 수 있으며, 구체적인 구성에 대해서는 도 2에서 보다 상세하게 설명될 것이다.
차량(120)은 용도, 외형, 크기, 색상, 또는 제조사 등이 상이한 모든 종류의 자동차일 수 있다. 차량(120)은 예컨대, 보안이 요구되는 장소 또는 차량(120)에 부과된 요금 결제가 요구되는 장소와 같이, 차량 인식이 요구되는 임의의 장소에서 차량 인식을 위해 대기할 수 있다.
저면 영상 인식 장비(130)는 제1 제어부, 제1 차량 감지부 및 제1 통신부를 포함할 수 있다. 제1 제어부는, 저면 영상 인식 장비(130)의 제1 차량 감지부와 제1 통신부를 제어할 수 있고, 통합 관리 서버(110)와 연동될 수 있다. 제1 차량 감지부는, 저면 영상 인식 장비(130)에 차량(120)이 접근하는 경우, 예컨대, 레이저 또는 압력 감지와 같은 방식으로 차량(120)을 인식할 수 있다. 제1 차량 감지부는 하부 카메라를 포함할 수 있으며, 인식된 차량(120)의 저면 영상을 촬영할 수 있다. 하부 카메라는 컴퓨터 비전 카메라로서, 예컨대, 라인 스캔 카메라가 이용될 수 있다. 제1 통신부는 하부 카메라에 의해 촬영된 차량(120)의 저면 영상을 통합 관리 서버(110)에 전송할 수 있다.
LPR 장치(140)는 LPR 제어부, LPR 차량 감지부 및 LPR 통신부를 포함할 수 있다. LPR 제어부는, LPR 장치(140)의 LPR 차량 감지부와 LPR 통신부를 제어할 수 있고, 통합 관리 서버(110)와 연동될 수 있다. LPR 차량 감지부는, LPR 장치(140)에 차량(120)이 접근하는 경우, 그 차량(120)의 외관 영상을 촬영하여 분석함으로써 차량 번호를 인식할 수 있다. LPR 차량 감지부는 카메라를 포함할 수 있으며, 차량 영상 분석을 위해 예컨대, OCR 기술과 같은 적절한 영상 분석 및 인식 알고리즘을 이용할 수 있다. LPR 통신부는 LPR 차량 감지부에 의해 인식된 차량 번호를 통합 관리 서버(110)에 전송할 수 있다. 대안적으로, LPR 통신부는 LPR 차량 감지부에 의해 촬영된 외관 영상을 통합 관리 서버(110)에 전송하여, 통합 관리 서버(110)에서 차량 번호를 인식할 수도 있다.
차단 장치(145)는 예컨대, 보안 검색 또는 요금 결제 등을 위해 대기하는 차량(120)의 차종 인식 프로세스를 거쳐 진입 또는 진출이 허용될 때까지 차단하는 역할을 수행할 수 있다. 통합 관리 서버(110)에서 차량(120)의 진입 또는 진출을 허용하는 경우, 차단 장치(145)는 차단바를 개방하여 차량(120)이 통과할 수 있도록 허용한다.
RFID 리더기(150)는 차량(120)에 포함된 RFID 태그와 송수신할 수 있으며, RFID 태그에서 수집된 차량(120)의 고유 ID에 관한 정보를 통합 관리 서버(110)에 전송할 수 있다. 상부 카메라(160)는 차량(120)의 외관을 촬영할 수 있으며, 차량(120)의 외관 영상을 통합 관리 서버(110)에 전송할 수 있다.
저면 영상 인식 장비(130), LPR 장치(140), RFID 리더기(150) 및 상부 카메라(160)는 각각 별개의 기능을 수행하는 것으로 예시되었지만, 각 장치에서 동일한 기능을 수행하는 구성 요소는 통합적으로 사용될 수 있다. 예컨대, LPR 장치(140)의 카메라와 상부 카메라(160)는 별도로 구성되지 않고, 하나로 사용될 수 있다. 또한, 저면 영상 인식 장비(130)의 제1 차량 감지부와 LPR 장치(140)의 LPR 차량 감지부는 별도로 구성되지 않고, 하나로 사용되어 임의의 방식으로 진입하는 차량(120)을 감지할 수 있다.
도 1에서 시스템(100)은 단지 예시적인 것으로서, 당업자라면 응용에 적합하도록 도 1의 시스템(100)을 적절하게 수정하거나 변형하여 사용할 수 있을 것이다. 예컨대, 도 1에서 시스템(100)의 차단 장치(145)는 임의의 형태를 가질 수 있으며, 경우에 따라 차단 장치(145)는 시스템(100)에 포함되지 않을 수도 있다. 또한, LPR 장치(140), RFID 리더기(150) 및/또는 상부 카메라(160)는 시스템(100)에서 선택적으로 또는 조합하여 사용될 수 있다.
도 2는 본 개시의 적어도 일부 실시예에 따라, 차종 인식을 위한 예시적인 통합 관리 서버(110)를 도시하는 블록도이다. 도 2에서 도 1의 시스템(100)을 참조하여, 통합 관리 서버(110)의 구체적인 동작이 설명된다.
통합 관리 서버(110)는 차종 결정부(210), 위변조 탐지부(220), 통신부(230), 영상 데이터베이스부(240) 및 제원 데이터베이스부(250)를 포함할 수 있다. 차종 결정부(210)는 저면 영상 인식 장비(130)에 설치된 하부 카메라로부터 촬영된 진입 차량(120)의 저면 영상에 기초하여 진입 차량(120)의 차종을 결정할 수 있다. 차종 결정부(210)는 차종을 인식하기 위한 인공 지능 모델, 예컨대 딥러닝 모델을 포함할 수 있다. 위변조 탐지부(220)는 진입 차량(120)의 위변조 여부를 결정할 수 있다. 통신부(230)는 시스템(100)의 각 장치, 즉, 저면 영상 인식 장비(130), LPR 장치(140), 차단 장치(145), RFID 리더기(150) 및 상부 카메라(160)와 데이터를 송수신할 수 있다. 영상 데이터베이스부(240)에는 복수의 차량의 저면 영상이 각각 차종에 대응하여 저장될 수 있다. 제원 데이터베이스부(250)는 복수의 차량의 각각의 차량 번호 또는 차량의 고유 ID에 대응하는 등록 차종을 저장할 수 있다. 도 2에서는 하나의 통합 관리 서버에 차종 결정부(210), 위변조 탐지부(220), 통신부(230), 영상 데이터베이스부(240) 및 제원 데이터베이스부(250)가 포함되는 것으로 예시되지만, 각각의 구성은 독립적인 별도의 서버에서 구현될 수 있다.
구체적으로, 차종 결정부(210)는 저면 영상 인식 장비(130)로부터 통신부(230)를 거쳐 수신되는, 진입 차량(120)의 저면 영상으로부터 관심 객체를 세그먼테이션할 수 있다. 관심 객체는 차량의 파이프일 수 있다. 이와 관련하여, 도 3은 본 개시의 적어도 일부 실시예에 따라, 예시적인 진입 차량의 저면 영상을 도시한다. 도 3의 예시 (a)-(d)에서 확인할 수 있는 바와 같이, 차종에 따라 차량의 저면 영상, 특히, 차량의 파이프 부분은 서로 구별되는 특징을 가질 수 있다. 또한, 차량의 하부는 출고 이후에는 임의로 개조하는 것이 어려우므로, 차량의 저면 영상을 차량의 식별하는 데 이용하면 효과적일 수 있다.
차종 결정부(210)는 세그먼테이션으로 생성된 진입 차량(120)의 저면 영상 내의 관심 객체, 예컨대, 차량의 파이프의 예측 바운딩 박스와 대응하는 영상 데이터베이스부(240)에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU(Intersection over Union)를 측정할 수 있다. IoU는 전형적으로 딥러닝 모델을 이용한 객체 탐지 기술 분야에서 모델의 성능을 평가하는 지표로서, 모델이 예측한 객체의 위치를 나타내는 바운딩 박스의 영역과 실제 객체가 존재하는 위치를 나타내는 그라운드 트루스(ground truth)의 영역을 비교하여, 두 영역이 겹치는 넓이를 두 영역을 합친 넓이로 나눈 값으로 측정될 수 있다. 이를 식으로 나타내면 다음과 같다:
Figure PCTKR2021007395-appb-I000001
본 개시에서는 IoU를 딥러닝 모델의 객체 탐지 성능을 평가하는 데 사용하지 않고, 영상 데이터베이스부(240)에 저장된 복수의 차량의 저면 영상 내애 관심 객체의 레퍼런스 바운딩 박스를 미리 설정해 두고, 진입 차량(120)의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 비교함으로써, 차종을 인식하는 데 활용했다는 점에서 특징을 갖는다. 이와 같은 딥러닝 모델을 구현했을 때, 단순히 두 영상을 비교하였을 때보다 차종 인식 성능이 보다 개선될 수 있다.
차종 결정부(210)는, 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다. 일 예시에서, 차종 결정부(210)는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 다른 예시에서, 차종 결정부(210)는 측정된 IoU 중에서 미리 정해진 임계 값 이상인 것을 제1 후보 차종으로 결정할 수 있다.
차종 결정부(210)는 관심 객체의 세그먼테이션 전에, 진입 차량(120)의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출할 수 있다. 이후, 차종 결정부(210)는 검출된 복수의 중점을 기준으로 촬영된 진입 차량(120)의 저면 영상을 규격화할 수 있다. 저면 영상을 규격화하면, 진입 차량(120)의 저면 영상과 영상 데이터베이스부(240)에 저장된 복수의 차량의 저면 영상 간의 중점을 일치시킬 수 있는데, 이에 의해 IoU 측정의 정확도를 향상시킬 수 있다.
차종 결정부(210)는 통신부(230)를 통해 수신되는, 상부 카메라(160)로부터 촬영된 진입 차량(120)의 외관 영상에 기초하여, 제2 후보 차종을 결정할 수 있다. 차종 결정부는 차량(120)의 가시적인 부분, 예컨대, 색상, 치수, 각 구성 요소의 형태, 엠블럼 등에 주목하여 영상 분석을 통해 제2 후보 차종을 결정할 수 있다. 차종 결정부(210)는 제1 후보 차종과 제2 후보 차종이 일치하는지 확인함으로써, 차종 인식의 신뢰도를 향상시킬 수 있다.
일 실시예에서, 위변조 탐지부(220)는 통신부(230)를 통해 LPR 장치(140)로부터 진입 차량(120)의 차량 번호를 수신할 수 있다. 위변조 탐지부(220)는 제원 데이터베이스부(250)에서 진입 차량(120)의 인식된 차량 번호에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부(220)는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버 또는 단속 장치에 경고 알림을 전송하여, 예컨대, 위법이나 차량에 대한 요금 부과 회피를 목적으로 차량의 번호판을 위조 또는 변조한 차량을 단속할 수 있다.
다른 실시예에서, 위변조 탐지부(220)는 통신부(230)를 통해 RFID 리더기(150)로부터 진입 차량(120)의 고유 ID를 수신할 수 있다. 위변조 탐지부(220)는 제원 데이터베이스부(250)에서 진입 차량(120)의 고유 ID에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부(220)는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버 또는 단속 장치에 경고 알림을 전송하여, 예컨대, 불법 RFID 태그를 부착한 차량을 단속할 수 있다.
도 2에서 통합 관리 서버(110)의 구성 요소 및 각 구성 요소의 동작(예컨대, 차종 결정부(210) 또는 위변조 탐지부(220)의 동작)은 단지 예시적인 것으로서, 당업자라면 본 개시에 기초하여 적절하게 수정하거나 변형하여 사용할 수 있을 것이다.
도 4는 본 개시의 적어도 일부 실시예에 따라, 통합 관리 서버가 IoU를 측정하는 것을 예시한다.
도 4(a)는 통합 관리 서버(110)가 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출하는 것을 예시한다. 예컨대, 도 4(a)에 예시한 4륜차의 경우 네 개의 타이어의 중점이 검출될 수 있다. 통합 관리 서버(110)는 검출된 복수의 중점, 예컨대 네 개의 중점을 기준으로 하여, 촬영된 진입 차량의 저면 영상을 리사이징하고 회전하여, 저면 영상이 미리 정해진 규격에 맞도록 조정할 수 있다. 통합 관리 서버(110)는 규격화된 저면 영상을 세그먼테이션하여 관심 객체(예컨대, 차량의 파이프)의 예측 바운딩 박스를 생성할 수 있다.
도 4(b)는 통합 관리 서버(110)의 영상 데이터베이스부에 저장된 복수의 차량 중 하나의 저면 영상을 예시한 것이다. 도 4(b)에 예시된 바와 같이, 영상 데이터베이스부에 저장된 모든 차량의 저면 영상은 타이어를 기준으로 이미 규격화되어 있다. 예컨대, 도 4(b)에 도시한 4륜차의 경우 네 개의 타이어의 중점이 표시될 수 있다. 또한, 영상 데이터베이스부에 저장된 모든 차량에 대해, 관심 객체(예컨대, 차량의 파이프)의 레퍼런스 바운딩 박스가 이미 지정되어 있다.
도 4(c)는 통합 관리 서버(110)가 IoU를 측정하기 위해 도 4(a)의 진입 차량의 저면 영상과 도 4(b)의 영상 데이터베이스부에 저장된 복수의 차량 중 하나의 저면 영상을 오버래핑(overlapping)하는 것을 예시한다. 도 4(a)의 진입 차량의 저면 영상과 도 4(b)의 영상 데이터베이스부에 저장된 차량의 저면 영상은 둘 다 규격화된 형태로서, 오버래핑 시 저면 영상 간의 중점이 일치될 수 있다. 통합 관리 서버(110)는 진입 차량의 저면 영상과 영상 데이터베이스부의 저면 영상이 일치된 영역을 진입 차량의 저면 영상과 영상 데이터베이스부의 저면 영상을 합친 영역으로 나누어 IoU를 측정할 수 있다. 통합 관리 서버(110)는 영상 데이터베이스부에 저장된 모든 저면 영상에 대해 동일한 프로세스를 반복하여 각각의 IoU를 측정할 수 있다.
통합 관리 서버(110)는 측정된 복수의 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다. 일 예시에서, 통합 관리 서버(110)는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 다른 예시에서, 통합 관리 서버(110)는 측정된 IoU 중에서 미리 정해진 임계 값 이상인 것을 제1 후보 차종으로 결정할 수 있다. 도 4의 예시에서 도 4(a)의 진입 차량의 저면 영상과 도 4(b)의 영상 데이터베이스부에 저장된 차량의 저면 영상은 상이하므로, 통합 관리 서버(110)가 측정한 두 영상 간의 IoU는 낮으며, 이에 따라 도 4(b)의 차량의 차종은 도 4(a)의 진입 차량의 제1 후보 차종으로 선택되지 않을 수 있다.
도 4(a)와 도 4(b)에서는 4륜차의 저면 영상이 예시되었지만, 진입 차량과 영상 데이터베이스부에 저장된 차량은 예컨대, 2륜차, 3륜차, 5륜차, 6륜차 등 임의의 형태를 가질 수 있음에 유의한다. 일 예시로서, 통합 관리 서버(110)는 진입 차량과 영상 데이터베이스부에 저장된 차량의 타이어 개수가 일치하는 경우에만 IoU를 측정하여, 즉, 양 저면 영상의 타이어 개수가 일치하지 않는 경우에는 추가 영상 분석을 제외함으로써, 차종 인식의 효율을 높일 수 있다.
도 5는 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반의 차종 인식을 위하여 컴퓨팅 장치에서 수행되는 예시적인 프로세스(500)를 도시하는 흐름도이다. 예컨대, 프로세스(500)는 도 1 및 도 2의 통합 관리 서버(110)와 같은 컴퓨팅 장치의 제어 하에서 수행될 수 있다. 프로세스(500)는 예컨대, 보안 검색 또는 요금 결제 등을 위해 차량 인식이 요구되는 임의의 장소에서 진입 차량의 차종 인식을 하도록 수행될 수 있다.
도 5에 도시된 프로세스(500)는 블록(501, 502, 503 및/또는 504)에 의하여 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 한편, 도 5에 예시된 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다.
프로세스(500)는 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 블록(501)에서 시작할 수 있다. 블록(501)에서, 컴퓨팅 장치는 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신할 수 있다. 여기에서, 하부 카메라는 컴퓨터 비전 카메라, 예컨대 라인 스캔 카메라를 포함할 수 있다.
프로세스(500)는 블록(501)에서, 저면 영상으로부터 관심 객체를 세그먼테이션하는 블록(502)으로 이어질 수 있다. 블록(502)에서, 컴퓨팅 장치는 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션할 수 있다. 관심 객체는 차량의 파이프일 수 있다. 컴퓨팅 장치는 세그먼테이션 전에, 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출하고, 그리고 검출된 복수의 중점을 기준으로 촬영된 진입 차량의 저면 영상을 규격화할 수 있다.
프로세스(500)는 블록(502)에서, 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 블록(503)으로 이어질 수 있다. 블록(503)에서, 컴퓨팅 장치는 규격화를 통해 서로 중점이 일치하는, 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정할 수 있다.
프로세스(500)는 블록(503)에서, 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 블록(504)으로 이어질 수 있다. 블록(504)에서, 컴퓨팅 장치는 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다. 컴퓨팅 장치는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 대안적으로, 컴퓨팅 장치는 측정된 IoU 중 미리 정해진 임계 값 이상인 것을 제1 후보 차종으로 결정할 수 있다.
선택적으로, 제1 후보 차종이 결정된 이후, 컴퓨팅 장치는 상이한 방식으로 차량을 인식하여 제1 후보 차종이 잘 인식되었는지, 또는 차량에 올바르지 않은 식별 수단은 포함되지 않았는지(예컨대, 위변조 차량 번호판이나 불법 RFID 부착 여부) 확인할 수 있다. 제1 실시예에서, 컴퓨팅 장치는 진입 차량의 외관을 촬영하는 상부 카메라로부터 촬영된 진입 차량의 외관 영상에 기초하여 제2 후보 차종을 결정하고, 제1 후보 차종과 제2 후보 차종이 일치하는지 확인할 수 있다. 제2 실시예에서, 컴퓨팅 장치는 제원 데이터베이스부에서 LPR 장치에 의해 인식된 진입 차량의 차량 번호에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 제3 실시예에서, 컴퓨팅 장치는 제원 데이터베이에서 RFID 리더기에 의해 인식된 진입 차량의 고유 ID에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 컴퓨팅 장치는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버 또는 단속 장치에 경고 알림을 전송할 수 있다.
다른 가능한 이점 중에서, 본 개시에 따르면, 차량의 외관보다 특징이 잘 구분되고 출고 이후 변형이 어려운 차량의 저면부를 사용하고, 저면 영상을 규격화시킴으로써, 차종 인식의 효율을 높일 수 있다. 또한, 영상 분석 시에 IoU를 활용하여 차종 인식을 위한 딥러닝 모델의 성능을 향상시킬 수 있다.
도 6은 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반으로 차종을 인식하는 데 이용될 수 있는 예시적인 컴퓨터 프로그램 제품(600)을 도시한다. 예시적인 컴퓨터 프로그램 제품의 실시예는 신호 포함 매체(602)를 이용하여 제공된다. 일부 실시예에서, 하나 이상의 컴퓨터 프로그램 제품(600)의 신호 포함 매체(602)는 명령어(604), 컴퓨터 판독가능 매체(606), 기록 가능 매체(608) 및/또는 통신 매체(610)를 포함할 수 있다.
신호 포함 매체(602)에 포함된 명령어(604)는 도 1 및 도 2의 통합 관리 서버(110)와 같은 컴퓨팅 장치에 의해 실행될 수 있다. 명령어(604)는 실행되면, 컴퓨팅 장치로 하여금 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 것과 관련된 적어도 하나의 명령어; 및 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 것과 관련된 적어도 하나의 명령어를 포함할 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수도 있다.
이상, 본 개시에서 청구하고자 하는 대상에 대해 구체적으로 살펴보았다. 본 개시에서 청구된 대상은 앞서 기술한 특정 구현예로 그 범위가 제한되지 않는다. 예컨대, 어떤 구현예에서는 장치 또는 장치의 조합 상에서 동작 가능하게 사용되는 하드웨어의 형태일 수 있으며, 다른 구현예에서는 소프트웨어 및/또는 펌웨어의 형태로 구현될 수 있고, 또 다른 구현예에서는 신호 베어링 매체, 저장 매체와 같은 하나 이상의 물품을 포함할 수 있다. 여기서, CD-ROM, 컴퓨터 디스크, 플래시 메모리 등과 같은 저장 매체는, 예컨대 컴퓨팅 시스템, 컴퓨팅 플랫폼 또는 기타 시스템과 같은 컴퓨팅 장치에 의하여 실행될 때 앞서 설명한 구현예에 따라 해당 프로세서의 실행을 야기시킬 수 있는 명령을 저장할 수 있다. 이러한 컴퓨팅 장치는 하나 이상의 처리 유닛 또는 프로세서, 디스플레이, 키보드 및/또는 마우스와 같은 하나 이상의 입/출력 장치, 및 정적 랜덤 액세스 메모리, 동적 랜덤 액세스 메모리, 플래시 메모리 및/또는 하드 드라이브와 같은 하나 이상의 메모리를 포함할 수 있다.
한편, 시스템을 하드웨어로 구현할 것인지 아니면 소프트웨어로 구현할 것인지는, 일반적으로 비용 대비 효율의 트레이드오프를 나타내는 설계상 선택 문제이다. 본 개시에서는 프로세스, 시스템, 기타 다른 기술들의 영향을 받을 수 있는 다양한 수단(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 맥락(context)에 따라 변경될 것이다. 예를 들어, 구현자가 속도 및 정확성이 가장 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수 있으며, 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있으며; 또는, 다른 대안으로서, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떤 결합을 선택할 수 있다.
전술한 상세한 설명에서는 블록도, 흐름도 및/또는 기타 예시를 통해 장치 및/또는 프로세스의 다양한 실시예를 설명하였다. 그러한 블록도, 흐름도, 및/또는 기타 예시는 하나 이상의 기능 및/또는 동작을 포함하게 되며, 당업자라면 블록도, 흐름도 및/또는 기타 예시 내의 각각의 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 개별적으로 혹은 집합적으로 구현될 수 있다는 점을 이해할 수 있을 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 이와 달리, 본 개시의 실시예의 일부 양상은 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 이들의 실질적으로 임의의 조합으로써 전체적으로 또는 부분적으로 균등하게 집적 회로에서 구현될 수도 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자의 기술 범위 내에 속하는 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘들이 다양한 형태의 프로그램 제품으로 분배될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는 분배를 실제로 수행하는데 사용되는 신호 베어링 매체의 특정 유형과 무관하게 적용됨을 이해할 것이다.
특정 예시적 기법이 다양한 방법 및 시스템을 이용하여 여기에서 기술되고 도시되었으나, 당업자라면, 청구된 대상에서 벗어남이 없이, 다양한 기타의 수정 또는 등가물로의 치환 가능성을 이해할 수 있다. 추가적으로, 여기에 기술된 중심 개념으로부터 벗어남이 없이 특정 상황을 청구된 대상의 교시로 적응시키도록 많은 수정이 이루어질 수 있다. 따라서, 청구된 대상이 개시된 특정 예시로 제한되지 않으나, 그러한 청구된 대상은 또한 첨부된 청구범위 및 그 균등의 범위 내에 들어가는 모든 구현예를 포함할 수 있음이 의도된다.
본 개시 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 본 개시 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다. 나아가, 본 개시 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본 개시에서 사용되는 정도의 용어 "약," "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위, 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 컴퓨터 비전 기반의 차종 인식을 위한 시스템으로서,
    진입 차량의 저면을 촬영하는 하부 카메라; 및
    상기 하부 카메라로부터 촬영된 상기 진입 차량의 저면 영상에 기초하여 상기 진입 차량의 차종을 결정하는 차종 결정부와 복수의 차량의 저면 영상을 저장하는 영상 데이터베이스부를 포함하는 통합 관리 서버;
    를 포함하고,
    상기 차종 결정부는,
    상기 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션(segmentation)하고,
    상기 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스(predicted bounding box)와 대응하는 상기 영상 데이터베이스부에 저장된 상기 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스(reference bounding box)로부터 각각의 IoU(Intersection over Union)를 측정하고,
    상기 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 것인 시스템.
  2. 제1항에 있어서,
    상기 차종 결정부는 상기 측정된 IoU 중 가장 큰 것을 상기 제1 후보 차종으로 결정하는 것인, 시스템.
  3. 제1항에 있어서,
    상기 관심 객체는 차량의 파이프인 것인, 시스템.
  4. 제1항에 있어서,
    상기 차종 결정부는 상기 관심 객체의 세그먼테이션 전에,
    상기 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고,
    상기 인식된 타이어의 각각의 중점을 검출하고; 그리고
    상기 검출된 복수의 중점을 기준으로 상기 촬영된 진입 차량의 저면 영상을 규격화하는 것인, 시스템.
  5. 제1항에 있어서,
    상기 시스템은 상기 진입 차량의 외관을 촬영하는 상부 카메라를 더 포함하고,
    상기 차종 결정부는 상기 상부 카메라로부터 촬영된 상기 진입 차량의 외관 영상에 기초하여 제2 후보 차종을 결정하고, 상기 제1 후보 차종과 상기 제2 후보 차종이 일치하는지 확인하는 것인, 시스템.
  6. 제1항에 있어서,
    상기 시스템은 상기 진입 차량의 번호판으로부터 차량 번호를 인식하는 LPR 장치를 더 포함하고,
    상기 통합 관리 서버는 상기 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량 번호에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함하고,
    상기 위변조 탐지부는 상기 제원 데이터베이스부로부터 상기 진입 차량의 인식된 차량 번호에 대응하는 등록 차종을 조회하고, 상기 등록 차종과 상기 제1 후보 차종이 일치하는지 확인하는 것인, 시스템.
  7. 제1항에 있어서,
    상기 시스템은 상기 진입 차량에 포함된 RFID 태그로부터 차량의 고유 ID를 인식하는 RFID 리더기를 더 포함하고,
    상기 통합 관리 서버는 상기 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량의 고유 ID에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함하고,
    상기 위변조 탐지부는 상기 제원 데이터베이스부로부터 상기 진입 차량의 고유 ID에 대응하는 등록 차종을 조회하고, 상기 등록 차종과 상기 제1 후보 차종이 일치하는지 확인하는 것인, 시스템.
  8. 제6항 또는 제7항에 있어서,
    상기 위변조 탐지부는 상기 제1 후보 차종과 상기 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버에 경고 알림을 전송하는 것인, 시스템.
  9. 컴퓨터 비전 기반의 차종 인식을 위한 방법으로서,
    하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 단계;
    상기 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 단계;
    상기 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 단계; 및
    상기 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 단계
    를 포함하는 방법.
  10. 제9항에 있어서,
    제1 후보 차종을 결정하는 단계는 상기 측정된 IoU 중 가장 큰 것을 상기 제1 후보 차종으로 결정하는 단계를 포함하는 방법.
  11. 제9항에 있어서,
    상기 방법은 상기 관심 객체를 세그먼테이션하는 단계 이전에,
    상기 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하는 단계;
    상기 인식된 타이어의 각각의 중점을 검출하는 단계; 및
    상기 검출된 복수의 중점을 기준으로 상기 촬영된 진입 차량의 저면 영상을 규격화하는 단계를 더 포함하는 방법.
  12. 컴퓨터 비전 기반의 차종 인식을 위한 통합 관리 서버의 기록 매체에 저장되어 상기 통합 관리 서버에 의해 실행되는 컴퓨터 프로그램으로서,
    하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 것과 관련된 적어도 하나의 명령어;
    상기 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 것과 관련된 적어도 하나의 명령어;
    상기 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 것과 관련된 적어도 하나의 명령어; 및
    상기 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 것과 관련된 적어도 하나의 명령어
    를 포함하는, 통합 관리 서버의 기록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2021/007395 2021-05-04 2021-06-14 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 WO2022234885A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0057712 2021-05-04
KR1020210057712A KR102654570B1 (ko) 2021-05-04 2021-05-04 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체

Publications (1)

Publication Number Publication Date
WO2022234885A1 true WO2022234885A1 (ko) 2022-11-10

Family

ID=83932139

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007395 WO2022234885A1 (ko) 2021-05-04 2021-06-14 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체

Country Status (2)

Country Link
KR (1) KR102654570B1 (ko)
WO (1) WO2022234885A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090042308A (ko) * 2005-02-23 2009-04-29 게이트키퍼 아이엔씨. 진입 통제 시스템 및 차량 액세스 통제 방법
KR101450733B1 (ko) * 2013-12-19 2014-10-16 인천국제공항공사 차량 하부 검색 장치 및 방법
KR101630154B1 (ko) * 2015-12-31 2016-06-15 주식회사 디앤에스테크놀로지 차량 하부 영상 검색 시스템 및 방법
KR101812953B1 (ko) * 2017-06-23 2017-12-29 주식회사 디앤에스 테크놀로지 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법
KR20200064185A (ko) * 2018-11-19 2020-06-08 한국전력공사 배전설비 검출장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101301868B1 (ko) 2010-06-23 2013-09-02 대한민국 차종분석 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090042308A (ko) * 2005-02-23 2009-04-29 게이트키퍼 아이엔씨. 진입 통제 시스템 및 차량 액세스 통제 방법
KR101450733B1 (ko) * 2013-12-19 2014-10-16 인천국제공항공사 차량 하부 검색 장치 및 방법
KR101630154B1 (ko) * 2015-12-31 2016-06-15 주식회사 디앤에스테크놀로지 차량 하부 영상 검색 시스템 및 방법
KR101812953B1 (ko) * 2017-06-23 2017-12-29 주식회사 디앤에스 테크놀로지 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법
KR20200064185A (ko) * 2018-11-19 2020-06-08 한국전력공사 배전설비 검출장치

Also Published As

Publication number Publication date
KR102654570B1 (ko) 2024-04-05
KR20220150568A (ko) 2022-11-11

Similar Documents

Publication Publication Date Title
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
KR100459475B1 (ko) 차종 판단 시스템 및 그 방법
US6442474B1 (en) Vision-based method and apparatus for monitoring vehicular traffic events
AU2015352462B2 (en) Method of controlling a traffic surveillance system
KR101987618B1 (ko) 딥러닝 기반의 차량번호판 이미지 매칭 기법을 적용한 차량 번호판 특정 시스템
JP2018513495A (ja) デュアル埋め込み型光学文字認識（ｏｃｒ）エンジン
US20200311743A1 (en) Charging system, charging method, and program
CN113903180B (zh) 一种高速公路检测车辆超速的方法及系统
Ali et al. License plate recognition system
KR101819568B1 (ko) 전기차 및 하이패스 인식에 따른 주차 관리 시스템 운영 방법
JP7424945B2 (ja) 故障検知装置、料金収受システム、故障検知方法、及びプログラム
WO2022234885A1 (ko) 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체
KR102441669B1 (ko) 알에프아이디(rfid) 및 영상 처리를 이용한 항만 차량출입통제 시스템 및 그 방법
US20230342937A1 (en) Vehicle image analysis
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
KR20040071479A (ko) 차량번호판 인식 시스템 및 그것을 이용한 차량 관리 방법
Prasetyo et al. Optimization of image processing techniques in developing of smart parking system
CN113990077A (zh) 一种车辆载荷及特征监测系统及方法
CN112562156A (zh) 基于电子车牌和视频识别的重点车辆场所出入管理方法
KR20220089217A (ko) 이륜차 단속 장치 및 이륜차 단속 방법
JPH07325947A (ja) 料金収受システム
Pu et al. A robust and real-time approach for license plate detection
JP3243747B2 (ja) 車種認識装置
TWI734050B (zh) 車輛識別方法與系統以及物件識別方法與系統
JP7097193B2 (ja) 料金収受システム、及び料金収受方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE