WO2017061650A1 - 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템 - Google Patents

전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템 Download PDF

Info

Publication number
WO2017061650A1
WO2017061650A1 PCT/KR2015/010692 KR2015010692W WO2017061650A1 WO 2017061650 A1 WO2017061650 A1 WO 2017061650A1 KR 2015010692 W KR2015010692 W KR 2015010692W WO 2017061650 A1 WO2017061650 A1 WO 2017061650A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
area
license plate
text
image
Prior art date
Application number
PCT/KR2015/010692
Other languages
English (en)
French (fr)
Inventor
김수경
김충성
김태경
노승용
Original Assignee
주식회사 넥스파시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스파시스템 filed Critical 주식회사 넥스파시스템
Priority to PCT/KR2015/010692 priority Critical patent/WO2017061650A1/ko
Publication of WO2017061650A1 publication Critical patent/WO2017061650A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Definitions

  • the present invention relates to an LPR system capable of accurately recognizing a vehicle number using images captured by a front and rear camera module and determining a type of vehicle based on an image analysis.
  • LPR License Plate Recognition
  • LPR system or number recognition technology was first developed in 1976 in the UK.
  • LPR systems have grown steadily and have expanded gradually in European countries, including Southeast Asia.
  • the LPR system market is growing significantly in North America. This led to strong motivation for effective crime suppression and prevention techniques, which in turn led to wider markets.
  • LPR vehicle number recognition
  • APR automated LPR
  • OCR Optical Character Recognition
  • the vehicle number recognizer photographs the front of the vehicle, when the front license plate is defaced, there is a problem that the accuracy of recognition is reduced due to unrecognition or partial recognition of the vehicle number.
  • the vehicle number recognizer operates to recognize the vehicle number. When the vehicle in front of the vehicle does not leave the vehicle, the license plate of the vehicle following it is covered and the vehicle number cannot be recognized. do.
  • the present invention has been made to solve the above-described problems, LPR system that can accurately recognize the vehicle number using the image taken by the front and rear camera module and determine the type of vehicle based on the image analysis The purpose is to provide it to the user.
  • the present invention can increase the accuracy of vehicle number recognition by photographing both front and rear license plates of the vehicle with the front and rear camera modules, and recognizing the numbers, even if any one camera module is inoperable. Its purpose is to provide the user with an LPR system that can provide the flexibility of vehicle number recognition since the camera module can be operated.
  • the present invention provides a user with an LPR system that can further improve the accuracy of vehicle number recognition by comparing the matching rate of the individual letters and individual numbers constituting the text in using each text recognized from the front and rear license plate Its purpose is to.
  • the present invention provides a user with an LPR system that can estimate the full width length and the length of the leap from the photographed image and easily identify the type of the vehicle using the same, and automatically apply the settlement criteria according to the type of the vehicle.
  • the purpose is.
  • a front camera module photographing a first image including a front license plate of the vehicle based on the first entrance signal
  • a rear camera photographing a second image including a rear license plate of the vehicle based on the second entry signal when a second entry signal is output from a second loop line detector after passing through the first loop line detector of the vehicle; module; Controlling the front camera module and the rear camera module according to the reception of the first entry signal and the second entry signal, recognizing a first text based on the photographed front license plate, and based on the photographed rear license plate
  • a license plate determination unit for recognizing a second text and combining the recognized first text with the recognized second text to complete a vehicle number of the vehicle;
  • a display unit which displays the captured first image and the second image;
  • a user input unit for designating a first area that is a part of the
  • the rear camera module is provided on one side of the support for supporting the front camera module to photograph the opposite direction to the front camera module.
  • the license plate determination unit may include: detection signal processing means for receiving the first entry signal and the second entry signal and outputting control signals for controlling photographing of the front camera module and the rear camera module; A still image recognition module recognizing the first text and the second text as a still image of the photographed front license plate and the photographed rear license plate; And a video recognition module that recognizes the first text and the second text based on a plurality of frame images of the photographed front license plate and the photographed rear license plate.
  • the license plate determining unit may select the same letter or the same number to complete the vehicle number when the letters or the corresponding numbers are the same between the first text and the second text.
  • the vehicle number may be completed by selecting a letter having a high letter matching rate or a number having a high number matching rate by comparing a letter matching rate or a letter matching rate.
  • the character-specific matching rate or the number-specific matching rate is percentage information indicated by the license plate determination unit in the range of 0 to 100% corresponding to the recognition degree of the character or the number.
  • the license plate determination unit may complete the vehicle number by selecting the recognized text.
  • the vehicle model determining unit may detect the front license plate area and the rear license plate area using a histogram projection method, detect the headlight area and the rear lamp area using a blob method, and detect the front license plate area.
  • the full width and the leap length of the vehicle may be estimated by using triangle information, second triangle information connecting the center of gravity of the rear license plate area and the center of gravity of the rear lamp area.
  • an edge is detected in the first region and the second region, a morphology operation is performed on the first region and the second region where the edge is detected, and the front surface of the vehicle in the first region where the morphology operation is performed.
  • the license plate area and the headlight area may be detected, and the rear license plate area and the rear light area of the vehicle may be detected in the second area in which the morphology calculation is performed.
  • the apparatus may further include an unmanned payment unit for performing a fare settlement, wherein the unmanned payment unit includes: a display unit for an unmanned payment unit; A microphone for receiving an audio signal and processing the same into electrical voice data; Unattended control for displaying the first information for guiding charges according to the type of the vehicle is displayed on the display unit for the unmanned payment machine, and control to display the first information is changed according to the voice data acquired through the microphone A control unit for the payment unit; And a plurality of card readers configured to receive at least one card related to the fee settlement and to read information displayed on the at least one card.
  • the unmanned payment unit includes: a display unit for an unmanned payment unit; A microphone for receiving an audio signal and processing the same into electrical voice data; Unattended control for displaying the first information for guiding charges according to the type of the vehicle is displayed on the display unit for the unmanned payment machine, and control to display the first information is changed according to the voice data acquired through the microphone A control unit for the payment unit; And a plurality of card readers configured to receive at
  • the present invention can provide a user with an LPR system that can accurately recognize the vehicle number by using the images taken by the front and rear camera module and can determine the type of vehicle based on the image analysis.
  • the present invention can increase the accuracy of vehicle number recognition by photographing both front and rear license plates of the vehicle with the front and rear camera modules, and recognizing the numbers, even if any one camera module is inoperable.
  • the camera module can be operated to provide a user with an LPR system that can provide the flexibility of license plate identification.
  • the present invention provides a user with an LPR system that can further improve the accuracy of vehicle number recognition by comparing the matching rate of the individual letters and individual numbers constituting the text in using each text recognized from the front and rear license plate Can be.
  • the present invention can provide a user with an LPR system that can estimate the full width length and the length of the leap from the photographed image and easily identify the type of the vehicle, and automatically apply the settlement criteria according to the type of the vehicle. have.
  • FIG. 1 shows a block diagram of an LPR system according to the present invention.
  • FIG. 2 is a table illustrating specific criteria for classifying vehicles in relation to the present invention.
  • 3 and 4 are diagrams for describing specific specifications of a vehicle classified as a light vehicle in relation to the present invention.
  • FIG. 5 is a flowchart illustrating a method of checking whether a vehicle is a small car using the full width and rounding length estimated from the image proposed by the present invention.
  • 6 and 7 are diagrams comparing the results obtained by estimating the full width and the rounding length without performing the edge component and the morphology calculation.
  • FIG. 8 illustrates an example of a block diagram of a smart unmanned payment machine that automatically applies different settlement criteria depending on whether it is a light vehicle according to the present invention.
  • FIG. 10 is a perspective view and a partially enlarged view showing an embodiment of the LPR system of the present invention.
  • 11 to 14 illustrate an operation state of a camera module according to an entry / exit lane of a vehicle to explain a vehicle number recognition method according to the present invention.
  • 15 is a flowchart illustrating an embodiment of a vehicle number recognition method according to the present invention.
  • the LPR system may include a front camera module, a rear camera module, a license plate determination unit, a user input unit, a vehicle model determination unit, and the like.
  • the front camera module photographs the first image including the front license plate of the vehicle in response to the entry and exit of the vehicle
  • the rear camera module photographs the second image including the rear license plate of the vehicle.
  • the license plate determination unit recognizes the first text and the second text based on the photographed front license plate and the rear license plate, and combines them to complete the vehicle number of the vehicle.
  • the first image and the second image are displayed on the display unit, and the user designates the first region and the second region, which are part of the entire region of the first image and the second image, by using the user input unit.
  • the vehicle type determining unit detects the front license plate area and the headlight area of the vehicle in the first area, and detects the rear license plate area and the rear light area of the vehicle in the second area.
  • the vehicle model determination unit determines whether the vehicle is a preset type of vehicle based on the detected area.
  • the loop method is still mainly used as a means of detecting a vehicle (a means of determining whether it is a light vehicle), but a non-embedded detector is required due to the inconvenience of citizens and maintenance difficulties due to buried construction. It is becoming.
  • the unmanned settlement system uses a sensor, and most of the sensors used in the LPR (License Plate Recognition) system such as the unmanned settlement system adopt a PIR (Passive infrared) product.
  • LPR Liense Plate Recognition
  • PIR Passive infrared
  • the ambient temperature rises, which causes a problem of inferior sensitivity.
  • an apartment entrance may be turned on at first, but not on if you stay and work.
  • the ambient temperature is similar to the human body, so in the winter, more malfunctions.
  • the sensitivity of the PIR sensor may decrease even when using a shield that moves slowly or prevents heat.
  • Microwave Doppler sensors can be used to secure this problem.
  • the received frequency is compared so that it is not affected by the surrounding environment such as temperature, dust, noise, and the like.
  • the microwave Doppler sensor is expensive and has a problem in that it is difficult to operate with a battery because of high power consumption.
  • one or more microwave Doppler sensors are required to recognize the type of vehicle, and there is a problem in that the performance of the sensor varies depending on the installation section, environmental factors, and applications.
  • the present invention analyzes the image input from the camera to classify the type of vehicle, and the environmental factors in the conventional method, that is, the space-time constraints such as the installation cost and the section and the usage At the same time, to provide a vehicle recognition system that can be complementary to the existing systems, such as LPR.
  • the LPR system proposed by the present invention is to provide a system that can separately collect a fee by analyzing and interpreting different types of vehicles in an image input from a camera and recognizing only a light vehicle.
  • the present invention is not limited thereto, and it is obvious that the parameters of the present invention may be applied to various systems that classify the object into specific objects and apply the settlement criteria corresponding to the classified objects. .
  • FIG. 1 shows a block diagram of an LPR system according to the present invention.
  • the LPR system 1000 of the present invention includes a wireless communication unit 1100, an A / V input unit 1200, a user input unit 1300, an output unit 1500, a memory 1600, a controller 1800, and the like.
  • the power supply unit 1900 may be included.
  • the LPR system 1000 having more components or fewer components may be implemented.
  • the wireless communication unit 1100 may include one or more modules that enable wireless communication between the LPR system 1000 and the wireless communication system of the present invention or between a network in which the LPR system 1000 and the LPR system 1000 are located.
  • the wireless communication unit 1100 may include a broadcast receiving module 1110, a mobile communication module 1120, a short range communication module 1140, a location information module 1150, and the like.
  • the broadcast receiving module 1110 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 1120.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module 1110 may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast (DVB-H). Handheld), DVB-CBMS, OMA-BCAST, and ISDB-T (Integrated Services Digital Broadcast-Terrestrial) can be used to receive digital broadcast signals.
  • DMB-T Digital Multimedia Broadcasting-Terrestrial
  • DMB-S Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast
  • Handheld DVB-CBMS, OMA-BCAST, and ISDB-T (Integrated Services Digital Broadcast-Terrestrial) can be used to receive digital broadcast signals.
  • DVB-CBMS Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast
  • Handheld DVB-CBMS
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 1110 may be stored in the memory 1600.
  • the mobile communication module 1120 transmits and receives a wireless signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module 1130 refers to a module for wireless internet access and may be embedded or external to the LPR system 1000 of the present invention.
  • WLAN Wireless LAN
  • Wibro Wireless broadband
  • Wimax Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the short range communication module 1140 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module 1150 is a module for obtaining the location of the LPR system 1000, and a representative example thereof is a GPS (Global Position System) module.
  • GPS Global Position System
  • the GPS module 1150 calculates distance information and accurate time information from three or more satellites, and then applies a triangulation method to the calculated information, so that the three-dimensional chord according to latitude, longitude, and altitude is obtained.
  • the location information can be calculated accurately.
  • the GPS module 1150 may calculate speed information by continuously calculating the current position in real time.
  • the A / V input unit 1200 is for inputting an audio signal or a video signal, and may include a camera 1210 and a microphone 1220.
  • the camera 1210 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 1510.
  • the image frame processed by the camera 1210 may be stored in the memory 1600 or transmitted to the outside through the wireless communication unit 1100.
  • the camera 1210 may include a front camera module 100 and a rear camera module 200.
  • the camera 1210 may capture images of objects that can be photographed in the installed area, that is, pedestrians and vehicles.
  • the microphone 1220 receives an external sound signal by a microphone and processes the external sound signal into electrical voice data.
  • the processed voice data may be converted into a form transmittable to a predetermined authority through the mobile communication module 1120 and output.
  • the microphone 1220 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input unit 1300 generates input data for the user to control the operation of the LPR system.
  • the user input unit 1300 may receive a signal from a user, which designates two or more contents among the displayed contents according to the present invention.
  • the signal specifying two or more contents may be received through a touch input or may be received through a hard key and a soft key input.
  • the user input unit 1300 may receive an input for selecting one or more contents from a user.
  • the user may receive an input for generating an icon related to a function that can be performed by the LPR system 1000.
  • the user input unit 1300 may be composed of a direction key, a key pad, a dome switch, a touch pad (constant voltage / capacitance), a jog wheel, a jog switch, and the like.
  • the output unit 1500 is used to generate an output related to visual, auditory, or tactile senses, such as a display unit 1510, an audio output module 1520, an alarm unit 1530, an illumination unit 1540, and a projector module 1550. ) May be included.
  • the display unit 1510 displays (outputs) information processed by the LPR system 1000 of the present invention.
  • UI User Interface
  • GUI Graphic User Interface
  • the display unit 1510 supports 2D and 3D display modes.
  • the display unit 1510 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), or an organic light-emitting diode (OLED).
  • the display device may include at least one of a flexible display and a 3D display.
  • Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display.
  • a representative example of the transparent display is TOLED (Transparant OLED).
  • the rear structure of the display unit 1510 may also be configured as a light transmissive structure. With this structure, the user can see the object located behind the image-based vehicle recognition system body through the area occupied by the display unit 1510 of the image-based vehicle recognition system body.
  • the sound output module 1520 may output audio data received from the wireless communication unit 1100 or stored in the memory 1600 in a recording mode, a voice recognition mode, a broadcast receiving mode, and the like.
  • the sound output module 1520 may also output a sound signal related to a function performed by the LPR system 1000.
  • the sound output module 1520 may include a receiver, a speaker, a buzzer, and the like.
  • the alarm unit 1530 outputs a signal for notifying occurrence of an event of the LPR system 1000 of the present invention.
  • the alarm unit 1530 may output a signal for notifying an occurrence of an event by vibration, in addition to a video signal or an audio signal.
  • the video signal or the audio signal may also be output through the display unit 1510 or the audio output module 1520.
  • the display unit 1510 and the audio output module 1520 may be a kind of alarm unit 1530. May be classified.
  • the lighting unit 1540 is a technology for effectively using light in human life, there is artificial lighting by artificial light sources such as daylight illumination and electric light, which is a light by sunlight.
  • Incandescent bulbs a type of lighting unit 1540, do not require accessories for warm and cozy light and tangent lighting, and are easily combined with lighting fixtures, and despite the rapid spread of fluorescent lamps having excellent efficiency, lifespan, and color, the proportion of demand is high. Big. Especially in houses, it is widely used for creating a cozy atmosphere and the convenience of lighting.
  • a fluorescent lamp which is a kind of lighting unit 1540, is widely used in buildings, factories, shops, and houses because of excellent characteristics such as efficiency, lifespan, and light color.
  • Mercury lamps and sodium lamps were invented earlier than fluorescent lamps, but their use has been delayed due to color rendering problems. However, due to its high efficiency and long service life, it is now widely used for high ceiling factories, game lighting and road lighting. Recently, iodine bulbs using halogen cycles, high-efficiency halide lamps, solar lamps and the like have been developed and put into practical use.
  • the EL lamp which is a crystal light emitter, which is a kind of lighting unit 1540, has been spotlighted as a surface light source, but has not been put to practical use due to problems such as efficiency and light source device.
  • These artificial light sources have been developed aiming at the solar light which has been familiar with civilization for many years.
  • the lighting unit 1540 may include a light emitting diode (LED).
  • LED light emitting diode
  • a light emitting diode is a semiconductor device that emits light by flowing a current through a compound such as gallium arsenide.
  • a small number of carriers are injected using a p-n junction structure of m semiconductors, and light is emitted by recombination thereof.
  • LEDs are needed to create small lights that flash when the hard disk spins on the computer body, large billboards in city buildings, and invisible rays that signal the TV body whenever the TV remote control button is pressed.
  • the high efficiency of converting electrical energy into light energy can save energy by up to 90%, making it an attractive next-generation light source that can replace incandescent and fluorescent lamps with energy efficiency of only 5%.
  • LEDs consist of a structure in which positive charge particles, called electrons and holes, combine at the center of the electrode to emit photons of light when an electric current passes through a conductive material attached to the upper and lower electrodes. Different.
  • the shape of the above-described lighting unit 1540 is merely a list of simple examples and the content of the present invention is not limited thereto.
  • the projector module 1550 is a component for performing an image project function using the LPR system 100 and is the same as the image displayed on the display unit 1510 according to a control signal of the controller 1800. Or at least partially different images may be displayed on an external screen or wall.
  • the projector module 1550 may include a light source (not shown) for generating light (for example, laser light) for outputting the image to the outside, and an image for external output using the light generated by the light source. And an image generating means (not shown), and a lens (not shown) for expanding and outputting the image to the outside at a predetermined focal length.
  • the projector module 1550 may include a device (not shown) that can mechanically move the lens or the entire module to adjust the image projection direction.
  • the projector module 1550 may be divided into a cathode ray tube (CRT) module, a liquid crystal display (LCD) module, a digital light processing (DLP) module, and the like according to the type of device of the display means.
  • the DLP module may be advantageous in miniaturization of the projector module 1550 by expanding and projecting an image generated by reflecting light generated from a light source to a digital micromirror device (DMD) chip.
  • DMD digital micromirror device
  • the projector module 1550 may be provided in the longitudinal direction on the side, front or back of the LPR system 1000.
  • the projector module 1550 may be provided at any position of the LPR system 1000 as necessary.
  • the memory 1600 may store a program for processing and controlling the controller 1800 or may perform a function for temporarily storing input / output data. The frequency of use of each of the data may also be stored in the memory 1600.
  • the memory unit 1600 may store data about vibrations and sounds of various patterns that are output when a touch is input on the touch screen.
  • the memory 1600 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.). ), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic At least one type of storage medium may include a memory, a magnetic disk, and an optical disk.
  • the LPR system 1000 of the present invention may operate in association with a web storage that performs a storage function of the memory 1600 on the Internet.
  • the controller 1800 typically controls the overall operation of the LPR system 1000 of the present invention.
  • the controller 1800 may include a multimedia module for playing multimedia.
  • the multimedia module may be implemented in the controller 1800 or may be implemented separately from the controller 1800.
  • the power supply unit 1900 receives external power and internal power under the control of the controller 1800 to supply power for operation of each component.
  • embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller 1800 itself.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • Software code may be implemented in software applications written in a suitable programming language. The software code may be stored in the memory 1600 and executed by the controller 1800.
  • FIG. 2 is a table illustrating specific criteria for classifying vehicles in relation to the present invention.
  • the vehicle may be classified according to Article 9 of the regulation on the classification of the highway driving vehicles.
  • the first row, the second row, and the third row of the vehicle are referred to as one axis, two axes, and three axes, which are collectively referred to as the number of axes.
  • the wheel width is one axis of the vehicle wheels, and the wheel width means the distance between the front and rear wheels of the vehicle.
  • a first class means a two-axle vehicle, a wheel width of 279.4 mm or less, a 16-seater van or a passenger car, or a van less than 2.5 tons. It means vans, 2.5t to 5.5t vans, three means two-axle vehicles, over 279.4 mm wheel width, over 1,800 millimeters of 33 passenger vans, 5.5t to 10t vans, and four types are three axles 10 to 30t. It means a lorry.
  • the applied vehicle may vary depending on the specifications of the vehicle.
  • the criteria for classifying a vehicle model vary depending on the length, the argument, and the wheel width of the vehicle, and different tolls are made according to the vehicle model on the highway.
  • FIG. 3 and FIG. 4 are diagrams for describing specific specifications of a vehicle classified as a light vehicle in relation to the present invention.
  • specifications were compared with respect to a compact car having the most similar size to a light vehicle.
  • the present invention proposes a method for distinguishing a light vehicle and a vehicle other than a light vehicle for the full-length and the wheeled vehicle length because it is difficult to distinguish the entire specification of the vehicle.
  • the system proposed by the present invention is a system capable of providing a high-quality convenience to the user by dividing the full width and the leap, which is one of the vehicle information input by the camera, by using image processing technology, and dividing it into a light vehicle and a non-light vehicle.
  • the system proposed by the present invention is recognized as a misunderstanding, that is, a passenger car (more than a small car) at the toll gate on the highway and the portion collected for the regular parking fee in conjunction with the LPR system (the agent visually checks each vehicle). This is to solve the problem of frequent billing by checking and re-correcting the fee.
  • FIG. 5 is a flowchart illustrating a method for easily checking whether a vehicle is a small vehicle using the full width and rounding length estimated from the image proposed by the present invention.
  • an operation of receiving an image of a first object which is at least one vehicle is performed (S1000).
  • the first area is a predefined area and may mean the first half of the vehicle (headlight of the front side).
  • the first region which is the first half of the vehicle, may be manually defined and may be set by 1/3 of a predetermined ratio in the entire image.
  • the first area may include a front wheel part, a front license plate area, and a headlight part of the first object.
  • the step S2000 may include designating a second area related to the first object in the received image.
  • the second area may be a predefined area and may mean a rear part (rear tail light) of the vehicle.
  • the second area which is the rear part of the vehicle, may be manually defined and may be set by 1/3 of a predetermined ratio in the entire image.
  • the second area may include a rear wheel part, a rear license plate area, and a taillight part of the first object.
  • the detecting of an edge associated with the first object in the image may be performed. That is, in order to clearly specify the first object included in the image, the edge portion which is a reference of the appearance of the vehicle may be detected, and the first object may be specified based on the detected information.
  • Morphology calculation is an image processing technique used to transform the shape of a specific object present in an image, and is also used to express or describe the shape of an object.
  • morphology is used interchangeably with the term mathematical morphology, which is a technique for handling images from a morphological point of view.
  • the morphology technique is widely used in the form of pre- or post-processing in various image processing systems.
  • a simple morphology technique is used to remove the effects of noise in an image, and a slightly complex morphology technique is used to describe the shape of an object in an image.
  • Erosion operations generally have the effect of shaving off object regions within the image, and expansion operations result in expanding object regions. This morphology operation allows the first object in the image to be identified more accurately.
  • the step S2000 may include designating a second area related to the first object in the received image.
  • the manner of designating the second region may be implemented similarly to the above description.
  • the step S3000 may be represented by detecting the license plate area and the center of gravity by a histogram projection method and detecting the headlight area and the center of gravity by a blob method.
  • the step of detecting the license plate area and the center of gravity by the histogram projection method may be performed through the histogram projection method.
  • the histogram projection method is implemented by performing the vertical and horizontal directions and then summing the shaded values having the same components, that is, the coordinates in the pixels, wherein the numbers of the plates are included and included as the center of the summed data.
  • the license plate area and the center of gravity can be detected by projecting the coordinates of the area to the original image.
  • the blob method applied to detecting the headlight region and the center of gravity is a method that is frequently used as an object segmentation method in image processing.
  • methods based on differentials and methods based on local extremes may additionally be applied.
  • the headlight region and the center of gravity that have a constant size for the edge components and are easily determined by the unique characteristics of the section and the vehicle where the same components are collected locally are easily detected.
  • the step S3000 may include detecting a rear license plate area and a taillight area in the second area.
  • the manner of detecting the rear license plate area and the taillight area in the second area may be implemented similarly to the above description.
  • step S4000 the step of estimating the full width length and the rounding length using the front license plate area and the headlight area information detected in step S3000 is performed (S4000).
  • a triangle may be generated by connecting the two headlight regions and the center of gravity of the front license plate region to each other.
  • the full width can be determined by determining the left and right lengths by using two headlight areas based on the center of gravity of the front license plate area.
  • the full length of the vehicle can be determined by storing the numerical value corresponding to the triangle included in the image of the preset size in advance in the memory and converting the left and right lengths identified in the actual image using the numerical values stored in the memory. .
  • the rim length may be determined by extending vertically from the center of gravity of the two headlight regions based on a triangle generated by connecting each other based on the center of gravity of the two headlight regions and the license plate region.
  • the total length of the vehicle can be determined by storing the numerical value corresponding to the triangle included in the image of the preset size in advance in the memory and converting the length of the vertical extension line, which is found in the actual image, using the numerical value stored in the memory. Can be.
  • the overall width of the vehicle is determined by pre-determining the size of the image used for image analysis, and comparing the triangle drawn using the front license plate area and the center of gravity area of the headlight area with the data stored in the memory. We can estimate the length of and rounding.
  • the method may include estimating the full width length and the rounding length by using the rear license plate area and the tail light area information detected at step S3000.
  • the method of estimating the full width length and the round length using the rear license plate area and the tail light area information may be implemented similarly to the above description.
  • step S1000 may be performed again.
  • a condition for determining whether the vehicle is a light vehicle with an error range may be set.
  • whether or not the vehicle is light may be determined by adding a predetermined error range to the full width and rounding length of the vehicle determined as the light vehicle.
  • a plurality of triangle points as a reference may be stored in advance, and a method of determining whether the vehicle is a small car may be applied.
  • 6 and 7 are diagrams comparing the results obtained by estimating the full width and the rounding length without performing edge components and morphology calculation.
  • FIG. 6 is a result of not performing the edge detection and morphology operation described in FIG. 5
  • FIG. 7 is a result of performing the edge detection and morphology operation described in FIG. 5. 6 and 7, it can be seen that performing edge detection and morphology calculation can estimate the full width and rounding length of the vehicle more accurately.
  • a method of calculating a fare according to a standard applied to the light vehicle through an unmanned settlement system may be applied.
  • the integrated unattended payment proposed by the present invention will be referred to as a smart unattended payment.
  • the smart unmanned payment device applied to the present invention may have different specifications, specifications, and functions depending on whether it is applied to an exit settlement method or a preliminary settlement method.
  • FIG. 8 shows an example of a block diagram of a smart unmanned settlement system that automatically applies different settlement criteria depending on whether or not it is a light vehicle according to the present invention.
  • the smart unmanned payment system shown in FIG. 8 corresponds to the conventional unmanned payment system, respectively, but the exit system includes the smart unmanned payment system 2100, the parking lot internal system includes the smart unmanned payment system 2100, There is no separate kiosk and building guide included.
  • the smart unmanned calculator 2100 includes a wireless communication unit 2110, an audio / video input unit 2120, a user input unit 2130, a sensing unit 2140, an output unit 2150, and a memory ( 2160, an interface unit 2170, a controller 2180, a power supply unit 2190, a card reader unit 1210, an uninterruptible power supply unit 1220, and the like.
  • the components shown in FIG. 8 are not essential, so a smart unmanned payer with more or fewer components may be implemented.
  • the wireless communication unit 2110 may include one or more modules that enable wireless communication between the smart unmanned payer 2100 and the wireless communication system or between a network where the smart unmanned payer 2100 and the smart unmanned payer 2100 are located.
  • the wireless communication unit 2110 may include a broadcast receiving module 2111, a mobile communication module 2112, a wireless internet module 2113, a short range communication module 2114, a location information module 2115, and the like. .
  • the broadcast receiving module 2111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may refer to a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a pre-generated broadcast signal and / or broadcast related information and transmits the same to the smart unmanned payer 2100.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 2112.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module 2111 may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast (DVB-H). Handheld), DVB-CBMS, OMA-BCAST, and ISDB-T (Integrated Services Digital Broadcast-Terrestrial) can be used to receive digital broadcast signals.
  • DMB-T Digital Multimedia Broadcasting-Terrestrial
  • DMB-S Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast
  • Handheld DVB-CBMS, OMA-BCAST, and ISDB-T (Integrated Services Digital Broadcast-Terrestrial) can be used to receive digital broadcast signals.
  • DVB-CBMS Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast
  • Handheld DVB-CBMS
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 2111 may be stored in the memory 2160.
  • the mobile communication module 2112 transmits / receives a wireless signal with at least one of a base station, an external smart unmanned payer 2100, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module 2113 refers to a module for wireless internet access and may be embedded or external to the smart unmanned payment machine 2100.
  • WLAN Wireless LAN
  • Wibro Wireless broadband
  • Wimax Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the short range communication module 2114 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the position information module 2115 is a module for acquiring the position of the smart unmanned calculator 2100, and a representative example thereof is a GPS (Global Position System) module.
  • the GPS module 2115 calculates distance information and accurate time information away from three or more satellites, and then applies a triangulation method to the calculated information, so that the three-dimensional chord according to latitude, longitude, and altitude is obtained.
  • the location information can be calculated accurately.
  • a method of calculating position and time information using three satellites and correcting the error of the calculated position and time information using another satellite is widely used.
  • the GPS module 2115 may calculate speed information by continuously calculating the current position in real time.
  • the A / V input unit 2120 is for inputting an audio signal or a video signal, and may include a camera 2121 and a microphone 2122.
  • the camera 2121 processes an image frame such as a still image or a video obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display portion 2151.
  • the image frame processed by the camera 2121 may be stored in the memory 1160 or transmitted to the outside through the wireless communication unit 2110.
  • two or more cameras 2121 may be provided according to the use environment.
  • the microphone 2122 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 2112 and output in the call mode.
  • Various noise reduction algorithms may be implemented in the microphone 2122 to remove noise generated in the process of receiving an external sound signal.
  • the user input unit 2130 generates input data for the user to control the operation of the smart unattended calculator 2100.
  • the user input unit 2130 may receive a signal from a user, which designates two or more pieces of content displayed according to the present invention.
  • a signal specifying two or more contents may be received through a touch input or may be received through a hard key and a soft key input.
  • the user input unit 2130 may receive an input for selecting one or more contents from the user.
  • the user may receive an input for generating an icon related to a function that may be performed by the smart unattended calculator 2100.
  • the user input unit 2130 may be configured of a direction key, a key pad, a dome switch, a touch pad (constant voltage / capacitance), a jog wheel, a jog switch, and the like.
  • the sensing unit 2140 is an open / closed state of the smart unmanned payment device 2100, a position of the smart unmanned payment device 1100, a presence or absence of user contact, a bearing of the smart unmanned payment device, an acceleration / deceleration of the smart unmanned payment device, etc. Detecting the current state of the sensor generates a sensing signal for controlling the operation of the smart unmanned payer (2100). For example, whether the battery 2190 is supplied with power or whether the interface unit 2170 is coupled to an external device may be sensed.
  • the sensing unit 2140 may include a proximity sensor 2141. The proximity sensor 2141 will be described later with reference to a touch screen.
  • the output unit 2150 is to generate an output related to visual, auditory, or tactile senses, and may include a display unit 2151, a sound output module 2152, and the like.
  • the display unit 2151 displays (outputs) information processed by the smart unmanned payment machine 2100.
  • the smart unattended payment machine displays a user interface (UI) or a graphic user interface (GUI) related to the call.
  • UI user interface
  • GUI graphic user interface
  • the smart unattended calculator 2100 displays a photographed and / or received image, a UI, and a GUI.
  • the display unit 2151 supports 2D and 3D display modes.
  • the display unit 2151 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), or an organic light-emitting diode (OLED).
  • the display device may include at least one of a flexible display and a 3D display.
  • Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display.
  • a representative example of the transparent display is TOLED (Transparant OLED).
  • the rear structure of the display portion 2151 may also be configured as a light transmissive structure. With this structure, the user can see the object located behind the body of the smart unmanned calculator 2100 through the area occupied by the display unit 2151 of the body of the smart unmanned calculator 2100.
  • a plurality of display units may be spaced apart or integrally disposed on one surface of the smart unmanned calculator 2100, or may be disposed on different surfaces.
  • the display unit 2151 and a sensor for detecting a touch operation form a mutual layer structure (hereinafter, referred to as a “touch screen”)
  • the display unit 2151 may be used in addition to an output device.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display portion 2151 or capacitance generated at a specific portion of the display portion 2151 into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch.
  • the corresponding signal (s) is sent to a touch controller (not shown).
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 2180.
  • the controller 2180 may determine which area of the display unit 2151 is touched.
  • the proximity sensor 2141 may be disposed in the inner region of the smart unmanned calculator covered by the touch screen or near the touch screen.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Proximity sensors have a longer life and higher utilization than touch sensors.
  • the proximity sensor examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.
  • the touch screen may be classified as a proximity sensor.
  • the act of allowing the pointer to be recognized without being in contact with the touch screen so that the pointer is located on the touch screen is referred to as a "proximity touch", and the touch
  • the act of actually touching the pointer on the screen is called “contact touch.”
  • the position where the proximity touch is performed by the pointer on the touch screen refers to a position where the pointer is perpendicular to the touch screen when the pointer is in proximity proximity.
  • the proximity sensor detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state).
  • a proximity touch and a proximity touch pattern for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state.
  • Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.
  • the sound output module 2152 may output audio data received from the wireless communication unit 2110 or stored in the memory 2160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output module 2152 may also output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed by the smart unattended calculator 2100.
  • the sound output module 2152 may include a receiver, a speaker, a buzzer, and the like.
  • the memory 2160 may store a program for processing and controlling the controller 2180, and input / output data (for example, a phone book, a message, an audio, a still image, an e-book, a video, a transmission / reception message). Function for temporary storage of history, etc.).
  • the memory 2160 may also store a frequency of use of each of the data (eg, a phone number, a message, and a frequency of use of each multimedia).
  • the memory unit 2160 may store data regarding vibration and sound of various patterns output when a touch input on the touch screen is performed.
  • the memory 2160 also stores a web browser displaying 3D or 2D web pages, in accordance with the present invention.
  • the memory 2160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, an SD or XD memory, etc.). ), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic At least one type of storage medium may include a memory, a magnetic disk, and an optical disk.
  • the smart unmanned payer 2100 may operate in association with a web storage that performs a storage function of the memory 2160 on the Internet.
  • the interface unit 2170 serves as a path with all external devices connected to the smart unmanned payment device 2100.
  • the interface unit 2170 receives data from an external device, receives power, and transfers the data to each component inside the smart unmanned payer 2100, or transmits data within the smart unmanned payer 2100 to an external device.
  • wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports, The video input / output (I / O) port, the earphone port, and the like may be included in the interface unit 2170.
  • the identification module is a chip that stores various types of information for authenticating the usage rights of the smart unmanned payment device 2100.
  • the identification module includes a user identification module (UIM), a subscriber identification module (SIM), and a universal user authentication module. (Universal Subscriber Identity Module, USIM) and the like.
  • a device equipped with an identification module hereinafter referred to as an 'identification device' may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the smart unmanned payment device 2100 through a port.
  • the interface unit may be a passage through which power from the cradle is supplied to the smart unmanned calculator 2100 when the smart unmanned calculator 2100 is connected to an external cradle, or various command signals inputted from the cradle by a user may be provided. It may be a passage that is delivered to the smart unmanned payment. Various command signals or power input from the cradle may be operated as signals for recognizing that the smart unmanned payer is correctly mounted on the cradle.
  • the controller 2180 typically controls the overall operation of the smart unmanned payer. For example, perform related control and processing for voice calls, data communications, video calls, and the like.
  • the controller 2180 may include a multimedia module 2181 for playing multimedia.
  • the multimedia module 2181 may be implemented in the controller 2180 or may be implemented separately from the controller 2180.
  • the controller 2180 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on the touch screen as text and an image, respectively.
  • the controller 2180 is input through the camera 2121 according to the present invention.
  • the preview image is pulled up and displayed on the screen of the organic light-emitting diode (OLED) or TOLED (Transparant OLED)
  • the size of the preview image is adjusted according to a user's operation, the size is displayed on the screen.
  • the power consumption of the power supplied from the power supply 2190 to the display unit 2151 may be reduced by turning off the driving of the pixels in the second area except the first area in which the adjusted preview image is displayed.
  • the power supply unit 2190 receives an external power source and an internal power source under the control of the controller 2180 to supply power for operation of each component.
  • embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller 2180 itself.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • Software code may be implemented in software applications written in a suitable programming language. The software code may be stored in the memory 2160 and executed by the controller 2180.
  • the card reader unit 2210 provides a function of reading a card used by the user for unattended settlement and transferring the read information to the controller 2180.
  • the card reader unit 2210 according to the present invention may include a credit card reader module 2211 and a discount card reader module 2212.
  • the credit card reader module 2211 provides a function of reading credit card information used by a user and delivering the information to the controller 2180.
  • the discount card reader module 2212 provides a function of reading a discount card stored in a discount content applied at the time of unattended settlement by the user and transmitting the discount card to the controller 2180.
  • the uninterruptible power supply (UPS) 2120 is a device for supplying high quality stable AC power by overcoming a power failure that may occur in commercial power.
  • the uninterruptible power supply 2120 prevents power abnormalities due to voltage fluctuations, frequency fluctuations, instantaneous blackouts, transient voltages, etc., when using a general power supply or a reserve power supply, and provides a stable power supply at all times.
  • the ambient temperature increases as the object gets closer, and thus there is a problem that the sensitivity is lowered.
  • the present invention can easily provide a user with a system that automatically checks whether the vehicle is light using the full width and the rolling length estimated from the image, and automatically applies other settlement criteria according to whether the vehicle is light.
  • FIG. 9 is a schematic diagram showing the configuration of an embodiment of the present invention LPR system.
  • an embodiment of the present invention includes a front camera module 100 photographing a front license plate, a rear camera module 200 photographing a rear license plate, and a controller for recognizing text and completing a vehicle number ( 300).
  • first loop line detector 110 and the second loop line outputting the entrance signal of the entry and exit lane 20 of the vehicle 10 to determine whether the front camera module 100 and the rear camera module 200 are photographed.
  • the detector 210 is further provided.
  • the display means 400 for displaying the completed vehicle number may be further included.
  • the controller 300 includes a detection signal processing means 330, a still image recognition module 310, and a video recognition module 320. Can be configured.
  • the first loop line detector 110 generates a first entry signal in response to the entry and exit of the vehicle 10 and receives the first entry signal.
  • the photographing control signal is output through the detection signal processing means 330, the front camera module 100 photographs the front license plate of the vehicle 10.
  • the second loop line detector 210 When the vehicle 10 enters the second loop line detector 210 after passing through the first loop line detector 110, the second loop line detector 210 generates a second entry signal, and the second loop signal is generated.
  • the rear camera module 200 photographs the rear license plate through the detection signal processing means 330 receiving the entrance signal.
  • the first and second texts are recognized and recognized by image processing and analyzing the front license plate and the photographed rear license plate through the still image recognition module 310 and the video recognition module 320 of the controller 300.
  • the vehicle number is completed by combining the two texts.
  • the first loop line detector 110 and the second loop line detector 210 are buried in the entry and exit 20 to be spaced apart by a predetermined distance to allow the front and rear license plate photographing It serves to detect the vehicle 10.
  • the signal generated by the detection of the vehicle 10 may be divided into a trigger on signal generated when the upper part of the loop line enters and a trigger off signal generated when the upper part of the roof line leaves the loop line.
  • both the trigger on signal and the trigger off signal are used in some cases to secure the photographing viewing angle of the front and rear license plates.
  • the front camera module 100 is a configuration required for photographing the front license plate of the vehicle 10.
  • the detection signal processing means 330 receiving the first entry signal from the first loop line detector 110 outputs a control signal to start capturing and transmits the captured image to the controller 300.
  • the front camera module 100 is a digital CCD (Charge-Coupled Device) camera capable of shooting a still image or a video of a plurality of frames, a network camera capable of TCP / IP networking is preferable.
  • CCD Charge-Coupled Device
  • the rear camera module 200 is a configuration required for photographing the rear license plate of the vehicle 10.
  • the detection signal processing means 330 which receives the second entry signal from the second loop line detector 210, outputs a control signal to start capturing and transmits the captured image to the controller 300.
  • the rear camera module 200 also uses a digital CCD (Charge-Coupled Device) camera capable of capturing still images or video of a plurality of frames, and the network camera capable of TCP / IP networking is the same as the front camera module 100. .
  • CCD Charge-Coupled Device
  • the controller 300 receives the captured images of the front license plate and the rear license plate from the front camera module 100 and the rear camera module 200 to recognize the first and second texts, and based on the recognized first and second texts, the vehicle number. To complete.
  • the first and second texts are compared to be identical, and if the same, the letters and numbers of any one text are selected to complete the vehicle number.
  • the letters compare the letter-to-letter matching rates and the numbers compare the number-to-number matching rates.
  • the vehicle number is completed by selecting letters with high matching rate or numbers with high matching rate.
  • the control unit 300 recognizes the first and second texts with a still image photographed once for accurate vehicle number completion through text recognition and comparison and comparison of character matching rates or numerical matching rates.
  • the video recognition module 320 may recognize the first and second texts based on a plurality of frame images of the photographed front license plate and the photographed rear license plate.
  • the still image recognition module 310 and the video recognition module 320 may be configured as a computer having a predetermined program embedded therein and capable of image processing and image analysis.
  • control unit 300 receives the first and second entry signals from each of the camera modules 100 and 200 and detects signal processing means 330 to output a control signal for controlling the shooting of each camera module 100 and 200.
  • a separate computer in which the vehicle detection program is built may be further provided.
  • FIG. 10 is a perspective view and a partially enlarged view showing an embodiment of the present inventors LPR system.
  • the first loop line detector 110 and the second loop line detector 210 are fixed on the entry / exit lane 20 to detect the vehicle 10 entering the entry / exit lane 20. Buried a distance away.
  • the support 130 is positioned at the left side of the entry / exit lane 20 in the traveling direction to support the first camera module 100, and the second camera module 200 is provided at one side of the support 130.
  • the front camera module 100 includes a plurality of infrared light emitting diode (LED) lamps 120 under the camera lens for night photographing, and the first loop line detector 110 to photograph the front license plate. The surroundings are set within the photographing viewing angle.
  • the infrared light emitting diode lamp 120 may be provided with a momentary lighting device (strobe, not shown) for irradiating infrared light at the moment of photographing the vehicle 10.
  • the rear camera module 200 is provided with a plurality of light emitting diode lamps 220 for lighting under the camera lens, and is opposite to the front camera module 100 to photograph the rear license plate. Heading in the direction.
  • the plurality of light emitting diode lamps 220 are infrared light emitting diode lamps 220, and a momentary lighting device (strobe, not shown) may be provided as the front camera module 100 is the same.
  • 11 to 14 are views illustrating the operating states of the camera modules 100 and 200 according to the entry and exit lane 20 of the vehicle 10 in order to explain the vehicle number recognition system according to the present invention. 11 to 14, the operating states of the camera modules 100 and 200 according to the entry and exit lane 20 of the vehicle 10 will be described.
  • the front camera module 100 photographs the front license plate of the vehicle 10.
  • the detection signal processing means 330 of the control unit 300 receives the detection signal of the vehicle 10 of the first loop line detector 110 and receives the trigger on signal that is the first entry signal. It outputs and photographs the front license plate in the photographing viewing angle A.
  • the end of the recording of the front camera module 100 may be a time limit to end the shooting by the appropriate time limit, but the control unit 300 processes the front license plate image received from the front camera module 100, It is common to end by analyzing and acquiring a high recognition rate license number text.
  • the rear camera module 200 is ready to be photographed.
  • the photographing standby state for example, if an illumination for photographing is required, the infrared light emitting diode lamp 220 may be turned on.
  • the detection signal processing means 330 of the controller 300 receives the detection signal of the vehicle 10 of the second loop line detector 210 and outputs a trigger off signal that is the second entry signal. To photograph the rear license plate in the photographing viewing angle (A).
  • FIG. 15 is a view sequentially showing an embodiment of the present invention vehicle number recognition method.
  • the front camera module 100 based on the first entrance signal output from the first loop line detector 110 in response to the entry and exit of the vehicle 10. Take a picture of the front license plate (S100).
  • control unit 300 recognizes the first text based on the photographed front license plate (S200).
  • the rear camera module 200 displays the rear license plate of the vehicle 10 based on the second entry signal output from the second loop line detector 210.
  • Shoot (S300) After the rear camera module 200 passes the first loop line detector 110 of the vehicle 10, the rear camera module 200 displays the rear license plate of the vehicle 10 based on the second entry signal output from the second loop line detector 210.
  • Shoot (S300) After the rear camera module 200 passes the first loop line detector 110 of the vehicle 10, the rear camera module 200 displays the rear license plate of the vehicle 10 based on the second entry signal output from the second loop line detector 210.
  • Shoot (S300) the rear camera module 200 displays the rear license plate of the vehicle 10 based on the second entry signal output from the second loop line detector 210.
  • the controller 300 recognizes the second text based on the photographed rear license plate (S400).
  • the controller 300 compares whether the recognized first text is the same as the recognized second text (S500).
  • control unit 300 completes the vehicle number by combining the recognized first text and the recognized second text (S600), and the vehicle number recognition method using the front and rear camera module is performed.
  • the control unit 300 recognizes each text as a character matching rate or a number matching rate, and the control unit 300 each When the individual letters or numbers of the text are not recognized, it is preferable to recognize the matching rate for each character or the matching rate for each number as 0% and still use the matching rate comparison target.
  • the second entrance signal is detected by the detection signal processing means of the control unit 300 as the vehicle 10 leaves the second loop line detector 210 ( 330 is a trigger off signal to be output.
  • the vehicle number completion step S600 of the control unit 300 selects the same character or the same number when the control unit 300 corresponds to the same text or the corresponding number between the first text and the second text (S610).
  • the vehicle number recognition method using the front and rear camera modules may be performed by the controller 300 completing the vehicle number with the selected letter or the selected number (S620).
  • the vehicle number completion step (S600) of the control unit 300 compares the matching rate for each letter or the matching rate for each number if the control unit 300 has different characters or corresponding numbers between the first text and the second text. (S630), a letter having a high matching rate for each letter or a number having a high matching rate for each number is selected (S640).
  • the vehicle number recognition method using the front and rear camera modules may be performed by the controller 300 completing the vehicle number with the selected letter or the selected number (S650).
  • Table 1 An example of completing a vehicle number by applying a vehicle number recognition method using a front and rear camera module is shown in Table 1 below. Marked with x in Table 1 is an unrecognized letter or number with a matching rate of 0%.
  • Front camera recognition value Rear camera recognition value Completed Vehicle Number Remarks Seoulxx Seoul 21xx2752 Seoul 21M2727 Complete by combining Unrecognized Seoul21ner2752 Seoul21ner2752 Rear camera recognition value Seoul21ner2752 Seoul21ner2752 Seoul21ner2752 Complete with match Seoul 21 Mer 2752 (merger match rate: 70%) Seoul 21ner2752 (Your matching rate: 85%) Seoul21ner2752 Completed with rear camera recognition value with high matching rate for each character
  • the display means 400 displays the completed vehicle number (S700) to inform the user of the recognized vehicle number to the system.
  • the display means 400 may display the first and second texts recognized by each of the front and rear camera modules 100 and 200 in addition to the completed vehicle number, and in this case, display the character matching ratio and the numerical matching ratio together. can do.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
  • the above-described apparatus and method may not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments may be selectively combined in whole or in part in each of the embodiments so that various modifications may be made. It may be configured.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 전후면 카메라모듈로 촬영된 영상을 이용하여 차량번호를 정확하게 인식하며 영상해석에 기반하여 차량의 종류를 판단할 수 있는 LPR 시스템에 관한 것이다. 본 발명의 일예와 관련된 LPR 시스템은, 차량의 입출차로 진입에 대응하여 차량의 전면 번호판을 포함하는 제 1이미지를 촬영하는 전면 카메라모듈; 상기 차량의 후면 번호판을 포함하는 제 2이미지를 촬영하는 후면 카메라모듈; 상기 촬영된 전면 번호판와 후면 번호판을 기초로 제 1텍스트와 제 2텍스트를 인식하고, 이를 조합하여 상기 차량의 차량번호를 완성하는 번호판 판단부; 디스플레이부 상에 표시된 제 1이미지와 제 2이미지의 전체 영역 중 일부인 제 1영역과 제 2영역을 지정하기 위한 사용자 입력부; 및 상기 제 1영역에서 상기 차량의 전면 번호판 영역 및 헤드라이트 영역을 검출하고, 상기 제 2영역에서 상기 차량의 후면 번호판 영역 및 후미등 영역을 검출하여 상기 차량이 기 설정된 종류의 차량인지 여부를 판단하는 차종 판단부;를 포함할 수 있다.

Description

전후면 카메라모듈을 적용한 영상해석 기반의 LPR 시스템
본 발명은 전후면 카메라모듈로 촬영된 영상을 이용하여 차량번호를 정확하게 인식하며 영상해석에 기반하여 차량의 종류를 판단할 수 있는 LPR 시스템에 관한 것이다.
경제성장과 소득증가로 인해 차량의 수요가 급증하고 있는 데에 반하여 도로 사정이나 교통상황을 관리하는 인력은 이에 미치지 못하고 있다. 따라서 제한된 인원으로 현재의 열악한 교통 관리 체계를 극복하고자 하는 노력들이 많이 이루어지고 있다.
이러한 노력의 일환으로서 차량의 자동인식(번호인식 포함) 시스템의 개발이 활발하게 진행되고 있다. 차량 인식 혹은 차량의 번호(문자) 인식을 통해 교통 단속은 물론 교통량 조사, 도난 차량 검거, 출입 차량 통제, 주차 시설 관리 등의 다양한 분야에 효과적으로 이용할 수 있며, 현재까지 많은 연구가 이루어져 왔다.
특히, 차량 번호판의 문자를 인식하기 위한 과정은 다른 문자 인식과는 달리 주변 환경적인 영향으로 카메라 잡음, 조명변화, 날씨 등으로 인해 왜곡된 현상이 발생하기 때문에 강인한 처리방법들이 고려되어야 한다. 하지만 차량의 번호판 영역의 경우 그 고유의 특성상 내용이 제한되어 있고, 일반적인 문자 인식(패턴인식)에 비해 구조가 단순하다. 이러한 이유로 인해서 차량 번호 인식(License Plate Recognition: LPR)은 환경적인 특성, 차량의 수요 증가, 인력수급 및 주차공간의 자원 관리를 효율적으로 운영하기 위한 가장 보편적인 시스템이라고 할 수 있다.
LPR 시스템 또는 번호인식 기술은 영국에서 1976년에 가장 먼저 개발되었다. 그 이후 수십 년 동안, 기술이 진화하고 시장 수요가 증가함에 따라 LPR 시스템은 꾸준히 성장하였고, 동남아시아를 비롯한 유럽 국가에서 점차 확대되었다. 이로 인해 미국 북미 지역에서도 LPR 시스템 시장이 크게 성장하고 있다. 이는 효율적인 범죄 진압 및 예방 기술에 대한 강한 동기부여로 이어져서 더 넓은 시장으로 활성화되는 계기가 되었다.
과거의 차량 번호 인식(LPR) 또는 ALPR(Automated LPR) 시스템은 차량 번호판을 판독하기 위해 카메라로부터 획득된 이미지(영상)에서 광학문자인식(Optical Character Recognition: OCR)을 사용하여 감시방법(Surveillance Method)에 적용되었다. 최근에는 주차관리 시스템이란 명칭으로 주차공간의 효율적인 업무를 진행하고 있다. 현재 LPR 시스템은 주차환경과 관련하여 관리인이 주차 요금을 정산함으로써 인력수급 및 인건비 부담과 요금 누수현상을 해결하고 있고, LPR 시스템의 수요는 끊임없이 증가되고 가면서 기술의 변화 및 개발이 지속적으로 이어지고 있다.
그러나, 기존의 차량번호 인식기는 차량 전면을 촬영하는 방식이므로 전면 번호판이 오훼손된 경우에는 차량번호의 미인식 또는 부분 인식으로 인해 인식의 정확도가 떨어지는 문제점이 있었다. 또한, 차량이 진입하여 루프선 검지기에 진입시 차량번호 인식기가 작동하여 차량번호를 인식하게 되는데 앞 차량이 미처 출차하지 않았을 때 뒤에서 따라오는 차량의 번호판이 가리게 되어 차량번호를 인식하지 못하는 상황이 발생하기도 한다.
따라서, 전후면 번호판 모두를 차량번호 인식대상으로 하여 촬영하는 차량번호 감지기의 필요성과 함께 촬영된영상을 토대로 차량번호를 보다 정확하게 인식할 수 있는 인식방법의 필요성이 대두된다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 전후면 카메라모듈로 촬영된 영상을 이용하여 차량번호를 정확하게 인식하며 영상해석에 기반하여 차량의 종류를 판단할 수 있는 LPR 시스템을 사용자에게 제공하는 데 그 목적이 있다.
구체적으로, 본 발명은 전후면 카메라모듈로 차량의 전후면 번호판 모두를 촬영하고 번호를 인식함으로써 차량번호 인식의 정확도를 높일 수 있으며, 동시에 어느 하나의 카메라모듈이 작동할 수 없는 경우에도 나머지 하나의 카메라모듈이 작동될 수 있으므로 차량번호 인식의 유연성을 제공할 수 있는 LPR 시스템을 사용자에게 제공하는 데 그 목적이 있다.
또한, 본 발명은 전후면 번호판으로부터 인식되는 각각의 텍스트를 이용함에 있어서 텍스트를 구성하는 개별 문자 및 개별 숫자의 매칭율 비교를 통해 차량번호 인식의 정확도를 보다 높일 수 있는 LPR 시스템을 사용자에게 제공하는 데 그 목적이 있다.
또한, 본 발명은 촬영된 이미지에서 전폭길이와 윤거 길이를 추정하고 이를 이용하여 차량의 종류를 손쉽게 확인하고, 차량의 종류에 따라 정산 기준을 자동으로 적용할 수 있는 LPR 시스템을 사용자에게 제공하는 데 그 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 전후면 카메라모듈을 적용한 영상해석 기반의 LPR 시스템은, 차량의 입출차로 진입에 대응하여 제 1루프선 검지기로부터 제 1진입신호가 출력되는 경우, 상기 제 1진입신호에 기초하여 상기 차량의 전면 번호판을 포함하는 제 1이미지를 촬영하는 전면 카메라모듈; 상기 차량의 상기 제 1루프선 검지기 통과 후 제 2루프선 검지기로부터 제 2진입신호가 출력되는 경우, 상기 제 2진입신호에 기초하여 상기 차량의 후면 번호판을 포함하는 제 2이미지를 촬영하는 후면 카메라모듈; 상기 제 1진입신호 및 상기 제 2진입신호의 수신에 따라 상기 전면 카메라모듈 및 상기 후면 카메라모듈를 제어하고, 상기 촬영된 전면 번호판을 기초로 제 1텍스트를 인식하며, 상기 촬영된 후면 번호판을 기초로 제 2텍스트를 인식하고, 상기 인식된 제 1텍스트와 상기 인식된 제 2텍스트를 조합하여 상기 차량의 차량번호를 완성하는 번호판 판단부; 상기 촬영된 제 1이미지 및 제 2이미지를 표시하는 디스플레이부; 상기 디스플레이부 상에 표시된 상기 제 1이미지의 전체 영역 중 일부인 제 1영역을 지정하고, 상기 디스플레이부 상에 표시된 상기 제 2이미지의 전체 영역 중 일부인 제 2영역을 지정하기 위한 사용자 입력부; 및 상기 제 1영역에서 상기 차량의 전면 번호판 영역 및 헤드라이트 영역을 검출하고, 상기 제 2영역에서 상기 차량의 후면 번호판 영역 및 후미등 영역을 검출하며, 상기 검출된 전면 번호판 영역, 후면 번호판 영역, 헤드라이트 영역 및 후미등 영역을 이용하여 상기 차량의 전폭길이 및 윤거 길이를 추정하고, 상기 추정된 전폭길이 및 윤거 길이를 이용하여 상기 차량이 기 설정된 종류의 차량인지 여부를 판단하는 차종 판단부;를 포함할 수 있다.
또한, 상기 후면 카메라모듈은 상기 전면 카메라모듈을 지지하는 지지대의 일 측면에 구비되어 상기 전면 카메라모듈과 반대 방향을 촬영한다.
또한, 상기 번호판 판단부는, 상기 제 1진입신호 및 상기 2진입신호를 수신하여 상기 전면 카메라모듈 및 상기 후면 카메라모듈의 촬영 제어를 위한 제어신호를 출력하는 검지신호 처리수단; 상기 촬영된 전면 번호판 및 상기 촬영된 후면 번호판을 1회 촬영한 스틸 영상으로 상기 제 1텍스트 및 상기 2텍스트를 인식하는 스틸 영상 인식모듈; 및 상기 촬영된 전면 번호판 및 상기 촬영된 후면 번호판의 복수의 프레임 영상을 기초로 상기 제 1텍스트 및 상기 2텍스트를 인식하는 동영상 인식모듈;을 더 포함할 수 있다.
또한, 상기 번호판 판단부는, 상기 제 1텍스트와 상기 제 2텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 동일한 경우, 상기 동일한 문자 또는 상기 동일한 숫자를 선택하여 상기 차량번호를 완성하고, 상기 문자 또는 상기 숫자가 상호 다른 경우, 문자별 매칭율 또는 숫자별 매칭율을 비교하여 상기 문자별 매칭율이 높은 문자 또는 상기 숫자별 매칭율이 높은 숫자를 선택함으로써 상기 차량번호를 완성할 수 있다.
또한, 상기 문자별 매칭율 또는 상기 숫자별 매칭율은 상기 번호판 판단부가 상기 문자 또는 상기 숫자의 인식 정도에 대응하여 0 ~ 100 %로 나타낸 퍼센트 정보이다.
또한, 상기 번호판 판단부는, 상기 제 1텍스트 및 상기 제 2텍스트 중 어느 하나의 텍스트만 인식된 경우, 상기 인식된 하나의 텍스트를 선택함으로써 상기 차량번호를 완성할 수 있다.
또한, 상기 차종 판단부는, 히스토그램 투영 방법을 이용하여 상기 전면 번호판 영역 및 상기 후면 번호판 영역을 검출하고, 블럽(blob) 방법을 이용하여 상기 헤드라이트 영역 및 상기 후미등 영역을 검출하며, 상기 전면 번호판 영역의 무게 중심, 상기 후면 번호판 영역의 무게 중심, 상기 헤드라이트 영역의 무게 중심 및 상기 후미등 영역의 무게 중심을 검출하고, 상기 전면 번호판 영역의 무게 중심 및 상기 헤드라이트 영역의 무게 중심을 연결한 제 1트라이앵글(triangle) 정보와 상기 후면 번호판 영역의 무게 중심 및 상기 후미등 영역의 무게 중심을 연결한 제 2트라이앵글 정보를 이용하여 상기 차량의 전폭길이 및 윤거 길이를 추정할 수 있다.
또한, 상기 제 1영역 및 상기 제 2영역에서 에지를 검출하고, 에지가 검출된 제 1영역 및 제 2영역에 대해 모폴로지 연산을 수행하며, 상기 모폴로지 연산을 수행한 제 1영역에서 상기 차량의 전면 번호판 영역 및 헤드라이트 영역을 검출하고, 상기 모폴로지 연산을 수행한 제 2영역에서 상기 차량의 후면 번호판 영역 및 후미등 영역을 검출할 수 있다.
또한, 요금 정산을 수행하기 위한 무인정산기;를 더 포함하되, 상기 무인정산기는, 무인정산기용 디스플레이부; 음향 신호를 입력받아 전기적인 음성 데이터로 처리하는 마이크; 상기 차량의 종류에 따라 요금 정산을 안내하는 제 1정보가 상기 무인정산기용 디스플레이부 상에 표시되도록 제어하고, 상기 마이크를 통해 획득된 음성 데이터에 따라 상기 제 1 정보가 변경되어 표시되도록 제어하는 무인정산기용 제어부; 및 상기 요금 정산과 관련된 적어도 하나의 카드를 입력받고, 상기 적어도 하나의 카드에 표시된 정보를 판독하는 복수의 카드 리더부;를 더 포함할 수 있다.
본 발명은 전후면 카메라모듈로 촬영된 영상을 이용하여 차량번호를 정확하게 인식하며 영상해석에 기반하여 차량의 종류를 판단할 수 있는 LPR 시스템을 사용자에게 제공할 수 있다.
구체적으로, 본 발명은 전후면 카메라모듈로 차량의 전후면 번호판 모두를 촬영하고 번호를 인식함으로써 차량번호 인식의 정확도를 높일 수 있으며, 동시에 어느 하나의 카메라모듈이 작동할 수 없는 경우에도 나머지 하나의 카메라모듈이 작동될 수 있으므로 차량번호 인식의 유연성을 제공할 수 있는 LPR 시스템을 사용자에게 제공할 수 있다.
또한, 본 발명은 전후면 번호판으로부터 인식되는 각각의 텍스트를 이용함에 있어서 텍스트를 구성하는 개별 문자 및 개별 숫자의 매칭율 비교를 통해 차량번호 인식의 정확도를 보다 높일 수 있는 LPR 시스템을 사용자에게 제공할 수 있다.
또한, 본 발명은 촬영된 이미지에서 전폭길이와 윤거 길이를 추정하고 이를 이용하여 차량의 종류를 손쉽게 확인하고, 차량의 종류에 따라 정산 기준을 자동으로 적용할 수 있는 LPR 시스템을 사용자에게 제공할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시례를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명에 따른 LPR 시스템의 블록 구성도를 도시한 것이다.
도 2는 본 발명과 관련하여, 차량을 분류하는 구체적인 기준을 표로 정리한 것을 도시한 것이다.
도 3 및 도 4는 본 발명과 관련하여, 경차로 분류되는 차량의 구체적인 제원을 설명하기 위한 도면이다.
도 5는 본 발명이 제안하는 이미지에서 추정한 전폭길이와 윤거길이를 이용하여 경차인지 여부를 확인하는 방법을 설명하기 위한 순서도이다.
도 6 및 도 7은 에지 성분과 모폴로지 연산을 수행하지 않고 전폭길이 및 윤거길이를 추정한 결과 수행하여 추정한 결과를 비교하는 도면이다.
도 8은 본 발명에 따라 경차인지 여부에 따라 다른 정산 기준을 자동으로 적용하는 스마트 무인정산기의 블록 구성도의 일례를 나타낸 것이다.
도 9는 본 발명인 LPR 시스템의 번포한 판단부에 대한 구성을 간략하게 나타낸다.
도 10은 본 발명의 LPR 시스템의 일 실시예를 나타낸 사시도 및 부분확대도이다.
도 11 내지 도 14는 본 발명에 따른 차량번호 인식 방법을 설명하기 위해 차량의 입출차로 진입 상황에 따른 카메라모듈의 작동상태를 나타낸다.
도 15는 본 발명에 따른 차량번호 인식 방법의 일 실시예를 설명하기 위한 순서도이다.
본 발명에 따른 LPR 시스템은, 전면 카메라모듈과 후면 카메라모듈, 번호판 판단부, 사용자 입력부, 차종 판단부 등으로 구성될 수 있다.
전면 카메라모듈은 차량의 입출차로 진입에 대응하여 차량의 전면 번호판을 포함하는 제 1이미지를 촬영하며, 후면 카메라모듈은 차량의 후면 번호판을 포함하는 제 2이미지를 촬영한다. 번호판 판단부는 상기 촬영된 전면 번호판와 후면 번호판을 기초로 제 1텍스트와 제 2텍스트를 인식하고, 이를 조합하여 상기 차량의 차량번호를 완성한다.
디스플레이부 상에는 제 1이미지와 제 2이미지가 표시되며, 사용자는 사용자 입력부를 이용하여 제 1이미지와 제 2이미지의 전체 영역 중 일부인 제 1영역과 제 2영역을 지정한다. 차종 판단부는 제 1영역에서 차량의 전면 번호판 영역 및 헤드라이트 영역을 검출하고, 제 2영역에서 차량의 후면 번호판 영역 및 후미등 영역을 검출한다. 차종 판단부는 이렇게 검출된 영역을 기초로 하여 차량이 기 설정된 종류의 차량인지 여부를 판단한다.
고유가시대의 유류절감과 사회적인 편견으로 인한 경차의 외면, 경차 혜택을 통한 경차 타기 유도 현상 등은 사회, 경제적인 측면뿐만 아니라 국가차원에서도 반드시 해결해야 될 문제점 중의 하나이다.
일반적으로 무인 자동화 시스템의 경우는 차량을 검지하는 수단(경차인지 여부를 판단하는 수단)으로 아직도 루프방식이 주로 사용되고 있으나 매설공사에 따르는 시민의 불편과 유지 보수상의 애로점이 많아 비매설형 검지기가 요구되고 있다.
이를 위해 무인정산 시스템은 센서를 이용하고 있고, 무인정산 시스템과 같은 LPR(License Plate Recognition)시스템에서 사용해오던 센서들의 대부분은 PIR(Passive infrared)방식의 제품을 채택하고 있다.
하지만 PIR 센서는 물체가 점점 가까워짐에 따라서 주변 온도 상승하게 되어 오히려 감도가 떨어지는 문제가 발생된다. 예를 들어, 아파트 현관의 경우 처음에는 켜지지만 머물면서 작업을 할 경우 켜지지 않는 경우가 있다. 특히, 여름의 경우 주변 온도가 인체와 비슷해져서 겨울에는 오히려 오작동이 많아진다. 또한, PIR 센서는 천천히 움직이거나 열을 막는 차폐물을 사용해도 감도가 저하되는 현상이 생긴다.
이러한 문제를 보안하기 위해 마이크로파 도플러 센서가 이용될 수 있다. 도플러 센서를 이용하는 경우, 수신된 주파수를 비교하는 방식으로 온도, 먼지, 잡음 등과 같은 주변 환경에 영향을 받지 않는다.
그러나 PIR에 비해 마이크로파 도플러 센서는 가격이 고가이고, 전력 소모가 커서 배터리로 동작시키기 어렵다는 문제점이 있다. 또한, 차량의 종류를 인식하기 위해서는 하나 이상의 마이크로파 도플러 센서가 필요한데, 설치 구간, 환경요인, 용도 등에 따라 센서의 성능이 달라지는 문제점도 존재한다.
따라서 이와 같은 문제들을 해결하기 위해 본 발명에서는 카메라로부터 입력된 영상을 해석하여 차량의 종류를 분류하고, 기존 방식에서의 환경적인 요인들, 즉, 설치비용 및 구간, 사용용도 등의 시공간 제약조건들을 해결함과 동시에 LPR과 같은 기존의 시스템들과 상호 보완적인 연동이 가능한 차량 인식 시스템을 제공하고자 한다.
구체적으로 본 발명에서 제안하는 LPR 시스템은 카메라로부터 입력된 영상에서 각기 다른 차량의 종류들을 분석 및 해석하여 경차만을 인지함으로써 요금을 별도로 징수가 가능한 시스템을 제공하고자 한다.
이하에서는 설명의 편의를 위해 본 발명의 내용이 경차를 구분하기 위해 이용되는 것으로 가정하여 설명한다.
그러나 본 발명의 내용이 이에 한정되는 것은 아니고, 영상으로부터 인식된 객체의 파라미터를 이용하여, 특정 객체로 분류하고, 분류된 특정 객체에 대응하는 정산 기준을 적용하는 다양한 시스템에 적용될 수 있는 것은 자명하다.
본 발명의 구체적인 동작 설명에 앞서, 본 발명에 적용될 수 있는 차량 인식 시스템에 대해 선결적으로 설명한다.
도 1은 본 발명에 따른 LPR 시스템의 블록 구성도를 도시한 것이다.
본 발명의 LPR 시스템(1000)은 무선 통신부(1100), A/V(Audio/Video) 입력부(1200), 사용자 입력부(1300), 출력부(1500), 메모리(1600), 제어부(1800) 및 전원 공급부(1900) 등을 포함할 수 있다.
단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 LPR 시스템(1000)이 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(1100)는 본 발명의 LPR 시스템(1000)과 무선 통신 시스템 사이 또는 LPR 시스템(1000)과 LPR 시스템(1000)이 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(1100)는 방송 수신 모듈(1110), 이동통신 모듈(1120), 근거리 통신 모듈(1140) 및 위치정보 모듈(1150) 등을 포함할 수 있다.
방송 수신 모듈(1110)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(1120)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(1110)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS, OMA-BCAST, ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(1110)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(1110)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(1600)에 저장될 수 있다.
이동통신 모듈(1120)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(1130)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 본 발명의 LPR 시스템(1000)에 내장되거나 외장될 수 있다.
상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(1140)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치 정보 모듈(1150)은 LPR 시스템(1000)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
현재 기술에 의하면, 상기 GPS모듈(1150)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다.
현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(1150)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(1200)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1210)와 마이크(1220) 등이 포함될 수 있다. 카메라(1210)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(1510)에 표시될 수 있다.
카메라(1210)에서 처리된 화상 프레임은 메모리(1600)에 저장되거나 무선 통신부(1100)를 통하여 외부로 전송될 수 있다.
이때, 카메라(1210)는 사용 환경에 따라 2개 이상이 구비될 수도 있다. 즉, 카메라(1210)는 전면 카메라모듈(100)과 후면 카메라모듈(200)을 포함할 수 있다.
대표적으로 카메라(1210)는 설치된 영역에서 촬영 가능한 객체, 즉, 보행자 및 차량에 대한 영상을 촬영하는 것이 가능하다.
마이크(1220)는 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다.
처리된 음성 데이터는 이동통신 모듈(1120)을 통하여 기 설정된 기관으로 송신 가능한 형태로 변환되어 출력될 수 있다.
마이크(1220)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(1300)는 사용자가 LPR 시스템의 동작 제어를 위한 입력 데이터를 발생시킨다.
사용자 입력부(1300)는 본 발명에 따라 표시되는 컨텐츠들 중 두 개 이상의 컨텐츠를 지정하는 신호를 사용자로부터 수신할 수 있다.
그리고, 두 개 이상의 컨텐츠를 지정하는 신호는, 터치입력을 통하여 수신되거나, 하드키 및 소프트 키입력을 통하여 수신될 수 있다.
사용자 입력부(1300)는 상기 하나 또는 둘 이상의 컨텐츠들을 선택하는 입력을 사용자로부터 수신할 수 있다. 또한, 사용자로부터 LPR 시스템(1000)이 수행할 수 있는 기능과 관련된 아이콘을 생성하는 입력을 수신할 수 있다.
상기와 같은, 사용자 입력부(1300)는 방향키, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
출력부(1500)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(1510), 음향 출력 모듈(1520), 알람부(1530), 조명부(1540) 및 프로젝터 모듈(1550) 등이 포함될 수 있다.
디스플레이부(1510)는 본 발명의 LPR 시스템(1000)에서 처리되는 정보를 표시(출력)한다.
예를 들어, LPR 시스템이 동작 모드인 경우 차량 인식과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
또한, 본 발명에 따른 디스플레이부(1510)는 2D 및 3D 표시 모드를 지원한다.
한편, 상기와 같은 디스플레이부(1510)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(1510)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 영상해석 기반 차량 인식 시스템 바디의 디스플레이부(1510)가 차지하는 영역을 통해 영상해석 기반 차량 인식 시스템 바디의 후방에 위치한 사물을 볼 수 있다.
음향 출력 모듈(1520)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(1100)로부터 수신되거나 메모리(1600)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력 모듈(1520)은 LPR 시스템(1000)에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(1520)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(1530)는 본 발명의 LPR 시스템(1000)의 이벤트 발생을 알리기 위한 신호를 출력한다.
알람부(1530)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(1510)나 음성 출력 모듈(1520)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(1510) 및 음성출력모듈(1520)은 알람부(1530)의 일종으로 분류될 수도 있다.
또한, 조명부(1540)는 빛을 인간생활에 유효하게 사용하는 기술로, 태양광에 의한 채광인 주광조명과 전등 등의 인공광원에 의한 인공조명이 있다.
조명부(1540)의 일종인 백열전구는 따스하고 아늑한 빛과 접등에 부속장치가 필요 없으며, 또한 조명기구와의 조합이 손쉬워서, 효율·수명·광색 등이 우수한 형광등의 급격한 보급에도 불구하고 수요 비중이 크다. 특히 주택에서는 아늑한 분위기 조성과 점등의 간편성 등 때문에　널리 활용되고 있다.
또한, 조명부(1540)의 일종인 형광등은 효율, 수명, 광색 등의 우수한 특성으로 인하여 빌딩, 공장, 상점으로부터 주택에 이르기까지 널리 쓰이고 있다.
수은등이나 나트륨등은 형광등보다 이전에 발명된 것이지만, 연색성 문제로 실용화가 늦어졌다. 그러나 고효율과 긴 수명 등의 특성 때문에 지금은 높은 천장의 공장, 경기조명, 도로조명으로 많이 쓰이고 있다. 최근의 광원으로는 할로젠사이클을 이용한 아이오딘전구, 고효율 헬라이드등 , 양광램프 등이 개발되어 실용화되고 있다.
또한, 조명부(1540)의 일종인 결정발광체인 전기루미네선스(EL)램프는 면광원으로 각광을 받고 있지만, 효율·광원장치 등의 문제로 실용화에는 이르지 못하고 있다. 이러한 인공광원은 인류와 오랜 세월 동안 친숙된 태양광을 목표로 발달되어 왔다.
연색성 등 다소 결점은 있으나, 일정한 광도를 유지할 수 있다는 특성은, 태양광에 비하여 확실히 우수하다.
또한, 조명부(1540)는 LED(light emitting diode)를 포함할 수 있다.
발광다이오드(LED)란 갈륨비소 등의 화합물에 전류를 흘려 빛을 발산하는 반도체소자로, m 반도체의 p-n 접합구조를 이용하여 소수캐리어(전자 또는 정공)를 주입하고 이들의 재결합에 의하여 발광시킨다.
LED는 컴퓨터 본체에서 하드디스크가 돌아갈 때 깜빡이는 작은 불빛, 도심의 빌딩 위에 설치된 대형 전광판, TV 리모콘 버튼을 누를 때마다 TV 본체에 신호를 보내는 눈에 보이지 않는 광선 등을 만들 때 필요하다.
전기에너지를 빛 에너지로 전환하는 효율이 높기 때문에 최고 90%까지 에너지를 절감할 수 있어, 에너지 효율이 5% 정도밖에 되지 않는 백열등, 형광등을 대체할 수 있는 차세대 광원으로 주목되고 있다.
LED는 아래 위에 전극을 붙인 전도물질에 전류가 통과하면 전자와 정공이라고 불리는 플러스 전하입자가 이 전극 중앙에서 결합해 빛의 광자를 발산하는 구조로 이루어져 있는데, 이 물질의 특성에 따라 빛의 색깔이 달라진다.
다만, 전술한 조명부(1540)의 형태는 단순한 예시를 열거한 것에 불과하며 본 발명의 내용이 이에 한정되는 것은 아니다.
프로젝터 모듈(1550)은, LPR 시스템(100)를 이용하여 영상 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(1800)의 제어 신호에 따라 디스플레이부(1510)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(1550)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(1550)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(1550)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(1550)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(1550)은, LPR 시스템(1000)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(1550)은, 필요에 따라 LPR 시스템(1000)의 어느 위치에라도 구비될 수 있음은 당연하다.
메모리(1600)는 제어부(1800)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(1600)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(1600)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
상기와 같은 메모리(1600)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 본 발명의 LPR 시스템(1000)은 인터넷(internet)상에서 상기 메모리(1600)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
제어부(controller)(1800)는 통상적으로 본 발명의 LPR 시스템(1000)의 전반적인 동작을 제어한다.
제어부(1800)는 멀티 미디어 재생을 위한 멀티미디어 모듈을 구비할 수도 있다. 멀티미디어 모듈은 제어부(1800) 내에 구현될 수도 있고, 제어부(1800)와 별도로 구현될 수도 있다.
또한, 전원 공급부(1900)는 제어부(1800)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시례는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시례는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시례들이 제어부(1800) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시례들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(1600)에 저장되고, 제어부(1800)에 의해 실행될 수 있다.
도 1을 이용하여 전술한 구성을 통해 차종을 분류하는 방법을 설명하기 앞서, 차량을 분류하는 구체적인 기준에 대해 설명한다.
도 2는 본 발명과 관련하여, 차량을 분류하는 구체적인 기준을 표로 정리한 것을 도시한 것이다.
도 2를 참조하면, 고속도로 운행차종 구분에 따른 규정 제 9조에 의거하여 차량을 분류할 수 있다.
도 2에서 차량의 1열, 2열, 3열을 각 1축, 2축, 3축이라고 하고, 이를 축수라고 총칭한다.
또한, 윤폭은 차량 바퀴하나의 축이고, 윤거는 차량 앞뒤 바퀴간의 거리를 의미한다.
즉, 1종은 2축 차량, 윤폭 279.4㎜이하로 16인승 이하 승합차, 승용차, 2.5t미만 화물차를 의미하고, 2종은 2축 차량, 윤폭 279.4㎜초과, 윤거 1,800㎜이하로 17∼32인승 승합차, 2.5t∼5.5t 화물차를 의미하며, 3종은 2축 차량, 윤폭 279.4㎜초과, 윤거 1,800㎜초과로 33인승 승합차, 5.5t∼10t 화물차를 의미하고, 4종은 3축 10∼30t 화물차를 의미한다.
이때, 차종구분은 차종분류기존(축수, 윤폭, 윤거)에 의하면 적용차량은 차량별 제원 등에 따라 달라질 수 있다.
도 2의 내용과 같이 차종을 구분하는 기준은 길이, 인수, 차량의 윤폭에 따라 다르고, 고속도로에서 차종에 따라 서로 다른 요금징수가 이루어지고 있다.
한편, 도 3 및 도 4는 본 발명과 관련하여, 경차로 분류되는 차량의 구체적인 제원을 설명하기 위한 도면이다. 도 3 및 도 4에서는 경차와 가장 유사한 크기를 갖는 소형차에 대해 제원을 비교하였다.
이때 전폭과 윤거 만으로도 경차와 소형차간의 차이가 분명히 나타나지만 전고의 수치는 경차와 소형차간의 차이가 거의 유사한 부분이다.
따라서 차량의 전체 제원을 대상으로 구분하기가 어려움으로 본 발명에서는 전폭길이와 윤거길이를 대상으로 경차와 경차 이외의 차종을 구분하는 방법을 제안한다.
본 발명이 제안하는 시스템은 카메라로 입력된 차량 정보 중의 하나인 전폭과 윤거를 영상처리기술을 이용하여 수치화하여 경차와 경차 이외의 차종으로 구분함으로써 사용자에게 양질의 편리성을 제공 가능한 시스템이다,
즉, 본 발명이 제안하는 시스템은 LPR 시스템과 연동하여 상시 주차요금에 대해 징수하는 부분(요원이 차량마다 육안으로 확인함)과 고속도로상의 톨게이트에서 오인식 즉, 승용차(소형차 이상)로 인식되어 육안으로 확인한 후 요금을 재수정하여 청구하는 일들이 빈번히 이루어지는 문제점을 해결하기 위한 것이다.
도 5는 본 발명이 제안하는 이미지에서 추정한 전폭길이와 윤거길이를 이용하여 경차인지 여부를 손쉽게 확인하는 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 먼저, 적어도 하나의 차량인 제 1 객체에 대한 이미지를 입력 받는 단계가 진행된다(S1000).
이후, 입력받은 이미지에서 제 1 객체와 관련된 제 1 영역을 지정하는 단계가 진행된다(S2000).
여기서 제 1 영역은 사전 정의 영역으로 차량의 전반부(앞면의 헤드라이트)를 의미할 수 있다. 차량의 전반부인 제 1 영역은 수동으로 정의가 가능하고, 전체 영상에서 일정비율의 1/3만큼 설정될 수 있다. 또한, 제 1 영역은 제 1 객체의 앞 바퀴부분, 전면 번호판영역, 그리고 헤드라이트 부분을 포함할 수 있다.
또한, 상기 S2000 단계는 입력받은 이미지에서 제 1 객체와 관련된 제 2 영역을 지정하는 단계를 포함할 수 있다.
여기서 제 2 영역은 사전 정의 영역으로 차량의 후면부(뒷면의 후미등)를 의미할 수 있다. 차량의 후면부인 제 2 영역은 수동으로 정의가 가능하고, 전체 영상에서 일정비율의 1/3만큼 설정될 수 있다. 또한, 제 2 영역은 제 1 객체의 뒷바퀴부분, 후면 번호판영역, 그리고 후미등 부분을 포함할 수 있다.
상기 S2000 단계에서 제 1 영역이 지정되는 경우, 이미지에서 제 1 객체와 관련된 에지를 검출하는 단계가 진행될 수 있다. 즉, 이미지 내에 포함되어 있는 제 1 객체를 명확히 특정하기 위해, 자동차의 외형의 기준이 되는 에지 부분을 검출하고, 검출한 정보를 기초로 제 1 객체를 특정할 수 있다.
이후, 제 1 영역에 대해 모폴로지 연산을 수행하는 단계가 진행된다. 모폴로지 연산은 영상 내에 존재하는 특정 객체의 형태를 변형시키는 용도로 사용되는 영상처리 기법이며, 객체의 모양을 표현하거나 기술하기 위한 용도로도 사용된다.
즉, 영상처리에서 모폴로지(morphology)는 수학적 모폴로지(morphology)라는 용어와 혼용되어 사용되고, 이는 영상을 형태학적인 관점에서 다루는 기법이다. 모폴로지 기법은 다양한 영상 처리 시스템에서 전처리 또는 후처리의 형태로 널리 사용되고 있다. 간단한 형태의 모폴로지 기법은 영상에서 잡음의 영향을 제거하는 용도로 사용되기도 하고, 조금 복잡한 형태의 모폴로지 기법은 영상에서 객체의 모양을 기술하는 용도로 사용되기도 한다.
모폴로지 기법 중 가장 기본이 되는 연산은 침식과 팽창이다. 침식연산을 일반적으로 영상 내에서 객체 영역을 깍아내는 효과를 나타내고, 팽창 연산은 객체 영역을 확장시키는 결과를 만들어 낸다. 이러한 모폴로지 연산을 통해 이미지 내의 제 1 객체를 더 정확하게 파악할 수 있게 된다.
상기 S2000 단계는 입력받은 이미지에서 제 1 객체와 관련된 제 2 영역을 지정하는 단계를 포함할 수 있다. 제 2 영역을 지정하는 방식은 상술한 내용과 유사하게 구현될 수 있다.
이후, 제 1 영역에서 전면 번호판 영역 및 헤드라이트 영역을 검출하는 단계가 진행된다(S3000).
상기 S3000 단계는 히스토그램 투영 방법으로 번호판 영역 및 무게중심을 검출하는 단계와 블럽 방법으로 헤드라이트 영역 및 무게중심을 검출하는 단계로 표현될 수 있다.
먼저, 히스토그램 투영 방법으로 번호판 영역 및 무게중심을 검출하는 단계는 히스토그램 투영방법을 통해 수행될 수 있다. 히스토그램 투영방법은 수직, 수평방향으로 수행한 후 동일한 성분을 갖는 즉, 픽셀에서 좌표에 해당하는 음영 값들을 합산하는 방식으로 구현되고, 이때, 합산된 데이터들의 중심으로 번호판의 숫자들이 포함되고 이를 포함하는 영역의 좌표를 원 영상에 투영함으로써 번호판 영역 및 무게 중심이 검출될 수 있다.
다음으로, 헤드라이트 영역 및 무게중심을 검출하는 단계에 적용되는 블럽 방법은 영상처리에서 객체 분할 방법으로 많이 사용하는 방법이다. 블럽 방법 이외에 주변보다 더 밝거나 어두운 지역적인 영역을 찾는데 사용되면 미분에 근거하는 방법과 지역 극값에 근거한 방법들이 추가적으로 적용될 수 있다.
여기에서는 에지 성분들에 대해 일정한 크기를 갖고 있고, 지역적으로 동일한 성분들이 모여 있는 구간과 차량에 대한 고유 특징으로 쉽게 판단이 가능하고, 쉽게 검출이 가능한 헤드라이트 영역 및 무게중심을 검출하게 된다.
또한, 상기 S3000 단계는 제 2 영역에서 후면 번호판 영역 및 후미등 영역을 검출하는 단계를 포함할 수 있다. 제 2 영역에서 후면 번호판 영역 및 후미등 영역을 검출하는 방식은 상술한 내용과 유사하게 구현될 수 있다.
또한, S3000 단계에서 검출한 전면 번호판 영역 및 헤드라이트 영역 정보를 이용하여 전폭길이와 윤거길이를 추정하는 단계가 진행된다(S4000).
즉, 2개의 헤드라이트 영역과 전면 번호판 영역의 무게중심을 기준으로 서로 연결하여 트라이앵글을 생성할 수 있다.
또한, 전폭길이는 전면 번호판 영역의 무게중심을 기준으로 2개의 헤드라이트 영역을 이용하여 좌우 길이를 판단함으로써 파악될 수 있다.
즉, 기 설정된 크기의 이미지에 포함된 트라이앵글에 대응하는 수치를 메모리에 미리 저장하고, 실제 이미지에서 파악된 좌우 길이를 상기 메모리에 저장된 수치를 이용하여 환산함으로써, 차량의 전폭길이가 파악될 수 있다.
또한, 윤거길이는 2개의 헤드라이트 영역과 번호판 영역의 무게중심을 기준으로 서로 연결하여 생성된 트라이앵글을 기초로, 2개의 헤드라이트 영역의 무게중심에서 수직으로 연장함으로써 파악될 수 있다.
즉, 기 설정된 크기의 이미지에 포함된 트라이앵글에 대응하는 수치를 메모리에 미리 저장하고, 실제 이미지에서 파악된 수직 연장선의 길이를 상기 메모리에 저장된 수치를 이용하여 환산함으로써, 차량의 전폭길이가 파악될 수 있다.
결론적으로 영상해석에 이용하는 이미지의 크기를 미리 결정하고, 미리 결정된 크기의 이미지 내의 전면 번호판 영역 및 헤드라이트 영역의 무게중심 영역을 이용하여 그려지는 트라이앵글을 메모리에 저장된 데이터와 비교함으로써, 차량의 전폭길이와 윤거길이를 추정할 수 있다.
또한, 상기 S3000 단계 검출한 후면 번호판 영역 및 후미등 영역 정보를 이용하여 전폭길이와 윤거길이를 추정하는 단계를 포함할 수 있다. 후면 번호판 영역 및 후미등 영역 정보를 이용하여 전폭길이와 윤거길이를 추정하는 방식은 상술한 내용과 유사하게 구현될 수 있다.
이후, 도 2 내지 도 4를 이용하여 전술한 기준에 따라 추정한 전폭길이와 윤거길이를 이용하여 제 1 객체가 경차인지 여부를 판단하게 된다(S5000).
경차인지 여부를 판별하지 못한 경우에는 다시 S1000 단계가 진행될 수 있다.
상기 S5000 단계에서는 오차범위를 두고 경차인지 여부를 판단하는 조건이 설정될 수도 있다.
즉, 이미지로부터 추정되는 수치를 이용하는 것이어서 근사치가 구해질 수 있으므로, 경차로 판별되는 차량의 전폭길이와 윤거길이에 기 설정된 오차 범위를 추가하여 경차인지 여부가 판단될 수 있다.
또한, 본 발명의 다른 일 실시례에 따르면, 기준이 되는 트라이앵글 지점을 미리 복수개 저장해 놓고, 경차인지 여부를 판단하는 방법이 적용될 수 있다.
즉, 차량의 전폭길이와 윤거길이를 추가적으로 구하는 과정 없이, 실제 차량에서 얻어진 트라이앵글의 크기를 미리 저장해 놓은 복수의 트라이앵글 지점과 비교하여, 즉각적으로 차량이 경차인지 아닌지 여부를 판단하는 것도 가능하다.
한편, 도 6 및 도 7은 에지 성분과 모폴로지 연산을 수행하지 않고 전폭길이 및 윤거길이를 추정한 결과 수행하여 추정한 결과를 비교하는 도면이다.
도 6은 도 5에서 설명한 에지 검출과 모폴로지 연산을 수행하지 않은 결과이고, 도 7은 도 5에서 설명한 에지 검출과 모폴로지 연산을 수행한 결과이다. 도 6 및 도 7을 참조하면, 에지 검출과 모폴로지 연산을 수행하는 것이 더 정확한 차량의 전폭길이와 윤거길이를 추정할 수 있다는 사실을 확인할 수 있다.
한편, 전술한 기법에 따라 차량이 경차인지 여부를 판단한 후, 무인 정산 시스템을 통해 경차에 적용되는 기준에 따라 요금을 정산하는 방법이 적용될 수 있다.
이하에서는 설명의 편의를 위해, 본 발명이 제안하는 통합 무인 정산기를 스마트 무인 정산기로 호칭한다.
또한, 본 발명에 적용되는 스마트 무인정산기는 출구 정산방식에 적용되는지 여부 또는 사전 정산방식에 적용되는지 여부에 따라 서로 다른 사양, 규격 및 기능을 가질 수 있다.
이하, 도면을 참조하여 본 발명에 따른 스마트 무인정산기의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 일 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
이하에서는, 본 발명의 스마트 무인정산기를 구체적으로 설명한다.
먼저, 도 8은 본 발명에 따라 경차인지 여부에 따라 다른 정산 기준을 자동으로 적용하는 스마트 무인정산 시스템의 블록 구성도의 일례를 나타낸 것이다.
도 8에 도시된 스마트 무인정산 시스템은 종래 무인정산 시스템과 각각 대응되나, 출차 시스템은 스마트 무인정산기(2100)를 포함하고, 주차장 내부 시스템은 스마트 무인정산기(2100)를 포함하며, 주차장 내부 시스템에서 별도의 키오스크 및 빌딩안내기가 포함되지 않는 것이 특징이다.
본 발명에 따른 스마트 무인정산기(2100)는 무선 통신부(2110), A/V(Audio/Video) 입력부(2120), 사용자 입력부(2130), 센싱부(2140), 출력부(2150), 메모리(2160), 인터페이스부(2170), 제어부(2180), 전원공급부(2190), 카드리더부(1210) 및 무정전전원공급부(1220) 등을 포함할 수 있다. 도 8에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 스마트 무인정산기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(2110)는 스마트 무인정산기(2100)와 무선 통신 시스템 사이 또는 스마트 무인정산기(2100)와 스마트 무인정산기(2100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(2110)는 방송 수신 모듈(2111), 이동통신 모듈(2112), 무선 인터넷 모듈(2113), 근거리 통신 모듈(2114) 및 위치정보 모듈(2115) 등을 포함할 수 있다.
방송 수신 모듈(2111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 스마트 무인정산기(2100)에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(2112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(2111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS, OMA-BCAST, ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(2111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(2111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(2160)에 저장될 수 있다.
이동통신 모듈(2112)은, 이동 통신망 상에서 기지국, 외부의 스마트 무인정산기(2100), 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(2113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 스마트 무인정산기(2100)에 내장되거나 외장될 수 있다.
상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(2114)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치 정보 모듈(2115)은 스마트 무인정산기(2100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(2115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(2115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
도 8를 참조하면, A/V(Audio/Video) 입력부(2120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(2121)와 마이크(2122) 등이 포함될 수 있다. 카메라(2121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(2151)에 표시될 수 있다.
카메라(2121)에서 처리된 화상 프레임은 메모리(1160)에 저장되거나 무선 통신부(2110)를 통하여 외부로 전송될 수 있다.
이때, 카메라(2121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(2122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(2112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(2122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(2130)는 사용자가 스마트 무인정산기(2100)의 동작 제어를 위한 입력 데이터를 발생시킨다.
사용자 입력부(2130)는 본 발명에 따라 표시되는 컨텐트들 중 두 개 이상의 컨텐트를 지정하는 신호를 사용자로부터 수신할 수 있다. 그리고, 두 개 이상의 컨텐트를 지정하는 신호는, 터치입력을 통하여 수신되거나, 하드키 및 소프트 키입력을 통하여 수신될 수 있다.
사용자 입력부(2130)는 상기 하나 또는 둘 이상의 컨텐트들을 선택하는 입력을 사용자로부터 수신할 수 있다. 또한, 사용자로부터 스마트 무인정산기(2100)가 수행할 수 있는 기능과 관련된 아이콘을 생성하는 입력을 수신할 수 있다.
상기와 같은, 사용자 입력부(2130)는 방향키, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(2140)는 스마트 무인정산기(2100)의 개폐 상태, 스마트 무인정산기(1100)의 위치, 사용자 접촉 유무, 스마트 무인정산기의 방위, 스마트 무인정산기의 가속/감속 등과 같이 스마트 무인정산기(2100)의 현 상태를 감지하여 스마트 무인정산기(2100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어, 배터리(2190)의 전원 공급 여부, 인터페이스부(2170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(2140)는 근접 센서(2141)를 포함할 수 있다. 상기 근접 센서(2141)에 대해서는 나중에 터치스크린과 관련되어 후술된다.
출력부(2150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(2151), 음향 출력 모듈(2152) 등이 포함될 수 있다.
디스플레이부(2151)는 스마트 무인정산기(2100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 스마트 무인정산기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 스마트 무인정산기(2100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
또한, 본 발명에 따른 디스플레이부(2151)는 2D 및 3D 표시 모드를 지원한다.
한편, 상기와 같은 디스플레이부(2151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(2151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 스마트 무인정산기(2100) 바디의 디스플레이부(2151)가 차지하는 영역을 통해 스마트 무인정산기(2100) 바디의 후방에 위치한 사물을 볼 수 있다.
스마트 무인정산기(2100)의 구현 형태에 따라 디스플레이부(2151)이 2개 이상 존재할 수 있다. 예를 들어, 스마트 무인정산기(2100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(2151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(2151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(2151)의 특정 부위에 가해진 압력 또는 디스플레이부(2151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(2180)로 전송한다. 이로써, 제어부(2180)는 디스플레이부(2151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(2141)는 상기 터치스크린에 의해 감싸지는 스마트 무인정산기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(2152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(2110)로부터 수신되거나 메모리(2160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(2152)은 스마트 무인정산기(2100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(2152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
메모리(2160)는 제어부(2180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 전자도서, 동영상, 송수신 메시지 히스토리 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(2160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리부(2160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
또한, 메모리(2160)는 본 발명에 따라, 3D 또는 2D 웹페이지를 표시하는 웹브라우저가 저장된다.
상기와 같은 메모리(2160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 스마트 무인정산기(2100)는 인터넷(internet)상에서 상기 메모리(2160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(2170)는 스마트 무인정산기(2100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(2170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 스마트 무인정산기(2100) 내부의 각 구성 요소에 전달하거나, 스마트 무인정산기(2100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(2170)에 포함될 수 있다.
식별 모듈은 스마트 무인정산기(2100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 스마트 무인정산기(2100)와 연결될 수 있다.
상기 인터페이스부는 스마트 무인정산기(2100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 스마트 무인정산기(2100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 스마트 무인정산기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 스마트 무인정산기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller)(2180)는 통상적으로 스마트 무인정산기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(2180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(2181)을 구비할 수도 있다. 멀티미디어 모듈(2181)은 제어부(2180) 내에 구현될 수도 있고, 제어부(2180)와 별도로 구현될 수도 있다.
상기 제어부(2180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
한편, 제어부(2180)는 상기 디스플레이부(2151)가 유기 발광 다이오드(organic light-emitting diode, OLED) 또는 TOLED(Transparant OLED)로 구비될 경우, 본 발명에 따라, 카메라(2121)를 통해 입력된 프리뷰 영상이 상기 유기 발광 다이오드(organic light-emitting diode, OLED) 또는 TOLED(Transparant OLED)의 화면 상에 풀업 표시된 상태에서, 사용자에 조작에 따라 상기 프리뷰 영상의 크기가 조절되면, 상기 화면 상에서 상기 크기가 조절된 프리뷰 영상이 표시된 제1 영역을 제외한 나머지 제2 영역 내의 화소들의 구동을 오프시킴으로써, 전원 공급부(2190)에서 상기 디스플레이부(2151)로 공급되는 전원의 소모량을 줄일 수 있다.
전원 공급부(2190)는 제어부(2180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시례는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시례는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시례들이 제어부(2180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시례들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(2160)에 저장되고, 제어부(2180)에 의해 실행될 수 있다.
또한, 카드리더부(2210)는 사용자가 무인 정산을 위해 이용하는 카드를 읽고, 읽은 정보를 제어부(2180)에 전달하는 기능을 제공한다. 본 발명에 따른 카드리더부(2210)는 신용카드 리더 모듈(2211)과 할인카드 리더모듈(2212)을 포함할 수 있다.
신용카드 리더 모듈(2211)은 사용자가 이용하는 신용카드 정보를 읽고, 제어부(2180)에 당해 정보를 전달하는 기능을 제공한다.
할인카드 리더모듈(2212)은 사용자가 무인 정산시 적용되는 할인내용이 저장된 할인카드를 읽고, 제어부(2180)에 전달하는 기능을 제공한다.
또한, 무정전전원공급부(uninterruptible power supply, UPS)(2120)는 상용 전원에서 발생 가능한 전원 장애를 극복하여 양질의 안정된 교류 전력을 공급하는 장치이다.
즉, 무정전전원공급부(2120)는 일반 전원 또는 예비 전원 등을 사용할 때 전압 변동, 주파수 변동, 순간 정전, 과도 전압 등으로 인한 전원 이상을 방지하고 항상 안정된 전원을 공급하는 기능을 제공한다.
종래에 복수의 차량 중 경차를 판단하고 정산하는 방식은, PIR(Passive infrared) 방법을 적용하므로, 물체가 점점 가까워짐에 따라서 주변 온도 상승하게 되어 오히려 감도가 떨어지는 문제점이 있었다.
또한, 마이크로파 도플러 센서를 이용하는 경우에는 마이크로파 도플러 센서의 가격이 고가이고, 전력 소모가 커서 배터리로 동작시키기 어렵다는 문제점, 설치 구간, 환경요인, 용도 등에 따라 센서의 성능이 달라지는 문제점 등이 존재하였다.
전술한 본 발명의 구성이 적용되는 경우, 전술한 종래의 문제점을 해결하고, 영상해석에 기반하여 차량의 종류를 인식하며, 인식된 차량의 종류에 따라 무인으로 정산하는 시스템을 사용자에게 제공할 수 있다.
구체적으로 본 발명은 이미지에서 추정한 전폭길이와 윤거길이를 이용하여 경차인지 여부를 손쉽게 확인하고, 경차인지 여부에 따라 다른 정산 기준을 자동으로 적용하는 시스템을 사용자에게 제공할 수 있다.
한편, 이하에서는 차량의 번호판 정보를 완성하는 과정에 대하여 구체적으로 살펴본다. 도 9는 본 발명인 LPR 시스템의 일 실시예 구성을 간략하게 나타낸 구성도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예는 전면 번호판을 촬영하는 전면 카메라모듈(100), 후면 번호판을 촬영하는 후면 카메라모듈(200) 및 텍스트를 인식하고 차량번호를 완성하는 제어부(300)로 구성된다.
또한, 전면 카메라모듈(100) 및 후면 카메라모듈(200)의 촬영 여하를 판단하기 위해 차량(10)의 입출차로(20) 진입신호를 출력하는 제 1루프선 검지기(110) 및 제 2루프선 검지기(210)가 추가로 구비된다.
이 외에도 완성된 차량번호를 디스플레이하는 디스플레이수단(400)이 더 포함될 수 있으며, 특히 제어부(300)는 검지신호 처리수단(330)과 스틸 영상 인식모듈(310) 및 동영상 인식모듈(320)을 포함하여 구성될 수 있다.
본 발명인 차량번호 인식 시스템에 대해 간략히 설명하면, 제 1루프선 검지기(110)가 차량(10)의 입출차로(20) 진입에 대응하여 제 1진입신호를 생성하고, 제 1진입신호를 입력받은 검지신호 처리수단(330)을 통해 촬영 제어 신호가 출력되면 전면 카메라모듈(100)이 차량(10)의 전면 번호판을 촬영한다.
그리고, 차량(10)이 제 1루프선 검지기(110)를 통과한 이후에 제 2루프선 검지기(210)로 진입하면 제 2루프선 검지기(210)가 제 2진입신호를 생성하고, 제 2진입신호를 입력받은 검지신호 처리수단(330)을 통해 후면 카메라모듈(200)이 후면 번호판을 촬영한다.
그리고, 제어부(300)의 스틸 영상 인식모듈(310) 및 동영상 인식모듈(320)을 통해 촬영된 전면 번호판과 촬영된 후면 번호판을 영상처리 및 분석하여 제 1, 2텍스트를 인식하고 인식된 제 1, 2텍스트를 조합하여 차량번호를 완성하게 된다.
본 실시예의 구성을 구체적으로 살펴보면, 제 1루프선 검지기(110) 및 제 2루프선 검지기(210)는 전후면 번호판의 촬영이 가능하도록 소정 거리로 이격되어 입출차로(20)에 매설되고 통행하는 차량(10)을 검지하는 역할을 한다.
차량(10)의 검지로 생성되는 신호는 루프선 상부로 진입할 때 발생하는 트리거 온 신호(trigger on signal)와 루프선 상부를 이탈할 때 발생하는 트리거 오프 신호(trigger off signal)로 구분될 수 있는데, 본 실시예에서는 전후면 번호판의 촬영 시야각을 확보하기 위해 경우에 따라 트리거 온 신호 및 트리거 오프 신호를 모두 사용한다.
전면 카메라모듈(100)은 차량(10)의 전면 번호판 촬영을 위해 필요한 구성이다. 제 1루프선 검지기(110)로부터 제 1진입신호를 수신한 검지신호 처리수단(330)이 제어신호를 출력하여 촬영이 개시되고 촬영된 영상을 제어부(300)로 전송하는 역할을 한다. 이러한 전면 카메라모듈(100)은 스틸 영상 또는 복수 프레임의 동영상 촬영이 가능한 디지털 CCD(Charge-Coupled Device) 카메라가 사용되며, TCP/IP 네트워킹이 가능한 네트워크카메라가 바람직하다.
전면 카메라모듈(100)을 통한 촬영은 전면 번호판에 대응하는 제 1텍스트가 제어부(300)에 의해 인식될 때까지 수행된다. 다만, 제 1텍스트가 인식되지 않을 시에도 일정 시간이 경과하면 촬영을 종료한다.
후면 카메라모듈(200)은 차량(10)의 후면 번호판 촬영을 위해 필요한 구성이다. 제 2루프선 검지기(210)로부터 제 2진입신호를 수신한 검지신호 처리수단(330)이 제어신호를 출력하여 촬영이 개시되고 촬영된 영상을 제어부(300)로 전송하는 역할을 한다. 이러한 후면 카메라모듈(200)도 스틸 영상 또는 복수 프레임의 동영상 촬영이 가능한 디지털 CCD(Charge-Coupled Device) 카메라가 사용되며, TCP/IP 네트워킹이 가능한 네트워크카메라인 것은 전면 카메라모듈(100)과 동일하다.
후면 카메라모듈(200)을 통한 촬영은 후면 번호판에 대응하는 제 2텍스트가 제어부(300)에 의해 인식될 때까지 수행된다. 다만, 제 2텍스트가 인식되지 않을 시에도 일정 시간이 경과하여 촬영이 종료되는 것은 전면 카메라모듈(100)과 동일하다.
제어부(300)는 전면 카메라모듈(100) 및 후면 카메라모듈(200)로부터 전면 번호판 및 후면 번호판의 촬영 영상을 수신하여 제 1, 2텍스트를 인식하고 인식된 제 1, 2텍스트를 기초로 차량번호를 완성한다.
특히, 제 1, 2텍스트가 동일한지를 비교하여 동일한 경우 어느 하나의 텍스트의 문자 및 숫자를 선택하여 차량번호를 완성하고, 다른 경우 문자는 문자별 매칭율을 비교하고 숫자는 숫자별 매칭율을 비교하여 매칭율이 높은 문자 또는 매칭율이 높은 숫자의 선택으로 차량번호를 완성한다.
제어부(300)는 텍스트 인식 및 비교, 그리고 문자별 매칭율 또는 숫자별 매칭율 비교를 통한 정확한 차량번호 완성을 위해 1회 촬영한 스틸 영상으로 제 1, 2텍스트를 인식하는 스틸 영상 인식모듈(310) 이외에도 촬영된 전면 번호판 및 촬영된 후면 번호판의 복수의 프레임 영상을 기초로 제 1, 2텍스트를 인식하는 동영상 인식모듈(320)이 구비될 수 있다.
이러한 스틸 영상 인식모듈(310)과 동영상 인식모듈(320)은 소정의 프로그램이 내장되어 영상처리 및 영상분석이 가능한 컴퓨터로 구성될 수 있다.
또한, 제어부(300)는 각 카메라모듈(100, 200)로부터 제 1, 2진입신호를 수신하고 각 카메라모듈(100, 200)의 촬영을 제어하는 제어신호를 출력하기 위해 검지신호 처리수단(330)을 포함하는데 이를 위해 차량검지 프로그램이 내장된 별도의 컴퓨터가 더 구비될 수 있다.
도 10은 본 발명인 LPR 시스템의 일 실시예를 나타낸 사시도 및 부분확대도이다. 도 10에 도시된 바와 같이, 입출차로(20)를 진입하는 차량(10)을 검지하기 위해 제 1루프선 검지기(110)와 제 2루프선 검지기(210)가 입출차로(20) 상에 일정거리 이격되어 매설되어 있다. 그리고, 입출차로(20) 진행방향의 좌측으로 지지대(130)가 위치하여 제 1카메라모듈(100)을 지지하고 지지대(130)의 일 측면에 제 2카메라모듈(200)이 구비되어 있다.
또한, 전면 카메라모듈(100)은 야간 촬영을 위한 적외선 발광다이오드(LED, Light Emitting Diode) 램프(120)가 카메라 렌즈 하부에 다수 구비되어 있으며 전면 번호판을 촬영하기 위해 제 1루프선 검지기(110) 주위를 촬영 시야각 내에 두고 있다. 또한, 적외선 발광다이오드 램프(120)는 차량(10)을 촬영하는 순간에 적외선광을 조사하는 순간조명장치(스트로브, 미도시)가 구비될 수 있다.
후면 카메라모듈(200)도 전면 카메라모듈(100)과 마찬가지로 카메라 렌즈 하부에 조명을 위한 다수의 발광다이오드 램프(220)가 구비되어 있으며, 후면 번호판을 촬영하기 위해 전면 카메라모듈(100)과는 반대 방향을 향하고 있다. 다수의 발광다이오드 램프(220)가 적외선 발광다이오드 램프(220)이며 순간조명장치(스트로브, 미도시)가 구비될 수 있는 것은 전면 카메라모듈(100)과 동일하다.
도 11 내지 도 14는 본 발명인 차량번호 인식 시스템를 설명하기 위해 차량(10)의 입출차로(20) 진입 상황에 따른 카메라모듈(100, 200)의 작동상태를 순서대로 나타낸 도면이다. 도 11 내지 도 14를 참조하여 이하 차량(10)의 입출차로(20) 진입 상황에 따른 카메라모듈(100, 200)의 작동상태를 설명한다.
우선 도 11에 도시된 바와 같이, 차량(10)이 제 1루프선 검지기(110) 상부에 위치하게 되면 전면 카메라모듈(100)은 차량(10)의 전면 번호판을 촬영하게 된다. 물론, 도 11에는 도시되지 않았지만, 제어부(300)의 검지신호 처리수단(330)을 통해 제 1루프선 검지기(110)의 차량(10) 검지신호를 수신하고 제 1진입신호인 트리거 온 신호를 출력하여 촬영 시야각(A) 내의 전면 번호판을 촬영하게 된다.
이후 도 12에 도시된 바와 같이, 차량(10)이 제 1루프선 검지기(110)를 이탈하면 촬영은 종료된다. 이 밖에도 전면 카메라모듈(100)의 촬영 종료는 적절한 제한시간을 두어 그 시간의 경과로 촬영을 종료토록 할 수도 있으나, 제어부(300)가 전면 카메라모듈(100)로부터 전송받은 전면 번호판 영상을 처리, 분석하여 높은 인식율의 차량번호 텍스트를 획득함으로써 종료되는 것이 일반적이다.
그리고 도 13에 도시된 바와 같이, 차량(10)이 제 2루프선 검지기(210) 상부에 위치하게 되면 후면 카메라모듈(200)은 촬영 대기 상태가 된다. 촬영 대기 상태에서는 일예로 촬영을 위한 조명이 필요하면 적외선 발광다이오드 램프(220)를 점등할 수도 있다.
마지막으로 도 14에 도시된 바와 같이, 차량(10)이 제 2루프선 검지기(210)를 이탈하게 되면 후면 카메라모듈(200)은 후면 번호판을 촬영하게 된다. 물론 도 14에는 도시되지 않았지만, 제어부(300)의 검지신호 처리수단(330)을 통해 제 2루프선 검지기(210)의 차량(10) 검지신호를 수신하고 제 2진입신호인 트리거 오프 신호를 출력하여 촬영 시야각(A) 내의 후면 번호판을 촬영하게 되는 것이다.
도 15는 본 발명인 차량번호 인식 방법의 일 실시예를 순차적으로 나타낸 도면이다. 도 15를 참조하면, 우선 전면 카메라모듈(100)이 차량(10)의 입출차로(20) 진입에 대응하여 제 1루프선 검지기(110)로부터 출력되는 제 1진입신호에 기초하여 차량(10)의 전면 번호판을 촬영한다(S100).
다음, 제어부(300)가 촬영된 전면 번호판을 기초로 제 1텍스트를 인식한다(S200).
다음, 후면 카메라모듈(200)이 차량(10)의 제 1루프선 검지기(110) 통과 후 제 2루프선 검지기(210)로부터 출력되는 제 2진입신호에 기초하여 차량(10)의 후면 번호판을 촬영한다(S300).
다음, 제어부(300)가 촬영된 후면 번호판을 기초로 제 2텍스트를 인식한다(S400).
다음, 제어부(300)가 인식된 제 1텍스트와 인식된 제 2텍스트의 동일 여부를 비교한다(S500).
마지막으로 제어부(300)가 인식된 제 1텍스트와 인식된 제 2텍스트를 조합하여 차량번호를 완성함으로써(S600) 전후면 카메라모듈을 이용한 차량번호 인식 방법이 수행된다.
여기서, 제어부(300)의 제 1인식단계(S200) 및 제 2인식단계(S400)는 제어부(300)가 각 텍스트를 문자별 매칭율 또는 숫자별 매칭율로 인식하며, 제어부(300)가 각 텍스트의 개별 문자 또는 개별 숫자가 인식되지 않는 경우 문자별 매칭율 또는 숫자별 매칭율을 0%로 인식하여 여전히 매칭율 비교 대상으로 하는 것이 바람직하다.
그리고, 후면 카메라모듈(200)의 후면 번호판 촬영단계(S300)에서, 제 2진입신호는 차량(10)이 제 2루프선 검지기(210)를 이탈함에 따라 제어부(300)의 검지신호 처리수단(330)이 출력하게 되는 트리거 오프 신호이다.
특히, 제어부(300)의 차량번호 완성단계(S600)는 제어부(300)가 제 1텍스트와 제 2텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 동일한 경우 동일한 문자 또는 동일한 숫자를 선택하고(S610), 제어부(300)가 선택된 문자 또는 선택된 숫자로서 차량번호를 완성함으로써(S620) 전후면 카메라모듈을 이용한 차량번호 인식 방법이 수행될 수 있다.
반면, 제어부(300)의 차량번호 완성단계(S600)는 제어부(300)가 제 1텍스트와 제 2텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 다른 경우 문자별 매칭율 또는 숫자별 매칭율을 비교하고(S630), 문자별 매칭율이 높은 문자 또는 숫자별 매칭율이 높은 숫자를 선택한다(S640). 그리고, 제어부(300)가 선택된 문자 또는 선택된 숫자로서 차량번호를 완성함으로써(S650) 전후면 카메라모듈을 이용한 차량번호 인식 방법이 수행될 수 있다.
전후면 카메라모듈을 이용한 차량번호 인식 방법을 적용하여 차량번호를 완성한 일예를 아래의 표 1로 나타내었다. 표 1에서 x로 표시한 것은 미인식 상태의 문자 또는 숫자로서 매칭율이 0%이다.
전면카메라인식값 후면카메라인식값 완성된 차량번호 비고
서울xx머2752 서울21xx2752 서울21머2752 조합하여 완성
미인식 서울21너2752 서울21너2752 후면카메라 인식값
서울21너2752 서울21너2752 서울21너2752 일치값으로 완성
서울21머2752(머 매칭율: 70%) 서울21너2752(너 매칭율:85%) 서울21너2752 문자별 매칭율이 높은 후면카메라인식값으로 완성
한편, 제어부(300)의 차량번호 완성단계(S600) 이후에는 디스플레이수단(400)이 완성된 차량번호를 디스플레이함으로써(S700) 본 시스템의 이용자에게 인식된 차량번호를 알려주게 된다. 물론, 디스플레이수단(400)은 완성된 차량번호 이외에도 전후면 카메라모듈(100,200) 각각이 인식한 제 1, 2텍스트를 함께 디스플레이할 수 있으며, 이 경우 문자별 매칭율, 숫자별 매칭율을 함께 디스플레이할 수 있다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시례들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시례들은 다양한 변형이 이루어질 수 있도록 각 실시례들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (9)

  1. 차량의 입출차로 진입에 대응하여 제 1루프선 검지기로부터 제 1진입신호가 출력되는 경우, 상기 제 1진입신호에 기초하여 상기 차량의 전면 번호판을 포함하는 제 1이미지를 촬영하는 전면 카메라모듈;
    상기 차량의 상기 제 1루프선 검지기 통과 후 제 2루프선 검지기로부터 제 2진입신호가 출력되는 경우, 상기 제 2진입신호에 기초하여 상기 차량의 후면 번호판을 포함하는 제 2이미지를 촬영하는 후면 카메라모듈;
    상기 제 1진입신호 및 상기 제 2진입신호의 수신에 따라 상기 전면 카메라모듈 및 상기 후면 카메라모듈를 제어하고, 상기 촬영된 전면 번호판을 기초로 제 1텍스트를 인식하며, 상기 촬영된 후면 번호판을 기초로 제 2텍스트를 인식하고, 상기 인식된 제 1텍스트와 상기 인식된 제 2텍스트를 조합하여 상기 차량의 차량번호를 완성하는 번호판 판단부;
    상기 촬영된 제 1이미지 및 제 2이미지를 표시하는 디스플레이부;
    상기 디스플레이부 상에 표시된 상기 제 1이미지의 전체 영역 중 일부인 제 1영역을 지정하고, 상기 디스플레이부 상에 표시된 상기 제 2이미지의 전체 영역 중 일부인 제 2영역을 지정하기 위한 사용자 입력부; 및
    상기 제 1영역에서 상기 차량의 전면 번호판 영역 및 헤드라이트 영역을 검출하고, 상기 제 2영역에서 상기 차량의 후면 번호판 영역 및 후미등 영역을 검출하며, 상기 검출된 전면 번호판 영역, 후면 번호판 영역, 헤드라이트 영역 및 후미등 영역을 이용하여 상기 차량의 전폭길이 및 윤거 길이를 추정하고, 상기 추정된 전폭길이 및 윤거 길이를 이용하여 상기 차량이 기 설정된 종류의 차량인지 여부를 판단하는 차종 판단부;를 포함하는 것을 특징으로 하는 LPR 시스템.
  2. 제 1항에 있어서,
    상기 후면 카메라모듈은 상기 전면 카메라모듈을 지지하는 지지대의 일 측면에 구비되어 상기 전면 카메라모듈과 반대 방향을 촬영하는 것을 특징으로 하는 LPR 시스템.
  3. 제 1항에 있어서,
    상기 번호판 판단부는,
    상기 제 1진입신호 및 상기 2진입신호를 수신하여 상기 전면 카메라모듈 및 상기 후면 카메라모듈의 촬영 제어를 위한 제어신호를 출력하는 검지신호 처리수단;
    상기 촬영된 전면 번호판 및 상기 촬영된 후면 번호판을 1회 촬영한 스틸 영상으로 상기 제 1텍스트 및 상기 2텍스트를 인식하는 스틸 영상 인식모듈; 및
    상기 촬영된 전면 번호판 및 상기 촬영된 후면 번호판의 복수의 프레임 영상을 기초로 상기 제 1텍스트 및 상기 2텍스트를 인식하는 동영상 인식모듈;을 더 포함하는 것을 특징으로 하는 LPR 시스템.
  4. 제 3항에 있어서,
    상기 번호판 판단부는,
    상기 제 1텍스트와 상기 제 2텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 동일한 경우, 상기 동일한 문자 또는 상기 동일한 숫자를 선택하여 상기 차량번호를 완성하고,
    상기 문자 또는 상기 숫자가 상호 다른 경우, 문자별 매칭율 또는 숫자별 매칭율을 비교하여 상기 문자별 매칭율이 높은 문자 또는 상기 숫자별 매칭율이 높은 숫자를 선택함으로써 상기 차량번호를 완성하는 것을 특징으로 하는 LPR 시스템.
  5. 제 4항에 있어서,
    상기 문자별 매칭율 또는 상기 숫자별 매칭율은 상기 번호판 판단부가 상기 문자 또는 상기 숫자의 인식 정도에 대응하여 0 ~ 100 %로 나타낸 퍼센트 정보인 것을 특징으로 하는 LPR 시스템.
  6. 제 1항에 있어서,
    상기 번호판 판단부는,
    상기 제 1텍스트 및 상기 제 2텍스트 중 어느 하나의 텍스트만 인식된 경우, 상기 인식된 하나의 텍스트를 선택함으로써 상기 차량번호를 완성하는 것을 특징으로 하는 LPR 시스템.
  7. 제 1항에 있어서,
    상기 차종 판단부는,
    히스토그램 투영 방법을 이용하여 상기 전면 번호판 영역 및 상기 후면 번호판 영역을 검출하고,
    블럽(blob) 방법을 이용하여 상기 헤드라이트 영역 및 상기 후미등 영역을 검출하며,
    상기 전면 번호판 영역의 무게 중심, 상기 후면 번호판 영역의 무게 중심, 상기 헤드라이트 영역의 무게 중심 및 상기 후미등 영역의 무게 중심을 검출하고,
    상기 전면 번호판 영역의 무게 중심 및 상기 헤드라이트 영역의 무게 중심을 연결한 제 1트라이앵글(triangle) 정보와 상기 후면 번호판 영역의 무게 중심 및 상기 후미등 영역의 무게 중심을 연결한 제 2트라이앵글 정보를 이용하여 상기 차량의 전폭길이 및 윤거 길이를 추정하는 것을 특징으로 하는 LPR 시스템.
  8. 제 1항에 있어서,
    상기 차종 판단부는,
    상기 제 1영역 및 상기 제 2영역에서 에지를 검출하고,
    에지가 검출된 제 1영역 및 제 2영역에 대해 모폴로지 연산을 수행하며,
    상기 모폴로지 연산을 수행한 제 1영역에서 상기 차량의 전면 번호판 영역 및 헤드라이트 영역을 검출하고,
    상기 모폴로지 연산을 수행한 제 2영역에서 상기 차량의 후면 번호판 영역 및 후미등 영역을 검출하는 것을 특징으로 하는 LPR 시스템.
  9. 제 1항에 있어서,
    요금 정산을 수행하기 위한 무인정산기;를 더 포함하되,
    상기 무인정산기는,
    무인정산기용 디스플레이부;
    음향 신호를 입력받아 전기적인 음성 데이터로 처리하는 마이크;
    상기 차량의 종류에 따라 요금 정산을 안내하는 제 1정보가 상기 무인정산기용 디스플레이부 상에 표시되도록 제어하고, 상기 마이크를 통해 획득된 음성 데이터에 따라 상기 제 1 정보가 변경되어 표시되도록 제어하는 무인정산기용 제어부; 및
    상기 요금 정산과 관련된 적어도 하나의 카드를 입력받고, 상기 적어도 하나의 카드에 표시된 정보를 판독하는 복수의 카드 리더부;를 더 포함하는 것을 특징으로 하는 LPR 시스템.
PCT/KR2015/010692 2015-10-08 2015-10-08 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템 WO2017061650A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/010692 WO2017061650A1 (ko) 2015-10-08 2015-10-08 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/010692 WO2017061650A1 (ko) 2015-10-08 2015-10-08 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템

Publications (1)

Publication Number Publication Date
WO2017061650A1 true WO2017061650A1 (ko) 2017-04-13

Family

ID=58487974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010692 WO2017061650A1 (ko) 2015-10-08 2015-10-08 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템

Country Status (1)

Country Link
WO (1) WO2017061650A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921151A (zh) * 2018-05-31 2018-11-30 四川物联亿达科技有限公司 一种基于深度学习的普通摄像头全车牌识别系统
KR102024479B1 (ko) * 2018-12-12 2019-09-23 한국도로공사 차량 영상촬영장치가 포함된 함체 및 통행료 전자지불시스템
CN110942641A (zh) * 2019-12-17 2020-03-31 廖晓宾 一种架空摄像巡航的车号识别系统及车号识别方法
CN111382722A (zh) * 2020-03-23 2020-07-07 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN113505782A (zh) * 2021-06-07 2021-10-15 上海图丽信息技术有限公司 一种货车车牌与车厢手写车牌结合识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030080284A (ko) * 2002-04-04 2003-10-17 엘지산전 주식회사 차종 판단 시스템 및 그 방법
US20090202105A1 (en) * 2008-02-07 2009-08-13 Brisa-Auto Estradas De Portugal, S.A. Automatic license plate recognition system integrated in an electronic toll collection system
KR100991106B1 (ko) * 2010-02-23 2010-11-01 주식회사 넥스파시스템 전후면 카메라모듈을 이용한 차량번호 인식 시스템 및 인식 방법
KR20130050649A (ko) * 2011-11-08 2013-05-16 아마노코리아 주식회사 정밀도를 향상시킨 차량번호 인식장치
KR101321597B1 (ko) * 2013-08-30 2013-10-28 주식회사 넥스파시스템 영상해석 기반 차량 인식 및 무인 정산 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030080284A (ko) * 2002-04-04 2003-10-17 엘지산전 주식회사 차종 판단 시스템 및 그 방법
US20090202105A1 (en) * 2008-02-07 2009-08-13 Brisa-Auto Estradas De Portugal, S.A. Automatic license plate recognition system integrated in an electronic toll collection system
KR100991106B1 (ko) * 2010-02-23 2010-11-01 주식회사 넥스파시스템 전후면 카메라모듈을 이용한 차량번호 인식 시스템 및 인식 방법
KR20130050649A (ko) * 2011-11-08 2013-05-16 아마노코리아 주식회사 정밀도를 향상시킨 차량번호 인식장치
KR101321597B1 (ko) * 2013-08-30 2013-10-28 주식회사 넥스파시스템 영상해석 기반 차량 인식 및 무인 정산 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921151A (zh) * 2018-05-31 2018-11-30 四川物联亿达科技有限公司 一种基于深度学习的普通摄像头全车牌识别系统
KR102024479B1 (ko) * 2018-12-12 2019-09-23 한국도로공사 차량 영상촬영장치가 포함된 함체 및 통행료 전자지불시스템
CN110942641A (zh) * 2019-12-17 2020-03-31 廖晓宾 一种架空摄像巡航的车号识别系统及车号识别方法
CN111382722A (zh) * 2020-03-23 2020-07-07 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN111382722B (zh) * 2020-03-23 2023-09-05 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN113505782A (zh) * 2021-06-07 2021-10-15 上海图丽信息技术有限公司 一种货车车牌与车厢手写车牌结合识别系统

Similar Documents

Publication Publication Date Title
WO2017061650A1 (ko) 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템
WO2014035148A1 (en) Information providing method and information providing vehicle therefor
WO2020071683A1 (ko) 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
WO2018070583A1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
WO2014046456A1 (en) System and method for displaying information on transparent display device
WO2020085540A1 (en) Augmented reality method and apparatus for driving assistance
WO2016186355A1 (ko) 디스플레이장치 및 이의 동작 방법
WO2014051389A1 (en) Method and apparatus for controlling screen brightness corresponding to variation of illumination
WO2015099465A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2012133980A1 (ko) 영상처리장치 및 영상처리방법
WO2009099296A2 (en) Virtual optical input device for providing various types of interfaces and method of controlling the same
WO2017119557A1 (ko) 운전 보조 장치 및 그 제어방법
EP3481692A1 (en) Driver assistance apparatus and vehicle having the same
WO2017119541A1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
WO2016036044A1 (en) Image data processing method and electronic device supporting the same
WO2009099280A2 (en) Input unit and control method thereof
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2019031855A1 (ko) 무선 전력 제공 장치 및 그 방법
WO2015099463A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2022055006A1 (ko) 차량용 이미지 처리 장치 및 차량에 포함된 디스플레이에 시각 정보를 표시하는 방법
WO2018230864A2 (ko) 외부광을 반영하여 객체의 뎁스를 센싱하는 방법 및 이를 구현하는 장치
WO2019045521A1 (ko) 전자 장치 및 그 제어 방법
KR101321597B1 (ko) 영상해석 기반 차량 인식 및 무인 정산 시스템
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15905893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15905893

Country of ref document: EP

Kind code of ref document: A1