WO2024090899A1 - 정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법 - Google Patents

정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법 Download PDF

Info

Publication number
WO2024090899A1
WO2024090899A1 PCT/KR2023/016271 KR2023016271W WO2024090899A1 WO 2024090899 A1 WO2024090899 A1 WO 2024090899A1 KR 2023016271 W KR2023016271 W KR 2023016271W WO 2024090899 A1 WO2024090899 A1 WO 2024090899A1
Authority
WO
WIPO (PCT)
Prior art keywords
license plate
vehicle
parking
code
area
Prior art date
Application number
PCT/KR2023/016271
Other languages
English (en)
French (fr)
Inventor
정진하
라문수
이혜연
이현지
Original Assignee
라이트비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이트비전 주식회사 filed Critical 라이트비전 주식회사
Publication of WO2024090899A1 publication Critical patent/WO2024090899A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G06Q20/145—Payments according to the detected use or quantity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/148—Management of a network of parking areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a method of providing a QR code-based parking system based on accurate license plate recognition. More specifically, the present invention relates to a method of providing a QR code-based parking system based on accurate license plate recognition. More specifically, a camera installed in a parking lot accurately recognizes a license plate in bad weather such as snow or rain, and allows a camera installed in a parking lot to accurately recognize a vehicle license plate from the side. Accurately recognizing the license plate when the license plate number is not clearly visible, Accurately recognizing the license plate when the license plate is not clearly visible from above, Accurately recognizing the license plate when the license plate is attached to the side and is not recognized properly from the front. This is about providing a QR code-based parking system based on this.
  • a typical parking system has a blocking bar, so the car has to stop when entering and exiting the car, and when leaving, it takes more time to pay the fee, causing vehicles to get stuck at the exit.
  • a camera capable of recognizing vehicle license plates is installed in a parking lot, if the camera gets wet due to rain or snow, or if part of the license plate is obscured by moisture or snow, it may not be recognized.
  • the recognition rate of numbered numbers drops due to occlusion, and the recognition rate also drops when the numbers are diagonal.
  • the front part is wedge-shaped for aerodynamic reasons and design, which reduces the recognition rate.
  • the air intake portion at the front may be enlarged in order to increase the air intake of the engine and increase the cooling performance of the brake pads by creating a channel through which air can enter the wheels.
  • the license plate is attached to the side, but with the existing method, the license plate recognition rate is low.
  • the present invention is intended to solve the problems of the prior art described above.
  • a camera installed in a parking lot accurately recognizes a vehicle license plate even in bad weather, accurately recognizes a vehicle license plate from the side or top, and detects a vehicle license plate attached to the side.
  • the purpose is to accurately recognize vehicle license plates.
  • step (a) includes storing a plurality of learning data; For each learning data, extracting an image area corresponding to a vehicle license plate; Recognizing text values for vehicle license plates within the extracted image area; generating correction learning data by adding a plurality of defect images to the extracted image area; and performing learning by inputting a plurality of correction learning data and text values corresponding thereto into a preset machine learning model so that the text value is output when correction learning data is input.
  • the defect image has an arbitrary shape and an arbitrary color, has a smaller size than the extracted image area, and is added to cover a plurality of areas of the license plate.
  • defect image is implemented in a shape and color to simulate snow and rain.
  • each defect image added to the extracted image area has a different size and is placed at a different location.
  • the step of generating correction learning data by adding a plurality of defective images to the extracted image area includes adding a plurality of blur images in the form of a Gaussian to a random local area in the extracted image area, or adding a plurality of blur images in the form of a white figure to an arbitrary local area in the extracted image area. Multiple defect images are added.
  • step (b) includes: (b-1) recognizing the boundary line of the license plate from image data captured by the camera and extracting the license plate area in a polygonal form; (b-2) converting the coordinates of pixel values constituting the license plate area so that the polygonal license plate area has a preset rectangular shape; And (b-3) extracting the vehicle number as text from the license plate area image whose coordinates have been converted.
  • steps (b-1) to (b-3) may be performed when the license plate area in the image data captured by the camera is not in a preset rectangular shape, or when the vehicle's license plate and the camera are arranged at acute angles in the up, down, left, and right directions. Performed when an oblique license plate image is received.
  • step (e) in the parking step, the user terminal transmits an additional identification code regarding the current location to the server, or the server receives pre-stored location information or current GPS value from the user terminal. , It further includes providing guide information for the user to move to the parking location of the vehicle based on the current location of the user terminal.
  • a server that provides a QR code-based parking service based on accurate license plate recognition comprising: a memory storing a program for a method of providing a QR code-based parking service based on accurate license plate recognition; and a processor for executing the program, the method comprising: (a) training a precision license plate recognition model based on a plurality of learning data including license plates; (b) receiving an image of a vehicle entering the parking lot from a camera installed in the parking area, inputting the received image into the precise license plate recognition model, and extracting text information about the vehicle license plate; (c) as the entered vehicle receives an image of a parked vehicle, checking parking area identification information of the area where the vehicle is parked; (d) As the user terminal inputs phone number or payment method information through a link to the QR code installed in the parking area and transmits it to the server, or the user's identification stored in the server in connection with the recognized vehicle license plate Upon confirming the information, matching the personal information of the user of the parked vehicle with the parking area identification information, entry
  • step (a) includes storing a plurality of learning data; For each learning data, extracting an image area corresponding to a vehicle license plate; Recognizing text values for vehicle license plates within the extracted image area; generating correction learning data by adding a plurality of defect images to the extracted image area; and performing learning by inputting a plurality of correction learning data and text values corresponding thereto into a preset machine learning model so that the text value is output when correction learning data is input.
  • the defect image has an arbitrary shape and an arbitrary color, has a smaller size than the extracted image area, and is added to cover a plurality of areas of the license plate.
  • defect image is implemented in a shape and color to simulate snow and rain.
  • each defect image added to the extracted image area has a different size and is placed at a different location.
  • the step of generating correction learning data by adding a plurality of defective images to the extracted image area includes adding a plurality of blur images in the form of a Gaussian to a random local area in the extracted image area, or adding a plurality of blur images in the form of a white figure to an arbitrary local area in the extracted image area. Multiple defect images are added.
  • step (b) includes: (b-1) recognizing the boundary line of the license plate from image data captured by the camera and extracting the license plate area in a polygonal form; (b-2) converting the coordinates of pixel values constituting the license plate area so that the polygonal license plate area has a preset rectangular shape; And (b-3) extracting the vehicle number as text from the license plate area image whose coordinates have been converted.
  • steps (b-1) to (b-3) may be performed when the license plate area in the image data captured by the camera is not in a preset rectangular shape, or when the vehicle's license plate and the camera are arranged at acute angles in the up, down, left, and right directions. Performed when an oblique license plate image is received.
  • step (e) in the parking step, the user terminal transmits an additional identification code regarding the current location to the server, or the server receives pre-stored location information or current GPS value from the user terminal. , It further includes providing guide information for the user to move to the parking location of the vehicle based on the current location of the user terminal.
  • the present invention is a method for a camera to recognize a vehicle license plate through machine learning through coordinate system transformation after detecting a polygon-based license plate, even in bad weather, including heavy rain and snow, and even when the license plate of the vehicle is attached to the side instead of the side, top, and front. can be provided.
  • Figure 1 is a structural diagram of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 2 is a structural diagram of a server according to an embodiment of the present invention.
  • Figure 3 is a structural diagram of an artificial intelligence parking system using a QR code in a parking lot equipped with a parking camera according to the second embodiment of the present invention.
  • Figure 4 is a diagram showing the process-by-process usage flow of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 5 is a flowchart for explaining the process of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 6 is an exemplary diagram showing the parking and parking process of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 7 is an exemplary diagram showing a QR code of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 8 is an exemplary diagram showing the entry process of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 9a is an example diagram showing a user terminal recognizing an additional identification code attached to a parking lot according to an embodiment of the present invention.
  • Figure 9b is an example diagram showing guide information when exiting the parking lot of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 10 is an exemplary diagram showing the parking process of the artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 11 is a flowchart for explaining the process of an artificial intelligence parking system using a QR code in a parking lot where a parking camera is installed according to the second embodiment of the present invention.
  • Figure 12 is an example diagram showing the parking and exit process of an artificial intelligence parking system using a QR code in a parking lot where a parking camera is installed according to the second embodiment of the present invention.
  • Figure 13 is an example of finding a parking lot and guiding empty parking spaces in an artificial intelligence parking system using a QR code in a parking lot equipped with a parking camera according to the second embodiment of the present invention.
  • Figure 14 is an example diagram of an application of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • Figure 15 is a flowchart showing the process of performing machine learning of a method for providing a QR code-based parking system based on accurate license plate recognition according to an additional embodiment of the present invention.
  • Figure 16 is an exemplary diagram showing a process in which a camera recognizes text from a vehicle license plate in a method of providing a QR code-based parking system based on accurate license plate recognition according to an additional embodiment of the present invention.
  • Figure 17 is an example diagram showing a defect image for snow or rain in the method of providing a QR code-based parking system based on accurate license plate recognition according to an additional embodiment of the present invention.
  • Figure 18 is a flowchart showing the process of acquiring a license plate image as a side or top image of a method of providing a QR code-based parking system based on accurate license plate recognition according to an additional embodiment of the present invention.
  • Figure 19 is an example diagram showing license plate recognition taken from the left and right sides of the vehicle in the method of providing a QR code-based parking system based on accurate license plate recognition according to an additional embodiment of the invention.
  • Figure 20 is an example diagram showing a method of providing a QR code-based parking system based on accurate license plate recognition according to an additional embodiment of the invention when a license plate is photographed from the upper front of a vehicle.
  • Figure 21 is an exemplary diagram showing a vehicle with a license plate located on the side according to a further embodiment of the present invention.
  • 'part' includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Additionally, one unit may be realized using two or more pieces of hardware, and two or more units may be realized using one piece of hardware.
  • ' ⁇ part' is not limited to software or hardware, and ' ⁇ part' may be configured to reside in an addressable storage medium or may be configured to reproduce one or more processors. Therefore, as an example, ' ⁇ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'. Additionally, components and 'parts' may be implemented to regenerate one or more CPUs within a device or a secure multimedia card.
  • the “user terminal” mentioned below may be implemented as a computer or portable terminal that can connect to a server or other terminal through a network.
  • the computer is, for example, a laptop equipped with a web browser, a desktop, a laptop, a VR HMD (e.g., HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR, etc.), etc. may include.
  • VR HMD is for PC (e.g. HTC VIVE, Oculus Rift, FOVE, Deepon, etc.), mobile (e.g. GearVR, DayDream, Storm Magic, Google Cardboard, etc.), and console (PSVR). Includes independently implemented Stand Alone models (e.g. Deepon, PICO, etc.).
  • Portable terminals are, for example, wireless communication devices that ensure portability and mobility, including smart phones, tablet PCs, and wearable devices, as well as Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, and ultrasonic devices. , may include various devices equipped with communication modules such as infrared, WiFi, and LiFi.
  • network refers to a connection structure that allows information exchange between nodes such as terminals and servers, including a local area network (LAN), a wide area network (WAN), and the Internet. (WWW: World Wide Web), wired and wireless data communication network, telephone network, wired and wireless television communication network, etc.
  • wireless data communication networks examples include 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), Wi-Fi, Bluetooth communication, infrared communication, and ultrasound. This includes, but is not limited to, communication, Visible Light Communication (VLC), LiFi, etc.
  • VLC Visible Light Communication
  • LiFi etc.
  • a system according to an embodiment of the present invention includes a server 100 and a user terminal 200.
  • the server 100 will be described below with reference to FIG. 2.
  • the server 100 includes a processor 110, a memory 120, a database 130, and a communication module 140.
  • the processor 110 executes the parking program stored in the memory 120 to enable the user terminal 200 to enter, exit, and pay the parking fee.
  • the database 130 stores parking information entered when the user terminal 200 enters the car, and the parking information includes a mobile phone number, vehicle registration number, and encrypted payment card information.
  • the communication module 140 communicates with the user terminal 200 to provide the parking system.
  • the user terminal 200 photographs the QR code posted in the parking lot and accesses the parking application or parking web page to enter, exit, and pay.
  • the parking system includes a server 100, a user terminal 200, and CCTV 300.
  • the CCTV 300 may also be referred to as a camera, and can monitor the parking lot at all times and transmit the empty parking space in the parking lot, the identification information of the parking space, and the location of the parking space to the server 100. And, when the vehicle arrives at the parking lot and enters an empty parking space, the vehicle number and entry time can be recognized and transmitted to the server 100. Next, when the vehicle leaves the parking area, the vehicle number and exit time can be recognized and transmitted to the server 100.
  • information regarding the location of the parking area can be provided to the user terminal 200 to be displayed on the map.
  • the description of the server 100 and the user terminal 200 will be replaced with the content described in FIG. 1, and content not mentioned in FIG. 1 will be described below.
  • the server 100 can provide various information about the parking lot received from the camera at the request of the application of the user terminal 200, and this will be described in detail with reference to FIG. 9 below.
  • FIG. 6 An exemplary diagram showing the entry, exit and payment process of an artificial intelligence parking system using the parking lot's QR code in a large parking lot without a blocking bar and parking lot camera according to an embodiment of the present invention is shown in Figure 6.
  • the user terminal 200 photographs the QR code of the parking area and transmits the parking area identification information to the server 100.
  • the entry time and parking area identification information are sent. Complete the entry by saving the matching.
  • Figure 7 is an exemplary diagram showing a QR code of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • the driver uses the user terminal 200 to touch an area on the floor or wall of the parking lot. Take a photo of the QR code installed on.
  • the QR code includes parking zone-specific information, and the user terminal 200 transmits parking zone identification information corresponding to the captured QR code to the server 100.
  • Figure 8 is an exemplary diagram showing the entry process of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • the server 100 stores the information in one area of the user terminal 200 as shown in (a) of FIG. 8. It is sent so that a URL address that can connect to the web page is displayed. The user terminal 200 enters the URL address received from the server 100 and accesses the corresponding web page.
  • a screen as shown in (b) of FIG. 8 is displayed, and the user terminal 200 inputs a phone number, requests an authentication number from the server 100, and receives the authentication number from the server 100 as a message. Receive and input in the form of .
  • a screen for entering the vehicle number is provided as shown in (c) of FIG. 8, and the user terminal 200 enters the four digits or the entire vehicle number.
  • a screen for entering payment method information is provided as shown in (d) of FIG. 8, and the user terminal 200 inputs the card number, expiration date, the first two digits of the password, and date of birth.
  • the final step for entering the vehicle is entered as shown in (e) of FIG. 8.
  • the entry time and parking zone identification information are stored in correspondence and the entry is completed.
  • the server 100 receives current location information from the user terminal 200.
  • S430 It identifies the license plate number and parking location of the vehicle corresponding to the user terminal 200 and provides guide information.
  • S440 )
  • a printout with an additional identification code containing information about the current location in the parking lot is attached to each location in the parking lot, and the user terminal 200 recognizes the additional identification code and sends it to the server 100.
  • the server 100 transmits the current location information to the user terminal 200.
  • the GPS value of the user terminal 200 is transmitted to the server 100.
  • guide information is provided by identifying the vehicle number and parking location of the vehicle corresponding to the user terminal 200. At this time, the guide information provided is provided in three ways.
  • the first method is to display the current location, parking location, and travel route on a map of the parking lot and provide the information to the user terminal 200.
  • a floor plan of the parking lot is provided to the user terminal 200, and the current location of the user terminal 200 and the parking location where the vehicle with the license plate number corresponding to the user terminal 200 is parked are displayed on the floor plan, and the parking location is displayed at the current location.
  • the route leading up to the destination is indicated with a line on the floor plan.
  • the user terminal 200 displays the current location of the user terminal 200 on the movement path using at least one of the terminal's GPS, accelerometer, and gyro sensor.
  • Figure 9b is an example diagram showing guide information when exiting the parking lot of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • the second method is to display the movement path as an AR image while the camera mode of the user terminal 200 is running.
  • the movement path is displayed as an AR image on the screen with an arrow, and the driver looks at the user terminal 200 and moves in the direction of the arrow.
  • the user terminal 200 may display the next direction indicating arrow for the movement path using at least one of the terminal's GPS, accelerometer, and gyro sensor.
  • the third method is to display the movement path as an AR image while the camera mode of the user terminal 200 is running, but identify information about the parking location is displayed in the AR image only in the direction corresponding to the parking location. And when the user terminal 200 rotates 360 degrees to view the AR image, it can reach the parking area by moving in the direction in which the AR image is continuously displayed.
  • Figure 10 (a) is a screen of the exit URL provided in the form of a message when entry is completed in process S420. If you tap and enter the URL link when exiting the vehicle, you will be moved to the exit page as shown in (b) of Figure 10, and a notice of successful entry will be displayed on the screen. If you tap and enter the exit progress displayed in one area of the screen, you will be able to proceed in process S420. Proceed with payment using the payment method information you entered.
  • FIG. 12 An exemplary diagram showing the entry, exit and payment processes of an artificial intelligence parking system using a QR code in a parking lot equipped with a parking camera according to the second embodiment of the present invention is shown in Figure 12.
  • the parking lot camera recognizes the license plate number and entry time of the entering vehicle (S510).
  • the location of the parking lot and whether the parking area is empty are checked through the application before process S510, and the movement path from the current location of the vehicle to the parking lot is determined through the application. You can receive guidance, and this will be explained with reference to FIG. 13 below.
  • FIG. 13 it will be explained how the parking system finds a parking lot and guides to an empty parking area before entering an artificial intelligence parking lot using the QR code of the parking lot where the parking camera is installed according to the second embodiment of the present invention.
  • Figure 13 (a) shows empty parking spaces on the application map with numbers, and you can find a parking lot by entering the parking lot finder located in the bottom area.
  • the parking area of the corresponding parking lot is displayed in the area of the user terminal 200, as shown in (c) of Figure 13, and the empty parking area of the parking lot and the corresponding parking lot are displayed through the camera. You can check the identification information of the area and the location of the parking area. Additionally, information about the location of empty parking spaces can be expressed on a map and provided to the user terminal 200.
  • Route guidance can be provided as a service.
  • the user terminal 200 receives route guidance by inputting services already installed on the user terminal 200 from a plurality of services.
  • the user terminal 200 photographs the QR code of the parking area and transmits the parking area identification information to the server 100 (S520). Then, after entering the vehicle number, phone number, and payment method information, the entry time and parking area are entered. Entering the car is completed by matching and storing the identification information. (S530) Then, when leaving the car, the server 100 receives the current location information from the user terminal 200. (S540) And the vehicle corresponding to the user terminal 200 Guide information is provided by identifying the number and parking location of the vehicle (S550).
  • Processes S520 to S550 are replaced with processes S410 to S440 described in FIG. 5.
  • the camera recognizes it and makes automatic payment using the payment method information (S560).
  • the vehicle's identification information is checked and the time the vehicle exits is recognized through the camera. Then, when the recognized vehicle number and exit time are transmitted to the server 100, the server 100 calculates the parking time by checking the vehicle number and entry time corresponding to the exited vehicle number among the pre-stored vehicle numbers in S510. Then, automatic payment is made using the payment method information already entered in the S530 process.
  • the server 100 may send a payment completion notification message in the form of a message to the phone number entered in step S530.
  • the process of the artificial intelligence parking system using a QR code in a large parking lot without a blocking bar and with a parking lot camera according to the third embodiment of the present invention can be carried out in the same process as the second embodiment.
  • Figure 14 is an example diagram of an application of an artificial intelligence parking system using a QR code according to an embodiment of the present invention.
  • the vehicle controller and the user terminal 200 are connected based on a local area network
  • the rear camera image is displayed on the center fascia of the vehicle, and the rear camera image of the vehicle is displayed.
  • an image including a QR code is recognized
  • the image is transmitted to the user terminal 200.
  • the user terminal 200 extracts the QR code from the image received from the vehicle, automatically connects to the associated link, and sends the parking area identification information contained in the QR code and the phone number of the user terminal 200 to the server 100. Can be transmitted. Through this, the driver can complete entry without any additional action.
  • the vehicle controller and the user terminal 200 are connected based on a local area network
  • the rear camera image is displayed on the center fascia of the vehicle, and the rear camera image of the vehicle is displayed.
  • an image including a QR code is recognized
  • the image is captured and recognized by the user terminal 200.
  • the user terminal 200 can connect by entering a link related to the QR code in the recognized image, and transmit the parking area identification information contained in the QR code and the phone number of the user terminal 200 to the server 100.
  • Machine learning allows the camera to recognize license plates even in bad weather. This will be described in detail below with reference to FIG. 15.
  • Figure 15 is a flowchart showing a process of performing machine learning so that a camera recognizes a license plate number even in bad weather through machine learning according to an additional embodiment of the present invention.
  • FIG. 16 is an example diagram showing a process in which a camera collects image data including a license plate and extracts some images of the license plate area.
  • a camera collects image data including a license plate and extracts some images of the license plate area.
  • the location of the license plate on the vehicle can be determined as shown in (b) of Figure 16.
  • individual numbers and letters can be distinguished and recognized in the vehicle license plate area, and the corresponding image can be extracted, and the license plate number is recognized by connecting each number and letter.
  • correction learning data is generated by adding defective images for cases of snow or rain to some images.
  • S630 Since there are limitations in obtaining defective images for cases of actual snow or rain, they are located within the extracted image area. Each defect image can be placed in a different location in a different size.
  • raindrops can be simulated by partially blinding a normal vehicle license plate as shown in Figure 17 (a) as shown in Figure 17 (b).
  • heavy snow can be simulated by arbitrarily placing a white square-shaped defect in one area of the license plate image, as shown in (c) of FIG. 17.
  • the types of defects arbitrarily added are not limited to those expressed above.
  • the arbitrary defect image is configured to have a size smaller than the extracted image area to cover a plurality of areas of the vehicle license plate. Additionally, when the defect image is implemented in multiple shapes and multiple colors, a plurality of correction learning data corresponding to one vehicle license plate may be generated.
  • the correction learning data is input into the machine learning model to learn the artificial intelligence model.
  • S640 If a simple defect is added to the correction learning data generated in the S630 process, the license plate is accurately recognized only when the entire number (or character) is visible. Rather, it can be trained to successfully perform license plate recognition even if the number (or letter) is obscured. Additionally, because it adds a simple type of defect, there is no loss in learning time.
  • polygon-based license plate detection is performed.
  • S820 Specifically, as shown in FIGS. 19 and 20, an area estimated to be a license plate is identified based on color from the image data, and feature points (or vertices, edges, etc.) of the area are extracted. By doing so, the license plate area can be detected in a polygonal shape.
  • coordinate system conversion is performed.
  • S830 since the detected license plate area was photographed obliquely when viewed from the left or right or from above, it is not generally rectangular when looking at the license plate directly. Additionally, in some cases, there are curved license plates, which are also not the commonly used rectangular license plates. Therefore, only by converting the license plate into a rectangular shape can the characters within it be easily identified.
  • coordinate system transformation is performed. In other words, the coordinate system conversion is completed by identifying the coordinate values of the feature points (vertices or corners) of the license plate area extracted in the form of a polygon and calculating which coordinate value each of the corresponding coordinate values should be corrected to form a rectangular shape. do. At this time, coordinate system transformation is performed on all pixel values constituting the license plate area.
  • a license plate image normalized to a rectangular shape can be obtained (S840). Through this, a license plate image with a distinct character shape as shown in FIGS. 19 and 20 can be extracted.
  • FIG. 21 is an exemplary diagram showing a vehicle with a license plate located on the side according to a further embodiment of the present invention.
  • the license plate located on one side of the vehicle rather than in the center of the front is marked with a blue border.
  • the license plate photographed from the front of the vehicle may be recognized as having a polygonal shape, as shown in FIGS. 19 and 20 above.
  • a normalized license plate image can be obtained through the steps S810 to S840.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include all computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

본 발명의 일 실시예에 따르는 서버에 의해 수행되는, 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법에 있어서, (a) 차량번호판이 포함된 복수의 학습데이터를 기반으로 정밀번호판 인식모델을 학습시키는 단계; (b) 주차구역에 설치된 카메라로부터 주차장에 입차하는 차량의 이미지를 수신하고, 상기 수신된 이미지를 상기 정밀번호판 인식모델에 입력하여, 차량 번호판에 대한 텍스트 정보를 추출하는 단계; (c) 상기 입차한 차량이 주차하는 차량의 이미지를 수신함에 따라, 상기 차량이 주차한 구역의 주차구역식별정보를 확인하는 단계; (d) 상기 사용자 단말이 상기 주차구역에 설치된 QR코드에 대한 링크를 통해 전화번호 또는 결제수단정보를 입력하여 서버로 전송함에 따라, 또는 상기 서버에 상기 인식된 차량 번호판과 연동되어 저장된 사용자의 식별정보를 확인함에 따라, 주차한 차량의 사용자의 개인정보를 상기 주차구역식별정보, 입차시각 및 상기 인식된 차량번호판과 매칭하여 입차완료하는 단계; 및 (e) 사용자 단말로부터 출차신호가 수신되거나, 상기 카메라로부터 수신한 이미지 상에 출차한 차량의 번호판 중 입차한 차량의 번호판과 매칭되는 것이 확인되는 경우, 사용자 단말과 관련된 차량을 출차 처리하고, 결제수단정보를 기초로 주차비용에 대한 결제를 수행하는 단계;를 포함한다.

Description

정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법
본 발명은 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법에 관한 것으로서, 보다 상세하게는, 주차장에서 설치된 카메라가 눈, 비가 내리는 악천후에서 차량번호판을 정확히 인식하는 것, 측면에서 차량번호가 잘 보이지 않는 경우 차량번호판을 정확히 인식하는 것, 위에서 차량번호가 잘 보이지 않는 경우 차량번호판을 정확히 인식하는 것, 차량 번호판이 옆면에 부착되어 정면에서 제대로 인식되지 않는 경우 차량번호판을 정확히 인식하는 것을 기반으로 하여 QR 코드 기반의 주차 시스템을 제공하는 것에 관한 것이다.
차량의 증가에 따른 주차공간의 부족 문제는 꾸준히 제기되고 있다. 공영주차장이 해결책이 될 수 있지만, 적절한 부지를 선정하여 구하는 것도 쉽지 않고, 비용이 많이 소요되는 것도 걸림돌이다. 만약 부지를 선정하여 주차장을 설하여도 유지보수비, 인건비 등을 포함하는 실제 운영에 따른 부대비용이 추가적으로 발생하고, 유인으로 운영하는 경우, 운영시간에도 한계가 있다.
일반적인 주차 시스템은 차단바가 있어서 입차 및 출차 시 정차를 하게 되고, 출차의 경우, 요금 결제를 위해 시간이 더 소요되어 출구에서 차량들이 정체되는 현상이 있었다.
또한, 노상노외 주차장의 경우, 주차 담당자가 매 번 입차 시간을 확인하고, 운전자는 출차할 때, 주차 담당자에게 결제를 해야 하는 시스템으로 부가시간이 추가로 소요되었다.
그리고 주차장에 차량 번호인식이 가능한 카메라가 설치된 경우, 비 또는 눈이 내려서 카메라에 물기가 묻고, 습기가 차거나 눈 때문에 차량번호판의 일부가 가려지는 경우, 이를 인식하지 못하는 경우가 있다.
또한, 악천후 일 경우에 가림현상으로 인해서 번호팍 인식율이 떨어지며, 대각선일 경우에도 인식율이 떨어진다. 그리고 최신차량의 경우, 공기역학적인 이유와 디자인으로 전면부가 쐐기형으로 이루어져 인식율이 떨어진다. 또한, 고성능차량의 경우, 엔진의 공기흡입을 크게 하기 위하고, 바퀴 부분에 에어가 들어갈 수 있는 유로를 만들어서 브레이크 패드의 냉각 성능을 높이기 위해서 전면부에 air intake부를 크게 하는 경우가 있다. 이 경우 번호판을 옆으로 붙이게 되는데 기존의 방법으로는 번호판 인식율이 떨어지게 된다.
이에 악천후상황에서도 차량번호판을 정확히 인식하는 것을 기반으로 하여 QR 코드 기반의 주차 시스템을 제공하는 방법의 필요성이 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 기계학습을 통해 주차장에 설치된 카메라가 악천후에서도 차량 번호판을 정확히 인식, 측면 또는 윗면에서도 차량 번호판을 정확히 인식, 차량 번호판이 옆면에 부착되어 있는 경우 차량번호판을 정확히 인식하도록 하는 방법을 목적으로 한다.
본 발명의 일 실시예에 따르는 서버에 의해 수행되는, 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법에 있어서, (a) 차량번호판이 포함된 복수의 학습데이터를 기반으로 정밀번호판 인식모델을 학습시키는 단계; (b) 주차구역에 설치된 카메라로부터 주차장에 입차하는 차량의 이미지를 수신하고, 상기 수신된 이미지를 상기 정밀번호판 인식모델에 입력하여, 차량 번호판에 대한 텍스트 정보를 추출하는 단계; (c) 상기 입차한 차량이 주차하는 차량의 이미지를 수신함에 따라, 상기 차량이 주차한 구역의 주차구역식별정보를 확인하는 단계; (d) 상기 사용자 단말이 상기 주차구역에 설치된 QR코드에 대한 링크를 통해 전화번호 또는 결제수단정보를 입력하여 서버로 전송함에 따라, 또는 상기 서버에 상기 인식된 차량 번호판과 연동되어 저장된 사용자의 식별정보를 확인함에 따라, 주차한 차량의 사용자의 개인정보를 상기 주차구역식별정보, 입차시각 및 상기 인식된 차량번호판과 매칭하여 입차 완료하는 단계; 및 (e) 사용자 단말로부터 출차 신호가 수신되거나, 상기 카메라로부터 수신한 이미지 상에 출차한 차량의 번호판 중 입차한 차량의 번호판과 매칭되는 것이 확인되는 경우, 사용자 단말과 관련된 차량을 출차 처리하고, 결제수단정보를 기초로 주차비용에 대한 결제를 수행하는 단계;를 포함한다.
또한, 상기 (a) 단계는, 복수의 학습데이터를 저장하는 단계; 각 학습데이터마다, 차량 번호판에 해당하는 이미지 영역을 추출하는 단계; 추출된 이미지 영역 내의 차량 번호판에 대한 텍스트 값을 인식하는 단계; 상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계; 및 보정학습데이터를 입력하였을 때, 상기 텍스트 값이 출력이 되도록, 복수의 보정학습데이터 및 그에 대응하는 텍스트 값들을 기 설정된 기계학습모델에 입력하여 학습을 수행하는 단계;를 포함한다.
또한, 상기 결함 이미지는 임의의 형태 및 임의의 색상으로 구성되되, 상기 추출된 이미지 영역보다 작은 사이즈로 구성되며, 상기 차량 번호판의 복수의 영역을 가리도록 부가된다.
또한, 상기 결함 이미지가 복수의 형태 및 복수의 색상으로 구현되는 경우, 하나의 차량 번호판에 대응하는 상기 보정학습데이터가 복수개로 생성된다.
또한, 상기 결함이미지는, 눈, 비를 모사하기 위한 형태와 색상으로 구현된다.
또한, 상기 추출된 이미지 영역 내에 부가된 각각의 결함이미지는 각기 다른 사이즈로 서로 다른 위치에 배치된다.
또한, 상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계는, 상기 추출된 이미지 영역 내의 임의의 국소영역에 가우시안 형태의 복수의 블러이미지를 부가하거나, 흰색 도형 형태의 복수의 결함이미지를 부가된다.
또한, 상기 (b) 단계는, (b-1)카메라가 촬영한 영상데이터로부터 번호판의 경계선을 인식하여, 번호판 영역을 다각형 형태로 추출하는 단계; (b-2)상기 다각형 형태의 번호판 영역이 기 설정된 직사각형 형태가 되도록, 상기 번호판 영역을 구성하는 픽셀값들의 좌표를 변환하는 단계; 및 (b-3)좌표가 변환된 번호판 영역 이미지로부터, 차량번호를 텍스트로 추출하는 단계;를 더 포함한다.
또한, 상기 (b-1) 내지 (b-3) 단계는, 카메라가 촬영한 영상데이터 속의 번호판 영역이 기 설정된 직사각형 형태가 아니거나, 차량의 번호판과 카메라가 상하좌우 방향에서 예각으로 배치됨에 따라 비스듬한 번호판 이미지가 수신된 경우 수행된다.
또한, 상기 (e) 단계는, 출차단계에서, 상기 사용자 단말이 현재 위치에 관한 추가식별코드를 상기 서버로 전송하거나, 상기 서버가 상기 사용자 단말로부터 사전에 저장된 위치정보 또는 현재 GPS값을 수신하고, 사용자 단말의 현재 위치를 기반으로 사용자가 상기 차량의 주차위치까지 이동하기 위한 가이드정보를 제공하는 단계를 더 포함한다.
정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 서비스를 제공하는 서버에 있어서, 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 서비스 제공방법에 관한 프로그램을 저장하는 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 방법은, (a) 차량번호판이 포함된 복수의 학습데이터를 기반으로 정밀번호판 인식모델을 학습시키는 단계; (b) 주차구역에 설치된 카메라로부터 주차장에 입차하는 차량의 이미지를 수신하고, 상기 수신된 이미지를 상기 정밀번호판 인식모델에 입력하여, 차량 번호판에 대한 텍스트 정보를 추출하는 단계; (c) 상기 입차한 차량이 주차하는 차량의 이미지를 수신함에 따라, 상기 차량이 주차한 구역의 주차구역식별정보를 확인하는 단계; (d) 상기 사용자 단말이 상기 주차구역에 설치된 QR코드에 대한 링크를 통해 전화번호 또는 결제수단정보를 입력하여 서버로 전송함에 따라, 또는 상기 서버에 상기 인식된 차량 번호판과 연동되어 저장된 사용자의 식별정보를 확인함에 따라, 주차한 차량의 사용자의 개인정보를 상기 주차구역식별정보, 입차시각 및 상기 인식된 차량번호판과 매칭하여 입차 완료하는 단계; 및 (e) 사용자 단말로부터 출차 신호가 수신되거나, 상기 카메라로부터 수신한 이미지 상에 출차한 차량의 번호판 중 입차한 차량의 번호판과 매칭되는 것이 확인되는 경우, 사용자 단말과 관련된 차량을 출차 처리하고, 결제수단정보를 기초로 주차비용에 대한 결제를 수행하는 단계;를 포함한다.
또한, 상기 (a) 단계는, 복수의 학습데이터를 저장하는 단계; 각 학습데이터마다, 차량 번호판에 해당하는 이미지 영역을 추출하는 단계; 추출된 이미지 영역 내의 차량 번호판에 대한 텍스트 값을 인식하는 단계; 상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계; 및 보정학습데이터를 입력하였을 때, 상기 텍스트 값이 출력이 되도록, 복수의 보정학습데이터 및 그에 대응하는 텍스트 값들을 기 설정된 기계학습모델에 입력하여 학습을 수행하는 단계;를 포함한다.
또한, 상기 결함 이미지는 임의의 형태 및 임의의 색상으로 구성되되, 상기 추출된 이미지 영역보다 작은 사이즈로 구성되며, 상기 차량 번호판의 복수의 영역을 가리도록 부가된다.
또한, 결함이미지가 복수의 형태 및 복수의 색상으로 구현되는 경우, 하나의 차량 번호판에 대응하는 상기 보정학습데이터가 복수개로 생성된다.
또한, 상기 결함이미지는, 눈, 비를 모사하기 위한 형태와 색상으로 구현된다.
또한, 상기 추출된 이미지 영역 내에 부가된 각각의 결함이미지는 각기 다른 사이즈로 서로 다른 위치에 배치된다.
또한, 상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계는, 상기 추출된 이미지 영역 내의 임의의 국소영역에 가우시안 형태의 복수의 블러이미지를 부가하거나, 흰색 도형 형태의 복수의 결함이미지를 부가된다.
또한, 상기 (b) 단계는, (b-1)카메라가 촬영한 영상데이터로부터 번호판의 경계선을 인식하여, 번호판 영역을 다각형 형태로 추출하는 단계; (b-2)상기 다각형 형태의 번호판 영역이 기 설정된 직사각형 형태가 되도록, 상기 번호판 영역을 구성하는 픽셀값들의 좌표를 변환하는 단계; 및 (b-3)좌표가 변환된 번호판 영역 이미지로부터, 차량번호를 텍스트로 추출하는 단계;를 더 포함한다.
또한, 상기 (b-1) 내지 (b-3) 단계는, 카메라가 촬영한 영상데이터 속의 번호판 영역이 기 설정된 직사각형 형태가 아니거나, 차량의 번호판과 카메라가 상하좌우 방향에서 예각으로 배치됨에 따라 비스듬한 번호판 이미지가 수신된 경우 수행된다.
또한, 상기 (e) 단계는, 출차단계에서, 상기 사용자 단말이 현재 위치에 관한 추가식별코드를 상기 서버로 전송하거나, 상기 서버가 상기 사용자 단말로부터 사전에 저장된 위치정보 또는 현재 GPS값을 수신하고, 사용자 단말의 현재 위치를 기반으로 사용자가 상기 차량의 주차위치까지 이동하기 위한 가이드정보를 제공하는 단계를 더 포함한다.
본 발명은 다각형 기반 번호판 검출 후 좌표계 변환을 통한 기계학습을 통해 폭우 및 폭설을 포함하는 악천후 및 차량의 번호판이 측면, 윗면 및 정면이 아닌 옆면에 부착되어 있는 경우에도 카메라가 차량 번호판을 인식하는 방법을 제공받을 수 있다.
도 1은 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 구조도이다.
도 2는 본 발명의 일 실시예에 따르는 서버의 구조도이다.
도 3은 본 발명의 두 번째 실시예에 따르는 주차 카메라가 설치된 주차장의 QR 코드를 이용한 인공지능 주차 시스템의 구조도이다.
도 4는 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 과정별 이용 흐름을 나타내는 다이어그램이다.
도 5는 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 과정을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 주차 및 출차과정을 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 QR 코드를 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 입차과정을 나타내는 예시도이다.
도 9a은 본 발명의 일 실시예에 따르는 주차장에 부착된 추가 식별코드를 사용자 단말이 인식하는 것을 나타내는 예시도이다.
도 9b는 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 출차시 가이드정보를 나타내는 예시도이다.
도 10은 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 출차과정을 나타내는 예시도이다.
도 11은 본 발명의 두 번째 실시예에 따르는 주차 카메라가 설치된 주차장의 QR 코드를 이용한 인공지능 주차 시스템의 과정을 설명하기 위한 순서도이다.
도 12는 본 발명의 두 번째 실시예에 따르는 주차 카메라가 설치된 주차장의 QR 코드를 이용한 인공지능 주차 시스템의 주차 및 출차과정을 나타내는 예시도이다.
도 13은 본 발명의 두 번째 실시예에 따르는 주차 카메라가 설치된 주차장의 QR 코드를 이용한 인공지능 주차 시스템에서 주차장 찾기 및 비어있는 주차구역 안내에 대한 예시도이다.
도 14는 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 애플리케이션의 예시도이다.
도 15는 본 발명의 추가 실시예에 따르는 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법의 기계학습을 수행하는 과정을 나타내는 순서도이다.
도 16은 본 발명의 추가 실시예에 따르는 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법의 카메라가 차량 번호판에서 텍스트를 인식하는 과정을 나타내는 예시도이다.
도 17은 본 발명의 추가 실시예에 따르는 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법의 눈, 비 오는 경우에 대한 결함이미지를 나타내는 예시도이다.
도 18은 본 발명의 추가 실시예에 따르는 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법의 측면 도는 윗면 이미지로 번호판 영상을 획득하는 과정을 나타내는 순서도이다.
도 19는 발명의 추가 실시예에 따르는 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법의 차량의 좌측 및 우측에서 촬영한 차량 번호판 인식을 나타내는 예시도이다.
도 20은 발명의 추가 실시예에 따르는 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법의 차량의 전면부 상부측에서 번호판을 촬영하였을 때를 나타내는 예시도이다.
도 21은 본 발명의 추가 실시예에 따르는 측면에 번호판이 위치한 차량을 나타내는 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
먼저 도 1을 참조하여 본 발명의 일 실시예에 따르는 시스템에 구조에 대하여 설명하도록 한다.
도 1을 참조하면 본 발명의 일 실시예에 따르는 시스템은 서버(100) 및 사용자 단말(200)을 포함한다.
서버(100)는 이하 도 2를 참조하여 설명하도록 한다. 도 2를 참조하면 본 발명에 따르는 서버(100)는 프로세서(110), 메모리(120), 데이터베이스(130) 및 통신 모듈(140)을 포함한다.
프로세서(110)는 메모리(120)에 저장된 주차 프로그램을 실행하여 사용자 단말(200)이 입차, 출차 및 요금결제를 진행할 수 있도록 한다. 데이터베이스(130)는 사용자 단말(200)이 입차 할 때 입력하는 주차정보를 저장하며, 주차정보는 핸드폰번호, 차량번호, 암호화된 결제카드 정보를 포함한다. 통신 모듈(140)은 사용자 단말(200)이 주차 애플리케이션 또는 주차 웹페이지에 접속하여 인공지능 주차 시스템을 제공받을 때, 주차 시스템을 제공하기 위해 사용자 단말(200)과 통신을 수행한다.
사용자 단말(200)은 주차장에 게시된 QR 코드를 촬영하여 주차 애플리케이션 또는 주차 웹페이지에 접속하여 입차, 출차 및 요금결제를 수행한다.
이하, 도 3을 참조하여 본 발명의 두 번째 실시예에 따르는 주차 카메라가 설치된 주차장의 QR 코드를 이용한 인공지능 주차 시스템의 구조에 대하여 설명하도록 한다.
도 3을 참조하면 본 발명의 두 번째 실시예에 따르는 주차 시스템은 서버(100), 사용자 단말(200) 및 CCTV(300)를 포함한다.
CCTV(300)는 카메라라고 지칭할 수도 있으며, 주차장을 상시 감시하고, 주차장의 비어있는 주차구역 및 해당 주차구역의 식별정보 및 해당 주차구역의 위치를 서버(100)로 전송할 수 있다. 그리고 차량이 주차장에 도착하여 비어있는 주차구역에 입차하면 차량번호 및 입차시각을 인식하여 서버(100)로 전송할 수 있다. 그 다음, 차량이 주차구역을 벗어나면 차량번호 및 출차시각을 인식하여 서버(100)로 전송할 수 있다.
이 때, 주차구역의 위치에 관한 정보를 맵상에서 표현하도록 사용자 단말(200)로 제공할 수 있다.
서버(100) 및 사용자 단말(200)에 대한 설명은 상기 도 1에서 설명한 내용으로 갈음하도록 하며, 이하에는 상기 도 1에서 언급하지 않은 내용에 대해 설명하도록 한다.
서버(100)는 사용자 단말(200)의 애플리케이션의 요청에 의해 카메라로부터 전송받은 주차장의 다양한 정보를 제공할 수 있으며, 이에 대한 설명은 이하 도 9를 설명하여 상세히 언급하도록 한다.
이하 도 4를 참조하여 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 과정별 이용 흐름을 나타내는 다이어그램을 설명하도록 한다.
(1)주차 차량이 (2)QR이용을 하여 입차하면 (2-1)SMS 문자알림이 도착하고, (3)사용자는 외부용무를 수행할 수 있다. 사용자가 다시 돌아왔을 때, 출차를 위해 (4)주자위치를 탐색하게 되는데, (5-1)QR촬영전송을 통해 QR출차를 진행하거나 (5-2)SMS문자알림의 출차 정보를 전송하여 출차를 할 수도 있고, (5-3) 그냥 주차장을 퇴장하는 방식으로 출차를 진행할 수 있다. 이경우, (5-1)과 (5-2)는 곧바로 서버에서 출차처리를 하게 되며, (5-3)은 주차장의 카메라가 퇴장하는 차량을 인식하여 자동으로 출차를 인식하게 되며, (6-2)출차완료라는 정보를 사용자 단말로 SMS 전송할 수 있다.
본 발명에 대한 전체적인 상세한 설명은 이하 도면들을 참조하여 설명하도록 한다.
이하 도 5를 참조하여 본 발명의 일 실시예에 따르는 차단바가 없고, 주차장 카메라가 없는 대형주차장에 QR 코드를 이용한 인공지능 주차 시스템의 과정을 상세히 설명하도록 한다.
본 발명의 일 실시예에 따르는 차단바가 없고, 주차장 카메라가 없는 대형주차장에 주차장의 QR 코드를 이용한 인공지능 주차 시스템의 입차, 출차 및 결제 과정을 나타낸 예시도는 도 6과 같다.
우선 사용자 단말(200)이 주차구역의 QR 코드를 촬영하여 서버(100)로 주차구역식별정보를 전송한다.(S410) 차량번호, 전화번호 및 결제수단정보 입력 후 입차시각 및 주차구역식별정보를 매칭저장하여 입차를 완료한다.(S420)
S410 과정부터 S420 과정은 이하 도 7 내지 도 8을 참조하여 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 QR 코드를 나타내는 예시도이다.
주차장 입구에 차단바가 설치되어 있지 않고, 주차장 감시 카메라가 없는 대형 주차장의 경우, 차량이 주차장의 비어있는 주차구역에 진입한 후 운전자는 사용자 단말(200)을 이용하여 주차장의 바닥 또는 벽면의 일 영역에 설치된 QR 코드를 촬영한다. QR 코드에는 주차구역실별정보를 포함하고 있으며, 사용자 단말(200)은 서버(100)로 촬영한 QR 코드에 대응하는 주차구역식별정보를 전송한다.
도 8은 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 입차과정을 나타내는 예시도이다.
위의 S410 과정에서 사용자 단말(200)이 QR 코드에 대응하는 주차구역식별정보를 서버(100)로 전송하면 서버(100)는 도 8의 (a)와 같이 사용자 단말(200)의 일 영역에 웹페이지에 연결할 수 있는 URL주소가 표시되도록 전송한다. 사용자 단말(200)은 서버(100)로부터 수신한 URL 주소를 입력하여 대응하는 웹페이지에 접속한다.
웹페이지에 접속이 완료되면 도 8의 (b)와 같은 화면이 표출되고, 사용자 단말(200)은 전화번호를 입력 후 서버(100)로 인증번호를 요청하여 서버(100)로부터 인증번호를 메시지의 형태로 수신하여 입력한다.
전화번호 및 인증번호의 입력이 완료되면 도 8의 (c)와 같이 차량번호를 입력하는 화면이 제공되고, 사용자 단말(200)은 차량번호 4자리 또는 전체를 입력한다.
차량번호의 입력이 완료되면 도 8의 (d)와 같이 결제수단정보 입력을 위한 화면이 제공되고, 사용자 단말(200)은 카드번호, 유효기간, 비밀번호 앞 2자리 및 생년월일을 입력한다.
결제수단정보의 입력이 완료되면 도 8의 (e)와 같이 입차를 위한 최종 단계에 진입하게 되고, 입차하기를 입력하면 입차시각 및 주차구역식별정보와 대응 저장되어 입차가 완료된다.
그리고 출차 시 서버(100)는 사용자 단말(200)로부터 현재 위치 정보를 수신한다.(S430) 사용자 단말(200)과 대응되는 차량번호 및 차량의 주차위치를 식별하여 가이드정보를 제공한다.(S440)
S430 과정은 이하 도 9a를 참조하여 설명하도록 한다. 도 9a를 참조하면 주차장의 각 위치마다 주차장 내 현재 위치에 관한 정보를 포함하고 있는 추가식별코드가 인쇄된 인쇄물이 부착되어 있고, 사용자 단말(200)이 해당 추가식별코드를 인식하여 서버(100)로 전송하면 서버(100)는 현재 위치 정보를 사용자 단말(200)로 전송한다. 또는 사용자 단말(200)의 GPS 값을 서버(100)로 전송한다. 그리고 사용자 단말(200)과 대응되는 차량번호 및 차량의 주차위치를 식별하여 가이드정보를 제공한다. 이 때, 제공하는 가이드정보는 세가지 방법으로 제공된다.
첫 번째 방법은 주차장에 관한 맵 상에서 현재위치, 주차위치, 및 이동경로를 표시하여 사용자 단말(200)로 제공하는 것이다. 사용자 단말(200)에 주차장의 평면도를 제공하고 해당 평면도 위에 사용자 단말(200)의 현재위치 및 사용자 단말(200)과 대응되는 차량번호의 차량이 주차된 주차위치를 표시하고, 현재위치에서 주차위치까지 이동하는 이동경로를 평면도 위에 선으로 표시한다. 그리고 사용자 단말(200)은 단말의 GPS, 가속도계, 자이로센서 중 적어도 하나를 이용하여 이동경로 상의 현재 사용자 단말(200)의 위치를 표시한다.
두 번째와 세 번째 방법은 도 9b를 참조하여 설명하도록 한다.
도 9b는 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 출차시 가이드정보를 나타내는 예시도이다.
두 번째 방법은 사용자 단말(200)의 카메라모드가 실행된 상태에서, 이동경로를 AR 영상으로 표시하는 것이다. 이는 도 9b의 (a)와 같이 사용자 단말(200)에서 카메라모드를 실행하면 화면상에 AR영상으로 이동경로를 화살표로 표시하고 운전자는 사용자 단말(200)을 보고 화살표 방향으로 이동한다. 이 때, 사용자 단말(200)은 단말의 GPS, 가속도계, 자이로센서 중 적어도 하나를 이용하여 이동경로에 대한 다음 방향지시 화살표를 표시할 수 있다.
세 번째 방법은 사용자 단말(200)의 카메라모드가 실행된 상태에서, 이동경로를 AR 영상으로 표시하되, 주차위치에 해당하는 방향에서만 AR영상으로 주차위치에 대한 식별정보가 표시되는 것이다. 그리고 사용자 단말(200)은 360도 회전을 통해 AR영상이 조회되면, 해당 AR영상이 지속적으로 표시되는 방향으로 이동함에 따라 주차구역에 도달할 수 있다.
이는 사용자 단말(200)이 카메라모드가 실행된 상태에서 사용자 단말(200)을 360도 회전을 통해 주차위치에 해당하는 방향에서 도 9b의 (b)와 같이 사용자 단말(200)의 일 영역에 주차위치에 대한 식별정보가 표시된다. 운전자는 사용자 단말(200)에 표시된 식별정보를 보고 해당하는 방향으로 이동하여 주차구역으로 도달한다.
사용자 단말(200)로부터 출차신호를 수신하면 결제수단정보로 결제를 진행한다.(S450) 운전자가 상기 S440 과정을 통해 차량이 주차된 주차구역에 도달하면 출차를 위한 결제과정을 수행한다. 이에 대한 설명은 도 10을 참조하여 설명하도록 한다.
도 10의 (a)는 S420 과정에서 입차완료가 되면 메시지의 형태로 제공되는 출차 URL의 화면이다. 출차시 URL 링크를 탭하여 입력하면 도 10의 (b)와 같은 출차 페이지로 이동이 되고, 해당 화면에는 입차 성공 안내문이 표시되고, 화면의 일 영역에 표시된 출차진행을 탭하여 입력하면 S420 과정에서 입력한 결제수단정보로 결제를 진행한다.
이하 도 11을 참조하여 본 발명의 두 번째 실시예에 따르는 차단바가 없고, 주차 카메라가 설치된 거주자 우선 주차구역에 QR 코드를 이용한 인공지능 주차 시스템의 과정에 대하여 상세히 설명하도록 한다.
본 발명의 두 번째 실시예에 따르는 주차 카메라가 설치된 주차장의 QR 코드를 이용한 인공지능 주차 시스템의 입차, 출차 및 결제 과정을 나타낸 예시도는 도 12와 같다.
우선 주차장 카메라가 입차 차량의 차량번호 인식 및 입차시각을 인식한다.(S510)
주차장 입구에 차단바가 설치되어 있지 않은 거주자 우선 주차구역의 경우, 지자체 또는 관공서에서 설치한 카메라가 설치되어 있다. 해당 카메라는 보안용으로 24시간 주차장을 촬영할 수 있다. 이 때, 차량이 주차장에 도착한 경우, 주차장에 설치된 카메라를 통해 비어있는 주차구역으로 입차된 차량의 차량번호 및 입차시각을 인식할 수 있다.
본 발명의 추가 실시예에 따르는 사용자 단말(200)에 애플리케이션이 설치된 경우, S510 과정 이전에 애플리케이션을 통해 주차장의 위치 및 주차구역이 비어있는지 여부를 확인하고, 차량의 현재 위치부터 주차장까지 이동경로를 안내 받을 수 있으며, 이에 대한 설명은 이하 도 13을 참조하여 설명하도록 한다.
이하 도 13을 참조하면 본 발명의 두 번째 실시예에 따르는 주차 카메라가 설치된 주차장의 QR 코드를 이용한 인공지능 주차장에 입차하기 전에 주차 시스템에서 주차장 찾기 및 비어있는 주차구역 안내에 대하여 설명할 수 있다.
도 13의 (a)는 애플리케이션의 맵상에 비어있는 주차구역을 숫자로 표시한 것이며, 하단의 일영역에 위치한 주차장 찾기를 입력하여 주차장을 찾을 수 있다.
도 13의 (b)는 사용자 단말(200)의 주차장 찾기 입력에 대응하는 주차장 목록을 확인할 수 있다. 해당 목록에는 주차장 이름, 주소, 실내 및 실외 여부, 운영시간, 주차요금, 전체 이용가능대수 및 현재 이용가능대수를 표시한다.
사용자 단말(200)이 이용가능대수를 입력하면 도 13의 (c)와 같이 해당 주차장의 주차구역이 사용자 단말(200)의 일영역에 표시되고, 카메라를 통해 주차장의 비어있는 주차구역, 해당 주차구역의 식별정보 및 해당 주차구역의 위치를 확인 할 수 있다. 또한, 비어있는 주차구역의 위치에 관한 정보를 맵상에서 표현하여 사용자 단말(200)로 제공할 수 있다.
이 때, 사용자 단말(200)이 도 13의 (c)의 하단 일영역에 위치한 길안내를 입력하면 도 13의 (d)와 같이 사용자 단말(200)의 현재 위치에서 상기 비어있는 주차구역까지의 경로안내가 제공가능한 서비스를 제공받을 수 있다. 사용자 단말(200)은 복수의 서비스에서 사용자 단말(200)에 기 설치되어 있는 서비스를 입력하여 경로안내를 제공 받는다.
그 다음, 사용자 단말(200)이 주차구역의 QR 코드를 촬영하여 서버(100)로 주차구역식별정보를 전송한다.(S520) 그리고 차량번호, 전화번호 및 결제수단정보 입력 후 입차시각 및 주차구역식별정보를 매칭 저장하여 입차를 완료한다.(S530) 그 다음, 출차 시 서버(100)는 사용자 단말(200)로부터 현재 위치 정보를 수신한다.(S540) 그리고 사용자 단말(200)과 대응되는 차량번호 및 차량의 주차위치를 식별하여 가이드정보를 제공한다.(S550)
S520 과정부터 S550 과정은 도 5에서 설명한 S410 과정부터 S440 과정으로 갈음하도록 한다.
사용자의 출차신호가 없이 차량이 주차구역을 벗어나면 카메라가 인식하여 결제수단정보를 이용하여 자동결제를 진행한다.(S560)
운전자가 주차구역에 도달하여 별도의 출차신호를 하지 않고, 차량을 통해 주차구역을 벗어나면 해당 차량의 식별정보를 확인하고, 카메라를 통해 차량이 출차하는 시각을 인식한다. 그리고 인식한 차량번호와 출차시각을 서버(100)로 전송하면 서버(100)는 S510 과정에서 기 저장된 차량번호 중 출차한 차량번호와 대응하는 차량번호 및 입차시각을 확인하여 주차시간을 계산한다. 그리고 S530 과정에서 기 입력한 결제수단정보를 이용하여 자동결제를 진행한다.
서버(100)는 자동결제가 완료되면 S530 과정에서 입력한 전화번호에 메시지 형태로 결제완료 안내메시지를 전송할 수 있다.
본 발명의 세 번째 실시예에 따르는 차단바가 없고, 주차장 카메라가 있는 대형 주차장에 QR 코드를 이용한 인공지능 주차 시스템의 과정은 두 번째 실시예와 동일한 과정으로 진행될 수 있다.
본 발명의 추가 실시예에 따르는 사용자 단말(200)에 애플리케이션이 설치된 경우, 애플리케이션에 차량번호, 전화번호 및 결제수단정보를 기 저장하면 도 5의 S420 과정 및 도 11의 S530 과정을 별도로 수행하지 않고, 입차를 진행 할 수 있으며, 이하 도 14을 참조하여 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따르는 QR 코드를 이용한 인공지능 주차 시스템의 애플리케이션의 예시도이다.
차량을 주차구역에 위치하고, 사용자 단말(200)의 애플리케이션을 실행 후 도 14의 (a)와 같이 애플리케이션 일 영역에 위치한 주차등록을 입력하고, 도 14의 (b)와 같이 사용자 단말(200)을 이용하여 QR 코드를 인식한다. 그리고 도 14의 (c)와 같이 애플리케이션에 제공되는 주차면 번호를 확인 후 주차등록을 입력하면 도 14의 (d)와 같이 입차가 완료된다. 이 때, 차량번호, 전화번호 및 결제수단정보는 애플리케이션 설치 후 미리 설정을 하여 별도로 입력할 필요가 없다.
본 발명의 추가 실시예에 따르는 차량의 컨트롤러와 사용자 단말(200)이 근거리 통신망 기반으로 연결된 경우, 차량이 후방주차를 실행함에 따라 후방카메라 영상이 차량의 센터페시아에 표시되고, 차량의 후방카메라 영상 중 QR 코드를 포함하는 영상이 인식될 때, 해당 영상을 사용자 단말(200)로 전송한다. 사용자 단말(200)은 차량으로부터 수신한 영상에서 QR 코드를 추출하고, 연관된 링크에 자동 접속하여, QR 코드가 포함하고 있는 주차구역식별정보와 사용자 단말(200)의 전화번호를 서버(100)로 전송할 수 있다. 이를 통해 운전자는 별도의 행위 없이 입차를 완료 할 수 있다.
본 발명의 추가 실시예에 따르는 차량의 컨트롤러와 사용자 단말(200)이 근거리 통신망 기반으로 연결된 경우, 차량이 후방주차를 실행함에 따라 후방카메라 영상이 차량의 센터페시아에 표시되고, 차량의 후방카메라 영상 중 QR 코드를 포함하는 영상이 인식될 때, 해당 영상을 사용자 단말(200)로 촬영하여 인식한다. 사용자 단말(200)은 인식한 영상에서 QR 코드에 연관된 링크를 입력하여 접속하고, QR 코드가 포함하고 있는 주차구역식별정보와 사용자 단말(200)의 전화번호를 서버(100)로 전송할 수 있다.
본 발명의 추가 실시예에 따르는 기계학습을 통해 악천후에도 카메라가 차량번호를 인식할 수 있다. 이에 대하여 이하 도 15를 참조하여 상세히 설명하도록 한다.
도 15는 본 발명의 추가 실시예에 따르는 기계학습을 통해 악천후에도 카메라가 차량번호를 인식하도록 기계학습을 수행하는 과정을 나타내는 순서도이다.
우선 번호판을 포함하는 영상데이터(학습데이터)를 수집한다.(S610) 그리고 번호판 영역에 대한 일부 이미지를 추출한다.(S620) 상기 S610 및 S620과정에 대하여 이하 도 16을 참조하여 설명하도록 한다. 도 16은 카메라가 번호판을 포함하는 영상데이터를 수집하고 번호판 영역에 대한 일부 이미지를 추출하는 과정을 나타내는 예시도이다. 도 16의 (a)와 같이 카메라에 차량이 지나가면, 도 16의 (b)와 같이 차량에서 번호판의 위치를 파악할 수 있다. 이후 도 16의 (c)와 같이 차량 번호판 영역에서 개별적인 숫자와 문자를 구별하여 인식하고 해당 이미지를 추출할 수 있으며, 각 숫자와 문자를 연결하여 차량번호를 인식한다.
그 다음, 일부 이미지에 눈, 비 오는 경우에 대한 결함이미지를 부가하여 보정학습데이터를 생성한다.(S630) 실제 눈 또는 비가 오는 경우에 대한 결함이미지는 구함에 있어 한계가 있기 때문에 추출한 이미지 영역 내에 각각의 결함이미지를 각기 다른 사이즈로 서로 다른 위치에 배치 할 수 있다.
이하 도 17을 참조하면 도 17의 (a)와 같이 정상적인 차량 번호판에 도 17의 (b)처럼 일부 블라인드 처리를 하여 빗방울을 모사할 수 있다. 또, 도 17의 (c)와 같이 차량 번호판 영상의 일 영역에 임의로 흰색 사각형 형태의 결함을 배치하여 폭설을 모사할 수 있다. 그러나 임의로 부가하는 결함의 형태가 상기에서 표현한 것에 한정되는 것은 아니다.
그리고 상기 임의의 결함이미지는 추출된 이미지 영역보다 작은 사이즈로 구성되어 차량 번호판의 복수의 영역을 가리도록 한다. 또한, 결함이미지가 복수의 형태 및 복수의 색상으로 구현되는 경우, 하나의 차량 번호판에 대응하는 상기 보정학습데이터가 복수개로 생성될 수 있다.
그리고 보정학습데이터를 기계학습모델에 입력하여 인공지능 모델을 학습한다.(S640) S630과정에서 생성한 보정학습데이터에 단순한 형태의 결함을 추가하면 번호(혹은 문자) 전체가 보일 때만 정확히 번호판을 인식하는 것이 아니라, 번호(혹은 문자)가 가려지더라도 번호판 인식을 성공적으로 수행할 수 있도록 학습시킬 수 있다. 또한, 단순한 형태의 결함을 추가하는 것이기 때문에 학습 시간에 손해도 없다.
이하 도 18을 참조하여 본 발명의 추가 실시예에 따라, 영상의 촬영각도가 작아서 정상적이지 않은 번호판이 촬영된 경우에도 정확히 번호를 인식할 수 있도록 하는 알고리즘에 대해서, 설명하도록 한다.
우선 번호판을 포함하는 영상데이터(학습데이터)를 수집한다.(S810)
그리고 다각형 기반 번호판 검출을 한다.(S820) 구체적으로, 도 19 및 도 20과 같이, 영상데이터로부터 색상 기반으로 번호판으로 추정되는 영역을 식별하고, 해당 영역의 특징점(또는 꼭지점, 모서리 등)을 추출함으로써, 다각형 형태로 번호판 영역을 검출할 수 있다.
이어서, 좌표계 변환을 한다.(S830) 구체적으로, 검출된 번호판 영역은 좌,우에서 바라보거나, 위에서 바라보아서 비스듬하게 촬영되었기 때문에, 일반적으로 번호판을 정면으로 바라보았을 때의 직사각형태가 아니다. 또한, 경우에 따라, 꺽여진 번호판도 있는데, 이러한 경우 역시 흔히 사용되는 직사각형태의 번호판이 아니다. 따라서, 직사각형태의 번호판으로 변환하여야만, 그 안에 있는 문자를 용이하게 식별할 수 있다. 이를 위해 좌표계변환을 수행하는 것이다. 즉, 다각형 형태로 추출된 번호판 영역의 특징점(꼭지점이나 모서리)의 좌표값이 무엇인지 식별하고, 직사각형태로 구성되기 위해 해당 좌표값 각각이 어떤 좌표값으로 보정되어야 하는지 연산함으로써, 좌표계 변환을 완료한다. 이때, 번호판 영역을 구성하는 모든 픽셀값들에 대해서 좌표계 변환을 수행한다.
이러한 좌표계변환을 완료할 경우, 직사각형태로 정규화된 번호판 영상을 획득할 수 있다.(S840) 이를 통해 도 19 내지 도 20에 도시된 바와 같은 뚜렷한 문자 형태의 번호판 이미지를 추출해낼 수 있다.
이하 도 21은 본 발명의 추가 실시예에 따르는 측면에 번호판이 위치한 차량을 나타내는 예시도이다. 도 21을 참조하면 차량의 전면부 중앙이 아닌 일 측면에 위치한 번호판을 파란색 경계선으로 표시한 것을 확인 할 수 있다. 이 경우, 차량의 전면에서 촬영한 번호판은 상기 도 19 내지 도 20과 같이 다각형의 형태로 인식될 수 있다. 이 때, 상기 S810 과정 내지 상기 S840 과정을 통해 정규화된 번호판 영상을 획득 할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 서버에 의해 수행되는, 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법에 있어서,
    (a) 차량번호판이 포함된 복수의 학습데이터를 기반으로 정밀번호판 인식모델을 학습시키는 단계;
    (b) 주차구역에 설치된 카메라로부터 주차장에 입차하는 차량의 이미지를 수신하고, 상기 수신된 이미지를 상기 정밀번호판 인식모델에 입력하여, 차량 번호판에 대한 텍스트 정보를 추출하는 단계;
    (c) 상기 입차한 차량이 주차하는 차량의 이미지를 수신함에 따라, 상기 차량이 주차한 구역의 주차구역식별정보를 확인하는 단계;
    (d) 상기 사용자 단말이 상기 주차구역에 설치된 QR코드에 대한 링크를 통해 전화번호 또는 결제수단정보를 입력하여 서버로 전송함에 따라, 또는 상기 서버에 상기 인식된 차량 번호판과 연동되어 저장된 사용자의 식별정보를 확인함에 따라, 주차한 차량의 사용자의 개인정보를 상기 주차구역식별정보, 입차시각 및 상기 인식된 차량번호판과 매칭하여 입차 완료하는 단계; 및
    (e) 사용자 단말로부터 출차 신호가 수신되거나, 상기 카메라로부터 수신한 이미지 상에 출차한 차량의 번호판 중 입차한 차량의 번호판과 매칭되는 것이 확인되는 경우, 사용자 단말과 관련된 차량을 출차 처리하고, 결제수단정보를 기초로 주차비용에 대한 결제를 수행하는 단계;
    를 포함하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는,
    복수의 학습데이터를 저장하는 단계;
    각 학습데이터마다, 차량 번호판에 해당하는 이미지 영역을 추출하는 단계;
    추출된 이미지 영역 내의 차량 번호판에 대한 텍스트 값을 인식하는 단계;
    상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계; 및
    보정학습데이터를 입력하였을 때, 상기 텍스트 값이 출력이 되도록, 복수의 보정학습데이터 및 그에 대응하는 텍스트 값들을 기 설정된 기계학습모델에 입력하여 학습을 수행하는 단계;
    를 포함하는,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  3. 제 2 항에 있어서,
    상기 결함 이미지는 임의의 형태 및 임의의 색상으로 구성되되, 상기 추출된 이미지 영역보다 작은 사이즈로 구성되며, 상기 차량 번호판의 복수의 영역을 가리도록 부가되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  4. 제 3 항에 있어서,
    상기 결함 이미지가 복수의 형태 및 복수의 색상으로 구현되는 경우,
    하나의 차량 번호판에 대응하는 상기 보정학습데이터가 복수개로 생성될 수 있는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  5. 제 3 항에 있어서,
    상기 결함이미지는, 눈, 비를 모사하기 위한 형태와 색상으로 구현되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  6. 제 3 항에 있어서,
    상기 추출된 이미지 영역 내에 부가된 각각의 결함이미지는 각기 다른 사이즈로 서로 다른 위치에 배치되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  7. 제 3 항에 있어서,
    상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계는,
    상기 추출된 이미지 영역 내의 임의의 국소영역에 가우시안 형태의 복수의 블러이미지를 부가하거나, 흰색 도형 형태의 복수의 결함이미지를 부가하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  8. 제 1 항에 있어서,
    상기 (b) 단계는,
    (b-1)카메라가 촬영한 영상데이터로부터 번호판의 경계선을 인식하여, 번호판 영역을 다각형 형태로 추출하는 단계;
    (b-2)상기 다각형 형태의 번호판 영역이 기 설정된 직사각형 형태가 되도록, 상기 번호판 영역을 구성하는 픽셀값들의 좌표를 변환하는 단계; 및
    (b-3)좌표가 변환된 번호판 영역 이미지로부터, 차량번호를 텍스트로 추출하는 단계;를 더 포함하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  9. 제 8 항에 있어서,
    상기 (b-1) 내지 (b-3) 단계는, 카메라가 촬영한 영상데이터 속의 번호판 영역이 기 설정된 직사각형 형태가 아니거나, 차량의 번호판과 카메라가 상하좌우 방향에서 예각으로 배치됨에 따라 비스듬한 번호판 이미지가 수신된 경우 수행되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  10. 제 1 항에 있어서,
    상기 (e) 단계는,
    출차단계에서, 상기 사용자 단말이 현재 위치에 관한 추가식별코드를 상기 서버로 전송하거나, 상기 서버가 상기 사용자 단말로부터 사전에 저장된 위치정보 또는 현재 GPS값을 수신하고, 사용자 단말의 현재 위치를 기반으로 사용자가 상기 차량의 주차위치까지 이동하기 위한 가이드정보를 제공하는 단계를 더 포함하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공방법.
  11. 정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 서비스를 제공하는 서버에 있어서,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 서비스 제공방법에 관한 프로그램을 저장하는 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서를 포함하며,
    상기 방법은,
    (a) 차량번호판이 포함된 복수의 학습데이터를 기반으로 정밀번호판 인식모델을 학습시키는 단계;
    (b) 주차구역에 설치된 카메라로부터 주차장에 입차하는 차량의 이미지를 수신하고, 상기 수신된 이미지를 상기 정밀번호판 인식모델에 입력하여, 차량 번호판에 대한 텍스트 정보를 추출하는 단계;
    (c) 상기 입차한 차량이 주차하는 차량의 이미지를 수신함에 따라, 상기 차량이 주차한 구역의 주차구역식별정보를 확인하는 단계;
    (d) 상기 사용자 단말이 상기 주차구역에 설치된 QR코드에 대한 링크를 통해 전화번호 또는 결제수단정보를 입력하여 서버로 전송함에 따라, 또는 상기 서버에 상기 인식된 차량 번호판과 연동되어 저장된 사용자의 식별정보를 확인함에 따라, 주차한 차량의 사용자의 개인정보를 상기 주차구역식별정보, 입차시각 및 상기 인식된 차량번호판과 매칭하여 입차완료하는 단계; 및
    (e) 사용자 단말로부터 출차신호가 수신되거나, 상기 카메라로부터 수신한 이미지 상에 출차한 차량의 번호판 중 입차한 차량의 번호판과 매칭되는 것이 확인되는 경우, 사용자 단말과 관련된 차량을 출차처리하고, 결제수단정보를 기초로 주차비용에 대한 결제를 수행하는 단계;
    를 포함하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  12. 제 11 항에 있어서,
    상기 (a) 단계는,
    복수의 학습데이터를 저장하는 단계;
    각 학습데이터마다, 차량 번호판에 해당하는 이미지 영역을 추출하는 단계;
    추출된 이미지 영역 내의 차량 번호판에 대한 텍스트값을 인식하는 단계;
    상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계; 및
    보정학습데이터를 입력하였을 때, 상기 텍스트값이 출력이 되도록, 복수의 보정학습데이터 및 그에 대응하는 텍스트값들을 기 설정된 기계학습모델에 입력하여 학습을 수행하는 단계;
    를 포함하는,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  13. 제 12 항에 있어서,
    상기 결함 이미지는 임의의 형태 및 임의의 색상으로 구성되되, 상기 추출된 이미지 영역보다 작은 사이즈로 구성되며, 상기 차량 번호판의 복수의 영역을 가리도록 부가되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템 제공하는 서버.
  14. 제 13 항에 있어서,
    결함이미지가 복수의 형태 및 복수의 색상으로 구현되는 경우,
    하나의 차량 번호판에 대응하는 상기 보정학습데이터가 복수개로 생성될 수 있는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  15. 제 13 항에 있어서,
    상기 결함이미지는, 눈, 비를 모사하기 위한 형태와 색상으로 구현되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  16. 제 13 항에 있어서,
    상기 추출된 이미지 영역 내에 부가된 각각의 결함이미지는 각기 다른 사이즈로 서로 다른 위치에 배치되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  17. 제 13 항에 있어서,
    상기 추출된 이미지 영역에 복수의 결함 이미지를 부가하여 보정학습데이터를 생성하는 단계는,
    상기 추출된 이미지 영역 내의 임의의 국소영역에 가우시안 형태의 복수의 블러이미지를 부가하거나, 흰색 도형 형태의 복수의 결함이미지를 부가하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  18. 제 11항에 있어서,
    상기 (b) 단계는,
    (b-1)카메라가 촬영한 영상데이터로부터 번호판의 경계선을 인식하여, 번호판 영역을 다각형 형태로 추출하는 단계;
    (b-2)상기 다각형 형태의 번호판 영역이 기 설정된 직사각형 형태가 되도록, 상기 번호판 영역을 구성하는 픽셀값들의 좌표를 변환하는 단계; 및
    (b-3)좌표가 변환된 번호판 영역 이미지로부터, 차량번호를 텍스트로 추출하는 단계;를 더 포함하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  19. 제 18 항에 있어서,
    상기 (b-1) 내지 (b-3) 단계는, 카메라가 촬영한 영상데이터 속의 번호판 영역이 기 설정된 직사각형 형태가 아니거나, 차량의 번호판과 카메라가 상하좌우 방향에서 예각으로 배치됨에 따라 비스듬한 번호판 이미지가 수신된 경우 수행되는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
  20. 제 11 항에 있어서,
    상기 (e) 단계는,
    출차단계에서, 상기 사용자 단말이 현재 위치에 관한 추가식별코드를 상기 서버로 전송하거나, 상기 서버가 상기 사용자 단말로부터 사전에 저장된 위치정보 또는 현재 GPS값을 수신하고, 사용자 단말의 현재 위치를 기반으로 사용자가 상기 차량의 주차위치까지 이동하기 위한 가이드정보를 제공하는 단계를 더 포함하는 것인,
    정확한 차량번호판 인식을 기반으로 한 QR 코드 기반의 주차 시스템을 제공하는 서버.
PCT/KR2023/016271 2022-10-27 2023-10-19 정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법 WO2024090899A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0139914 2022-10-27
KR1020220139914A KR20240062170A (ko) 2022-10-27 2022-10-27 정확한 차량번호판 인식을 기반으로 한 qr 코드 기반의 주차 시스템 제공방법

Publications (1)

Publication Number Publication Date
WO2024090899A1 true WO2024090899A1 (ko) 2024-05-02

Family

ID=90831175

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/016271 WO2024090899A1 (ko) 2022-10-27 2023-10-19 정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법

Country Status (2)

Country Link
KR (1) KR20240062170A (ko)
WO (1) WO2024090899A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101873438B1 (ko) * 2017-04-19 2018-07-02 아마노코리아 주식회사 스마트 디바이스를 사용하는 주차 요금 결제 시스템
KR102062579B1 (ko) * 2019-09-23 2020-01-06 주식회사 아프로시스템즈 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
KR102238401B1 (ko) * 2020-09-14 2021-04-09 전주비전대학교산학협력단 데이터 확장 및 cnn을 이용한 차량번호 인식 방법
KR20220090212A (ko) * 2020-12-22 2022-06-29 인천대학교 산학협력단 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법
KR20220094004A (ko) * 2020-12-28 2022-07-05 주식회사 오픈시스넷 딥러닝 객체 추적을 통한 무인주차 관제 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101873438B1 (ko) * 2017-04-19 2018-07-02 아마노코리아 주식회사 스마트 디바이스를 사용하는 주차 요금 결제 시스템
KR102062579B1 (ko) * 2019-09-23 2020-01-06 주식회사 아프로시스템즈 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
KR102238401B1 (ko) * 2020-09-14 2021-04-09 전주비전대학교산학협력단 데이터 확장 및 cnn을 이용한 차량번호 인식 방법
KR20220090212A (ko) * 2020-12-22 2022-06-29 인천대학교 산학협력단 기계학습 기반의 꼭짓점 추출을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치 및 그 동작 방법
KR20220094004A (ko) * 2020-12-28 2022-07-05 주식회사 오픈시스넷 딥러닝 객체 추적을 통한 무인주차 관제 시스템 및 방법

Also Published As

Publication number Publication date
KR20240062170A (ko) 2024-05-09

Similar Documents

Publication Publication Date Title
US11875606B2 (en) Method and system for managing a parking lot based on intelligent imaging
WO2020141683A1 (ko) 영상 기반의 교통 정보 제공 시스템 및 그 방법
WO2013115470A1 (en) Integrated control system and method using surveillance camera for vehicle
WO2017018744A1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
KR101636827B1 (ko) 차량 번호 인식시스템
WO2012118283A2 (ko) 휴대용 불법단속 및 교통위반단속 시스템
WO2018230845A1 (ko) 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2016035993A1 (ko) 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
WO2020149576A1 (ko) 인공지능 기반 차량 검색 시스템
WO2020034534A1 (zh) 基于行车记录仪的举证方法、装置、设备和存储介质
JP3466169B2 (ja) 道路や周辺施設等の管理システム
WO2016024680A1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
WO2020251099A1 (ko) 사용자의 현재 위치로 차량을 호출하는 방법
WO2015080470A1 (ko) 차량 위치 제공 로봇, 그리고 그를 이용한 주차 위치 안내 시스템 및 주차 위치 안내 방법
WO2024090899A1 (ko) 정확한 차량번호판 인식을 기반으로 한 큐알 코드 기반의 주차 시스템 제공방법
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
WO2019132504A1 (ko) 목적지 안내 장치 및 방법
WO2019083073A1 (ko) 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
WO2023101248A1 (ko) Npu 기반 교통정보 분석 시스템 및 방법
JP2020204709A (ja) 地図情報更新システム及び地図情報更新方法
WO2023234591A1 (ko) 큐알 코드를 이용한 인공지능 주차 시스템
WO2022231316A1 (ko) 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
KR102459934B1 (ko) 전기차 충전기능을 갖는 노상주차 무인 시스템
WO2022035190A1 (ko) 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
WO2023210839A1 (ko) 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23883006

Country of ref document: EP

Kind code of ref document: A1