WO2021187704A1 - 딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템 - Google Patents

딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템 Download PDF

Info

Publication number
WO2021187704A1
WO2021187704A1 PCT/KR2020/013825 KR2020013825W WO2021187704A1 WO 2021187704 A1 WO2021187704 A1 WO 2021187704A1 KR 2020013825 W KR2020013825 W KR 2020013825W WO 2021187704 A1 WO2021187704 A1 WO 2021187704A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
map
location
vehicle
deep learning
Prior art date
Application number
PCT/KR2020/013825
Other languages
English (en)
French (fr)
Inventor
김경식
Original Assignee
김경식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김경식 filed Critical 김경식
Publication of WO2021187704A1 publication Critical patent/WO2021187704A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Definitions

  • the present invention relates to a system for making a parking map using deep learning and RTT signals and for checking vehicle location in a parking lot.
  • the present invention relates to a system for making a parking map using deep learning and RTT signals and for determining the location of a vehicle in a parking lot.
  • Many drivers have had the experience of being lost because they could not find the location where they parked in large parking lots such as large shopping malls or airports.
  • the parking lot side attaches a sign with color and number on the pole to make it easier to find the parking lot, but if you park for a long time, you may forget the parked sign. In some cases, you can find the location through sound by pressing the car key, or check the parking location at the parking payment machine or parking confirmation machine installed on each floor. In many cases, it was difficult to find a parking location with the help of a device such as a cell phone because GPS does not work in the parking lot.
  • Republic of Korea Patent Registration No. 10-2059849 'Intelligent Parking Management Method and System' takes a picture of a vehicle that wants to enter a parking lot, recognizes the vehicle number and vehicle type information, and maps the parking path to a parking space based on the IoT sensor.
  • This user terminal is provided for the purpose of only providing guidance to the available parking space, and does not include a configuration for finding a car when getting back into the car after parking.
  • the portal company makes a map and provides it, but for the map of the parking lot, the portal company sometimes needs to take a car elevator to get to the parking lot. Since there is no need to create such a map in the parking lot, the building owner often has to bear it, but the building owner also makes a map of the parking lot and does not feel the need to install and maintain an additional device in the parking lot to use it. Also, since there is no other way to use the map in the parking lot, even if it is made, only one page of guidance is created and provided, and it is rarely provided separately online.
  • the present invention has been devised to overcome the above disadvantages, and uses a sensor basically attached to a user terminal, but accumulates information received from a large number of users, and determines the aisle and parking location for each parking lot from this information.
  • An object of the present invention is to provide a system for guiding into a space or facilitating finding a parked location.
  • a system server 11 and a plurality of user terminals 12 are connected using a network to provide a parking guidance and vehicle positioning system using deep learning, and the user terminal 12 transmits the data sensed every predetermined time using the altitude sensor 25, the acceleration sensor 26, and the gyro sensor 27 to the system server 11, and the system server 11 stores it in the movement path DB 42
  • the virtual map making module 43 predicts a ball that is not a parking space, and a passageway through which a car travels, a space expected as a parking space, and a passage based on the data stored in the movement route DB 42 including the deep learning network learned in advance.
  • a map is produced by a method of displaying it on the map and stored in the virtual map DB 47, so that data from multiple users can be received and repeated.
  • the user terminal 12 further includes a camera 21 so that the system server 11 receives the image from the user terminal 12 together and stores it in the image information DB 45, and the OCR reading module 22 provides text in the image. can be recognized and stored in the character recognition DB (46) and stored together with the corresponding location in the virtual map DB (47).
  • the facility recognition module 44 may recognize the facility in the image information DB 45 and store it in the virtual map DB 47 together with the corresponding location.
  • the user terminal 12 may receive information about the speed and direction of the vehicle from the vehicle OBD module 13 and store it in the movement path DB 42 of the system server 11 .
  • the GPS sensitivity check module 24 may check the sensitivity of the GPS and provide it to the system server 11 to check whether the vehicle is located outdoors, in a building, or in a tunnel.
  • the available parking space prediction module 48 checks the vehicle parked in the position predicted as the parking space in the image information DB 45 from the license plate of the vehicle, and learns the vacant time for each parking space according to the time to determine the parking prediction DB ( 49), and whenever there is a request from the user terminal 12, information on the available parking space can be provided to the user terminal 12.
  • the parking guide module 51 may provide a path to the available parking space.
  • the vehicle location finding module 50 can use the information obtained from the user terminal 12 to determine the location of the vehicle using the GPS 23 outdoors and verify where it is located on the virtual map of the parking lot in the building. .
  • the parking location identification module 52 may determine a movement route in the parking lot after the user gets out of the car, and guide how to move from the departed route to the parked location when the user leaves the pre-written virtual map. .
  • the parking location identification module 52 may predict where the user is located on the virtual map and provide it to the user terminal 12 when the user provides any one of a picture and an image of a location where the user is located in the parking lot.
  • the data sensed by the sensor can be corrected by the following equation.
  • S is the sensing value Si,t of a specific sensor, t is the time, data from the first sensed time to the end of the sensing (p), S'i,t is the normalized sensing value using Si,t, sigma i-1 is the standard deviation of the i-1 data, sigma i is the standard deviation of the i-th data set Si,av is the sensing average value of the I-th data, Si-1,av is the sensing average value of the i-1 data)
  • n correction factors are all the same, so one value can be used. have.
  • FIG. 1 to 4 are diagrams showing an embodiment according to the present invention.
  • FIG. 1 shows a block diagram of a system according to the present invention
  • the system server 11 according to the present invention is connected to a terminal installed in a vehicle or a terminal carried by the user through a network, and the terminal installed in the user or vehicle is collectively referred to as the user terminal 12 .
  • the user terminal 12 includes a camera 21 and an OCR reading module 22 for OCR (Optical Character Recognition), a GPS 23 and a GPS sensitivity check module 24, an altitude sensor 25, and an acceleration sensor 26. .
  • OCR Optical Character Recognition
  • a sensor may further include a sensing value check module 33 for checking a change in the value sensed by the sensor.
  • the altitude sensor 25 senses the pressure of the air and can detect a slope or a downhill, and can be used to detect the number of floors.
  • the acceleration sensor 26 measures the moving speed and acceleration in a three-dimensional coordinate system, and measures the moving speed/acceleration of the user terminal.
  • the gyro sensor 27 may be used to measure a moving direction in a three-dimensional coordinate system to measure a moving direction of the user terminal 12 .
  • the brightness sensor 28 detects the brightness of ambient light, and is used to automatically adjust the brightness of the display by sensing the ambient brightness in a general mobile phone.
  • the hall sensor 29 is a sensor used to sense the strength of the surrounding magnetic field, and is often used to check whether the cover is closed or not.
  • the temperature/humidity sensor 30 refers to a sensor that measures the temperature and humidity around the user terminal 12 .
  • the geomagnetic sensor 31 refers to a sensor that detects the direction of the Earth's magnetic field. Detect the N and S poles of the compass.
  • the RGB sensor 32 refers to a sensor that detects the color density of ambient light, and a smartphone with an RGB sensor is used to correct the color of the display according to the surroundings and the density.
  • proximity sensors and fingerprint sensors can be used as needed, but mainly, altitude sensors, acceleration sensors, gyro sensors, brightness sensors, geomagnetic sensors, etc. can be used to detect the direction and speed of movement, and other sensors can be used auxiliary.
  • the user terminal 12 may receive and use information about the vehicle's moving speed and the vehicle's direction from OBD (On-board Diagnostics) attached to the vehicle.
  • OBD On-board Diagnostics
  • the vehicle OBD module 13 and the user terminal 12 may be connected via Bluetooth or the like. OBD is attached to vehicle management by vehicle manufacturers. Recently, OBD information is directly received from vehicle and used for vehicle management.
  • the location can be more accurately determined.
  • RTT is to send an FTM (fine timing measurement) signal for distance measurement to the WIFI AP at a specific location, and when the user terminal sends a response signal to the FTM signal sent by the AP, the AP sends and receives the FTM signal from the time the user terminal and the AP are received. The distance between the two is measured. At this time, after the user terminal receives the signal, the response signal is sent back to the AP. Except for the time processed by the terminal, the time taken from the AP to the user terminal and the time taken from the user terminal to the AP are used. to calculate the distance.
  • FTM fine timing measurement
  • the distance from a specific AP to the user terminal can be measured, and when multiple APs are used, a more accurate location can be calculated. That is, when the distance from the specific AP to the user terminal is obtained, the user terminal may be located on a circumference forming a predetermined distance centered on the specific AP. However, if the distance from another AP to the user terminal is obtained in the same way, two circles can be drawn with the two APs as the center and the distance to the user terminal as the radius. location of the terminal.
  • the location of the AP In order to use this method, the location of the AP must be specified, but even if it is indoors, if the AP signal is measured at one location and the same AP signal is measured again after moving a certain distance, the AP will measure the distance measured at each point as a radius When you draw a circle with , it is located at the point where the two circles meet. If the AP signal is measured several times after moving a certain distance again, the location of the AP can be quickly obtained even if the location of the AP is unknown.
  • Fig. 4 shows these contents. In FIG. 4, three APs are used, and two APs are also possible, and the accuracy increases when three or more APs are used.
  • two or more APs transmit wireless signals at the same time and obtain the difference in the delay time of the propagation time arriving at the terminal, thereby obtaining the difference in the distance between the user terminal and each AP. Since the number of attempts for location detection using a user terminal is not fixed, it is easy to find the location indoors by repeatedly making these attempts when the user moves.
  • the location of the AP can be determined by repeated calculation.
  • the location of the user terminal can be easily obtained when there are two or more APs.
  • the user terminal 12 receives the location information of the GPS 23 where the GPS 23 is operable, stores the movement history in the user terminal 12 and transmits it to the system server 11 . So, in an outdoor parking lot with GPS, it is possible to determine the parking space and movement route only with GPS without the need of other sensors.
  • the GPS sensitivity check module 24 checks the sensitivity of the GPS to check whether it has entered a building or underground. Although it is not a parking lot, such as a tunnel or a building, a place where the sensitivity of GPS is low can be confirmed by the GPS sensitivity check module 24 checking the sensitivity.
  • the movement path of the vehicle in the parking lot is drawn by the acceleration sensor 26 , the gyro sensor 27 , the altitude sensor 25 , the brightness sensor 28 , and the like.
  • Fig. 2 shows an example of this.
  • the left drawing of FIG. 2 shows a form in which the movement path of the vehicle is grasped using a sensor at regular time intervals in the vehicle after entering the parking lot.
  • FIG. 2 shows the movement route on the map of the actual parking lot. If you have a terminal that supports RTT and an AP that supports RTT is installed in the parking lot, the location of the user terminal is determined using RTT. In the parking lot, the vehicle can become a wall, but if the AP is installed on the ceiling, there is no delay due to the vehicle.
  • the camera 21 and the OCR reading module 22 recognizes and reads the text in the parking lot and transmits it to the system server 11 along with the movement route.
  • the user moves around the parking lot and parks when a vacant seat appears.
  • the place where the user parks is recognized as a sure parking space.
  • the moving path is transmitted to the system server 11 and stored in the moving path DB 42 in the parking lot DB 41 . It is not necessary for the user terminal 12 to wander around the parking lot in order to draw a movement route, and the user terminal 12 simply enters the parking lot as usual and parks in an empty space. Data that can distinguish between and parking spaces are accumulated.
  • the movement route transmitted from the user terminal 12 is stored in the movement route DB 42, and the movement route is provided from a plurality of user terminals 12 using the corresponding parking lot instead of one user terminal 12, and the movement route DB ( 42) and using the accumulated movement path, the virtual map making module 43 draws a virtual indoor map and predicts the actual parking area by using the parking information.
  • the image information synced with time along with the sensed information transmitted from the user terminal 12 is stored in the image information DB 45, and the facility recognition module 44 receives the image information from the image information DB 45 from the image of the parking lot pillar, the circuit breaker, Recognize parking facilities such as crosswalks, stairs, and doors.
  • the recognized text is stored in the character recognition DB 46 together with the recognized position.
  • the position where the user terminal 12 moves is predicted as a passage, and the finally parked space is determined as a parking space, and other spaces are predicted as a space with a high probability of being a parking space.
  • the space can be predicted as a space with a high probability of being a parking space.
  • the space where the facility is located is also recognized as a space where parking is not possible.
  • the facility recognition module 44 distinguishes a parked vehicle from a separate facility, considers the moving time of the vehicle and the location of the camera, checks where the corresponding space is located on the map, and determines whether the space captured by the camera is a parking space let it do This determination is made by a pre-trained deep learning network.
  • the location of the terminal can be identified while exchanging a signal with an rtt-supporting AP at regular intervals.
  • the exact location cannot be grasped with just one or two measurements, so the results of measurement by several people are taught. .
  • the wifi-rtt signal it is possible to obtain a more accurate location.
  • the virtual mapping module 43 uses information sensed from a camera, a sensor attached to the user terminal 12, and information transmitted from the vehicle's OBD to create a path and a parking area of a parking lot, an area that is neither aisle nor a parking area, etc. It learns that the area where the user actually parks the vehicle is learned as an area with a high probability of being a prescribed parking area, and the area where other vehicles are parked several times through the camera is also learned as an area with a high probability of being a parking area.
  • the virtual map produced in this way is stored in the virtual map DB 47, and every time new data comes in, it learns again to reflect changes such as areas that are closed to prevent parking by the parking manager or areas that have been closed and reopened. to learn
  • maps were mainly made using GPS, so it was difficult to create a map in a space where the GPS did not work, and even if a map was made, there were not many ways to use the map. In particular, if there is a change in the space in the parking lot, the map may be useless if not updated. The cost for map management can be greatly reduced.
  • the available parking space prediction module 48 uses the image information DB 45 and the movement route DB 42 and, if the virtual map is completed, the virtual map DB 47 according to time. By learning the empty parking space, the parking space and the empty space are predicted according to time and stored in the parking prediction DB (49).
  • the vehicle location identification module 50 determines which parking lot has entered from the GPS information and stores the virtual map of the parking lot in the system server. Imported from the virtual map DB 47 connected to (11), the available parking space prediction module 48 secures the information of the parking space predicted to be available for parking, and the parking guide module 51 provides the path to the space to the user terminal. (12) can be sent.
  • the vehicle location finding module 50 uses the GPS 23 to determine the location of the vehicle in the outdoors and verifies it using the information obtained from the user terminal 12 where it is located on the virtual map of the parking lot in the building.
  • the parking location identification module 52 detects a movement route in the parking lot after the user gets out of the car, and guides how to move from the departed route to the parked location when the user leaves the pre-written virtual map. In other words, it indicates where the parked location is at the parking lot exit. At this time, it is possible to guide the pillar number near the parking position as well, and it can also guide the number of floors. In addition, the location where the user parks is stored in the parking history DB 53 so that it can be easily found even after a time has elapsed.
  • the user location identification module 50 detects the user's location, and the camera Through recognition, the camera recognizes the passage in the parking lot, and the location where the user is most likely to be in the current parking lot is found and transmitted.
  • the sensing values of the acceleration sensor 26 , the gyro sensor 27 , and the altitude sensor 25 are added, it becomes easier to find the user's location in the parking lot. Or, if the WIFI -rtt signal is available, a more accurate location determination is possible.
  • the signal sensed from the user terminal 12 is sensed and transmitted from the user terminals owned by a large number of people, there may be a slight difference in the sensed value depending on the age or performance difference of each terminal. In this case, only the values of some devices may be excessively reflected. To prevent this, the sensed values are corrected and used so that all sensed values are reflected at a similar rate.
  • av, i means the data of the entire path transmitted in the i-th
  • av means the overall average of the corresponding sensing value to the data in the i-th.
  • Si,t, t refers to data from the first sensed time to the end of sensing (p) in time, and the sensed value normalized using Si,t becomes S'i,t.
  • Si-1.av represents the overall average of the i-1th transmitted sensed values, and sigma represents the standard deviation.
  • Sigma i-1 is the standard deviation of the i-1 data
  • sigma i is the standard deviation of the i-th data set.
  • the sensed value is acceleration data
  • person A enters the parking lot, parks, and then transmits the sensed data
  • the second Equation 1 is used to find ai, bi, ci that satisfy the expression in the i-th
  • the following correction coefficient ui is obtained using the approximate value found in Equation 1. How many formulas are used in the front to find the variables ai, bi, and ci to find the correction factor, and how many formulas are used depends on the calculation ability that can be done at once.
  • Equation 3 is an expression that is normalized using the normalization variable Ui.
  • the i-th data and the i-1 data are logically unrelated data. . However, as the iterative operation is made, even if there is little logical correlation, each data is normalized as it affects each other.
  • This method reduces the calculation time of the system server 11, and although there may be a difference in the values that are initially normalized, as data accumulates, calculations are performed multiple times, resulting in similar results to those calculated at once.
  • the normalization step has to be repeated over several generations, and deep learning learning converges as time goes on because these repetitions are repeated several times.
  • system server 12 user terminal
  • vehicle OBD module 21 camera
  • acceleration sensor 27 gyro sensor

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Emergency Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 딥러닝을 이용한 주차안내및 차량위치확인 시스템에 관한 것으로서 시스템서버(11)와 다수의 사용자단말기(12)는 네트워크를 이용하여 연결이 되며 사용자단말기(12)는 고도센서(25), 가속도 센서(26), 자이로센서(27)를 이용하여 일정시간마다 센싱되는 데이터를 시스템서버(11)로 전송하여 시스템서버(11)는 이동경로DB(42)에 저장하며 가상지도제작모듈(43)은 미리 학습된 딥러닝네트워크를 포함하여 이동경로DB(42)에 저장된 데이터를 바탕으로 차가 다니는 통로와 주차공간으로 예상되는 공간, 통로도 주차공간이 아닌 공을 예측하여 지도에 표시하는 방법으로 지도를 제작하여 가상지도DB(47)에 저장하는데 다수의 사용자로부터 데이터를 받아 반복적으로 학습한다.

Description

딥러닝과 RTT신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
본 발명은 딥러닝과 RTT신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템 시스템에 관한 것이다.
본 발명은 딥러닝과 RTT신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템에 관한 것이다. 많은 운전자들이 대형 쇼핑몰이나 공항 등의 대규모 주차장 등에서 자신이 주차를 해놓은 위치를 찾지 못해서 헤맨 경험을 가지고 있다. 주차장 측에서는 주차해놓은 위치를 쉽게 찾을 수 있도록 하기 위하여 기둥에 색깔, 번호를 표시한 표지를 부착하지만 오랫동안 주차하게 되면 주차해놓은 표지를 잊어 버리게 되는 경우도 생기며 이것을 방지하기 위하여 주차표지를 핸드폰으로 촬영하거나 주차장에 와서 차키를 눌러서 소리를 통해 위치를 찾거나 각 층마다 설치된 주차정산기나 주차확인기계에서 주차위치를 확인하는 경우도 있다, 그러나 주차된 구역의 표지를 알아도 주차장이 클수록 주차된 위치를 찾는 것이 어려운 경우가 많지만 주차장내에서는 GPS가 작동되지가 않기 때문에 휴대폰과 같은 장치의 도움을 받아 주차 위치를 찾기가 어려운 경우가 많았다.
이와 관련하여 대한민국 특허 등록 제10-2059849호 ‘지능형 주차 관리방법 및 시스템’은 주차장에 입차하려는 차량을 촬영하고 차량의 번호 및 차종정보를 인식하고 IoT센서를 기반으로 주차 가능한 공간까지 주차경로를 차량이 사용자 단말에 제공하도록 하고 있는데 이것은 주차 가능한 공간까지의 안내를 제공하는 것만을 목적으로 하고 있으며 주차를 한 뒤 다시 차에 탑승할 때 차를 찾기 위한 구성은 전혀 포함하고 있지 않고 있다.
주차를 한 뒤 건물에서 볼일을 보고 다시 차를 타기 위하여 돌아 왔을 때 차의 위치를 찾으려고 하여도 현재위치가 어딘지 또한 주차위치는 어딘지 정확하게 확정할 수 없기 때문에 차의 위치를 찾기가 힘들며 이를 해결하기 위해서는 주차장별로 별도의 주차장 지도를 제공하고 사용자의 위치를 확정하기 위한 별도의 수단을 제공하여야만 하지만 주차장별로 비용이 많이 들어가기 때문에 주차장 소유주에게 강제할 수는 없으며 주차장 소유주 또한 굳이 그러한 장치를 하여야 할 필요성을 느끼지는 못한다.
특히 지하 주차장에서는 GPS를 이용할 수 없기 때문에 GPS를 이용하여 주차장내의 지도를 만들기가 힘들다. 포탈업체에서는 지도를 만들어서 제공하지만 주차장의 지도는 포탈업체쪽에서는 주차장으로 가려면 차량용 엘리베이터를 타거나 해야 하는 경우도 있고 GPS를 사용할 수 없어 제작비용이 더 들어가지만 어디에 사용할 수 있을지도 모르기 때문에 주차장내의 지도를 굳이 만들필요가 없기 때문에 이러한 주차장내의 지도는 건물주가 부담하여야 하는 경우가 많은데 건물주 또한 주차장의 지도를 만들고 그것을 이용하기 위한 부가 장치를 주차장내에 설치하고 계속해서 유지관리할 필요성을 못 느낀다. 또한, 주차장내 지도는 그것을 이용할 수 있는 다른 방법이 없기 때문에 현재로서는 만든다고 해도 한 페이지 정도의 안내도만 만들어 제공하며 온라인으로는 따로 제공하는 경우가 드물다.
특히 지하 주차장에는 위치를 확인할 수 있는 GPS, 와이파이, BLE 등에 의한 위치정보가 없기 때문에 GNSS, WPS, RFID, 비콘등의 기존 측위기술로는 주차장 내에서 차량의 위치를 확인할 수가 없으며 대형 쇼핑몰 뿐 만 아니라 건물마다 있는 지하 주차장 지도를 일일이 건물주로부터 제공받거나 제작하는데 시간과 비용이 많이 들어가며 주차장내 별도의 Wifi AP나 비컨등을 설치하려고 하면 건물마다 별도의 협의과정을 거쳐야 하기 때문에 사업화가 매우 어려운 단점이 있다.
본 발명은 상기한 바와 같은 단점을 극복하기 위하여 안출된 것으로서 사용자단말기에 기본적으로 부착되어 있는 센서를 이용하되 다수의 사용자로부터 받은 정보를 축적하고 이 정보로 부터 주차장별로 통로와 주차위치를 확정하여 주차공간으로 안내하거나 주차된 위치를 찾기 용이하도록 하는 시스템을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위하여, 딥러닝을 이용한 주차안내및 차량위치확인 시스템을 제공하는데 시스템서버(11)와 다수의 사용자단말기(12)는 네트워크를 이용하여 연결이 되며 사용자단말기(12)는 고도센서(25), 가속도 센서(26), 자이로센서(27)를 이용하여 일정시간마다 센싱되는 데이터를 시스템서버(11)로 전송하여 시스템서버(11)는 이동경로DB(42)에 저장하며 가상지도제작모듈(43)은 미리 학습된 딥러닝네트워크를 포함하여 이동경로DB(42)에 저장된 데이터를 바탕으로 차가 다니는 통로와 주차공간으로 예상되는 공간, 통로도 주차공간이 아닌 공을 예측하여 지도에 표시하는 방법으로 지도를 제작하여 가상지도DB(47)에 저장하는데 다수의 사용자로부터 데이터를 받아 반복적으로 학습할 수 있다.
사용자단말기(12)는 카메라(21)를 더 포함하여 상기 시스템서버(11)는 사용자단말기(12)로부터 영상을 함께 받아 영상정보DB(45)에 저장하며 OCR판독모듈(22)은 영상내의 텍스트를 인식하여 문자인식DB(46)에 저장하고 가상지도DB(47)에 해당 위치와 함께 저장할 수 있다.
시설물인식모듈(44)은 영상정보DB(45)에서 시설물을 인식하여 가상지도DB(47)에 해당 위치와 함께 저장할 수 있다.
사용자단말기(12)는 차량OBD모듈(13)로부터 차량의 속도, 방향에 관한 정보를 받아 시스템서버(11)의 이동경로DB(42)에 저장하도록 할 수 있다.
GPS감도체크모듈(24)은 GPS의 감도를 체크하여 시스템서버(11)에 제공하여 차량이 야외, 건물내, 터널중 어디에 위치하는지 확인하도록 할 수 있다.
주차가능공간예측모듈(48)은 영상정보DB(45)에서 주차공간으로 예측되는 위치에 주차되어 있는 차량을 차량의 번호판으로부터 확인하고 시간에 따라 주차공간별로 비어있는 시간을 학습하여 주차예측DB(49)에 저장하고 사용자단말기(12)의 요청이 있을 때 마다 주차가능공간에 대한 정보를 사용자단말기(12)에 제공할 수 있다.
주차안내모듈(51)은 주차가능공간까지의 경로를 제공할 수 있다.
차량위치파악모듈(50)은 야외에서는 GPS(23)를 이용하여 차량의 위치를 파악하고 건물내에서는 주차장의 가상지도에서 어디에 위치하고 있는지 사용자단말기(12)로부터 얻어지는 정보를 이용하여 검증하도록 할 수 있다.
주차위치파악모듈(52)은 사용자가 차에서 내린 뒤 주차장 내에서의 이동경로를 파악하며 미리 작성된 가상지도를 사용자가 이탈하게 되면 이탈한 경로로부터 주차된 위치까지 어떻게 이동하여야 하는지 안내하도록 할 수 있다.
주차위치파악모듈(52)은 사용자가 주차장에서 자신이 위치하는 곳의 사진과 영상중 어느 하나를 제공하면 가상지도에서 사용자가 어디에 위치하는지를 예측하여 사용자 단말기(12)로 제공할 수 있다.
다음식을 만족하는, ai,bi,ci를 구하되 3개이상의 식으로부터 구하며
Figure PCTKR2020013825-appb-I000001
정규화 보정계수 ui를 구하여
Figure PCTKR2020013825-appb-I000002
다음식에 의하여 센서로부터 센싱되는 데이터를 보정할 수 있다.
Figure PCTKR2020013825-appb-I000003
(S는 특정센서의 센싱값 Si,t에서 t는 시간으로 최초로 센싱된 시점부터 센싱이 끝난 시점(p)까지의 데이터, S’i,t는 Si,t를 이용하여 정규화된 센싱값, 시그마 i-1은 i-1번째 데이터의 표준편차이며 시그마 i는i 번째 데이터셋의 표준편차 Si,av는 I번째 데이터의 센싱평균값, Si-1,av 는 i-1번째 데이터의 센싱평균값)
a1=a2=a3=..an으로b1=b2=b3=...bn, c1=c2=c3=...cn으로, 같은 센서에 대해서는 n개의 보정계수가 모두 같아 한 개의 값을 사용할 수 있다.
주차장별로 별도의 시스템을 구성할 필요 없이 사용자단말기로부터 받은 정보를 축적하여 주차공간과 통로를 학습시켜 실제 지도와 거의 같은 가상의 지도를 운전자에게 제공하며 주차장의 지도를 이용하여 비어있는 주차공간에 쉽게 주차하고 어디에 주차하였는지도 쉽게 알 수 있도록 하는 효과를 갖는다.
도1내지 4는 본 발명에 따른 일실시예를 도시하는 도면
이하, 첨부한 도면을 참고로 하여 본 발명을 상세하게 설명한다. 도1은 본 발명에 따른 시스템의 블록도를 도시하는 도면이다. 본 발명에 따른 시스템 서버(11)은 차량에 설치된 단말기나 사용자가 휴대하는 단말기와 네트워크를 통하여 연결되며 사용자나 차량에 설치된 단말기를 통칭하여 사용자단말기(12)라고 한다.
사용자단말기(12)는 OCR(Optical character Recognition)을 위한 카메라(21)와 OCR판독모듈(22), GPS(23)와 GPS감도체크모듈(24), 고도센서(25), 가속도센서(26). 자이로센서(27), 밝기센서(28), 홀센서(29), 온도/습도센서(30), 지자기센서(31), RGB센서(32)등 일반적인 휴대폰이 가지고 있는 센서들을 모두 가질 수 있는데 일부 센서는 없더라도 무방하며 그 외 필요에 따라서는 지문인식센서, 근접센서등도 사용될 수도 있다. 또한, 센서에 센싱된 값의 변화를 체크하기 위한 센싱값체크모듈(33)을 더 포함할 수 있다.
이중에서 고도센서(25)는 공기의 압력을 감지하며 경사나 내리막을 감지할 수 있으며 몇 층인지 감지할 때 사용할 수 있다.
가속도센서(26)는 3차원의 좌표계에서 움직이는 속도와 가속도를 측정하며 사용자 단말기가 움직이는 속도/가속도를 측정하게 된다.
자이로센서(27)는 3차원의 좌표계에서 움직이는 방향을 측정할 때 사용되어 사용자 단말기(12)가 움직이는 방향을 측정할 수 있다.
밝기센서(28)는 주변 빛의 밝기를 감지하며 일반적인 핸드폰에서는 주변의 밝기를 센싱하여 디스플레이의 밝기를 자동으로 조절할 때 사용된다.
홀센서(29)는 주위의 자기장의 세기를 감지할 때 사용하는 센서로서 커버의 닫힘 유무를 확인할 때 사용되는 경우가 많다.
온도/습도센서(30)는 사용자단말기(12)주변의 온도와 습도를 측정하는 센서를 말한다.
지자기센서(31)는 지구의 자기장의 방향을 탐지하는 센서를 말한다. 나침반의 N극과 S극을 탐지한다.
RGB센서(32)는 주변 빛의 색농도를 검출하는 기능을 하는 센서를 말하며 RGB센서가 있는 스마트폰은 주변 및 농도에 따라 디스플레이의 색을 보정하는데 사용한다.
그외 근접센서나 지문센서등도 필요에 따라 사용될 수 있지만 주로, 고도센서, 가속도센서, 자이로센서, 밝기센서, 지자기 센서 등이 이동방향과 이동속도를 탐지하는데 사용될 수 있으며 그외 의 센서는 보조적으로 사용될 수 있다.
또한, 사용자단말기(12)는 차량에 부착된 OBD(On-board Diagnostics)로 부터 차량의 이동속도 차량의 방향에 관한 정보를 받아서 이용할 수도 있다. 차량OBD모듈(13)과 사용자단말기(12)는 블루투스등으로 연결될 수 있다. OBD는 차량 제조사에서 차량의 관리를 위하여 부착한 것으로서 최근에는 OBD의 정보를 차량으로부터 직접받아서 차량관리를 위해 사용하는 경우가 많다.
또한, RTT를 지원하는 단말기이며 RTT를 지원하는 WIFI AP 복수개가 주차장에 설치되어 있는 경우에 좀더 정확하게 위치를 파악할 수 있다. RTT를 이용하는 것은 특정위치에서 WIFI AP에 거리 측정을 위한 FTM(fine timing measurement)신호를 보내고 사용자단말기가 AP가 보내는 FTM 신호에 대하여 응답신호를 보내면 AP가 FTM신호를 보내고 받은 시간으로부터 사용자단말기와 AP사이의 거리를 측정하는 것인데 이때 사용자 단말기가 신호를 받은 뒤 응답신호를 다시 AP에 보내게 되는데 단말기에서 처리하는 시간은 제외하고 AP로부터 사용자단말기까지 온 시간과 사용자단말기에서 AP까지 가는데 걸리는 시간을 이용하여 거리를 계산한다. 거리를 계산할 때 무선신호는 빛의 속도로 이동하기 때문에 신호를 주고 받으면서 걸리는 시간을 계산할 수 있다면 이러한 신호는 동일 경로를 이동하였다는 것을 가정하여 거리 또한 계산할 수 있다. 도2는 이러한 내용을 도시한다. 도2에서 실제 신호가 움직이는 시간 (t4-t1)-(t3-t2) 와 빛의 속도를 이용하면 사용자 단말기와 AP간을 왕복한 거리를 계산할 수 있다.
이러한 방법으로 특정 AP에서 사용자 단말기까지의 거리를 측정할 수 있으며 여러개의 AP를 사용하는 경우 보다 정확한 위치를 계산할 수 있게 된다. 즉, 특정 AP에서 사용자 단말기까지의 거리를 구하면 특정 AP를 중심으로 일정한 거리를 이루는 원주 위에 사용자 단말기가 위치할 수 있다. 그런데 또 다른 AP로부터 같은 방법으로 사용자단말기까지의 거리를 구한다면 두개의 AP를 중심으로 하고 각각 사용자단말기까지의 거리를 반지름으로 하는 두개의 원을 그릴 수 있으며 이 때 두개의 원이 만나는 곳이 사용자 단말기의 위치가 된다.
이러한 방법을 사용하기 위해서는 AP의 위치가 특정이 되어야 하지만 실내라고 하더라도 한 개의 위치에서 AP신호를 측정하고 일정거리를 움직인 후에 다시 같은 AP신호를 측정하면 AP는 각각의 지점에서 측정된 거리를 반지름으로 한 원을 그렸을 때 두개의 원이 만나는 지점에 위치하게 된다. 다시 일정한 거리를 움직인 후에 AP신호를 측정하는 방식으로 여러 번 측정하게 되면 AP의 위치를 모른다고 하더라도 AP의 위치를 금방구할 수 있게 된다. 도4는 이러한 내용을 도시한다. 도4에서는 3개의 AP를 이용하였으며 두개의 AP로도 가능하며 3개 이상의 AP를 이용하는 경우 정확도가 올라간다.
사용자의 위치를 파악하기 위해서 두개 이상의 AP에서 동시에 무선신호를 송신하고 단말기에 도달하는 전파시간의 지연시간의 차이를 구함으로써 사용자 단말과 각AP에서의 거리의 차이를 구할 수 있다. 사용자 단말을 이용한 위치탐지는 시도할 수 있는 숫자가 정해져 있는 것이기 아니기 때문에 사용자가 움직일 때 이러한 시도를 반복적으로 함으로써 실내에서의 위치파악이 용이해진다.
또한 복수의 사용자에 의하여 반복적으로 이루어지기 때문에 AP의 위치는 반복계산에 의하여 파악이 될 수 있다. AP의 위치가 확정이 되면 사용자단말의 위치는 두개이상의 AP가 있는 경우 손쉽게 얻어질 수 있게 된다.
사용자단말기(12)는 GPS(23)가 가동가능한곳에서는 GPS(23)의 위치정보를 받아 사용자단말기(12)내의 이동내역을 저장하였다가 시스템서버(11)로 전송한다. 그래서 GPS가 있는 야외에 있는 주차장에서는 다른 센서의 도움이 별로 필요없이 GPS만으로 주차공간과 이동통로를 확정하는 것이 가능하다.
GPS(23)가 작동하지 않는 지역에서는 GPS감도체크모듈(24)이 GPS의 감도를 체크함으로써 건물이나 지하에 들어왔는지를 체크하게 된다. 터널이나 건물 옆같이 주차장은 아니지만 GPS의 감도가 떨어지는 곳도 GPS감도체크모듈(24)이 감도를 체크함으로써 확인할 수 있게 된다.
건물이나 지하로 들어가게 되면 GPS의 감도가 떨어지며 주차장내에 들어갔다고 인식되는 곳에서는 GPS(23)외의 다른 센서의 값이 중요하게 사용된다. 특히,가속도센서(26), 자이로센서(27), 고도센서(25), 밝기센서(28)등에 의하여 주차장내에서의 차량의 이동경로를 그리게 된다. 도2에 이러한 예를 도시한다. 도2의 왼쪽 도면은 주차장에 들어간 뒤 차량내에서 일정시간간격마다 센서를 이용하여 차량의 이동경로를 파악한 형태를 도시한다. 모든 주차위치를 파악한것은 아니지만 이러한 이동경로가 많이 저장될수록 통로와 주차공간및 그밖의 공간의 구분이 확실하게 이루어질 수 있다. 도2의 오른쪽 도면은 실제 주차장의 지도위에 이동경로를 표시한것이다. 만약 RTT를 지원하는 단말기를 가지고 있으며 RTT를 지원하는 AP가 주차장내에 설치되어 있는 경우 RTT를 이용하여 사용자단말기의 위치를 파악하게 된다. 주차장내에서는 차량이 벽이될 수도 있지만 AP가 천장에 설치되는 경우라면 차량때문에 지연이 생기거나 하지 않는다.
또한, 카메라(21)와 OCR판독모듈(22)이 주차장 내의 글씨를 인식하여 판독하여 이동경로와 함께 시스템서버(11)에 전송한다. 사용자는 주차장을 돌아다니다가 빈자리가 나오면 주차를 하게 되는데 사용자가 주차를 하게 되는 자리는 확실한 주차공간으로 인식이 되며 사용자가 주차를 위해서 이동하는 이동경로는 주차장의 통로로 인식이 되며 통로를 제외한 공간은 주차공간일 확률이 높은 공간으로 인식이 되며 통로의 옆에 있는 공간은 주차공간일 확률이 더 높아지게 된다.
이동경로는 시스템서버(11)로 전송되어 주차장DB(41)내의 이동경로DB(42)에 저장이 된다. 사용자단말기(12)가 이동경로를 그리기 위하여 일부러 주차장 내를 돌아다닐 필요는 없으며 사용자단말기(12)는 평소 하는 데로 주차장에 들어가 빈 공간에 주차를 하기만 하면 같은 주차장을 이용하는 많은 사용자들에 의해서 통로와 주차공간을 구분할 수 있는 데이터가 쌓이게 된다.
사용자단말기(12)로부터 전송되어온 이동경로는 이동경로DB(42)에 저장이 되며 사용자단말기(12) 한개가 아닌 해당 주차장을 이용하는 다수의 사용자단말기(12)로부터 이동경로를 제공받아 이동경로DB(42)에 저장하며 축적된 이동경로를 이용하여 가상지도제작모듈(43)은 가상의 실내지도를 그리고 주차정보를 활용하여 실제 주차구역을 예측하게 된다. 사용자단말기(12)로부터 전송된 센싱정보와 함께 시간으로 싱크되어 보내진 영상정보는 영상정보DB(45)에 저장되는데 시설물인식모듈(44)은 영상정보DB(45)의 영상으로부터 주차장기둥, 차단기, 횡단보도, 계단, 문 등 주차장의 시설을 인식하도록 한다. 인식되어진 텍스트는 인식된 위치와 함께 문자인식DB(46)에 저장된다.
특히, 사용자단말기(12)가 움직인 위치는 통로로 예측하게 되며 최종적으로 주차한 공간은 주차가능공간으로 확정하고 그 외의 공간은 주차가능공간일 가능성이 높은 공간으로 예측한다. 또한, 카메라(21)에 찍힌 화상과 화상내의 차량번호를 인식하여 차량이 맞다면 해당 공간은 주차공간일 확률이 높은 공간으로 예측할 수 있다. 시설물이 위치하는 공간도 주차가능하지 않은 공간으로 인식하게 된다. 시설물인식모듈(44)은 주차된 차량과 별도의 시설물을 구분하여 차량의 이동시간과 카메라의 위치를 고려하여 해당공간이 지도에서 어디에 위치하는지 확인하고 카메라에 찍힌 공간이 주차가능한 공간인지 아닌지를 판단하도록 한다. 이러한 판단은 미리 학습된 딥러닝 네트워크에 의하여 이루어진다.
rtt지원 단말기의 경우 일정간격으로 rtt지원 AP와 신호를 주고 받으면서 단말기의 위치를 파악하도록 할 수 있다. 실제로 통로, 벽, 주차위치 등을 파악할 때 한두번의 측정으로는 정확한 위치의 파악이 되지 않기 때문에 여러사람이 측정한 결과를 학습을 시키게 되는데 측정하는 사람의 장비와 장소에 따라서 다른 기구가 사용될 수 있다. wifi-rtt 신호를 이용하는 경우 좀더 정확한 위치파악이 가능하게 된다.
가상지도제작모듈(43)은 카메라, 사용자단말기(12)에 부착된 센서로부터 센싱된 정보, 차량의 OBD로부터 전송된 정보를 이용하여 주차장의 통로와 주차구역, 통로도 주차구역도 아닌 구역등을 학습하게 되는데 사용자가 실제로 차량을 주차한 구역은 규정된 주차구역일 가능성이 높은 구역으로 학습하며 카메라를 통해서 다른 차량이 여러 번 주차된 구역도 주차구역일 가능성이 높은 구역으로 학습한다.
이러한 방법으로 제작된 가상지도는 가상지도DB(47)에 저장이 되며 새로운 데이터가 들어올 때 마다 학습을 다시 하여 주차관리자에 의해서 주차 못하도록 폐쇄된 구역이나 폐쇄되었다가 다시 개방된 구역등 변경된 사항을 반영하여 학습하게 된다.
종래에는 주로 GPS를 이용하여 지도를 만들었기 때문에 GPS가 작동하지 않는 공간에서는 지도를 제작하기가 어려웠으며 지도를 만든다고 하여도 지도를 이용할 수 있는 방법이 별로 없었다. 특히 주차장내의 공간에 변경이 생기게 되거나 하는 경우 업데이트를 하지 않으면 지도가 무용지물이 될 수 있는데 본 발명에 의하는 경우 주차장내의 공간에 변경이 있어도 주차장을 다니는 차에 의해서 주차장의 지도가 변경될 수 있기 때문에 지도관리를 위한 비용이 많이 줄어들 수 있게 된다.
또한 지도가 완성된 이후에는 주차가능공간예측모듈(48)은 영상정보DB(45)와 이동경로DB(42) 및 가상지도가 완성되어 있는 경우에는 가상지도DB(47)를 이용하여 시간에 따라 비어있는 주차공간을 학습하여 시간에 따라 주차된 공간과 비어있는 공간을 예측하여 주차예측DB(49)에 저장한다.
가상의 지도가 만들어지면 가상지도DB(47)에 저장이 되며 사용자가 주차장에 들어가게 되면 차량위치파악모듈(50)은 GPS의 정보로부터 어떤 주차장에 들어갔는지를 파악하고 해당 주차장의 가상지도를 시스템서버(11)에 연결된 가상지도DB(47)로부터 가져오며 주차가능공간예측모듈(48)은 주차가능할 것으로 예측되는 주차공간의 정보를 확보하고 주차안내모듈(51)은 상기 공간까지의 경로를 사용자단말기(12)로 전송하도록 할 수 있다. 차량위치파악모듈(50)은 야외에서는 GPS(23)를 이용하여 차량의 위치를 파악하고 건물내에서는 주차장의 가상지도에서 어디에 위치하고 있는지 사용자단말기(12)로부터 얻어지는 정보를 이용하여 검증한다.
주차위치파악모듈(52)은 사용자가 차에서 내린 뒤 주차장 내에서의 이동경로를 파악하며 미리 작성된 가상지도를 사용자가 이탈하게 되면 이탈한 경로로부터 주차된 위치까지 어떻게 이동하여야 하는지 안내하도록 한다. 즉, 주차장 출구에서 주차된 위치가 어디인지를 가르쳐 주는 것이다. 이때 주차위치 근처에 있는 기둥번호등도 같이 안내하도록 할 수 있으며 몇 층인지도 안내할 수 있다. 또한, 사용자가 주차한 위치는 주차내역DB(53)에 저장하여 시간이 지난뒤에라도 쉽게 찾아볼 수 있도록 한다.
주차장내 출구가 한군데라면 이것으로 충분하지만 주차장 입구가 여러군데 있는 경우 사용자위치파악모듈(50)은 사용자의 위치를 파악하도록 하는데 주차장내 기둥에 있는 기둥번호나 기타 식별가능한 문자, 기호 등을 카메라를 통하여 인식하고 주차장내 통로를 카메라로 인식하도록 하여 현재 주차장내에서 사용자가 있을 가능성이 높은 위치를 찾아 전송한다. 가속도센서(26), 자이로센서(27), 고도센서(25)의 센싱값까지 추가되면 주차장내에서 사용자의 위치를 찾는 것이 더욱 용이하게 된다. 혹은 WIFI -rtt 신호를 이용할 수 있게 된다면 좀 더 정확한 위치파악이 가능하게 된다.
사용자단말기(12)로부터 센싱되는 신호는 다수의 사람들이 가진 사용자 단말기로부터 센싱되어 전송되기 때문에 각각의 단말기의 노후 정도나 성능차이에 따라서 센싱되는 값에 조금씩 차이가 있을 수 있는데 이러한 센싱값을 그대로 사용하는 경우 일부 기기의 값만 과도하게 반영되는 경우가 생기게 된다. 이를 방지하기 위하여 센싱되는 값이 모두 비슷한 비율로 반영되도록 하기 위하여 센싱되는 값을 보정하여 사용한다.
Figure PCTKR2020013825-appb-I000004
같은 센서에 있어서 Si,av 에서 i는 i번째로 전송된 전체 경로의 데이터라는 것을 의미하며 av는 i번째에 들어온 데이터에 해당 센싱값을 전체평균한 것을 의미한다. 즉, 바로 전에 전송된 데이터를 기준으로 정규화를 하게 되며 정규화를 위한 수치는 바로 앞에 들어온 데이터셋 몇 개를 가지고 구하게 된다.
Si,t에서 t는 시간으로 최초로 센싱된 시점부터 센싱이 끝난 시점(p)까지의 데이터를 말하며 Si,t를 이용하여 정규화된 센싱값은 S’i,t이 된다. Si-1.av는 i-1번째 전송된 센싱값의 전체 평균을 나타내며 시그마는 표준편자를 나타낸다. 시그마 i-1은 i-1번째 데이터의 표준편차이며 시그마 i는i 번째 데이터셋의 표준편차이다.
센싱되는 값이 가속도데이터라면 A라는 사람이 주차장에 들어와서 주차를 한뒤 센싱된 데이터를 전송하면 (i-1)번째가 되고 B라는 사람이 주차장에 들어와서 주차를 하고 센싱된 데이터를 전송하며 i번째가 된다. i번째 에서의 식을 만족시키는 ai, bi, ci를 찾기 위하여 식1을 사용하며 식1에서 찾아낸 근사값을 이용하여 아래 보정계수ui를 구한다. 보정계수를 구하기 위한 변수ai, bi, ci를 찾기 위하여 필요한 식은 앞에 몇 개의 식을 이용하며 몇 개의 식을 이용할 지는 한꺼번에 할 수 있는 계산능력에 따라 달라진다.
Figure PCTKR2020013825-appb-I000005
식1에서 변수 a,b,c를 찾는데 3개 이상의 데이터가 있으면 a,b,,c를 찾는 것이 가능하다. a,b,c는 전체 데이터를 만족하는 값으로 찾을 수 있으며 3이상의 i에 대하여 각각의 i마다 별개의 값을 찾아서 구할 수 있다.즉, a1=a2=a3=... 과 같이 한개의 a를 구하여 전체에 적용하다가 일정주기로 다시 구할 수도 있으며 각각의 a를 전부 구하여 사용할 수 도 있다.
Figure PCTKR2020013825-appb-I000006
식3은 정규화변수 Ui를 이용하여 정규화하는 식이며 i번째의 데이터와 i-1번째의 데이터는 논리적으로 거의 연관이 없는 데이터이지며 위의 식에서는 바로 전이나 그 전의 데이터가 정규화하는데 크게 영향을 주게 된다. 그러나 반복연산이 이루어질수록 논리적으로는 거의 연관이 없더라도 각각의 데이터가 서로에게 영향을 주게 되면서 정규화되어 가게 된다.
이와 같은 방법은 시스템서버(11)의 연산시간을 줄이게 되며 초기에는 정규화되는 값에 차이가 있을 수도 있지만 데이터가 쌓이게 되면서 여러번 계산하게 되면 한꺼번에 계산한 것과 비슷한 결과를 가져오게 된다. 특히 학습을 위하여 정규화하는 단계를 여러 세대를 두고 반복하도록 할 수 밖에 없고 딥러닝 학습은 이러한 반복을 여러 번 거치게 되기 때문에 시간이 계속될수록 수렴하게 된다.
(부호의 설명)
11: 시스템서버 12: 사용자단말기
13: 차량OBD모듈 21: 카메라
22: OCR판독모듈 23: GPS
24: GPS감도 체크 모듈 25: 고도센서
26: 가속도센서 27: 자이로센서
28: 밝기센서 29: 홀센서
30: 온도/습도센서 31: 지자기 센서
32: RBG센서 33: 센싱값체크모듈
41: 주차장DB 42: 이동경로DB
43: 가상지도제작모듈 44: 시설물인식모듈
45: 영상정보DB 46: 문자인식DB
47: 가상지도DB 48: 주차가능공간예측모듈
49: 주차예측DB 50: 차량위치파악모듈
51: 주차안내모듈 52: 주차위치파악모듈
53: 주차내역DB

Claims (13)

  1. 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템으로서,
    시스템서버(11)와 다수의 사용자단말기(12)는 네트워크를 이용하여 연결이 되며 사용자단말기(12)는 고도센서(25), 가속도 센서(26), 자이로센서(27)를 이용하여 일정시간마다 센싱되는 데이터를 시스템서버(11)로 전송하여 시스템서버(11)는 이동경로DB(42)에 저장하며
    가상지도제작모듈(43)은 미리 학습된 딥러닝네트워크를 포함하여 이동경로DB(42)에 저장된 데이터를 바탕으로 차가 다니는 통로와 주차공간으로 예상되는 공간, 통로도 주차공간이 아닌 공을 예측하여 지도에 표시하는 방법으로 지도를 제작하여 가상지도DB(47)에 저장하는데 다수의 사용자로부터 데이터를 받아 반복적으로 학습하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  2. 제1항에 있어서, 사용자단말기(12)는 카메라(21)를 더 포함하여 상기 시스템서버(11)는 사용자단말기(12)로부터 영상을 함께 받아 영상정보DB(45)에 저장하며 OCR판독모듈(22)은 영상내의 텍스트를 인식하여 문자인식DB(46)에 저장하고 가상지도DB(47)에 해당 위치와 함께 저장하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  3. 제2항에 있어서, 시설물인식모듈(44)은 영상정보DB(45)에서 시설물을 인식하여 가상지도DB(47)에 해당 위치와 함께 저장하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  4. 제3항에 있어서, 사용자단말기(12)는 차량OBD모듈(13)로부터 차량의 속도, 방향에 관한 정보를 받아 시스템서버(11)의 이동경로DB(42)에 저장하도록 하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  5. 제3항에 있어서, GPS감도체크모듈(24)은 GPS의 감도를 체크하여 시스템서버(11)에 제공하여 차량이 야외, 건물내, 터널중 어디에 위치하는지 확인하도록 하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  6. 제5항에 있어서, 주차가능공간예측모듈(48)은 영상정보DB(45)에서 주차공간으로 예측되는 위치에 주차되어 있는 차량을 차량의 번호판으로부터 확인하고 시간에 따라 주차공간별로 비어있는 시간을 학습하여 주차예측DB(49)에 저장하고 사용자단말기(12)의 요청이 있을 때 마다 주차가능공간에 대한 정보를 사용자단말기(12)에 제공하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  7. 제6항에 있어서, 주차안내모듈(51)은 주차가능공간까지의 경로를 제공하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  8. 제7항에 있어서, 차량위치파악모듈(50)은 야외에서는 GPS(23)를 이용하여 차량의 위치를 파악하고 건물내에서는 주차장의 가상지도에서 어디에 위치하고 있는지 사용자단말기(12)로부터 얻어지는 정보를 이용하여 검증하도록 하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  9. 제8항에 있어서, 차량위치파악모듈(50)은 두개이상의 WIFI-rtt 지원 AP를 이용하여 위치를 파악하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  10. 제9항에 있어서, 주차위치파악모듈(52)은 사용자가 차에서 내린 뒤 주차장 내에서의 이동경로를 파악하며 미리 작성된 가상지도를 사용자가 이탈하게 되면 이탈한 경로로부터 주차된 위치까지 어떻게 이동하여야 하는지 안내하도록 하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  11. 제10항에 있어서, 주차위치파악모듈(52)은 사용자가 주차장에서 자신이 위치하는 곳의 사진과 영상중 어느 하나를 제공하면 가상지도에서 사용자가 어디에 위치하는지를 예측하여 사용자 단말기(12)로 제공하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
  12. 제11항에 있어서,, 다음식을 만족하는, ai,bi,ci를 구하되 3개이상의 식으로부터 구하며
    Figure PCTKR2020013825-appb-I000007
    정규화 보정계수 ui를 구하여
    Figure PCTKR2020013825-appb-I000008
    다음식에 의하여 센서로부터 센싱되는 데이터를 보정하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
    Figure PCTKR2020013825-appb-I000009
    (S는 특정센서의 센싱값 Si,t에서 t는 시간으로 최초로 센싱된 시점부터 센싱이 끝난 시점(p)까지의 데이터, S’i,t는 Si,t를 이용하여 정규화된 센싱값, 시그마 i-1은 i-1번째 데이터의 표준편차이며 시그마 i는i 번째 데이터셋의 표준편차 Si,av는 I번째 데이터의 센싱평균값, Si-1,av 는 i-1번째 데이터의 센싱평균값)
  13. 제12항에 있어서,, a1=a2=a3=..an으로b1=b2=b3=...bn, c1=c2=c3=...cn으로, 같은 센서에 대해서는 n개의 보정계수가 모두 같아 한 개의 값을 사용하는, 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
PCT/KR2020/013825 2020-03-15 2020-10-09 딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템 WO2021187704A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200031670A KR20210116780A (ko) 2020-03-15 2020-03-15 하이브리드 실내 위치 정보와 생체인식을 이용한 감영병 확산 방지 자가격리 관리 시스템
KR10-2020-0031670 2020-03-15

Publications (1)

Publication Number Publication Date
WO2021187704A1 true WO2021187704A1 (ko) 2021-09-23

Family

ID=77771564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013825 WO2021187704A1 (ko) 2020-03-15 2020-10-09 딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템

Country Status (2)

Country Link
KR (1) KR20210116780A (ko)
WO (1) WO2021187704A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230100851A1 (en) * 2021-09-28 2023-03-30 Here Global B.V. Method, apparatus, and system for mapping a parking facility without location sensor data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009300179A (ja) * 2008-06-11 2009-12-24 Aisin Aw Co Ltd 駐車場案内装置、駐車場案内方法及びプログラム
KR101102408B1 (ko) * 2010-10-06 2012-01-05 주식회사 인스프리트 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법
KR20170030370A (ko) * 2015-09-09 2017-03-17 현대모비스 주식회사 주차장 정보 공유 장치 및 방법과 주차 지원 장치 및 방법
KR20180134636A (ko) * 2017-06-09 2018-12-19 네이버 주식회사 주차 정보를 제공하는 방법 및 시스템
KR20190037770A (ko) * 2017-09-29 2019-04-08 소프트온넷(주) Cctv 주차장 영상정보를 이용한 실시간 주차칸 영상객체 인식 장치, 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009300179A (ja) * 2008-06-11 2009-12-24 Aisin Aw Co Ltd 駐車場案内装置、駐車場案内方法及びプログラム
KR101102408B1 (ko) * 2010-10-06 2012-01-05 주식회사 인스프리트 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법
KR20170030370A (ko) * 2015-09-09 2017-03-17 현대모비스 주식회사 주차장 정보 공유 장치 및 방법과 주차 지원 장치 및 방법
KR20180134636A (ko) * 2017-06-09 2018-12-19 네이버 주식회사 주차 정보를 제공하는 방법 및 시스템
KR20190037770A (ko) * 2017-09-29 2019-04-08 소프트온넷(주) Cctv 주차장 영상정보를 이용한 실시간 주차칸 영상객체 인식 장치, 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230100851A1 (en) * 2021-09-28 2023-03-30 Here Global B.V. Method, apparatus, and system for mapping a parking facility without location sensor data

Also Published As

Publication number Publication date
KR20210116780A (ko) 2021-09-28

Similar Documents

Publication Publication Date Title
KR100794513B1 (ko) 주차 관리 시스템
KR100796266B1 (ko) 주차 관제 시스템
KR101779521B1 (ko) 스마트 폰을 이용한 주차정보처리장치
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
KR102187313B1 (ko) 공유 주차관리시스템
CN105405317A (zh) 一种基于手机蓝牙的泊车诱导系统
WO2017052257A1 (ko) 실내 및 실외 통합 측위 제공 방법 및 시스템
CN112880696A (zh) 一种基于同时建图与定位的泊车系统及方法
WO2016003060A1 (ko) 실내 네비게이션 서비스 제공 방법 및 장치
WO2019160221A1 (ko) 스마트폰 통합측위를 활용한 지하철역 도착알림 및 역사 정보안내 시스템
CN205354375U (zh) 一种基于手机蓝牙的泊车诱导系统
KR20130106028A (ko) 전기자동차 주차 및 충전 유도 시스템 및 방법
WO2021187704A1 (ko) 딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
KR102393619B1 (ko) 딥러닝을 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
CN114999200A (zh) 一种应用于智能汽车的辅助停车方法及系统
WO2020179992A1 (ko) 주차 위치 확인을 위한 시스템
CN112990759B (zh) 基于数字孪生的数据处理系统
KR102390752B1 (ko) 주차위치 안내 시스템
WO2014107000A1 (ko) 보행 경로 안내 시스템 및 방법
KR101363467B1 (ko) 주차정보 제공방법 및 주차관리시스템
KR102001146B1 (ko) 비콘을 이용한 스마트 단말 기반 주차관리 시스템 및 방법
KR20140112285A (ko) 주차위치 안내시스템
JP2003274441A (ja) ビル内位置検出システム
CN107346605A (zh) 公交车预报系统
WO2016117738A1 (ko) 실내외 연속 지오코딩 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925331

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26/01/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20925331

Country of ref document: EP

Kind code of ref document: A1