WO2020171605A1 - 주행 정보 제공 방법, 차량맵 제공 서버 및 방법 - Google Patents

주행 정보 제공 방법, 차량맵 제공 서버 및 방법 Download PDF

Info

Publication number
WO2020171605A1
WO2020171605A1 PCT/KR2020/002426 KR2020002426W WO2020171605A1 WO 2020171605 A1 WO2020171605 A1 WO 2020171605A1 KR 2020002426 W KR2020002426 W KR 2020002426W WO 2020171605 A1 WO2020171605 A1 WO 2020171605A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
driving information
information
map
surrounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/002426
Other languages
English (en)
French (fr)
Inventor
이성수
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190019488A external-priority patent/KR102794483B1/ko
Priority claimed from KR1020190069873A external-priority patent/KR102817977B1/ko
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN202080015561.2A priority Critical patent/CN113454692B9/zh
Publication of WO2020171605A1 publication Critical patent/WO2020171605A1/ko
Priority to US17/394,819 priority patent/US12429356B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889—Transmission of selected map data, e.g. depending on route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station

Definitions

  • the present invention relates to a driving information providing method, a vehicle map providing server and method.
  • C-ITS Cooperative-Intelligent Transport Systems
  • C-ITS aims to prevent or drastically reduce traffic accidents.
  • the location of surrounding vehicles must be able to be identified in real time, and one of the methods is to determine the location of surrounding vehicles through continuous data sharing between vehicle-vehicle (V2V) and vehicle-road (infrastructure) (V2I). There is something to grasp.
  • V2V vehicle-vehicle
  • V2I vehicle-road (infrastructure)
  • the problem to be solved of the present invention is to identify the location of surrounding vehicles that do not support V2V or V2I communication in real time and provide them to the vehicle, and through this, a driving assistance service such as C-ITS is more effectively provided to the vehicle or the driver of the vehicle. To be provided to.
  • a vehicle map providing method performed by a vehicle map providing server includes, from a first vehicle, a first image photographed by the first vehicle, first driving information of the first vehicle, and the first image.
  • Receiving first information including second driving information of a second vehicle includes, from the third vehicle, second information including a second image captured by the third vehicle, third driving information of the third vehicle, and fourth driving information of a fourth vehicle on the second image ; Determining whether the second vehicle and the fourth vehicle are identical to each other by using previously stored vehicle map information or the first information and the second information; Depending on whether the second vehicle and the fourth vehicle are the same, generating a vehicle map using at least one of the second driving information and the fourth driving information, and the first driving information and the third driving information step; Predicting a first vehicle map including driving information for one or more vehicles on a driving path of the first vehicle at a current time point based on the first driving information from the vehicle map; And transmitting the first vehicle map to the first vehicle.
  • the vehicle map is generated by using driving information generated later in chronological order among the second driving information and the fourth driving information. Can be generated.
  • the determining whether the second vehicle and the fourth vehicle are the same may include comparing a classifier of the second vehicle included in the second driving information with a classifier of the fourth vehicle included in the fourth driving information Step to do; And determining whether the second vehicle and the fourth vehicle are the same based on the comparison result.
  • the step of determining whether the second vehicle and the fourth vehicle are the same may include, when the classifier is not included in the second driving information or the fourth driving information, the second vehicle included in the second driving information It is possible to determine whether the second vehicle and the fourth vehicle are the same by using the position information and the attitude angle of and the position information and the attitude angle of the fourth vehicle included in the fourth driving information.
  • the determining whether the second vehicle and the fourth vehicle are the same may include: extracting first feature points for the second vehicle from the first image; Extracting second feature points for the fourth vehicle from the second image; And determining whether the second vehicle and the fourth vehicle are the same based on whether the first characteristic points and the second characteristic points are matched.
  • the step of determining whether the second vehicle and the fourth vehicle are the same may include receiving a plurality of training images having different sizes for each of the plurality of vehicle models as one input and using the learned machine learning model. It may be determined whether the second vehicle and the fourth vehicle are the same.
  • a method of providing a vehicle map performed by a vehicle equipped with a driving information providing device includes: a first vehicle, a first vehicle photographed by the second vehicle from a second vehicle located around the first vehicle. Receiving first information including an image, first own vehicle driving information of the second vehicle, and first surrounding vehicle driving information of a third vehicle on the first image; The first vehicle is, from a fourth vehicle located around the first vehicle, a second image captured by the fourth vehicle, second own vehicle driving information of the fourth vehicle, and a fifth vehicle on the second image.
  • a vehicle map including driving information for the vehicle may be provided to another vehicle or driver.
  • a vehicle map including driving information on nearby vehicles that are not detected by the host vehicle may be provided to the vehicle. Accordingly, the driving assistance service can be quickly, accurately and actively provided to each vehicle.
  • FIG. 1 conceptually illustrates a connection relationship between a vehicle equipped with a driving information providing device, a vehicle not equipped with a driving information providing device, and a vehicle map providing server that communicates with each of the vehicles according to an exemplary embodiment. .
  • FIG. 2 is a flowchart illustrating a procedure for performing a method for providing driving information according to an exemplary embodiment.
  • FIG. 3 is a block diagram of an apparatus for providing driving information according to an exemplary embodiment.
  • FIG. 4 is an exemplary image of a nearby vehicle photographed by a vehicle in an embodiment.
  • FIG. 5 is a flowchart illustrating a procedure for performing a method for providing a vehicle map according to an exemplary embodiment.
  • FIG. 6 is an example of a vehicle map that can be provided according to a vehicle map providing method according to an exemplary embodiment.
  • FIG. 7 is a block diagram of a vehicle map providing server according to an exemplary embodiment.
  • 9 is a process of collecting driving information that can be performed according to another embodiment.
  • FIG. 10 is an exemplary image of a vehicle region from which feature points are extracted according to the embodiment of FIG. 9.
  • FIG. 11 is an exemplary image of matching feature points according to the embodiment of FIG. 9.
  • FIG. 12 is a diagram illustrating a training image used to generate a vehicle classifier according to another embodiment.
  • FIG. 13 is a diagram illustrating an input image input to a vehicle classifier according to the embodiment of FIG. 12.
  • 15 is an example of a method for an own vehicle to share driving information with surrounding vehicles in an environment without a vehicle map providing server, according to an exemplary embodiment.
  • 16 is a flowchart illustrating a method of sharing driving information with nearby vehicles in an environment without a vehicle map providing server according to an exemplary embodiment.
  • FIG. 1 is a vehicle 310 and 320 equipped with a driving information providing device 100 according to an embodiment, a vehicle 300 not equipped with a driving information providing device 100, and some of these vehicles 310, 320) conceptually shows a connection relationship with the vehicle map providing server 200 performing communication.
  • FIG. 1 is only exemplary, the spirit of the present invention is not limited to that illustrated in FIG. 1.
  • the driving information providing device 100 is mounted on the second vehicle 310 and the third vehicle 320 respectively, but the driving information providing device 100 is not mounted on the first vehicle 300.
  • the driving information providing apparatus 100 may be a module supporting a communication function such as V2V or V2I.
  • the driving information may include at least one of location information, attitude angle information, movement direction information, speed information, a classifier of the vehicle, and acquisition time information for such driving information of the vehicle, but is not limited thereto. .
  • the driving information obtained or calculated in this way is transmitted to the vehicle map providing server 200.
  • driving information on the first vehicle 300 is calculated by the driving information providing device 100 mounted on the second vehicle 310 or the third vehicle 320 and transmitted to the vehicle map providing server 200.
  • the second vehicle 310 or the third vehicle 320 Driving information for 300 may be calculated and transmitted to the vehicle map providing server 200.
  • the vehicle map providing server 200 collects the received driving information, generates a vehicle map, and transmits it to each of the vehicles 310 and 320. For example, a vehicle map including driving information on the first vehicle 300 as well as driving information on the third vehicle 320 may be transmitted to the second vehicle 310. In addition, a vehicle map including driving information on the second vehicle 310 may be transmitted to the third vehicle 320, even if the third vehicle 320 is unable to detect the first vehicle 300. A vehicle map including even driving information about the first vehicle 300 detected by the second vehicle 310 may be transmitted.
  • the vehicle map refers to map data displaying the above-described driving information for not only the own vehicle but also the surrounding vehicles on the map. Since the location, attitude angle, movement direction or speed of surrounding vehicles can be identified through this vehicle map, each vehicle 310, 320 uses various driving assistance services of ADAS, such as Forward Collision Warning and Automatic Braking System. , Blind Spot Detection function, etc. may be provided.
  • ADAS Advanced Driver Assistance System
  • a vehicle map including driving information for the vehicle may be provided to other vehicles or drivers.
  • a vehicle map including driving information on nearby vehicles that are not detected by the host vehicle may be provided to the vehicle. Accordingly, the driving assistance service can be quickly, accurately and actively provided to each vehicle.
  • FIG. 2 is a flowchart illustrating a procedure for performing a driving information providing method according to an exemplary embodiment
  • FIG. 3 is a configuration diagram of a driving information providing apparatus 100 performing the driving information providing method shown in FIG. 2.
  • FIGS. 2 and 3 are merely exemplary, the spirit of the present invention is not limited to those illustrated in FIGS. 2 and 3.
  • the driving information providing method includes the steps of acquiring driving information for the own vehicle (S100), detecting the surrounding vehicles of the own vehicle (S110), and calculating driving information for the detected surrounding vehicles. Step S120 and transmitting at least one of driving information for the own vehicle and driving information for the surrounding vehicles to a vehicle map providing server that generates a vehicle map by collecting driving information for each of a plurality of vehicles ( S130) and receiving a vehicle map including driving information on surrounding vehicles on the path of the own vehicle from the vehicle map providing server (S140), and a predetermined driving assistance service based on the received vehicle map It is performed including a step (S150) of providing.
  • the driving information providing device 100 includes an own vehicle driving information acquisition unit 120, a surrounding vehicle detection unit 130, a surrounding vehicle driving information calculation unit 140, a driving assistance service providing unit 150, and a communication unit 110. Includes.
  • Each configuration of the driving information providing apparatus 100 may be implemented in the form of a software module or a hardware module executed by a processor, or a combination of a software module and a hardware module.
  • the communication unit 110 is a wireless communication module supporting V2V or V2I.
  • the communication unit 110 includes CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC, wireless LAN, Wi-Fi, Bluetooth, Zigbee, WFD ( Wireless that can perform wireless communication by adopting communication methods such as Wi-Fi Direct), UWB (Ultra wideband), Infrared Data Association (IrDA), BLE (Bluetooth Low Energy), or NFC (Near Field Communication). It may be a communication module.
  • the vehicle may transmit and receive data with the vehicle map providing server 200 after accessing at least one of a plurality of V2I base stations distributed and installed on the road through the communication unit 110.
  • the communication unit 110 is equipped with an algorithm for accessing a V2I base station closest to the current position of the vehicle among a plurality of V2I base stations.
  • the vehicle can transmit and receive data to and from the vehicle map providing server 200 via the V2I base station connected through the communication unit 110.
  • the own vehicle driving information acquisition unit 120 is a component that obtains driving information about the own vehicle.
  • the position and attitude angle among the driving information for the own vehicle can be obtained through various methods.
  • the position and attitude angle of the own vehicle may be obtained using a GPS signal received from a GPS satellite or information given in advance.
  • the position and attitude angle of the own vehicle may be obtained through a method of matching a landmark of a precision map with an image captured from the own vehicle.
  • the method of matching the landmark of the precision map with the image captured by the own vehicle means that the landmark of the precision map corresponding to the initial location information of the GPS-based vehicle is matched with the image captured by the own vehicle's camera, Obtaining location information; Obtaining the estimated location information of the camera based on a matching error between the image and the landmark of the precision map corresponding to each of the plurality of candidate location information sampled based on the initial location information of the camera and the driving information of the own vehicle step; And acquiring the estimated location information of the host vehicle based on the estimated location information of the camera.
  • speed information about the own vehicle may be obtained using a wheel speed value that can be obtained as CAN data.
  • movement direction information for the own vehicle may be obtained based on GPS information or the like.
  • the classifier of the own vehicle may be the own vehicle's own ID previously given from the vehicle map providing server 200.
  • the acquisition time information for the above-described driving information of the own vehicle may refer to time information based on GPS from which each of the above-described driving information is obtained.
  • the surrounding vehicle detection unit 130 is a component that detects surrounding vehicles located around an own vehicle.
  • the surrounding vehicle detection unit 130 may be implemented with a camera that photographs the vicinity of the own vehicle or a sensor that detects a vehicle running or stopped around the host vehicle.
  • the surrounding vehicle driving information calculation unit 140 is a component that calculates driving information on the surrounding vehicle detected by the surrounding vehicle detection unit 130. First of all, a method of calculating the location information of nearby vehicles will be described first. To this end, it is necessary to obtain an image of the surrounding vehicle captured by the surrounding vehicle detection unit 130.
  • the surrounding vehicle driving information calculation unit 140 acquires position information of a nearby vehicle on the ground, that is, a coordinate value of a pixel from the image thus secured.
  • the coordinate value of a pixel obtained here refers to a coordinate value of a pixel contacting the ground among these borders when the area in which the surrounding vehicle is detected in the image is bounded by a predetermined bounding box, which is exemplarily illustrated in FIG. 4. . If the surrounding vehicle is relatively far away from the own vehicle, the corresponding pixel value will be displayed relatively close to the vanishing point in the image. If the surrounding vehicle is relatively close away from the own vehicle, the pixel value will be relatively far from the vanishing point in the image. They will be marked apart. That is, the corresponding pixel value has a predetermined correlation with the separation distance between the surrounding vehicle and the host vehicle. Therefore, the separation distance between the host vehicle and the surrounding vehicle may be calculated based on an algorithm using this correlation.
  • the surrounding vehicle driving information calculation unit 140 is. Using the following Equation 1, the image of the surrounding vehicle photographed by the surrounding vehicle detection unit 130 is converted into a format of a coordinate value when a camera mounted on the host vehicle looks forward.
  • K denotes a 3x3 matrix of internal parameters of the camera mounted on the own vehicle
  • R denotes a rotation matrix that converts the specific pixel value m of the image captured from the own vehicle into the coordinate system when the camera looks forward.
  • m new means the converted coordinate value when the camera mounted on the own vehicle looks forward.
  • m may be position information of a nearby vehicle located on the ground, that is, a coordinate value of a pixel.
  • R may be determined by using a rotation matrix based on the vehicle coordinate system calculated when the camera is mounted on the host vehicle, or by using a rotation matrix related to the attitude angle of the camera based on the ground provided by the camera-based ADAS.
  • the surrounding vehicle driving information calculation unit 140 calculates a rotation angle ⁇ between the longitudinal axis (progression) direction of the host vehicle and the surrounding vehicle lanes using Equation 2 below.
  • HFOV refers to the horizontal angle of view of the camera
  • u new refers to the x-axis coordinate value of m new in Equation 1
  • c x refers to the camera principal point
  • image-width refers to the horizontal resolution of the image. it means.
  • the surrounding vehicle driving information calculation unit 140 calculates the location [x a , y a ] of the surrounding vehicle using Equation 3 below.
  • [xs, ys, ⁇ s] represents the position and attitude angle of the own vehicle obtained by the own vehicle driving information acquisition unit 120, and means the separation distance between the host vehicle and the surrounding vehicles calculated by the surrounding vehicle driving information calculation unit 140 do.
  • ⁇ refers to the rotation angle between the vertical axis direction of the host vehicle calculated in Equation 2 and the detected vehicle position, and [xa, ya] indicates the position of the surrounding vehicle detected in the image. Therefore, the attitude angle of the surrounding vehicle detected in the image becomes ⁇ + ⁇ s.
  • the surrounding vehicle driving information calculating unit 140 calculates the movement direction information of the surrounding vehicle detected in the image using Equation 4 below.
  • [x a,t1 , y a,t1 ], [x a,t2 , y a,t2 ] represent the locations of surrounding vehicles calculated using Equation 3 at time t1 and time t2, respectively, and ⁇ a is It indicates the direction of movement of nearby vehicles. If the surrounding vehicle is stopped, the value of [x a,t1:t2 , y a,t1:t2 ] is 0 or close to 0 due to image recognition error. In this case, ⁇ a is calculated previously. If there is a set value, the previous value is used as it is or has the same ⁇ s value as the direction of the own vehicle.
  • the surrounding vehicle driving information calculation unit 140 calculates speed information of the surrounding vehicle detected in the image using Equation 5 below.
  • d denotes a moving distance calculated using Equation 4 between times t1 and t2
  • v denotes a moving speed of surrounding vehicles.
  • the surrounding vehicle driving information calculating unit 140 acquires information on a classifier of a surrounding vehicle and assigns it to the surrounding vehicle and driving information about the surrounding vehicle.
  • an acquisition method there is a method of recognizing the vehicle number of the surrounding vehicle from the image of the surrounding vehicle captured by the surrounding vehicle detection unit 130.
  • a classifier may not be assigned to the corresponding driving information and corresponding nearby vehicles.
  • the driving assistance service providing unit 150 provides a predetermined driving assistance service based on the vehicle map received through the communication unit 110.
  • the driving assistance service providing unit 150 may provide various driving assistance services of ADAS, such as Forward Collision Warning, Automatic Braking System, Blind Spot Detection, and the like.
  • the driving assistance service providing unit 150 may predict and provide driving information for a nearby vehicle based on a current time by using driving information on a nearby vehicle included in the vehicle map.
  • the reason for the term'prediction' is derived from the fact that the driving information included in the vehicle map is driving information obtained or calculated in a time period prior to the current time by each of the plurality of vehicles. That is, this is because the driving information at the current time can only be'predicted' based on the trend of driving information acquired or calculated in the previous time period.
  • the driving assistance service providing unit 150 may predict driving information for nearby vehicles based on the current time using Equation 6 below.
  • (xa, t2, ya, t2) is a position of a nearby vehicle predicted based on the current time t2, and t1 represents an acquisition or calculated time at which driving information was acquired in each vehicle.
  • the driving assistance service providing unit 150 may provide the aforementioned driving assistance service only when a predetermined condition is satisfied. For example, the driving assistance service providing unit 150 predicts driving information for the own vehicle based on the current time, using driving information for the own vehicle included in the vehicle map, and then predicts driving information and actual driving for the own vehicle. The above-described driving assistance service can be provided only when the difference in information is less than a threshold. Through this, the validity of the vehicle map can be verified.
  • FIG. 5 is a flowchart illustrating a procedure for performing a vehicle map providing method according to an exemplary embodiment
  • FIG. 7 is a configuration diagram of a vehicle map providing server 200 performing the vehicle map providing method illustrated in FIG. 5.
  • FIGS. 5 and 7 are merely exemplary, the spirit of the present invention is not limited to those illustrated in FIGS. 5 and 7.
  • the method of providing a vehicle map includes receiving driving information obtained for the vehicle and driving information calculated for surrounding vehicles of the vehicle from each of a plurality of vehicles (S200), and the plurality of vehicles Generating a vehicle map by collecting driving information received for each vehicle and driving information received for the surrounding vehicles of the plurality of vehicles (S210), and transmitting the vehicle map from the generated vehicle map to each of the plurality of vehicles
  • the extraction of the vehicle map to be performed to include the path of the vehicle (S230), and transmitting the extracted vehicle map to the vehicle (S240).
  • the vehicle map refers to map data displaying not only the own vehicle but also the above-described driving information about the surrounding vehicles on the map, and is exemplarily illustrated in FIG. 6. Since the location, attitude angle, movement direction or speed of surrounding vehicles can be identified through this vehicle map, each vehicle 310, 320 uses various driving assistance services of ADAS, such as Forward Collision Warning and Automatic Braking System. , Blind Spot Detection function, etc. may be provided.
  • ADAS Advanced Driver Assistance System
  • the vehicle map providing server 200 includes a communication unit 210, a vehicle map generation unit 220, and a vehicle map extraction unit 230 as components.
  • Each configuration of the vehicle map providing server 200 may be implemented in the form of a software module or a hardware module executed by a processor, or a combination of a software module and a hardware module.
  • the communication unit 210 is a wireless communication module.
  • the communication unit 110 includes CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC, wireless LAN, Wi-Fi, Bluetooth, Zigbee, WFD ( Wi-Fi Direct), UWB (Ultra-wideband), infrared communication (IrDA; Infrared Data Association), BLE (Bluetooth Low Energy) or NFC (Near Field Communication) by adopting a communication method that can perform wireless communication. It may be a wireless communication module.
  • the vehicle map providing server 200 may transmit and receive data to and from the vehicle via any one of a plurality of V2I base stations distributed and installed on the road through the communication unit 210. For example, when a vehicle accesses a V2I base station close to its current location among a plurality of V2I base stations, the vehicle map providing server 200 drives the vehicle or mounted on the vehicle through the V2I base station connected to the vehicle through the communication unit 210 Data can be transmitted and received with the information providing device 100.
  • the vehicle map providing server 200 receives driving information for a plurality of vehicles.
  • the received driving information may include not only a vehicle that has transmitted driving information, but also a vehicle surrounding the vehicle that has transmitted driving information.
  • the received driving information may include at least one of location information of the vehicle, attitude angle information, movement direction information, speed information, a classifier of the vehicle, and acquisition time information for this driving information of the vehicle. It does not become.
  • the vehicle map generation unit 220 collects the above-described driving information received through the communication unit 210 for each vehicle. The collecting process will be described with reference to FIG. 8.
  • the vehicle map generation unit 220 determines whether a classifier is included in the driving information received through the communication unit 210 (S211).
  • the classifier may include a vehicle ID or vehicle number.
  • the received driving information may not include a classifier. For example, this may be the case when the own vehicle does not recognize the vehicle number of the surrounding vehicle.
  • the vehicle map generator 220 collects driving information for each vehicle based on the classifier (S212). According to this, for example, the driving information received for the first vehicle and the driving information received for the second vehicle can be collected.
  • the vehicle map generator 220 may collect driving information for each vehicle based on the location information and the attitude angle information of the vehicle (S213). ). Step S213 will be described in more detail below.
  • the vehicle map generator 220 extracts location information and attitude angle information of the vehicle from driving information that does not include a classifier. After that, the vehicle map generation unit 220 compares the extracted location information and attitude angle information with each of the latest location information and attitude angle information for each vehicle previously collected, that is, having a classifier. Each is derived. The vehicle map generation unit 220 extracts a classifier for a vehicle having position information and attitude information in which the derived error is minimum or less than a threshold. The vehicle map generator 220 performs a collection after assuming that the extracted classifier is a classifier for driving information that does not include the aforementioned classifier.
  • P1 and P2 denote the positions/directions of the two vehicles to which the error is derived
  • C1 and C2 denote the covariance matrix corresponding to P1 and P2. If the value of Dm, which is the Mahalanobis Distance, is less than the threshold, it is judged as overlapping.
  • the vehicle map generation unit 220 extracts feature points from images of surrounding vehicles captured by the surrounding vehicle detection unit 130, performs inter-vehicle matching based on the feature points, and then drives Information can be collected for each vehicle.
  • a method of collecting driving information performed by the vehicle map generator 220 according to another embodiment will be described.
  • the vehicle map generation unit 220 may first extract feature points of a vehicle area detected from an image of a surrounding vehicle captured by the surrounding vehicle detection unit 130 and generate a descriptor corresponding thereto. Yes (S300). Specifically, the vehicle map generation unit 220 may detect a vehicle area for each vehicle from a surrounding image captured by the surrounding vehicle detection unit 130. Here, the vehicle area may mean the bounding box of FIG. 4.
  • the vehicle map generation unit 220 uses a scale invariant feature transform (SIFT), speeded up robust features (SURF), oriented fast and rotated BRIEF (ORB) method, etc. to the surrounding vehicle detection unit 130 Feature points for each vehicle may be extracted from the vehicle area in the surrounding image captured by 10 illustrates feature points extracted from a vehicle area by the vehicle map generator 220. Then, the vehicle map generator 220 may generate a descriptor using image information around the feature points.
  • SIFT scale invariant feature transform
  • SURF speeded up robust features
  • ORB oriented fast and rotated BRIEF
  • the vehicle map generator 220 may perform matching between a specific vehicle and the remaining vehicles using the extracted feature points and descriptors (S310). 11 illustrates matching results based on feature points and descriptors performed by the vehicle map generator 220.
  • the vehicle map generation unit 220 may obtain a valid matching result using RANSAC-based Affine Transformation (S320). Since noise may exist in the matching result, the vehicle map generation unit 220 may determine the validity of the matching result using RANSAC-based Affine Transformation.
  • m1, m2, m3, m4, tx, and ty may mean Affine Transformation parameters.
  • the vehicle map generator 220 may determine the effective matching for the feature points having an error of the pixel coordinates equal to or less than the threshold value, and then check the number of effective feature points.
  • the vehicle map generator 220 repeats the above-described matching process a predetermined number of times, and then determines m1, m2, m3, m4, tx, ty when the number of effective feature points is the largest as the Affine Transformation parameter. I can.
  • the vehicle map generator 220 may determine that the vehicle is the same vehicle if the distance between vehicles is less than a threshold. Yes (S330). Specifically, the vehicle map generator 220 may determine that the vehicle is the same vehicle when the distance between the feature points of the vehicle is less than or equal to the threshold value.
  • the vehicle map generator 220 determines that the vehicle-to-vehicle distance is less than or equal to the threshold value, and the number of effective feature point matches is the largest or the distance between vehicles is the smallest. It can be determined as (S340). Specifically, the vehicle map generator 220 may determine that the distance between the feature points of the vehicle is less than or equal to a threshold value, the number of effective feature point matching is the largest, or the distance between the vehicles is the smallest as the same vehicle.
  • the vehicle map generator 220 may collect driving information for each vehicle.
  • the vehicle map generator 220 may determine the driving information received last in chronological order among driving information collected by determining that the vehicle is the same vehicle as driving information of the same vehicle.
  • the vehicle map generator 220 may collect driving information for each vehicle using a vehicle classifier generated through machine learning such as deep learning.
  • machine learning such as deep learning
  • the vehicle classifier may be generated by the vehicle map providing server 200 and stored in advance. To this end, the vehicle map providing server 200 may first generate training images of various sizes as shown in FIG. 12 for each of the plurality of vehicle models.
  • the generation of training images of various sizes for one vehicle model is to generate a vehicle classifier capable of recognizing vehicle models at various distances. Through this, it is possible to generate an artificial neural network having a higher recognition rate for a vehicle model compared to an artificial neural network generated by learning only a training image of a specific size.
  • the vehicle map providing server 200 may generate a plurality of training images by varying the size based on the recognizable distance of the vehicle model.
  • the size of the vehicle in an image acquired by the camera may be determined according to a distance from the camera.
  • the vehicle map providing server 200 may determine a minimum recognition distance and a maximum recognition distance, and determine the size of each vehicle model in the image at each of the minimum and maximum recognition distances. Thereafter, the vehicle map providing server 200 according to an embodiment may divide between the minimum recognition distance and the maximum recognition distance into arbitrary sections, and generate a training image corresponding to each of the divided sections.
  • the vehicle map providing server 200 may train the artificial neural network by using training images of various sizes generated for each of the plurality of vehicle models as one input.
  • the vehicle map providing server 200 may generate a vehicle classifier by learning training images of various sizes for each vehicle model as one input data, and the vehicle classifier thus generated is a neural network-based model.
  • Can be A neural network-based vehicle classifier may be implemented as a model such as a Convolution Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), and a Bidirectional Recurrent Deep Neural Network (BRDNN).
  • CNN Convolution Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • the vehicle classifier may include an input layer into which a training image is input, an output layer through which a vehicle model corresponding to the inputted training image is output, and a plurality of hidden layers provided between the input layer and the output layer.
  • the output layer may form a fully connected network with the last hidden layer among the plurality of hidden layers.
  • the output layer of the artificial neural network is composed of nodes for N vehicle models, and each node may represent a vehicle model.
  • the plurality of hidden layers may include a plurality of convolution layers and subsampling layers.
  • the convolution layer may obtain a characterization vector for a training image by applying various convolution kernels to an input object image.
  • convolution can serve as a kind of template for extracting features from a high-dimensional learning image.
  • the sub-sampling layer is a neuron layer that reduces the dimension of the obtained characterization vector, and can lower the spatial resolution of the characterization vector generated by the convolutional layer. Through this process, the vehicle classifier can reduce the complexity of the problem.
  • the convolutional layer and the sub-sampling layer are repeatedly disposed in the hidden layer, so that the above-described process may be repeatedly performed.
  • the vehicle map providing server 200 readjusts the parameters of the artificial neural network using Back Propagation in the direction of minimizing the error between the output and the correct answer, and repeatedly learns the artificial neural network using the above-described input until the output converges to the correct answer. I can make it.
  • the vehicle map providing server 200 may generate a vehicle classifier according to supervised learning.
  • Supervised learning refers to a machine learning method for learning learning data composed of an input and a label corresponding thereto, and the label may mean a correct answer to an input among the training data.
  • the vehicle map providing server 200 may generate a vehicle classifier by receiving a plurality of training images as inputs and learning training data in which a vehicle model in the training image is associated with an initial label. Specifically, the vehicle map providing server 200 may classify the input training image according to the vehicle model by learning a relationship between the input training image and the correct answer vehicle model.
  • the vehicle map providing server 200 is a vehicle by semisupervised learning in which some training data in which the vehicle model is labeled in the training image and the remaining training data consisting of unlabeled training images are used together to learn. You can also create a classifier. Alternatively, the vehicle map providing server 200 may generate a vehicle classifier according to reinforcement learning using feedback on whether the learning result is correct.
  • the vehicle map generator 220 may receive the vehicle classifier described above from an external device.
  • the vehicle map generation unit 220 may detect a vehicle area for each vehicle from the surrounding image captured by the surrounding vehicle detection unit 130.
  • the vehicle area may mean the bounding box of FIG. 4.
  • the vehicle map generator 220 may change the detected vehicle area to various sizes of the training image used for learning the vehicle classifier.
  • FIG. 13(a) illustrates the vehicle area detection result for each vehicle from the surrounding image
  • FIG. 13(b) shows that the size of any one vehicle area detected in FIG. 13(a) is changed differently. Illustrate that.
  • the vehicle map generation unit 220 After variously changing the size of the vehicle area, the vehicle map generation unit 220 inputs a plurality of vehicle areas of different sizes as one input to the vehicle classifier, and based on the result output from the vehicle classifier, You can judge the model.
  • the vehicle classifier may output a reliability of 0 to 1 for each vehicle model, and the vehicle map generator 220 may select a vehicle model having the highest reliability, but may determine that it is valid if the reliability is greater than or equal to a threshold. .
  • the vehicle map generator 220 may calculate Mahalanobis Distance using Equation 7 and then determine a vehicle having the smallest Mahanobis Distance as the same vehicle.
  • the vehicle map generator 220 may collect driving information for each vehicle.
  • the vehicle map generator 220 may determine the driving information received last in chronological order among driving information collected by determining that the vehicle is the same vehicle as driving information of the same vehicle.
  • the vehicle map generator 220 generates a vehicle map based on driving information of the same vehicle. At this time, the vehicle map generation unit 220 may generate a vehicle map after removing the driving information for which the update is delayed, and this will be described with reference to FIG. 14.
  • the vehicle map generating unit 220 determines when the driving information for each vehicle is updated or lastly It is checked how much time has elapsed from the time when the driving information was received (S214). If the elapsed time exceeds the threshold value, that is, if there is driving information for which the update is delayed, the vehicle map generator 220 removes the driving information (S215) and then generates a vehicle map (S216).
  • whether there is driving information for which the update is delayed may be determined in various ways. For example, if the product of the speed of the vehicle and the time elapsed without being updated, that is, the distance the vehicle has moved without being updated, is equal to or greater than a predetermined threshold, it may be determined that the updated driving information is delayed. Alternatively, when the speed of the vehicle is 0, if the elapsed time without being updated is equal to or greater than a predetermined threshold, it may be determined that the updated driving information is delayed. However, it is only an example to determine whether there is driving information for which the update is delayed.
  • the vehicle map extraction unit 230 extracts a vehicle map to be transmitted to each of a plurality of vehicles from the vehicle map generated by the vehicle map generation unit 220.
  • the vehicle map extracted in this way may be transmitted to the vehicle through the communication unit 210.
  • the vehicle map to be transmitted to each of the plurality of vehicles may refer to a vehicle map including driving information on the vehicle or driving information on nearby vehicles on the path of the vehicle.
  • the vehicle map generating unit 220 since the driving information received from the plurality of vehicles using the communication unit 210 is driving information at the time when each of the plurality of vehicles generates the driving information, the vehicle map generating unit 220 generates a vehicle map or In order for the map extractor 230 to extract a vehicle map to be transmitted to each vehicle, it is necessary to predict and provide driving information of the vehicle at the time point at which each step is performed.
  • the vehicle map to be transmitted to each of the plurality of vehicles is predicted based on the time when the vehicle map is generated (or extracted) based on the driving information at the time when the driving information is generated by each of the plurality of vehicles. It may include information or driving information about nearby vehicles on the path of the vehicle.
  • a vehicle map including driving information for the vehicle may be provided to other vehicles or drivers.
  • a vehicle map including driving information on nearby vehicles that are not detected by the host vehicle may be provided to the vehicle. Accordingly, the driving assistance service can be quickly, accurately and actively provided to each vehicle.
  • the apparatus 100 for providing driving information of a vehicle having received the generated vehicle map may predict driving information for the own vehicle and surrounding vehicles.
  • the driving assistance service providing unit 150 of the driving information providing apparatus 100 may predict driving information for the own vehicle and surrounding vehicles based on the vehicle map received from the vehicle map providing server 200.
  • the driving assistance service provider 150 predicts the predicted driving information through matching between the predicted driving information and the actual driving information. Driving information can be corrected.
  • the driving information estimated by the own vehicle may mean driving information obtained by the host vehicle driving information acquisition unit 120 and the surrounding vehicle driving information calculation unit 140.
  • the driving assistance service provider may perform matching between surrounding vehicles through extraction and matching of a vehicle number recognition result or an image feature point in a vehicle area and a descriptor in the same manner as the method performed by the vehicle map providing server 200. After matching is performed, the driving assistance service providing unit 150 may obtain a matching error for surrounding vehicles including the own vehicle, and may correct the predicted driving information by using the average of the matching errors. Specifically, the driving assistance service providing unit 150 may correct the predicted driving information according to Equation 10.
  • xi@vehicle and yi@vehicle refer to the position coordinates of the vehicle estimated by the own vehicle
  • xi@server and yi@server are provided by the vehicle map providing server 200.
  • X and y may mean the position coordinates of the vehicle predicted from the provided vehicle map
  • x and y denote values for correcting the predicted vehicle position
  • the driving assistance service provider 150 includes xi@server+x and yi@server. You can correct the predicted vehicle position with +y.
  • the driving assistance service providing unit 150 determines that the position of the surrounding vehicle can be predicted.
  • Driving information of nearby vehicles can be selected by using the covariance error of the information.
  • the driving assistance service providing unit 150 may predict a covariance representing an estimation error with respect to the absolute position/direction of the surrounding vehicle according to Equation 7.
  • the covariance for the absolute position/direction [xa, ya, ⁇ a] of the surrounding vehicle may be in the form of a 3x3 matrix.
  • the driving assistance service providing unit 150 estimates (Cxs + Cys) for the position of the surrounding vehicle predicted based on the vehicle map and the own vehicle. A smaller value among (Cxs + Cys) values for the surrounding vehicle location can be selected as the location of the surrounding vehicle.
  • the driving assistance service providing unit 150 filters the Kalman filter on the driving information of the surrounding vehicle estimated based on the driving information of the surrounding vehicle estimated by the own vehicle and the vehicle map. By applying, driving information of nearby vehicles can be selected. Specifically, the driving assistance service provider 150 may obtain the position/direction Pestimated of the surrounding vehicle according to Equation 11.
  • Ps means the location/direction of the surrounding vehicle predicted based on the vehicle map
  • Pv means the location/direction of the surrounding vehicle estimated by the own vehicle
  • Cs and Cv are covariance matrices for Ps and Pv, respectively.
  • 15 is an example of a method for an own vehicle to share driving information with surrounding vehicles in an environment without a vehicle map providing server, according to an exemplary embodiment.
  • a first vehicle 410, a second vehicle 420, and a third vehicle 430 may be vehicles equipped with a driving information providing device 100.
  • the first vehicle 410 is a second vehicle 420, a third vehicle 430, and a fourth vehicle driving (or located) within the first region R1.
  • 440 driving information of each of the second vehicle 420, the third vehicle 430, and the fourth vehicle 440, and the second vehicle 420, the third vehicle 430, and the fourth vehicle 440 ) It is possible to transmit and receive driving information of each nearby vehicle.
  • the first area R1 may mean an area around the first vehicle 410 in which the first vehicle 410 intends to transmit and receive driving information with surrounding vehicles.
  • the size and shape of the first region R1 may be changed according to exemplary embodiments.
  • the environment without the vehicle map providing server 200 means that the vehicle in which the driving information providing device 100 is mounted is temporarily or (semi) permanently impossible to communicate with the vehicle map providing server 200, This may mean that the vehicle map providing server 200 does not exist.
  • the first vehicle 410 through the method described with reference to FIGS. 2 and 3, includes a first image captured by the first vehicle 410, driving information of the first vehicle 410, and the first image. Driving information of the third vehicle 430 and the fourth vehicle 440 may be transmitted to the third vehicle 430 and the fourth vehicle 440.
  • the first vehicle 410 uses the own vehicle driving information acquisition unit 120 included in the driving information providing device 100 mounted on the first vehicle 410, Own vehicle driving information can be obtained.
  • the own vehicle driving information may include at least one of location information, attitude angle information, movement direction information, speed information, acquisition time information, and classifier of the first vehicle 410.
  • the first vehicle 410 uses the surrounding vehicle detection unit 130 included in the driving information providing device 100 mounted on the first vehicle 410 to determine the third vehicle 430 and the third vehicle on the first image. 4
  • the vehicle 440 can be detected.
  • the first vehicle 410 photographs the front side based on the driving direction of the first vehicle 410, but is not limited thereto. That is, when the first vehicle 410 photographs the side or the rear, it can also detect a vehicle running (or located) in the corresponding direction, and detect not only the captured image, but also a vehicle running or stopped around the own vehicle. You can also use sensors to detect nearby vehicles.
  • the first vehicle 410 uses the surrounding vehicle driving information calculation unit 140 included in the driving information providing device 100 mounted on the first vehicle 410 to provide a third vehicle 430 and a fourth vehicle. (440) It is possible to calculate driving information of each nearby vehicle.
  • the surrounding vehicle driving information may include at least one of location information, attitude angle information, movement direction information, speed information, acquisition time information, and classifiers of each of the third vehicle 430 and the fourth vehicle 440.
  • the first vehicle 410 uses the own vehicle driving information and the surrounding vehicle driving information of each of the third vehicle 430 and the fourth vehicle 440 to provide a wider area than the first region R1 or the first region R1.
  • an area wider than the first area R1 may mean an area including not only the first area R1 but also a portion of areas of surrounding vehicles running (or located) within the first area R1. .
  • the vehicle map may include driving information of the own vehicle of the first vehicle 410 and driving information of surrounding vehicles of each of the third vehicle 430 and the fourth vehicle 440. That is, the vehicle map includes location information, movement direction information, and speed of the first vehicle 410 and the third vehicle 430 and the fourth vehicle 440 running (or located) around the first vehicle 410. Information, acquisition time information, and classifiers may be displayed.
  • the first vehicle 410 may transmit the vehicle map to the third vehicle 430 and the fourth vehicle 440.
  • the first vehicle 410 may receive a vehicle map generated by each of the third vehicle 430 and the fourth vehicle 440 from the third vehicle 430 and the fourth vehicle 440.
  • the first vehicle 410 is, from the second vehicle 420, the own vehicle driving information of the second vehicle 420, and the first vehicle 410, the fourth vehicle 440, and the fifth vehicle 450 A vehicle map including driving information of each nearby vehicle may be received.
  • the first vehicle 410 may recognize that the second vehicle 420 is driving (or is located) around itself through the reception.
  • the first vehicle 410 updates the vehicle map generated by the first vehicle 410 itself using vehicle maps received from the second vehicle 420, the third vehicle 430, and the fourth vehicle 440, and ,
  • the updated vehicle map may be transmitted to the second vehicle 420, the third vehicle 430, and the fourth vehicle 440.
  • the updated vehicle map includes not only driving information of the third vehicle 430 and the fourth vehicle 440, but also driving information of the second vehicle 420 and the fifth vehicle 450 received from the second vehicle 420. It may also be included.
  • the second vehicle 420 is a first vehicle 410 running (or located) within the second region R2 in which the second vehicle 420 intends to transmit and receive driving information.
  • the vehicle map generated as the second vehicle 420 is transmitted to the fourth vehicle 440 and the fifth vehicle 450, and the first vehicle 410, the fourth vehicle 440, and the fifth vehicle 450
  • Each generated vehicle map is received from each, the second vehicle 420 updates the vehicle map generated by itself using the received vehicle map, and the updated vehicle map is converted into the first vehicle 410 and the fourth vehicle. It may be transmitted to 440 and the fifth vehicle 450.
  • the first vehicle 410 did not detect itself, it is possible to obtain driving information of the second vehicle 420 that is driving (or located) around it, and is not located in the first region R1.
  • driving information of the fifth vehicle 450 located in the second region R2 may be obtained.
  • the vehicle map of the first vehicle 410 may also include driving information of the second vehicle 420 and the fifth vehicle 450. Accordingly, the first vehicle 410 may generate a vehicle map for an area wider than the first area R1.
  • the first vehicle 410 was unable to communicate with the vehicle map providing server 200, but later moved to a communication available area, or the driving information providing device 100 or the vehicle map providing server 200 ), when communication with the vehicle map providing server 200 becomes possible again, the first vehicle 410 uses the most recently generated (updated) vehicle map (or own vehicle driving information and surrounding vehicle driving information). It may be transmitted to the vehicle map providing server 200.
  • the method for the vehicle map providing server 200 described with reference to FIGS. 5 to 14 to manage driving information of the own vehicle and surrounding vehicles is the same for the first vehicle 410 in an environment without the vehicle map providing server 200. Can be applied in a way.
  • the vehicle map providing server 200 manages driving information in a wide area, while the first vehicle 410 manages only driving information in an area wider than the first area R1 or the first area R1.
  • the first vehicle 410 since the first vehicle 410 generates/updates a vehicle map independently from the second vehicle 420 to the fifth vehicle 450, sharing of classifiers between vehicles may not be of great significance.
  • the first vehicle 410 in an environment without the vehicle map providing server 200 determines whether the vehicle is identical using a classifier, and collects driving information for each vehicle based on the classifier. It may not perform a function.
  • 16 is a flowchart illustrating a method of sharing driving information with nearby vehicles in an environment without a vehicle map providing server according to an exemplary embodiment.
  • the first vehicle 410 uses the own vehicle driving information acquisition unit 120 included in the driving information providing apparatus 100 mounted on the first vehicle 410,
  • the vehicle 410 may acquire its own vehicle driving information (S1600).
  • the first vehicle 410 is a first image captured by the first vehicle 410 using the surrounding vehicle detection unit 130 included in the driving information providing device 100 mounted on the first vehicle 410
  • the third vehicle 430 and the fourth vehicle 440 may be detected (S1610).
  • the first vehicle 410 uses the surrounding vehicle driving information calculation unit 140 included in the driving information providing device 100 mounted on the first vehicle 410 to provide a third vehicle 430 and a fourth vehicle. (440) Each neighboring vehicle driving information may be calculated (S1620).
  • the first vehicle 410 may generate a vehicle map using the own vehicle driving information and the surrounding vehicle driving information of each of the third vehicle 430 and the fourth vehicle 440 (S1630).
  • the first vehicle 410 may transmit the vehicle map to the third vehicle 430 and the fourth vehicle 440 (S1640).
  • the first vehicle 410 receives vehicle maps generated by each of the third vehicle 430 and the fourth vehicle 440 from the third vehicle 430 and the fourth vehicle 440, and the second vehicle 420 A vehicle map including driving information of the second vehicle 420 and driving information of surrounding vehicles of the first vehicle 410, the fourth vehicle 440, and the fifth vehicle 450 may be received from ( S1650).
  • the first vehicle 410 updates the vehicle map generated by the first vehicle 410 itself using vehicle maps received from the second vehicle 420, the third vehicle 430, and the fourth vehicle 440, and In operation S1660, the updated vehicle map may be transmitted to the second vehicle 420, the third vehicle 430, and the fourth vehicle 440 (S1670).
  • each of the driving information providing method and the vehicle map providing method may be implemented in the form of a computer program stored in a computer-readable recording medium programmed to perform each step of the method.
  • the above-described driving information providing method, vehicle map providing server and method can be used in various fields such as indoors or industrial sites, and thus have industrial potential.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 차량맵 제공 서버에 의해 수행되는 차량맵 제공 방법은, 제1 차량으로부터, 제1 영상 상의 제2 차량의 제2 주행 정보를 포함하는 제1 정보를 수신하는 단계; 상기 제3 차량으로부터, 제2 영상 상의 제4 차량의 제4 주행 정보를 포함하는 제2 정보를 수신하는 단계; 상기 제1 정보와 상기 제2 정보를 이용하여, 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단한 상기 제2 차량과 상기 제4 차량의 동일 여부에 따라, 상기 제2 주행 정보와 상기 제4 주행 정보 중에서 적어도 하나를 이용하여 차량맵을 생성하는 단계; 상기 차량맵으로부터, 현재 시점에서의 제1 차량의 주행 경로 상에 있는 하나 이상의 차량에 대한 주행 정보를 포함하는 제1 차량맵을 예측하는 단계; 및 상기 제1 차량맵을 상기 제1 차량으로 전송하는 단계를 포함할 수 있다.

Description

주행 정보 제공 방법, 차량맵 제공 서버 및 방법
본 발명은 주행 정보 제공 방법, 차량맵 제공 서버 및 방법에 관한 것이다.
C-ITS(Cooperative-Intelligent Transport Systems)는 주행 중 운전자에게 주변 교통 상황과 급정거, 낙하물 등의 사고 위험 정보가 실시간으로 제공되도록 하는 시스템을 지칭한다.
C-ITS는 교통 사고를 미연에 방지하거나 획기적으로 줄이기 위한 목적을 갖는다. 이러한 목적 달성을 위해서는 주변 차량의 위치가 실시간으로 파악될 수 있어야 하며, 그 방법 중에 하나로는 차량-차량(V2V)과 차량-도로(인프라)(V2I) 간 지속적인 데이터 공유를 통해 주변 차량의 위치를 파악하는 것이 있다.
그런데, 이러한 방법에서는 V2V 또는 V2I 통신을 지원하지 않는 주변 차량의 위치가 파악되기 어렵다. 뿐만 아니라, 통신 지연이 발생할 경우 그 성능이 급격히 떨어질 수도 있다.
본 발명의 해결하고자 하는 과제는, V2V 또는 V2I 통신을 지원하지 않는 주변 차량의 위치까지도 실시간으로 파악해서 차량에게 제공되도록 하고, 이를 통해 C-ITS와 같은 주행 보조 서비스가 보다 효과적으로 차량 내지 차량의 운전자에게 제공되도록 하는 것에 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 차량맵 제공 서버에 의해 수행되는 차량맵 제공 방법은, 제1 차량으로부터, 상기 제1 차량이 촬영한 제1 영상, 상기 제1 차량의 제1 주행 정보 및 상기 제1 영상 상의 제2 차량의 제2 주행 정보를 포함하는 제1 정보를 수신하는 단계; 상기 제3 차량으로부터, 상기 제3 차량이 촬영한 제2 영상, 상기 제3 차량의 제3 주행 정보 및 상기 제2 영상 상의 제4 차량의 제4 주행 정보를 포함하는 제2 정보를 수신하는 단계; 기 저장된 차량맵 정보 또는 상기 제1 정보와 상기 제2 정보를 이용하여, 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계; 상기 제2 차량과 상기 제4 차량의 동일 여부에 따라, 상기 제2 주행 정보와 상기 제4 주행 정보 중에서 적어도 하나, 및 상기 제1 주행 정보와 상기 제3 주행 정보를 이용하여 차량맵을 생성하는 단계; 상기 차량맵으로부터, 상기 제1 주행 정보를 기초로, 현재 시점에서의 제1 차량의 주행 경로 상에 있는 하나 이상의 차량에 대한 주행 정보를 포함하는 제1 차량맵을 예측하는 단계; 및 상기 제1 차량맵을 상기 제1 차량으로 전송하는 단계를 포함할 수 있다.
상기 차량맵을 생성하는 단계는, 상기 제2 차량과 상기 제4 차량이 동일한 경우, 상기 제2 주행 정보와 상기 제4 주행 정보 중에서 시간 순으로 더 늦게 생성된 주행 정보를 이용하여 상기 차량맵을 생성할 수 있다.
상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는, 상기 제2 주행 정보에 포함된 상기 제2 차량의 분류자와 상기 제4 주행 정보에 포함된 상기 제4 차량의 분류자를 비교하는 단계; 및 비교 결과에 기초하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계를 포함할 수 있다.
상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는, 상기 제2 주행 정보 또는 상기 제4 주행 정보에 분류자가 포함되어 있지 않은 경우, 상기 제2 주행 정보에 포함된 상기 제2 차량의 위치 정보와 자세각, 및 상기 제4 주행 정보에 포함된 상기 제4 차량의 위치 정보와 자세각을 이용하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단할 수 있다.
상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는, 상기 제1 영상에서 상기 제2 차량에 대한 제1 특징점들을 추출하는 단계; 상기 제2 영상에서 상기 제4 차량에 대한 제2 특징점들을 추출하는 단계; 및 상기 제1 특징점들과 상기 제2 특징점들의 매칭 여부에 기초하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계를 포함할 수 있다.
상기 제1 특징점들과 상기 제2 특징점들이 매칭되고, 상기 제2 차량과 상기 제4 차량의 거리가 임계치 이하인 경우, 상기 제2 차량과 상기 제4 차량은 동일하다고 판단할 수 있다.
상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는, 복수의 차량 모델들 각각에 대하여 서로 다른 크기의 복수의 학습 영상을 하나의 입력으로 입력받아 학습된 기계학습 모델을 이용하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단할 수 있다.
일 실시예에 따른 주행 정보 제공 장치를 탑재한 차량에 의해 수행되는 차량맵 제공 방법은, 제1 차량이, 상기 제1 차량의 주변에 위치한 제2 차량으로부터, 상기 제2 차량이 촬영한 제1 영상, 상기 제2 차량의 제1 자차 주행 정보 및 상기 제1 영상 상의 제3 차량의 제1 주변 차량 주행 정보를 포함하는 제1 정보를 수신하는 단계; 상기 제1 차량이, 상기 제1 차량의 주변에 위치한 제4 차량으로부터, 상기 제4 차량이 촬영한 제2 영상, 상기 제4 차량의 제2 자차 주행 정보 및 상기 제2 영상 상의 제5 차량의 제2 주변 차량 주행 정보를 포함하는 제2 정보를 수신하는 단계; 기 저장된 차량맵 정보 또는 상기 제1 정보와 상기 제2 정보를 이용하여, 상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계; 및 상기 제3 차량과 상기 제5 차량의 동일 여부에 따라, 상기 제1 주변 차량 주행 정보와 상기 제2 주변 차량 주행 정보 중에서 적어도 하나, 및 상기 제1 자차 주행 정보와 상기 제2 자차 주행 정보를 이용하여 현재 시점에서의 차량맵을 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 의하면, V2V 또는 V2I와 같은 기능을 지원하는 모듈을 탑재하고 있지 않은 차량이 있더라도, 이러한 차량에 대한 주행 정보를 포함하는 차량맵이 다른 차량이나 운전자에게 제공될 수 있다. 뿐만 아니라 자차에서 감지되지 못한 주변 차량에 대한 주행 정보를 포함하는 차량맵이 해당 차량에게 제공될 수도 있다. 따라서 주행 보조 서비스가 신속, 정확하면서도 능동적으로 각 차량에게 제공될 수 있다.
도 1은 일 실시예에 따른 주행 정보 제공 장치가 탑재된 차량 및 주행 정보 제공 장치가 탑재되지 않은 차량, 그리고 이러한 각 차량과 통신을 수행하는 차량맵 제공 서버에 대한 연결 관계를 개념적으로 도시하고 있다.
도 2는 일 실시예에 따른 주행 정보 제공 방법의 수행 절차에 대한 순서도이다.
도 3은 일 실시예에 따른 주행 정보 제공 장치의 구성도이다.
도 4는 일 실시예에서 차량에서 촬영된 주변 차량에 대한 예시 영상이다.
도 5는 일 실시예에 따른 차량맵 제공 방법의 수행 절차에 대한 순서도이다
도 6은 일 실시예에 따른 차량맵 제공 방법에 따라 제공 가능한 차량맵에 대한 예시이다.
도 7은 일 실시예에 따른 차량맵 제공 서버의 구성도이다.
도 8은 일 실시예에 따라 수행 가능한 주행 정보의 취합 과정이다.
도 9는 다른 실시예에 따라 수행 가능한 주행 정보의 취합 과정이다.
도 10은 도 9의 실시예에 따라 특징점이 추출된 차량 영역에 대한 예시 영상이다.
도 11은 도 9의 실시예에 따라 특징점이 매칭되는 것에 대한 예시 영상이다.
도 12는 또 다른 실시예에 따른 차량 분류기의 생성에 이용되는 학습 영상을 예시한 도면이다.
도 13은 도 12의 실시예에 따른 차량 분류기에 입력되는 입력 영상을 예시한 도면이다.
도 14은 일 실시예에 따라 수행 가능한 차량맵 생성 과정이다.
도 15는 일 실시예에 따라 차량맵 제공 서버가 없는 환경에서 자차가 주변 차량들과 주행 정보를 공유하는 방법에 대한 예시이다.
도 16은 일 실시예에 따라 차량맵 제공 서버가 없는 환경에서 자차가 주변 차량들과 주행 정보를 공유하는 방법을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 주행 정보 제공 장치(100)가 탑재된 차량(310, 320) 및 주행 정보 제공 장치(100)가 탑재되지 않은 차량(300), 그리고 이러한 각 차량 중 일부(310, 320)와 통신을 수행하는 차량맵 제공 서버(200)에 대한 연결 관계를 개념적으로 도시하고 있다.
다만, 도 1은 예시적인 것에 불과하므로, 본 발명의 사상이 도 1에 도시된 것으로 한정 해석되지는 않는다.
도 1을 참조하면, 3대의 차량의 도시되어 있다. 제2 차량(310)과 제3 차량(320)에는 각각 주행 정보 제공 장치(100)가 탑재되어 있으나 제1 차량(300)에는 주행 정보 제공 장치(100)가 탑재되어 있지 않다. 여기서 주행 정보 제공 장치(100)는 V2V 또는 V2I와 같은 통신 기능을 지원하는 모듈일 수 있다.
제2 차량(310)과 제3 차량(320)에서는 각각에 탑재되어 있는 주행 정보 제공 장치(100)에 의해 자차에 대한 주행 정보가 획득될 뿐 아니라 주변 차량에 대한 주행 정보가 산출된다. 여기서 주행 정보에는 해당 차량의 위치 정보, 자세각 정보, 이동 방향 정보, 속도 정보, 해당 차량의 분류자 및 해당 차량의 이러한 주행 정보에 대한 획득 시간 정보 중 적어도 하나가 포함될 수 있으나 이에 한정되는 것은 아니다.
이렇게 획득 또는 산출된 주행 정보는 차량맵 제공 서버(200)에게 송신된다. 예컨대 제1 차량(300)에 대한 주행 정보는 제2 차량(310) 또는 제3 차량(320)에 탑재되어 있는 주행 정보 제공 장치(100)에 의해 산출되어서 차량맵 제공 서버(200)에게 송신될 수 있다. 즉, 제1 차량(300) 스스로가 자차에 대한 주행 정보를 산출해서 차량맵 제공 서버(200)에게 송신할 수 없더라도, 제2 차량(310) 또는 제3 차량(320)이 이러한 제1 차량(300)에 대한 주행 정보를 산출해서 차량맵 제공 서버(200)에게 송신할 수 있다.
차량맵 제공 서버(200)는 이렇게 수신받은 주행 정보를 취합해서 차량맵을 생성한 뒤, 각각의 차량(310, 320)에게 송신한다. 예컨대 제2 차량(310)에게는 제3 차량(320)에 대한 주행 정보 뿐 아니라 제1 차량(300)에 대한 주행 정보를 포함하는 차량맵이 송신될 수 있다. 또한, 제3 차량(320)에게는 제2 차량(310)에 대한 주행 정보를 포함하는 차량맵이 송신될 수 있으며, 만약 제3 차량(320)이 제1 차량(300)을 감지할 수 없었다고 하더라도 제2 차량(310)이 감지한 제1 차량(300)에 대한 주행 정보까지도 포함하는 차량맵이 송신될 수 있다.
여기서 차량맵이란 자차 뿐 아니라 주변 차량에 대한 전술한 주행 정보를 지도 상에 표시하고 있는 지도 데이터를 의미한다. 이러한 차량맵을 통해서 주변 차량의 위치, 자세각, 이동 방향 또는 속도 등이 파악될 수 있으므로, 각각의 차량(310, 320)에서는 이를 이용한 ADAS의 다양한 주행 보조 서비스, 예컨대 Forward Collision Warning, Automatic Braking System, Blind Spot Detection 기능 등의 제공될 수 있다.
즉, 일 실시예에 따르면 V2V 또는 V2I와 같은 기능을 지원하는 모듈을 탑재하고 있지 않은 차량이 있더라도, 이러한 차량에 대한 주행 정보를 포함하는 차량맵이 다른 차량이나 운전자에게 제공될 수 있다. 뿐만 아니라 자차에서 감지되지 못한 주변 차량에 대한 주행 정보를 포함하는 차량맵이 해당 차량에게 제공될 수도 있다. 따라서 주행 보조 서비스가 신속, 정확하면서도 능동적으로 각 차량에게 제공될 수 있다.
이하에서는 이러한 기술적 사상을 제공하는 구체적인 기술에 대해 살펴보기로 한다.
도 2는 일 실시예에 따른 주행 정보 제공 방법의 수행 절차에 대한 순서도이고, 도 3은 도 2에 도시된 이러한 주행 정보 제공 방법을 수행하는 주행 정보 제공 장치(100)의 구성도이다.
여기서 도 2와 도 3은 예시적인 것에 불과하므로, 본 발명의 사상이 도 2와 도 3에 도시된 것으로 한정 해석되는 것은 아니다.
도 2를 참조하면, 주행 정보 제공 방법은 자차에 대한 주행 정보를 획득하는 단계(S100)와, 상기 자차의 주변 차량을 감지하는 단계(S110)와, 상기 감지된 주변 차량에 대한 주행 정보를 산출하는 단계(S120)와, 복수의 차량 각각에 대한 주행 정보를 취합해서 차량맵을 생성하는 차량맵 제공 서버에게 상기 자차에 대한 주행 정보 및 상기 주변 차량에 대한 주행 정보 중 적어도 하나를 송신하는 단계(S130)와, 상기 자차의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하는 차량맵을 상기 차량맵 제공 서버로부터 수신하는 단계(S140)와, 상기 수신된 차량맵을 기초로 소정의 주행 보조 서비스를 제공하는 단계(S150)를 포함하여 수행된다.
이를 위해 주행 정보 제공 장치(100)는 자차 주행 정보 획득부(120), 주변 차량 감지부(130), 주변 차량 주행 정보 산출부(140), 주행 보조 서비스 제공부(150) 및 통신부(110)를 포함한다. 이러한 주행 정보 제공 장치(100)의 각각의 구성은 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.
이하에서는 도 1 내지 도 4를 참조하여, 주행 정보 제공 장치(100)의 각 구성 및 이에 의해 수행되는 작용 내지 효과에 대해 상세히 설명하기로 한다.
통신부(110)는 V2V 또는 V2I를 지원하는 무선 통신 모듈이다. 예컨대 통신부(110)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy) 또는 NFC(Near Field Communication)와 같은 통신 방법을 채택하여 무선 통신을 수행할 수 있는 무선 통신 모듈일 수 있다.
차량은 이러한 통신부(110)를 통해, 도로 상에 분산되어 설치되어 있는 복수 개의 V2I 기지국 중 적어도 하나에 접속한 뒤 차량맵 제공 서버(200)와 데이터를 송수신할 수 있다. 예컨대 통신부(110)에는 복수 개의 V2I 기지국 중 차량의 현재 위치와 가장 가까운 V2I 기지국에 접속하기 위한 알고리즘이 탑재되어 있다. 이러한 알고리즘을 기초로 통신부(110)가 소정의 V2I 기지국에 접속하면, 차량은 이러한 통신부(110)를 통해 접속된 V2I 기지국을 경유해서 차량맵 제공 서버(200)와 데이터를 송수신할 수 있다.
자차 주행 정보 획득부(120)는 자차에 대한 주행 정보를 획득하는 구성이다. 여기서 자차에 대한 주행 정보 중 위치와 자세각은 다양한 방법을 통해 획득 가능하다.
예컨대 자차에 대한 위치와 자세각은 GPS 위성으로부터 수신된 GPS 신호 또는 미리 주어진 정보 등을 이용하여 획득될 수 있다.
또는 자차에 대한 위치와 자세각은 정밀 지도의 랜드마크와 자차에서 촬영된 영상을 매칭시키는 방법을 통해 획득될 수도 있다. 여기서 정밀 지도의 랜드마크와 자차에서 촬영된 영상을 매칭시키는 방법이란, GPS 기반 자차의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 자차의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보 및 상기 자차의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 오차에 기초하여 상기 카메라의 추정 위치 정보를 획득하는 단계; 및 상기 카메라의 추정 위치 정보를 기초로 상기 자차의 추정 위치 정보를 획득하는 단계를 포함하여서 수행될 수 있다.
또한, 자차에 대한 속도 정보는 CAN 데이터로서 획득 가능한 휠(wheel) 속도값을 이용하여서 획득될 수 있다.
또한, 자차에 대한 이동 방향 정보는 GPS 정보 등을 기초로 획득될 수 있다.
또한, 자차의 분류자는 사전에 차량맵 제공 서버(200)로부터 부여받은 자차 자신의 ID일 수 있다.
또한, 자차의 전술한 주행 정보에 대한 획득 시간 정보는 전술한 주행 정보 각각이 획득된 GPS 기준의 시각 정보를 지칭할 수 있다.
주변 차량 감지부(130)는 자차 주변에 위치해 있는 주변 차량을 감지하는 구성이다. 예컨대 주변 차량 감지부(130)는 자차 주변을 촬영하는 카메라 또는 자차 주변에서 주행 또는 정지해있는 차량을 감지하는 센서 등으로 구현 가능하다.
주변 차량 주행 정보 산출부(140)는 주변 차량 감지부(130)가 감지한 주변 차량에 대한 주행 정보를 산출하는 구성이다. 이 중 먼저 주변 차량의 위치 정보를 산출하는 방법에 대해 먼저 살펴보기로 한다. 이를 위해서는 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상이 확보될 필요가 있다.
주변 차량 주행 정보 산출부(140)는, 이렇게 확보된 영상에서 주변 차량이 지면 상에 위치해 있는 위치 정보, 즉 픽셀의 좌표값을 획득한다. 여기서 획득되는 픽셀의 좌표값이란, 영상에서 주변 차량이 검출된 영역을 소정의 바운딩 박스로 경계지었을 때 이러한 경계 중 지면과 맞닿는 픽셀의 좌표값을 지칭하며, 이는 도 4에 예시적으로 도시되어 있다. 만약 주변 차량이 자차로부터 상대적으로 멀리 이격되어 있다면 해당 픽셀값은 영상에서의 소실점에 상대적으로 가깝게 표시될 것이고 주변 차량이 자차로부터 상대적으로 가깝게 이격되어 있다면 해당 픽셀값은 영상에서의 소실점으로부터 상대적으로 멀리 이격되어 표시될 것이다. 즉, 해당 픽셀값은 주변 차량과 자차 간의 이격 거리와 소정의 상관 관계를 갖는다. 따라서 자차와 주변 차량 간의 이격 거리는 이러한 상관 관계를 이용하는 알고리즘을 기초로 산출될 수 있다.
다음으로, 주변 차량 주행 정보 산출부(140)는. 다음의 수학식 1을 이용해서, 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상을 자차에 장착된 카메라가 전방을 바라봤을 때의 좌표값의 형식으로 변환한다.
Figure PCTKR2020002426-appb-M000001
여기서, K는 자차에 장착된 카메라의 내부 파라미터에 관한 3x3 행렬을 의미하며, R은 자차에서 촬영된 영상의 특정 픽셀 값 m을 카메라가 전방을 바라봤을 때의 좌표계로 변환해 주는 회전 행렬을 의미하며, mnew는 자차에 장착된 카메라가 전방을 바라봤을 때로 변환된 좌표값을 의미한다. 본 발명에서 m은 전술한 것과 같이 확보된 영상에서, 주변 차량이 지면 상에 위치해 있는 위치 정보, 즉 픽셀의 좌표값이 될 수 있다. 또한 R은 카메라를 자차에 장착할 당시 계산되는 차량 좌표계 기준 회전 행렬을 이용하거나, 카메라 기반 ADAS에서 제공되는 지면 기준 카메라 자세각 관련 회전 행렬을 이용함으로써 그 값이 정해질 수 있다.
다음으로 주변 차량 주행 정보 산출부(140)는 자차의 종축(진행) 방향과 주변 차랑 간의 회전 각도 θ를 다음의 수학식 2을 이용하여 산출한다.
Figure PCTKR2020002426-appb-M000002
여기서 HFOV는 카메라 수평 화각을 의미하며, unew는 수학식 1의 mnew의 x축 좌표 값을 의미하며, cx는 카메라 주점(principal point)을 의미하며, image-width는 영상의 가로 해상도를 의미한다.
다음으로 주변 차량 주행 정보 산출부(140)는 주변 차량의 위치[xa, ya]를 아래의 수학식 3을 이용하여 산출한다.
Figure PCTKR2020002426-appb-M000003
Figure PCTKR2020002426-appb-I000001
여기서 [xs, ys, θs]는 자차 주행 정보 획득부(120)가 획득한 자차의 위치와 자세각을 나타내며, 주변 차량 주행 정보 산출부(140)가 산출한 자차와 주변 차량 간의 이격 거리를 의미한다. θ는 수학식 2에서 산출된 자차의 종축 방향과 검출된 차량 위치 간의 회전 각도를 의미하며, [xa, ya]는 영상에서 검출된 주변 차량의 위치를 나타낸다. 따라서, 영상에서 검출된 주변 차량의 자세각은 θ+θs가 된다.
다음으로, 주변 차량 주행 정보 산출부(140)는 영상에서 검출된 주변 차량의 이동 방향 정보를 아래의 수학식 4를 이용하여 산출한다.
Figure PCTKR2020002426-appb-M000004
Figure PCTKR2020002426-appb-I000002
Figure PCTKR2020002426-appb-I000003
여기서, [xa,t1, ya,t1], [xa,t2, ya,t2]는 각각 시간 t1과 시간 t2에서 수학식 3을 이용하여 산출된 주변 차량의 위치를 나타내며, θa는 주변 차량의 이동 방향을 나타낸다. 만일, 주변 차량이 정지해 있는 경우, [xa,t1:t2, ya,t1:t2] 값은 0이거나 영상 인식 오차로 인해 0에 가까운 값을 가지게 되는데, 이러한 경우, θa는 이전에 계산된 값이 있으면 이전 값을 그대로 이용하거나 자차의 방향과 같은 θs 값을 가지게 된다.
다음으로, 주변 차량 주행 정보 산출부(140)는 영상에서 검출된 주변 차량의 속도 정보를 아래의 수학식 5를 이용하여 산출한다.
Figure PCTKR2020002426-appb-M000005
Figure PCTKR2020002426-appb-I000004
여기서, d는 시간 t1과 t2 사이에서 수학식 4를 이용하여 산출된 이동 거리를 나타내며, v는 주변 차량의 이동 속도를 나타낸다.
한편, 주변 차량 주행 정보 산출부(140)는 주변 차량의 분류자에 대한 정보를 획득해서 해당 주변 차량 및 해당 주변 차량에 대한 주행 정보에 부여한다. 획득 방법으로는 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상으로부터 해당 주변 차량에 대한 차량 번호를 인식하는 방법이 있다. 다만 만약 영상으로부터 차량 번호가 인식되지 않는다면, 해당 주행 정보 및 해당 주변 차량에 대해서는 분류자가 부여되지 않을 수도 있다.
주행 보조 서비스 제공부(150)는 통신부(110)를 통해 수신받은 차량맵을 기초로 소정의 주행 보조 서비스를 제공한다. 예컨대 주행 보조 서비스 제공부(150)는 ADAS의 다양한 주행 보조 서비스, 예컨대 Forward Collision Warning, Automatic Braking System, Blind Spot Detection 기능 등을 제공할 수 있다.
이를 위해 주행 보조 서비스 제공부(150)는 차량맵이 포함하는 주변 차량에 대한 주행 정보를 이용하여서, 현재 시간을 기준으로 주변 차량에 대한 주행 정보를 예측하여 제공할 수 있다. 여기서 '예측'이라고 한 이유는, 차량맵에 포함된 주행 정보는 복수의 차량 각각이 현재 시간보다 이전의 시간 대에 획득 내지 산출한 주행 정보라는 것에서 연유한다. 즉, 현재 시간에서의 주행 정보는, 이전의 시간 대에 획득 내지 산출한 주행 정보 등에 대한 추이를 기초로 '예측'될 수 밖에 없기 때문이다. 주행 보조 서비스 제공부(150)는 아래의 수학식 6을 이용하여서 현재 시간을 기준으로 주변 차량에 대한 주행 정보를 예측할 수 있다.
Figure PCTKR2020002426-appb-M000006
Figure PCTKR2020002426-appb-I000005
여기서, (xa,t2, ya,t2)는 현재 시간(t2)을 기준으로 예측된 주변 차량에 대한 위치이고, t1은 각 차량에서 주행 정보가 획득된 획득 내지 산출된 시간을 나타낸다.
한편, 주행 보조 서비스 제공부(150)는 소정의 조건이 만족할 경우에만 전술한 주행 보조 서비스를 제공할 수 있다. 예컨대 주행 보조 서비스 제공부(150)는 차량맵이 포함하는 자차에 대한 주행 정보를 이용하여서, 현재 시간을 기준으로 자차에 대한 주행 정보를 예측한 뒤, 이렇게 예측된 주행 정보와 자차에 대한 실제 주행 정보의 차이가 임계치 미만인 경우에만 전술한 주행 보조 서비스가 제공되도록 할 수 있다. 이를 통해 차량맵에 대한 유효성이 검증될 수 있다.
다음으로 차량맵 제공 서버(200)에 대해 살펴보기로 한다.
도 5는 일 실시예에 따른 차량맵 제공 방법의 수행 절차에 대한 순서도이고, 도 7은 도 5에 도시된 차량맵 제공 방법을 수행하는 차량맵 제공 서버(200)의 구성도이다.
여기서 도 5와 도 7은 예시적인 것에 불과하므로, 본 발명의 사상이 도 5와 도 7에 도시된 것으로 한정 해석되는 것은 아니다.
도 5를 참조하면, 차량맵 제공 방법은 복수의 차량 각각으로부터, 상기 차량에 대해 획득된 주행 정보 및 상기 차량의 주변 차량에 대해 산출된 주행 정보를 수신하는 단계(S200)와, 상기 복수의 차량에 대해 수신된 주행 정보 및 상기 복수의 차량의 주변 차량에 대해 수신된 주행 정보를 차량 별로 취합해서 차량맵을 생성하는 단계(S210)와, 상기 생성된 차량맵으로부터, 상기 복수의 차량 각각에게 송신될 차량맵이 해당 차량의 경로를 포함하도록 추출하는 단계(S230)와, 상기 추출된 각각의 차량맵을 해당 차량에게 송신하는 단계(S240)를 포함하여 수행된다.
여기서 차량맵이란 자차 뿐 아니라 주변 차량에 대한 전술한 주행 정보를 지도 상에 표시하고 있는 지도 데이터를 의미하며, 도 6에 예시적으로 도시되어 있다. 이러한 차량맵을 통해서 주변 차량의 위치, 자세각, 이동 방향 또는 속도 등이 파악될 수 있으므로, 각각의 차량(310, 320)에서는 이를 이용한 ADAS의 다양한 주행 보조 서비스, 예컨대 Forward Collision Warning, Automatic Braking System, Blind Spot Detection 기능 등의 제공될 수 있다.
이를 위해 차량맵 제공 서버(200)는 통신부(210), 차량맵 생성부(220) 및 차량맵 추출부(230)를 구성으로서 포함한다. 이러한 차량맵 제공 서버(200) 각각의 구성은 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.
이하에서는 도 5 내지 도 9를 참조하여, 차량맵 제공 서버(200)의 각 구성 및 이에 의해 수행되는 작용 내지 효과에 대해 상세히 설명하기로 한다.
통신부(210)는 무선 통신 모듈이다. 예컨대 통신부(110)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra-wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy) 또는 NFC(Near Field Communication)와 같은 통신 방법을 채택하여 무선 통신을 수행할 수 있는 무선 통신 모듈일 수 있다.
차량맵 제공 서버(200)는 이러한 통신부(210)를 통해, 도로 상에 분산되어 설치되어 있는 복수 개의 V2I 기지국 중 어느 하나를 경유해서 차량과 데이터를 송수신할 수 있다. 예컨대 차량이 복수 개의 V2I 기지국 중 자신의 현재 위치와 가까운 V2I 기지국에 접속하면, 차량맵 제공 서버(200)는 이러한 통신부(210)를 통해서 차량이 접속한 V2I 기지국을 통해 차량 내지 차량에 탑재된 주행 정보 제공 장치(100)와 데이터를 송수신할 수 있다.
이러한 통신부(210)를 통해서 차량맵 제공 서버(200)는 복수의 차량에 대한 주행 정보를 수신한다. 이 때 수신되는 주행 정보에는 주행 정보를 송신한 차량에 대한 것뿐 아니라 주행 정보를 송신한 차량의 주변 차량에 대한 것 또한 포함될 수 있다. 아울러, 수신되는 주행 정보에는 해당 차량의 위치 정보, 자세각 정보, 이동 방향 정보, 속도 정보, 해당 차량의 분류자 및 해당 차량의 이러한 주행 정보에 대한 획득 시간 정보 중 적어도 하나가 포함될 수 있으나 이에 한정되는 것은 아니다.
차량맵 생성부(220)는 통신부(210)를 통해 수신된 전술한 주행 정보를 차량 별로 취합한다. 취합 과정에 대해서는 도 8을 참조하여 살펴보기로 한다.
도 8을 참조하면, 차량맵 생성부(220)는 통신부(210)를 통해 수신된 주행 정보에 분류자가 포함되어 있는지를 판별한다(S211). 분류자에는 차량의 ID 또는 차량 번호 등이 포함될 수 있다. 경우에 따라 수신된 주행 정보에는 분류자가 포함되어 있지 않을 수도 있다. 예컨대 자차가 주변 차량의 차량 번호를 인식하지 못한 경우 등이 그러한 경우에 해당할 수 있다.
판별 결과, 수신된 주행 정보에 분류자가 포함되어 있으면, 차량맵 생성부(220)는 분류자를 기준으로 주행 정보를 차량 별로 취합한다(S212). 이에 따르면, 예컨대 제1 차량에 대해 수신된 주행 정보끼리, 제2 차량에 대해 수신된 주행 정보끼리 취합될 수 있다.
그러나 판별 결과 수신된 주행 정보에 분류자가 포함되어 있지 않으면, 일 실시예에 따른 차량맵 생성부(220)는 차량의 위치 정보와 자세각 정보를 기준으로 주행 정보를 차량 별로 취합할 수 있다(S213). 단계 S213에 대해서는 이하에서 보다 자세하게 살펴보기로 한다.
먼저 차량맵 생성부(220)는 분류자를 포함하고 있지 않은 주행 정보로부터 차량의 위치 정보와 자세각 정보를 추출한다. 이 후 차량맵 생성부(220)는, 이렇게 추출된 위치 정보와 자세각 정보를, 그 전에 취합이 완료된, 즉 분류자를 갖고 있는 각 차량에 대한 최신 위치 정보 및 자세각 정보 각각과 비교하여서 오차를 각각 도출한다. 차량맵 생성부(220)는 도출된 오차가 최소이거나 또는 임계치 이하인 위치 정보와 자세 정보를 갖는 차량에 대한 분류자를 추출한다. 차량맵 생성부(220)는 이렇게 추출된 분류자를, 전술한 분류자를 포함하고 있지 않은 주행 정보에 대한 분류자라고 가정한 뒤 취합을 수행한다.
여기서, 전술한 오차를 도출하는 과정에서는, 차량의 위치 정보와 자세각 정보에 대한 오차를 가우시안 확률분포(평균 및 공분산)로서 모델링해서 Mahalanobis Distance 계산(아래의 수학식 7)을 이용하는 방법이 적용될 수 있다.
Figure PCTKR2020002426-appb-M000007
여기서, P1과 P2는 오차 도출의 대상이 되는 두 대의 차량의 위치/방향을 나타내며, C1과 C2는 P1과 P2에 대응되는 공분산(covariance matrix)을 나타낸다. Mahalanobis Distance 인 Dm 값이 임계치 이하이면 중복된 걸로 판단한다.
또한, 다른 실시예에 따른 차량맵 생성부(220)는 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상으로부터 특징점을 추출하고, 특징점을 기초로 차량간 매칭을 수행한 후, 주행 정보를 차량 별로 취합할 수 있다. 이하에서는 다른 실시예에 따른 차량맵 생성부(220)에 의해 수행되는 주행 정보 취합 방법을 설명한다.
도 9를 참조하면, 차량맵 생성부(220)는 먼저 주변 차량 감지부(130)에 의해 촬영된 주변 차량에 대한 영상으로부터 검출된 차량 영역의 특징점을 추출하고, 이에 대응되는 서술자를 생성할 수 있다(S300). 구체적으로, 차량맵 생성부(220)는 주변 차량 감지부(130)에 의해 촬영된 주변 영상으로부터 각 차량에 대한 차량 영역을 검출할 수 있다. 여기서, 차량 영역은 도 4의 바운딩 박스를 의미할 수 있다.
차량 영역의 검출 후, 차량맵 생성부(220)는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), ORB(Oriented FAST and Rotated BRIEF) 방법 등을 이용하여 주변 차량 감지부(130)에 의해 촬영된 주변 영상 내 차량 영역으로부터 각 차량에 대해 특징점을 추출할 수 있다. 도 10은 차량맵 생성부(220)에 의해 차량 영역으로부터 추출된 특징점을 예시한다. 그 다음, 차량맵 생성부(220)는 특징점 주변의 영상 정보를 이용하여 서술자(Descriptor)를 생성할 수 있다.
서술자가 생성되면, 차량맵 생성부(220)는 추출된 특징점 및 서술자를 이용하여 특정 차량과 나머지 차량 간 매칭을 수행할 수 있다(S310). 도 11은 차량맵 생성부(220)에 의해 수행된 특징점 및 서술자에 기초한 매칭 결과를 예시한다.
그 다음, 차량맵 생성부(220)는 RANSAC 기반 Affine Transformation을 이용하여 유효한 매칭 결과를 획득할 수 있다(S320). 매칭 결과에는 노이즈가 존재할 수 있기 때문에, 차량맵 생성부(220)는 RANSAC 기반 Affine Transformation을 이용하여 매칭 결과의 유효성을 판단할 수 있다.
특징점의 픽셀 좌표 (x,y)가 Affine Transformation에 의해 변환된 좌표 (u,v)는 수학식 8과 같다.
Figure PCTKR2020002426-appb-M000008
여기서, m1, m2, m3, m4, tx, ty는 Affine Transformation 파라미터를 의미할 수 있다. Affine Transformation 파라미터를 구하기 위해, 차량맵 생성부(220)는 수학식 8을 AX=B와 같은 형태로 변환할 수 있다. 구체적으로, 차량맵 생성부(220)는 수학식 8을 수학식 9로 변환하여 Affine Transformation 파라미터를 구할 수 있다.
Figure PCTKR2020002426-appb-M000009
수학식 9에 의해 모든 특징점에 대한 Affine Transformation 파라미터가 획득되면, 차량맵 생성부(220)는 픽셀 좌표의 오차가 임계치 이하인 특징점에 대하여 유효한 매칭으로 판단한 후, 유효한 특징점 개수를 확인할 수 있다.
이 후, 차량맵 생성부(220)는 미리 정해진 횟수만큼 상술한 매칭 과정을 반복 수행한 후, 유효한 특징점 개수가 가장 많을 때의 m1, m2, m3, m4, tx, ty를 Affine Transformation 파라미터로 결정할 수 있다.
이 때, 특징점 간 매칭 결과 내 1:N, 즉 일대다(一對多) 매칭 결과가 존재하지 않는 경우, 차량맵 생성부(220)는 차량 간 거리가 임계치 이하이면, 동일 차량으로 판단할 수 있다(S330). 구체적으로, 차량맵 생성부(220)는 차량의 특징점 간 거리가 임계치 이하이면, 동일 차량으로 판단할 수 있다.
반면, 특징점 간 매칭 결과 내 일대다 매칭 결과가 존재하는 경우, 차량맵 생성부(220)는 차량 간 거리가 임계치 이하이면서, 유효한 특징점 매칭 개수가 가장 많거나, 차량 간 거리가 가장 작은 것을 동일 차량으로 판단할 수 있다(S340). 구체적으로, 차량맵 생성부(220)는 차량의 특징점 간 거리가 임계치 이하이면서, 유효한 특징점 매칭 개수가 가장 많거나, 차량 간 거리가 가장 작은 것을 동일 차량으로 판단할 수 있다.
상술한 방법에 따라 동일 차량 여부가 판단되면, 차량맵 생성부(220)는 주행 정보를 차량 별로 취합할 수 있다. 차량맵 생성부(220)는 동일 차량으로 판단하여 취합한 주행 정보들 중에서 시간 순으로 가장 마지막에 수신된 주행 정보를 상기 동일 차량의 주행 정보로 결정할 수 있다.
또한, 또 다른 실시예에 따른 차량맵 생성부(220)는 딥러닝과 같은 기계 학습을 통해 생성된 차량 분류기 이용하여 주행 정보를 차량 별로 취합할 수 있다. 이하에서는 또 다른 실시예에 따른 차량맵 생성부(220)에 의해 수행되는 주행 정보 취합 방법을 설명한다.
차량 별로 주행 정보를 취합하기에 앞서, 차량 분류기는 차량맵 제공 서버(200)에 의해 생성되어, 미리 저장될 수 있다. 이를 위해, 차량맵 제공 서버(200)는 먼저 복수의 차량 모델 각각에 대하여 도 12와 같이 다양한 크기의 학습 영상을 생성할 수 있다.
이와 같이, 하나의 차량 모델에 대해 다양한 크기의 학습 영상을 생성하는 것은 다양한 거리에서 차량 모델을 인식할 수 있는 차량 분류기를 생성하기 위함이다. 이를 통해, 특정 크기의 학습 영상만을 학습하여 생성된 인공 신경망에 비해, 차량 모델에 대한 인식률이 높은 인공 신경망을 생성할 수 있다.
이 때, 차량맵 제공 서버(200)는 차량 모델의 인식 가능 거리를 기초로 크기를 달리하여 복수의 학습 영상을 생성할 수 있다. 일반적으로, 차량에 마련된 카메라가 차량의 전방을 향할 때, 카메라에 의해 획득되는 영상 내 차량의 크기는 카메라로부터의 거리에 따라 결정될 수 있다. 이를 기초로, 일 실시예에 따른 차량맵 제공 서버(200)는 최소 인식 거리 및 최대 인식 거리를 결정하고, 최소 인식 거리와 최대 인식 거리 각각에서의 영상 내 차량 모델 별 크기를 결정할 수 있다. 이 후, 일 실시예에 따른 차량맵 제공 서버(200)는 최소 인식 거리 및 최대 인식 거리 사이를 임의의 구간으로 분할하고, 분할된 각각의 구간에 대응되는 학습 영상을 생성할 수 있다.
그 다음, 차량맵 제공 서버(200)는 복수의 차량 모델 각각에 대하여 생성된 다양한 크기의 학습 영상을 하나의 입력으로 하여, 인공 신경망을 학습시킬 수 있다. 일 실시예에 따른 차량맵 제공 서버(200)는 각각의 차량 모델에 대한 다양한 크기의 학습 영상을 하나의 입력 데이터로서 학습함으로써 차량 분류기를 생성할 수 있고, 이렇게 생성된 차량 분류기는 신경망 기반의 모델일 수 있다. 신경망 기반의 차량 분류기는 분류기는 CNN(Convolution Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델로 구현될 수 있다.
일 실시예에 따른 차량 분류기는 학습 영상이 입력되는 입력층, 입력된 학습 영상에 대응되는 차량 모델이 출력되는 출력층, 및 입력층과 출력층 사이에 마련되는 복수의 은닉층으로 구성될 수 있다. 출력층은 복수의 은닉층 중 가장 마지막 은닉층과 완전 연결 네트워크(Fully Connected Network)를 형성할 수 있다. 이 때, 인공 신경망의 출력층은 N개의 차량 모델에 대한 노드로 구성되고, 각각의 노드는 차량 모델을 의미할 수 있다.
만약, 차량 분류기가 CNN 모델로 구현되는 경우, 복수의 은닉층은 복수의 컨볼루션층(Convolution Layer)과 서브 샘플링층(Subsampling Layer)로 구성될 수 있다. 컨볼루션층은 입력되는 객체 이미지에 다양한 컨볼루션 커널(Convolution Kunnel)을 적용하여, 학습 영상에 대한 특징화 벡터를 획득할 수 있다. 이처럼, 컨볼루션은 고차원의 학습 영상에 대해서 특징을 추출하는 일종의 템플릿과 같은 역할을 수행할 수 있다. 서브 샘플링층은 획득된 특징화 벡터의 차원을 축소하는 뉴런층으로서, 컨볼루션 층에 의해 생성된 특징화 벡터에 대한 공간적 해상도를 낮출 수 있다. 이와 같은 과정을 통해, 차량 분류기는 문제의 복잡도를 줄일 수 있다. 은닉층에는 컨볼루션 층과 서브 샘플링 층은 반복하여 배치됨으로써 상술한 과정이 반복 수행될 수 있다.
차량맵 제공 서버(200)는 출력과 정답 간의 오차를 최소화 하는 방향으로 Back Propagation을 이용하여 인공 신경망의 파라미터를 재조정하고, 출력이 정답에 수렴할 때까지 상술한 입력을 이용하여 인공 신경망을 반복 학습 시킬 수 있다. 일 실시예에 따른 차량맵 제공 서버(200)는 지도 학습(Supervised Learning)에 따라, 차량 분류기를 생성할 수 있다. 지도 학습이란 입력과 이에 대응되는 레이블로 구성되는 학습 데이터를 학습하는 기계 학습 방법을 의미하며, 레이블은 학습 데이터 중 입력에 대한 정답을 의미할 수 있다.
지도 학습 방법을 따를 때, 차량맵 제공 서버(200)는 복수의 학습 영상을 입력으로 하고, 해당 학습 영상 내 차량의 모델을 초기 레이블로 대응시킨 학습 데이터를 학습함으로써 차량 분류기를 생성할 수 있다. 구체적으로, 차량맵 제공 서버(200)는 입력인 학습 영상과 정답인 차량의 모델 사이의 관계를 학습함으로써, 입력되는 학습 영상을 차량의 모델에 따라 분류할 수 있다.
이와는 달리, 차량맵 제공 서버(200)는 학습 영상에 차량의 모델이 레이블 된 일부 학습 데이터와 레이블 되지 않은 학습 영상으로 이루어진 나머지 학습 데이터를 함께 이용하여 학습하는 반지도 학습(Semisupervised Learning)에 의해 차량 분류기를 생성할 수도 있다. 또는, 차량맵 제공 서버(200) 학습 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(Reinforcement Learning)에 따라 차량 분류기를 생성할 수도 있다.
이와는 달리, 차량맵 생성부(220)는 외부 장치로부터 상술한 차량 분류기를 제공받을 수도 있다.
차량 분류기가 생성 또는 제공되면, 차량맵 생성부(220)는 주변 차량 감지부(130)에 의해 촬영된 주변 영상으로부터 각 차량에 대한 차량 영역을 검출할 수 있다. 여기서, 차량 영역은 도 4의 바운딩 박스를 의미할 수 있다.
그 다음, 차량맵 생성부(220)는 검출된 차량 영역을 차량 분류기에 대한 학습에 이용됐던 학습 영상의 다양한 크기로 변경할 수 있다. 도 13의 (a)는 주변 영상으로부터 각 차량에 대한 차량 영역 검출 결과를 예시하며, 도 13의 (b)는 도 13의 (a)에서 검출된 어느 하나의 차량 영역의 크기를 서로 다르게 변경한 것을 예시한다.
차량 영역의 크기를 다양하게 변경한 후, 차량맵 생성부(220)는 변경된 서로 다른 크기의 복수의 차량 영역을 하나의 입력으로서 차량 분류기에 입력하고, 차량 분류기로부터 출력되는 결과를 기초로 차량의 모델을 판단할 수 있다. 차량 분류기는 각각의 차량 모델에 대해 0~1의 신뢰도를 출력할 수 있고, 차량맵 생성부(220)는 가장 높은 신뢰도를 갖는 차량 모델을 선택하되, 신뢰도가 임계치 이상인 경우 유효하다고 판단할 수 있다.
이 때, 동일 차량 모델이 다수 존재하는 경우, 차량맵 생성부(220)는 수학식 7을 이용하여 Mahalanobis Distance를 계산한 후, Mahanobis Distance가 가장 작은 차량을 동일 차량으로 판단할 수 있다.
상술한 방법에 따라 동일 차량 여부가 판단되면, 차량맵 생성부(220)는 주행 정보를 차량 별로 취합할 수 있다. 차량맵 생성부(220)는 동일 차량으로 판단하여 취합한 주행 정보들 중에서 시간 순으로 가장 마지막에 수신된 주행 정보를 상기 동일 차량의 주행 정보로 결정할 수 있다.
차량맵 생성부(220)는 상기 동일 차량의 주행 정보를 기초로 차량맵을 생성한다. 이 때 차량맵 생성부(220)는 업데이트가 지연된 주행 정보는 제거한 뒤에 차량맵을 생성할 수 있는데, 이에 대해서는 도 14를 참조하여 살펴보기로 한다.
도 14를 참조하면, 도 8의 방법에 의해 차량 별로 주행 정보가 취합된 후, 차량맵 생성부(220)는 차량맵을 생성하려고 하는 시점에 각 차량 별로 주행 정보가 업데이트된 시점 또는 가장 마지막으로 주행 정보가 수신된 시점으로부터 얼마만큼의 시간이 경과하였는지를 조사한다(S214). 만약 경과된 시간이 임계치를 초과하였다면, 즉 업데이트가 지연된 주행 정보가 존재한다면, 차량맵 생성부(220)는 이러한 주행 정보는 제거시키고 나서(S215), 차량맵을 생성한다(S216).
여기서 업데이트가 지연된 주행 정보가 존재하는지는 다양한 방법으로 판단될 수 있다. 예컨대 해당 차량의 속도와 업데이트되지 않은 채로 경과된 시간의 곱, 즉, 업데이트되지 않은 채로 해당 차량이 이동한 거리가 소정의 임계치 이상이라면 업데이트가 지연된 주행 정보라고 판단될 수 있다. 또는 해당 차량의 속도가 0인 경우에는 업데이트되지 않은 채로 경과된 시간이 소정의 임계치 이상이라면 업데이트가 지연된 주행 정보라고 판단될 수 있다. 다만, 이렇게 업데이트가 지연된 주행 정보가 존재하는지를 판단하는 것은 예시에 불과하다.
차량맵 추출부(230)는 차량맵 생성부(220)가 생성한 차량맵으로부터 복수 개의 차량 각각에게 송신될 차량맵을 추출한다. 이렇게 추출된 차량맵은 해당 차량에게 통신부(210)를 통해 송신될 수 있다. 이 때 복수 개의 차량 각각에게 송신될 차량맵이란, 해당 차량에 대한 주행 정보 또는 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함하는 차량맵을 지칭할 수 있다.
또한, 통신부(210)를 이용하여 복수의 차량으로부터 수신한 주행 정보는 복수의 차량 각각이 주행 정보를 생성한 시점에서의 주행 정보이므로, 차량맵 생성부(220)가 차량맵을 생성하거나, 차량맵 추출부(230)가 각 차량에게 송신될 차량맵을 추출하는 하기 위하여는 각 단계를 수행하는 시점에서의 차량의 주행 정보를 예측하여 제공할 필요가 있다.
따라서, 복수 개의 차량 각각에게 송신될 차량맵은 복수의 차량 각각이 주행 정보를 생성한 시점에서의 주행 정보를 기초로 차량맵을 생성(또는 추출)하는 시점을 기준으로 예측한 해당 차량에 대한 주행 정보 또는 해당 차량의 경로 상에 있는 주변 차량에 대한 주행 정보를 포함할 수 있다.
즉, 일 실시예에 따르면 V2V 또는 V2I와 같은 기능을 지원하는 모듈을 탑재하고 있지 않은 차량이 있더라도, 이러한 차량에 대한 주행 정보를 포함하는 차량맵이 다른 차량이나 운전자에게 제공될 수 있다. 뿐만 아니라 자차에서 감지되지 못한 주변 차량에 대한 주행 정보를 포함하는 차량맵이 해당 차량에게 제공될 수도 있다. 따라서 주행 보조 서비스가 신속, 정확하면서도 능동적으로 각 차량에게 제공될 수 있다.
이렇게 생성된 차량맵을 수신한 차량의 주행 정보 제공 장치(100)는 상술한 바와 같이 자차 및 주변 차량에 대한 주행 정보를 예측할 수 있다. 구체적으로, 주행 정보 제공 장치(100)의 주행 보조 서비스 제공부(150)는 차량맵 제공 서버(200)로부터 수신된 차량맵을 기초로 자차 및 주변 차량에 대한 주행 정보를 예측할 수 있다.
또한, 자차 및 주변 차량에 대하여 예측된 주행 정보와 자차에 의해 추정된 주행 정보의 차이가 임계치 이상인 경우, 주행 보조 서비스 제공부(150)는 예측된 주행 정보와 실제 주행 정보 간 매칭을 통해 예측된 주행 정보를 보정할 수 있다. 여기서, 자차에 의해 추정된 주행 정보는 자차 주행 정보 획득부(120) 및 주변 차량 주행 정보 산출부(140)에 의해 획득된 주행 정보를 의미할 수 있다.
주행 보조 서비스 제공부는 차량맵 제공 서버(200)에서 수행되는 방법과 동일하게, 차량 번호 인식 결과 또는 차량 영역 내 영상 특징점과 서술자 추출 및 매칭을 통해 주변 차량 간 매칭을 수행할 수 있다. 매칭이 수행된 후, 주행 보조 서비스 제공부(150)는 자차 포함 주변 차량에 대한 매칭 오차를 획득할 수 있고, 매칭 오차의 평균을 이용하여 예측된 주행 정보를 보정할 수 있다. 구체적으로, 주행 보조 서비스 제공부(150)는 예측된 주행 정보를 수학식 10에 따라 보정할 수 있다.
Figure PCTKR2020002426-appb-M000010
Figure PCTKR2020002426-appb-I000006
여기서, n개의 대응되는 차량이 주어졌을 때, xi@vehicle과 yi@vehicle은 자차에 의해 추정되는 차량의 위치 좌표를 의미하며, xi@server과 yi@server은 차량맵 제공 서버(200)에 의해 제공된 차량맵으로부터 예측되는 차량의 위치 좌표를 의미할 수 있x와 y는 예측된 차량 위치를 보정하기 위한 값을 의미하고, 주행 보조 서비스 제공부(150)는 xi@server+x와 yi@server+y로 예측된 차량 위치를 보정할 수 있다.
이 때, 수학식 8에 따른 보정 결과와 자차에 의해 추정되는 주행 정보 사이의 오차가 임계치 이하이면, 주행 보조 서비스 제공부(150)는 주변 차량 위치 예측이 가능한 상황이라 판단한다.
한편, 차량맵에 의해 예측되는 주변 차량의 주행 정보와 자차에 의해 추정된 주변 차량의 주행 정보 간 중복 데이터가 발생하는 경우, 일 실시예에 따른 주행 보조 서비스 제공부(150)는 주변 차량의 주행 정보에 대한 공분산 오차를 이용하여 주변 차량의 주행 정보를 선택할 수 있다.
구체적으로, 주행 보조 서비스 제공부(150)는 수학식 7에 따라 주변 차량의 절대 위치/방향에 대한 추정 오차를 나타내는 공분산을 예측할 수 있다. 여기서, 주변 차량의 절대 위치/방향 [xa, ya, θa]에 대한 공분산은 3x3 행렬 형태일 수 있다.
이 때, 대각 성분 중 위치에 대한 분산을 Cxs, Cys라고 하면, 주행 보조 서비스 제공부(150)는 차량맵을 기초로 예측되는 주변 차량의 위치에 대한 (Cxs + Cys)과 자차에 의해 추정된 주변 차량 위치에 대한 (Cxs + Cys) 값 중 작은 값을 주변 차량의 위치로서 선택할 수 있다.
이와는 달리, 중복 데이터가 발생하는 경우, 다른 실시예에 따른 주행 보조 서비스 제공부(150)는 자차에 의해 추정되는 주변 차량의 주행 정보와 차량맵을 기초로 예측되는 주변 차량의 주행 정보에 칼만 필터를 적용하여 주변 차량의 주행 정보를 선택할 수 있다. 구체적으로, 주행 보조 서비스 제공부(150)는 수학식 11에 따라 주변 차량의 위치/방향 Pestimated를 구할 수 있다.
Figure PCTKR2020002426-appb-M000011
여기서, Ps는 차량맵을 기초로 예측되는 주변 차량의 위치/방향을 의미하고, 와 Pv는 자차에 의해 추정한 주변 차량 위치/방향을 의미하며, Cs와 Cv는 각각 Ps와 Pv에 대한 공분산 행렬을 의미할 수 있다.
도 15는 일 실시예에 따라 차량맵 제공 서버가 없는 환경에서 자차가 주변 차량들과 주행 정보를 공유하는 방법에 대한 예시이다.
도 15를 참조하면, 제1 차량(410), 제2 차량(420) 및 제3 차량(430)은 주행 정보 제공 장치(100)가 탑재된 차량일 수 있다.
차량맵 제공 서버(200)가 없는 환경에서, 제1 차량(410)은 제1 영역(R1) 내에서 주행 중인(또는 위치한) 제2 차량(420), 제3 차량(430) 및 제4 차량(440)과, 제2 차량(420), 제3 차량(430) 및 제4 차량(440) 각각의 주행 정보, 및 제2 차량(420), 제3 차량(430) 및 제4 차량(440) 각각의 주변 차량의 주행 정보를 송수신할 수 있다.
여기서, 제1 영역(R1)은 제1 차량(410)이 주변 차량들과 주행 정보를 송수신하고자 하는 제1 차량(410) 주변의 영역을 의미할 수 있다. 제1 영역(R1)의 크기, 형태 등은 실시 예에 따라 변경될 수 있다.
또한, 차량맵 제공 서버(200)가 없는 환경이라 함은, 주행 정보 제공 장치(100)가 탑재된 차량이 차량맵 제공 서버(200)와 통신이 일시적으로 또는 (반)영구적으로 불가능한 경우이거나, 차량맵 제공 서버(200)가 존재하지 않은 경우를 의미할 수 있다.
제1 차량(410)은, 도 2 및 도 3을 통해 설명한 방법을 통해, 제1 차량(410) 자신이 촬영한 제1 영상, 제1 차량(410) 자신의 주행 정보 및 상기 제1 영상 상의 제3 차량(430) 및 제4 차량(440)의 주행 정보를, 제3 차량(430) 및 제4 차량(440)으로 전송할 수 있다.
보다 자세하게는, 제1 차량(410)은 제1 차량(410)에 탑재된 주행 정보 제공 장치(100)에 포함된 자차 주행 정보 획득부(120)를 이용하여, 제1 차량(410) 자신의 자차 주행 정보를 획득할 수 있다. 상기 자차 주행 정보는 제1 차량(410)의 위치 정보, 자세각 정보, 이동 방향 정보, 속도 정보, 획득 시간 정보 및 분류자 중에서 적어도 하나를 포함할 수 있다.
또한, 제1 차량(410)은 제1 차량(410)에 탑재된 주행 정보 제공 장치(100)에 포함된 주변 차량 감지부(130)를 이용하여 제1 영상 상의 제3 차량(430) 및 제4 차량(440)을 감지할 수 있다. 도 15에서는 설명의 편의를 위하여, 제1 차량(410)은 제1 차량(410)의 주행 방향을 기준으로 전방을 촬영하는 것으로 설명하고 있지만, 이에 한정되지 않는다. 즉, 제1 차량(410)이 측방 또는 후방을 촬영하는 경우, 해당 방향에서 주행 중인(또는 위치한) 차량 또한 감지할 수 있으며, 촬영한 영상 뿐만 아니라 자차 주변에서 주행 또는 정지해있는 차량을 감지하는 센서를 이용해서도 주변의 차량을 감지할 수 있다.
제1 차량(410)은, 제1 차량(410)에 탑재된 주행 정보 제공 장치(100)에 포함된 주변 차량 주행 정보 산출부(140)를 이용하여, 제3 차량(430) 및 제4 차량(440) 각각의 주변 차량 주행 정보를 산출할 수 있다. 상기 주변 차량 주행 정보는 제3 차량(430) 및 제4 차량(440) 각각의 위치 정보, 자세각 정보, 이동 방향 정보, 속도 정보, 획득 시간 정보 및 분류자 중에서 적어도 하나를 포함할 수 있다.
제1 차량(410)은, 자차 주행 정보 및 제3 차량(430) 및 제4 차량(440) 각각의 주변 차량 주행 정보를 이용하여, 제1 영역(R1) 또는 제1 영역(R1)보다 넓은 영역에 대한 차량맵을 생성할 수 있다. 여기서, 제1 영역(R1)보다 넓은 영역은 제1 영역(R1) 뿐만 아니라, 제1 영역(R1) 내에서 주행 중인(또는 위치한) 주변 차량들의 영역 중 일부를 포함하는 영역을 의미할 수 있다.
상기 차량맵은 제1 차량(410)의 자차 주행 정보, 및 제3 차량(430) 및 제4 차량(440) 각각의 주변 차량 주행 정보를 포함할 수 있다. 즉, 상기 차량맵에는 제1 차량(410) 및 제1 차량(410)의 주변에서 주행 중인(또는 위치한) 제3 차량(430) 및 제4 차량(440)의 위치 정보, 이동 방향 정보, 속도 정보, 획득 시간 정보 및 분류자가 표시되어 있을 수 있다.
제1 차량(410)은 차량맵을 제3 차량(430) 및 제4 차량(440)으로 전송할 수 있다. 제1 차량(410)은 제3 차량(430) 및 제4 차량(440)으로부터 제3 차량(430) 및 제4 차량(440) 각각이 생성한 차량맵을 수신할 수 있다.
이때, 제1 차량(410)은, 제2 차량(420)으로부터, 제2 차량(420)의 자차 주행 정보, 및 제1 차량(410), 제4 차량(440) 및 제5 차량(450) 각각의 주변 차량 주행 정보를 포함하는 차량맵을 수신할 수 있다. 제1 차량(410)은 상기 수신을 통하여 제2 차량(420)이 자신의 주변에서 주행 중임을(또는 위치함을) 인지할 수 있다.
제1 차량(410)은 제2 차량(420), 제3 차량(430) 및 제4 차량(440)으로부터 수신한 차량맵을 이용하여 제1 차량(410) 자신이 생성한 차량맵을 업데이트하고, 업데이트한 차량맵을 제2 차량(420), 제3 차량(430) 및 제4 차량(440)으로 전송할 수 있다. 상기 업데이트한 차량 맵에는 제3 차량(430) 및 제4 차량(440)의 주행 정보 뿐만 아니라, 제2 차량(420)으로부터 수신한 제2 차량(420) 및 제5 차량(450)의 주행 정보 또한 포함되어 있을 수 있다.
제1 차량(410)과 동일하게, 제2 차량(420)은 제2 차량(420)이 주행 정보를 송수신하고자 하는 제2 영역(R2) 내에서 주행 중인(또는 위치한) 제1 차량(410), 제4 차량(440) 및 제5 차량(450)으로 제2 차량(420)으로 생성한 차량맵을 전송하고, 제1 차량(410), 제4 차량(440) 및 제5 차량(450) 각각으로부터 각각이 생성한 차량맵을 수신하고, 수신한 차량맵을 이용하여 제2 차량(420) 자신이 생성한 차량맵을 업데이트하고, 업데이트한 차량맵을 제1 차량(410), 제4 차량(440) 및 제5 차량(450)으로 전송할 수 있다.
이와 같은 과정을 통해, 제1 차량(410)은 스스로 감지하지는 못했지만, 주변에서 주행 중인(또는 위치한) 제2 차량(420)의 주행 정보를 획득할 수 있고, 제1 영역(R1)에 위치하지는 않지만 제2 영역(R2)에 위치한 제5 차량(450)의 주행 정보를 획득할 수 있다. 이로 인하여, 제1 차량(410)의 차량맵은 제2 차량(420) 및 제5 차량(450)의 주행 정보 또한 포함할 수 있다. 따라서, 제1 차량(410)은 제1 영역(R1)보다 넓은 영역에 대한 차량맵을 생성할 수 있다.
일 실시예에 따라, 제1 차량(410)이 차량맵 제공 서버(200)와 통신이 불가능하였지만, 이후에 통신 가능 지역으로의 이동, 또는 주행 정보 제공 장치(100) 또는 차량맵 제공 서버(200)의 수리 등으로 인하여 다시 차량맵 제공 서버(200)와의 통신이 가능해진 경우, 제1 차량(410)은 가장 최근에 생성(업데이트)한 차량맵(또는 자차 주행 정보 및 주변 차량 주행 정보)을 차량맵 제공 서버(200)로 전송할 수 있다.
또한, 도 5 내지 도 14를 통해 설명한 차량맵 제공 서버(200)가 자차 및 주변 차량의 주행 정보를 관리하는 방법은 차량맵 제공 서버(200)가 없는 환경에서의 제1 차량(410)에도 동일하게 적용될 수 있다.
다만, 차량맵 제공 서버(200)는 넓은 영역에서의 주행 정보를 관리하는 반면, 제1 차량(410)은 제1 영역(R1) 또는 제1 영역(R1)보다 넓은 영역에서의 주행 정보만을 관리하며, 제1 차량(410)은 제2 차량(420) 내지 제5 차량(450)과는 독립적으로 차량맵을 생성/업데이트하기 때문에, 차량 사이의 분류자 공유는 큰 의미가 없을 수 있다. 따라서, 일 실시예에 따라, 차량맵 제공 서버(200)가 없는 환경에서의 제1 차량(410)은 분류자를 이용하여 차량의 동일성 여부를 판단하고, 분류자를 기준으로 주행 정보를 차량 별로 취합하는 기능을 수행하지 않을 수 있다.
도 16은 일 실시예에 따라 차량맵 제공 서버가 없는 환경에서 자차가 주변 차량들과 주행 정보를 공유하는 방법을 나타내는 순서도이다.
도 15 및 도 16을 참조하면, 제1 차량(410)은, 제1 차량(410)에 탑재된 주행 정보 제공 장치(100)에 포함된 자차 주행 정보 획득부(120)를 이용하여, 제1 차량(410) 자신의 자차 주행 정보를 획득할 수 있다(S1600).
제1 차량(410)은, 제1 차량(410)에 탑재된 주행 정보 제공 장치(100)에 포함된 주변 차량 감지부(130)를 이용하여, 제1 차량(410)이 촬영한 제1 영상 상의 제3 차량(430) 및 제4 차량(440)을 감지할 수 있다(S1610).
제1 차량(410)은, 제1 차량(410)에 탑재된 주행 정보 제공 장치(100)에 포함된 주변 차량 주행 정보 산출부(140)를 이용하여, 제3 차량(430) 및 제4 차량(440) 각각의 주변 차량 주행 정보를 산출할 수 있다(S1620).
제1 차량(410)은, 자차 주행 정보 및 제3 차량(430) 및 제4 차량(440) 각각의 주변 차량 주행 정보를 이용하여, 차량맵을 생성할 수 있다(S1630).
제1 차량(410)은 차량맵을 제3 차량(430) 및 제4 차량(440)으로 전송할 수 있다(S1640).
제1 차량(410)은 제3 차량(430) 및 제4 차량(440)으로부터 제3 차량(430) 및 제4 차량(440) 각각이 생성한 차량맵을 수신하고, 제2 차량(420)으로부터 제2 차량(420)의 자차 주행 정보, 및 제1 차량(410), 제4 차량(440) 및 제5 차량(450) 각각의 주변 차량 주행 정보를 포함하는 차량맵을 수신할 수 있다(S1650).
제1 차량(410)은 제2 차량(420), 제3 차량(430) 및 제4 차량(440)으로부터 수신한 차량맵을 이용하여 제1 차량(410) 자신이 생성한 차량맵을 업데이트하고(S1660), 업데이트한 차량맵을 제2 차량(420), 제3 차량(430) 및 제4 차량(440)으로 전송할 수 있다(S1670).
한편, 일 실시예에 따른 주행 정보 제공 방법 및 차량맵 제공 방법 각각은 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 주행 정보 제공 방법, 차량맵 제공 서버 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.

Claims (15)

  1. 차량맵 제공 서버에 의해 수행되는 차량맵 제공 방법으로서,
    제1 차량으로부터, 상기 제1 차량이 촬영한 제1 영상, 상기 제1 차량의 제1 주행 정보 및 상기 제1 영상 상의 제2 차량의 제2 주행 정보를 포함하는 제1 정보를 수신하는 단계;
    제3 차량으로부터, 상기 제3 차량이 촬영한 제2 영상, 상기 제3 차량의 제3 주행 정보 및 상기 제2 영상 상의 제4 차량의 제4 주행 정보를 포함하는 제2 정보를 수신하는 단계;
    기 저장된 차량맵 정보 또는 상기 제1 정보와 상기 제2 정보를 이용하여, 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계;
    상기 제2 차량과 상기 제4 차량의 동일 여부에 따라, 상기 제2 주행 정보와 상기 제4 주행 정보 중에서 적어도 하나, 및 상기 제1 주행 정보와 상기 제3 주행 정보를 이용하여 차량맵을 생성하는 단계;
    상기 차량맵으로부터, 상기 제1 주행 정보를 기초로, 현재 시점에서의 제1 차량의 주행 경로 상에 있는 하나 이상의 차량에 대한 주행 정보를 포함하는 제1 차량맵을 예측하는 단계; 및
    상기 제1 차량맵을 상기 제1 차량으로 전송하는 단계를 포함하는
    차량맵 제공 방법.
  2. 제 1 항에 있어서,
    상기 차량맵을 생성하는 단계는,
    상기 제2 차량과 상기 제4 차량이 동일한 경우, 상기 제2 주행 정보와 상기 제4 주행 정보 중에서 시간 순으로 더 늦게 생성된 주행 정보를 이용하여 상기 차량맵을 생성하는
    차량맵 제공 방법.
  3. 제 1 항에 있어서,
    상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는,
    상기 제2 주행 정보에 포함된 상기 제2 차량의 분류자와 상기 제4 주행 정보에 포함된 상기 제4 차량의 분류자를 비교하는 단계; 및
    비교 결과에 기초하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계를 포함하는
    차량맵 제공 방법.
  4. 제 1 항에 있어서,
    상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는,
    상기 제2 주행 정보 또는 상기 제4 주행 정보에 분류자가 포함되어 있지 않은 경우, 상기 제2 주행 정보에 포함된 상기 제2 차량의 위치 정보와 자세각, 및 상기 제4 주행 정보에 포함된 상기 제4 차량의 위치 정보와 자세각을 이용하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는
    차량맵 제공 방법.
  5. 제 1 항에 있어서,
    상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는,
    상기 제1 영상에서 상기 제2 차량에 대한 제1 특징점들을 추출하는 단계;
    상기 제2 영상에서 상기 제4 차량에 대한 제2 특징점들을 추출하는 단계; 및
    상기 제1 특징점들과 상기 제2 특징점들의 매칭 여부에 기초하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계를 포함하는
    차량맵 제공 방법.
  6. 제 5 항에 있어서,
    상기 제1 특징점들과 상기 제2 특징점들이 매칭되고, 상기 제2 차량과 상기 제4 차량의 거리가 임계치 이하인 경우, 상기 제2 차량과 상기 제4 차량은 동일하다고 판단하는
    차량맵 제공 방법.
  7. 제1 항에 있어서,
    상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는 단계는,
    복수의 차량 모델들 각각에 대하여 서로 다른 크기의 복수의 학습 영상을 하나의 입력으로 입력받아 학습된 기계학습 모델을 이용하여 상기 제2 차량과 상기 제4 차량의 동일 여부를 판단하는
    차량맵 제공 방법.
  8. 주행 정보 제공 장치를 탑재한 차량에 의해 수행되는 차량맵 제공 방법으로서,
    제1 차량이, 상기 제1 차량의 주변에 위치한 제2 차량으로부터, 상기 제2 차량이 촬영한 제1 영상, 상기 제2 차량의 제1 자차 주행 정보 및 상기 제1 영상 상의 제3 차량의 제1 주변 차량 주행 정보를 포함하는 제1 정보를 수신하는 단계;
    상기 제1 차량이, 상기 제1 차량의 주변에 위치한 제4 차량으로부터, 상기 제4 차량이 촬영한 제2 영상, 상기 제4 차량의 제2 자차 주행 정보 및 상기 제2 영상 상의 제5 차량의 제2 주변 차량 주행 정보를 포함하는 제2 정보를 수신하는 단계;
    기 저장된 차량맵 정보 또는 상기 제1 정보와 상기 제2 정보를 이용하여, 상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계; 및
    상기 제3 차량과 상기 제5 차량의 동일 여부에 따라, 상기 제1 주변 차량 주행 정보와 상기 제2 주변 차량 주행 정보 중에서 적어도 하나, 및 상기 제1 자차 주행 정보와 상기 제2 자차 주행 정보를 이용하여 현재 시점에서의 차량맵을 생성하는 단계를 포함하는
    차량맵 제공 방법.
  9. 제 8 항에 있어서,
    상기 차량맵을 생성하는 단계는,
    상기 제3 차량과 상기 제5 차량이 동일한 경우, 상기 제1 주변 차량 주행 정보와 상기 제2 주변 차량 주행 정보 중에서 시간 순으로 더 늦게 생성된 주행 정보를 이용하여 상기 차량맵을 생성하는
    차량맵 제공 방법.
  10. 제 8 항에 있어서,
    상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계는,
    상기 제1 주변 차량 주행 정보에 포함된 상기 제3 차량의 분류자와 상기 제2 주변 차량 주행 정보에 포함된 상기 제5 차량의 분류자를 비교하는 단계; 및
    비교 결과에 기초하여, 상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계를 포함하는
    차량맵 제공 방법.
  11. 제 8 항에 있어서,
    상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계는,
    상기 제1 주변 차량 주행 정보 또는 상기 제2 주변 차량 주행 정보에 분류자가 포함되어 있지 않은 경우, 상기 제1 주변 차량 주행 정보에 포함된 상기 제3 차량의 위치 정보와 자세각, 및 상기 제2 주변 차량 주행 정보에 포함된 상기 제5 차량의 위치 정보와 자세각을 이용하여, 상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는
    차량맵 제공 방법.
  12. 제 8 항에 있어서,
    상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계는,
    상기 제1 영상에서 상기 제3 차량에 대한 제1 특징점들을 추출하는 단계;
    상기 제2 영상에서 상기 제5 차량에 대한 제2 특징점들을 추출하는 단계; 및
    상기 제1 특징점들과 상기 제2 특징점들의 매칭 여부에 기초하여 상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계를 포함하는
    차량맵 제공 방법.
  13. 제 12 항에 있어서,
    상기 제1 특징점들과 상기 제2 특징점들이 매칭되고, 상기 제3 차량과 상기 제5 차량의 거리가 임계치 이하인 경우, 상기 제3 차량과 상기 제5 차량은 동일하다고 판단하는
    차량맵 제공 방법.
  14. 제 8 항에 있어서,
    상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는 단계는,
    복수의 차량 모델들 각각에 대하여 서로 다른 크기의 복수의 학습 영상을 하나의 입력으로 입력받아 학습된 기계학습 모델을 이용하여 상기 제3 차량과 상기 제5 차량의 동일 여부를 판단하는
    차량맵 제공 방법.
  15. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제 1 항 내지 제 14 항 중 어느 한 항에 따른 차량맵 제공 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는,
    컴퓨터 판독 가능한 기록매체.
PCT/KR2020/002426 2019-02-19 2020-02-19 주행 정보 제공 방법, 차량맵 제공 서버 및 방법 Ceased WO2020171605A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080015561.2A CN113454692B9 (zh) 2019-02-19 2020-02-19 驾驶信息提供方法以及车辆地图提供服务器和方法
US17/394,819 US12429356B2 (en) 2019-02-19 2021-08-05 Driving information providing method, and vehicle map providing server and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020190019488A KR102794483B1 (ko) 2019-02-19 2019-02-19 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
KR10-2019-0019488 2019-02-19
KR1020190069873A KR102817977B1 (ko) 2019-06-13 2019-06-13 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
KR10-2019-0069873 2019-06-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/394,819 Continuation-In-Part US12429356B2 (en) 2019-02-19 2021-08-05 Driving information providing method, and vehicle map providing server and method

Publications (1)

Publication Number Publication Date
WO2020171605A1 true WO2020171605A1 (ko) 2020-08-27

Family

ID=72143584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002426 Ceased WO2020171605A1 (ko) 2019-02-19 2020-02-19 주행 정보 제공 방법, 차량맵 제공 서버 및 방법

Country Status (3)

Country Link
US (1) US12429356B2 (ko)
CN (1) CN113454692B9 (ko)
WO (1) WO2020171605A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220012899A1 (en) * 2020-07-07 2022-01-13 Lyft, Inc. Systems and methods for deriving an agent trajectory based on tracking points within images
US11961304B2 (en) 2020-07-07 2024-04-16 Lyft, Inc. Systems and methods for deriving an agent trajectory based on multiple image sources
US12430923B2 (en) 2020-07-07 2025-09-30 Lyft, Inc. Systems and methods for deriving an agent trajectory based on multiple image sources

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220244055A1 (en) * 2019-05-16 2022-08-04 Nippon Telegraph And Telephone Corporation Post information reliability judgment device, post information reliability judgment method, and post information reliability judgment program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050873A (ko) * 2014-10-31 2016-05-11 오재영 투명 내비게이션 기능이 포함된 블랙박스 시스템
KR20160116727A (ko) * 2015-03-31 2016-10-10 (주)그린아이티코리아 전자 장치를 이용한 차량 추적 시스템, 서버 및 그 제공 방법
KR20170007961A (ko) * 2015-07-13 2017-01-23 김구현 운전 지원 시스템 및 운전 지원 방법
US20170169711A1 (en) * 2015-12-14 2017-06-15 Hyundai Mobis Co., Ltd. System and method for recognizing surrounding vehicle
KR20170081920A (ko) * 2016-01-05 2017-07-13 삼성전자주식회사 차량과 관련된 영상 정보를 공유하는 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739843B (zh) * 2009-12-04 2012-08-29 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
JP6252304B2 (ja) * 2014-03-28 2017-12-27 株式会社デンソー 車両用認知通知装置、車両用認知通知システム
EP3002708A1 (en) * 2014-10-03 2016-04-06 Autoliv Development AB Perspective transform of mono-vision image
KR102263731B1 (ko) 2014-11-11 2021-06-11 현대모비스 주식회사 주변차량의 위치정보 보정 시스템 및 방법
CN104867356B (zh) * 2015-06-04 2017-05-24 重庆邮电大学 一种基于DSRC和Telematics的车辆威胁评估系统
KR101751112B1 (ko) 2015-06-05 2017-07-11 아주대학교산학협력단 영상정보기반 교통정보 생성 장치 및 그 방법
CN105711597B (zh) * 2016-02-25 2018-06-26 江苏大学 前方局部行驶环境感知系统及方法
US10671876B1 (en) * 2016-09-28 2020-06-02 Vaas International Holdings Vehicle based notification record
CN107972671A (zh) * 2017-07-19 2018-05-01 宁波诺丁汉大学 一种驾驶行为分析系统
US10437252B1 (en) * 2017-09-08 2019-10-08 Perceptln Shenzhen Limited High-precision multi-layer visual and semantic map for autonomous driving
US10586118B2 (en) * 2018-01-13 2020-03-10 Toyota Jidosha Kabushiki Kaisha Localizing traffic situation using multi-vehicle collaboration
US11782158B2 (en) * 2018-12-21 2023-10-10 Waymo Llc Multi-stage object heading estimation
US11113959B2 (en) * 2018-12-28 2021-09-07 Intel Corporation Crowdsourced detection, identification and sharing of hazardous road objects in HD maps

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050873A (ko) * 2014-10-31 2016-05-11 오재영 투명 내비게이션 기능이 포함된 블랙박스 시스템
KR20160116727A (ko) * 2015-03-31 2016-10-10 (주)그린아이티코리아 전자 장치를 이용한 차량 추적 시스템, 서버 및 그 제공 방법
KR20170007961A (ko) * 2015-07-13 2017-01-23 김구현 운전 지원 시스템 및 운전 지원 방법
US20170169711A1 (en) * 2015-12-14 2017-06-15 Hyundai Mobis Co., Ltd. System and method for recognizing surrounding vehicle
KR20170081920A (ko) * 2016-01-05 2017-07-13 삼성전자주식회사 차량과 관련된 영상 정보를 공유하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220012899A1 (en) * 2020-07-07 2022-01-13 Lyft, Inc. Systems and methods for deriving an agent trajectory based on tracking points within images
US11961304B2 (en) 2020-07-07 2024-04-16 Lyft, Inc. Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) * 2020-07-07 2024-04-16 Lyft, Inc. Systems and methods for deriving an agent trajectory based on tracking points within images
US12430923B2 (en) 2020-07-07 2025-09-30 Lyft, Inc. Systems and methods for deriving an agent trajectory based on multiple image sources

Also Published As

Publication number Publication date
US12429356B2 (en) 2025-09-30
CN113454692A (zh) 2021-09-28
CN113454692B9 (zh) 2024-07-02
US20210364321A1 (en) 2021-11-25
CN113454692B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
WO2018110964A1 (en) Electronic device and method for recognizing object by using plurality of sensors
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2018093055A1 (en) Mobile robot system and mobile robot
WO2020231153A1 (en) Electronic device and method for assisting with driving of vehicle
EP3826896A1 (en) Vehicle driving control apparatus and calibration method performed by the vehicle driving control apparatus
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
WO2020246735A1 (ko) 차량 제어 방법, 차량 제어 장치, 이를 포함하는 차량 제어 시스템
WO2020139063A1 (ko) 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2015194866A1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2018105842A1 (ko) 레이더 기반 고 정밀 돌발상황 검지 시스템
CN111986224B (zh) 一种目标行为预测追踪方法及装置
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2021085691A1 (ko) 차량용 내비게이션의 영상 제공 방법
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
WO2020251099A1 (ko) 사용자의 현재 위치로 차량을 호출하는 방법
WO2024096691A1 (ko) 무인항공기의 카메라 영상 정보 기반 다수 목표물의 gps 좌표 추정 및 목표물 추적 방법 및 장치
CN113454692B9 (zh) 驾驶信息提供方法以及车辆地图提供服务器和方法
WO2022255677A1 (ko) 다중 관측정보를 이용한 고정객체의 위치 결정 방법
WO2022255678A1 (ko) 다중 관측정보를 이용한 신호등 배치정보 추정 방법
WO2020180076A1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
WO2021040058A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2022186555A1 (ko) 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법
WO2015170794A1 (ko) 주변 차량 탐지 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759354

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759354

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080015561.2

Country of ref document: CN