WO2021141143A1 - 경로 제공 장치 및 그것의 경로 제공 방법 - Google Patents

경로 제공 장치 및 그것의 경로 제공 방법 Download PDF

Info

Publication number
WO2021141143A1
WO2021141143A1 PCT/KR2020/000180 KR2020000180W WO2021141143A1 WO 2021141143 A1 WO2021141143 A1 WO 2021141143A1 KR 2020000180 W KR2020000180 W KR 2020000180W WO 2021141143 A1 WO2021141143 A1 WO 2021141143A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
processor
image sensor
autonomous driving
Prior art date
Application number
PCT/KR2020/000180
Other languages
English (en)
French (fr)
Inventor
방승환
이진상
김지현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2020/000180 priority Critical patent/WO2021141143A1/ko
Priority to US17/035,202 priority patent/US20210207969A1/en
Publication of WO2021141143A1 publication Critical patent/WO2021141143A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889—Transmission of selected map data, e.g. depending on route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096811—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Definitions

  • the present invention relates to a route providing apparatus for providing a route to a vehicle and a route providing method thereof.
  • a vehicle refers to a means of transportation capable of moving a person or a load by using kinetic energy.
  • Representative examples of vehicles include automobiles and motorcycles.
  • the function of the vehicle may be divided into a convenience function for promoting the convenience of the driver and a safety function for promoting the safety of the driver and/or pedestrian.
  • ACC adaptive cruise control
  • SPAS smart runner system
  • NV night vision
  • HUD head up display
  • AHS adaptive headlight system
  • the safety function is a technology that secures driver's safety and/or pedestrian's safety.
  • Lane departure warning system LDWS
  • lane keeping assist system LKAS
  • automatic emergency braking autonomous emergency braking
  • AEB automatic emergency braking
  • ADAS advanced driver assistance system
  • autonomous Vehicle autonomous Vehicle
  • ADAS Advanced Driving Assist System
  • eHorizon software is positioned as an essential element for the safety/ECO/convenience of autonomous vehicles in a connected environment.
  • the present invention aims to solve the above and other problems.
  • One object of the present invention is to provide a route providing apparatus capable of providing visual field information for autonomous driving enabling autonomous driving, and a route providing method thereof.
  • One object of the present invention is to provide a route providing apparatus and a route providing method capable of efficiently managing resources of a vehicle and reducing the amount of computation by using visual field information for autonomous driving.
  • the present invention provides a route providing apparatus for providing a route to a vehicle and a route providing method thereof.
  • the route providing apparatus may include: a communication unit configured to receive map information including a plurality of layers from a server; an interface unit for receiving sensing information from one or more sensors provided in the vehicle; and specifying any one lane in which the vehicle is located on a road composed of a plurality of lanes based on an image received from an image sensor among the sensing information, and an optimal path in which movement of the vehicle is expected or planned based on the specified lane is estimated on a lane-by-lane basis using the map information, generates vision information for autonomous driving in which the sensing information is fused with the optimal route, and transmits it to at least one of the server and electrical equipment provided in the vehicle, and
  • the visual field information is fused with dynamic information for guiding a movable object located on the optimal path, and includes a processor for updating the optimal path based on the dynamic information, wherein the processor is configured to: to control the interface unit to execute a control function related to the image sensor.
  • the processor may control the interface unit to turn on or off the function execution in the image sensor according to the autonomous driving visual field information.
  • the processor may search for a target object to be sensed from the autonomous driving visual field information, and turn off execution of a function in the image sensor when there is no searched target object.
  • the processor searches for a target object located within a predetermined range with respect to the vehicle using the autonomous driving visual field information, and the predetermined range is determined according to at least one of a location of the vehicle and the sensing information. can be variable.
  • the processor when the image sensor detects an object using an image and dynamic information satisfying a reference condition is included in the visual field information for autonomous driving, the processor is configured to either stop the detection of the image sensor or The interface unit may be controlled so that an area in which the image sensor detects an object varies.
  • the processor determines a predetermined range in which a target object is to be sensed by using at least one of the high-precision map and the sensing information, and includes the target object and the vehicle searched for from the autonomous driving visual field information.
  • the interface unit may be controlled so that the function execution in the image sensor is turned on or off according to whether it is within the predetermined range.
  • the predetermined range may vary according to weather.
  • the processor determines one or more partial regions among the entire region of the image generated by the image sensor based on the autonomous driving visual field information, and receives guide information for guiding the determined partial region. It can output through the interface unit.
  • the processor selects some lanes from among the lanes included in the driving road on which the vehicle is traveling based on the visual field information for autonomous driving, and the partial area includes the selected partial lanes and is not selected
  • the partial area may be determined not to include the remaining lanes.
  • the processor may control the interface unit so that the image sensor generates an image corresponding to the partial region instead of the entire region.
  • the processor may control the interface unit so that one or more sensors included in the vehicle execute a predetermined function using the partial area instead of the entire area.
  • the processor may control the interface to change at least one of an angle of view and a depth of view of the image sensor based on the autonomous driving field of view information.
  • the processor controls the interface unit so that the image sensor senses the planned merging road when a merging road to be merged with respect to the driving road on which the vehicle is traveling is included in the forward path.
  • the processor may select one or more image sensors from among a plurality of image sensors provided in the vehicle based on the forward path, and execute the control function using the selected image sensor. .
  • the processor may control the interface unit such that a selected image sensor is activated and an unselected image sensor is deactivated.
  • the processor may control the interface unit to selectively execute a predetermined function related to the image generated by the image sensor based on the dynamic information included in the autonomous driving field of view information.
  • the predetermined function may include a first function of varying an area in which the image sensor generates the image, and a second function of searching for an object in a partial area among the entire area of the image generated by the image sensor. It may include at least one of a function and a third function of selecting at least one from among the plurality of image sensors.
  • the interface unit may be controlled such that detection is stopped or an area in which the target object is detected in the image is changed.
  • a route providing method of a route providing apparatus for providing a route to a vehicle includes: providing map information including a plurality of layers from a server; receiving sensing information from one or more sensors provided in the vehicle; specifying any one lane in which the vehicle is located on a road including a plurality of lanes based on an image received from an image sensor among the sensing information; estimating an optimal route predicted or planned for movement of the vehicle based on a specified lane using the map information on a lane-by-lane basis; generating visual field information for autonomous driving in which the sensing information is fused with the optimal path and transmitting the information to at least one of the server and the electronic equipment provided in the vehicle; dynamic information for guiding a movable object positioned on the optimal path is fused with the autonomous driving visual field information, and updating the optimal path based on the dynamic information; and controlling an interface unit to execute a control function related to the image sensor based on the autonomous driving visual field information.
  • the method may further include controlling the interface unit so that a predetermined function related to the image generated by the image sensor is selectively executed based on the dynamic information included in the visual field information for autonomous driving. .
  • the route providing apparatus 800 may provide the field of view information for autonomous driving so that a customized search for each situation is performed.
  • the image sensor is turned on only in a necessary situation to search for an object or to search for an object using a partial area instead of the entire area of the generated image. Through this, resources used for object search can be minimized.
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are diagrams referenced to describe an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced for explaining a vehicle according to an embodiment of the present invention.
  • EHP Electronic Horizon Provider
  • FIG. 9 is a block diagram for explaining the path providing apparatus of FIG. 8 in more detail.
  • FIG. 10 is a conceptual diagram for explaining an eHorizon related to the present invention.
  • FIGS. 11A and 11B are conceptual diagrams for explaining a Local Dynamic Map (LDM) and an Advanced Driver Assistance System (ADAS) MAP related to the present invention.
  • LDM Local Dynamic Map
  • ADAS Advanced Driver Assistance System
  • 12A and 12B are exemplary views for explaining a method for a route providing apparatus to receive high-definition map data according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method for a route providing apparatus to receive a high-precision map and generate visual field information for autonomous driving.
  • FIG. 14 is a flowchart illustrating a method in which a path providing apparatus executes a predetermined function related to an image generated by an image sensor.
  • 15A to 15C are exemplary views for explaining the embodiments of FIG. 14 .
  • 16 is a flowchart for explaining a method of setting a partial area for an image generated by an image sensor.
  • 17A, 17B, and 18 are exemplary views for explaining the embodiments of FIG. 16 .
  • 19A and 19B are exemplary views for explaining a method of controlling an image sensor provided in a vehicle based on visual field information for autonomous driving.
  • 20 is a flowchart illustrating a method of selectively controlling at least one of a plurality of image sensors.
  • the vehicle described in this specification may be a concept including an automobile and a motorcycle.
  • the automobile will be mainly described for the vehicle.
  • the vehicle described herein may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle means the left side in the driving direction of the vehicle
  • the right side of the vehicle means the right side in the driving direction of the vehicle
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are diagrams referenced to describe an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced for explaining a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the traveling direction of the vehicle 100 .
  • the vehicle 100 may be an autonomous driving vehicle.
  • the vehicle 100 may be switched to an autonomous driving mode or a manual mode based on a user input.
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on a user input received through the user interface device 200 .
  • the vehicle 100 may be switched to an autonomous driving mode or a manual mode based on driving situation information.
  • the driving situation information may be generated based on object information provided by the object detection apparatus 300 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on the driving situation information generated by the object detection apparatus 300 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on driving situation information received through the communication device 400 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on information, data, and signals provided from an external device.
  • the autonomous driving vehicle 100 may be operated based on the driving system 700 .
  • the autonomous vehicle 100 may be driven based on information, data, or signals generated by the driving system 710 , the taking-out system 740 , and the parking system 750 .
  • the autonomous driving vehicle 100 may receive a user input for driving through the driving manipulation device 500 . Based on a user input received through the driving manipulation device 500 , the vehicle 100 may be driven.
  • the overall length refers to the length from the front part to the rear part of the vehicle 100
  • the width refers to the width of the vehicle 100
  • the height refers to the length from the lower part of the wheel to the roof.
  • the overall length direction (L) is the standard direction for measuring the overall length of the vehicle 100
  • the full width direction (W) is the standard direction for measuring the overall width of the vehicle 100
  • the total height direction (H) is the vehicle (100) may mean a direction that is a reference for measuring the total height.
  • the vehicle 100 includes a user interface device 200 , an object detection device 300 , a communication device 400 , a driving manipulation device 500 , a vehicle driving device 600 , and a driving system. 700 , a navigation system 770 , a sensing unit 120 , a vehicle interface unit 130 , a memory 140 , a control unit 170 , and a power supply unit 190 may be included.
  • the vehicle 100 may further include other components in addition to the components described herein, or may not include some of the components described herein.
  • the user interface device 200 is a device for communication between the vehicle 100 and a user.
  • the user interface device 200 may receive a user input and provide information generated in the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UIs) or User Experiences (UXs) through the user interface device 200 .
  • UIs User Interfaces
  • UXs User Experiences
  • the user interface device 200 may include an input unit 210 , an internal camera 220 , a biometric sensor 230 , an output unit 250 , and a processor 270 .
  • the user interface device 200 may further include other components in addition to the described components, or may not include some of the described components.
  • the input unit 200 is for receiving information from the user, and the data collected by the input unit 120 may be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 200 may be disposed inside the vehicle.
  • the input unit 200 may include one region of a steering wheel, one region of an instrument panel, one region of a seat, one region of each pillar, and a door.
  • One area of the (door), one area of the center console, one area of the head lining (head lining), one area of the sun visor, one area of the windshield (windshield) or the window (window) It may be disposed in one area or the like.
  • the input unit 200 may include a voice input unit 211 , a gesture input unit 212 , a touch input unit 213 , and a mechanical input unit 214 .
  • the voice input unit 211 may convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 may convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input unit 212 may detect a user's 3D gesture input.
  • the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 may convert a user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the touch input unit 213 may include a touch sensor for sensing a user's touch input.
  • the touch input unit 213 may be integrally formed with the display unit 251 to implement a touch screen.
  • a touch screen may provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170 .
  • the mechanical input unit 214 may be disposed on a steering wheel, a center fascia, a center console, a cockpick module, a door, and the like.
  • the internal camera 220 may acquire an image inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may acquire the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect the user's gesture from the image inside the vehicle.
  • the biometric sensor 230 may obtain biometric information of the user.
  • the biometric sensor 230 may include a sensor capable of obtaining the user's biometric information, and may obtain the user's fingerprint information, heart rate information, and the like, using the sensor.
  • the biometric information may be used for user authentication.
  • the output unit 250 is for generating an output related to visual, auditory or tactile sense.
  • the output unit 250 may include at least one of a display unit 251 , a sound output unit 252 , and a haptic output unit 253 .
  • the display unit 251 may display graphic objects corresponding to various pieces of information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (Flexible Display).
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • Flexible Display Flexible Display
  • display a three-dimensional display (3D display)
  • e-ink display may include at least one.
  • the display unit 251 may form a layer structure with the touch input unit 213 or be integrally formed to implement a touch screen.
  • the display unit 251 may be implemented as a head up display (HUD).
  • the display unit 251 may include a projection module to output information through an image projected on the windshield or window.
  • the display unit 251 may include a transparent display.
  • the transparent display may be attached to a windshield or window.
  • the transparent display may display a predetermined screen while having predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transmissive transparent display, transparent LED (Light Emitting Diode) display may include at least one of The transparency of the transparent display can be adjusted.
  • the user interface apparatus 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 includes one area of the steering wheel, one area 521a, 251b, and 251e of the instrument panel, one area 251d of the seat, one area 251f of each pillar, and one area of the door ( 251g), one region of the center console, one region of the head lining, one region of the sun visor, or one region 251c of the windshield and one region 251h of the window.
  • the sound output unit 252 converts an electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs the converted signal. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may vibrate the steering wheel, the seat belt, and the seats 110FL, 110FR, 110RL, and 110RR so that the user can recognize the output.
  • the processor 270 may control the overall operation of each unit of the user interface device 200 .
  • the user interface apparatus 200 may include a plurality of processors 270 or may not include the processors 270 .
  • the user interface device 200 may be operated under the control of a processor or controller 170 of another device in the vehicle 100 .
  • the user interface device 200 may be referred to as a vehicle display device.
  • the user interface device 200 may be operated under the control of the controller 170 .
  • the object detecting apparatus 300 is an apparatus for detecting an object located outside the vehicle 100 .
  • the object may be various objects related to the operation of the vehicle 100 .
  • the object O includes a lane OB10, another vehicle OB11, a pedestrian OB12, a two-wheeled vehicle OB13, traffic signals OB14, OB15, light, road, structure, This may include speed bumps, features, animals, and the like.
  • the lane OB10 may be a driving lane, a lane next to the driving lane, or a lane in which opposite vehicles travel.
  • the lane OB10 may be a concept including left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle running in the vicinity of the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100 .
  • the other vehicle OB11 may be a vehicle preceding or following the vehicle 100 .
  • the pedestrian OB12 may be a person located in the vicinity of the vehicle 100 .
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100 .
  • the pedestrian OB12 may be a person located on a sidewalk or a roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle positioned around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB12 may be a vehicle having two wheels positioned within a predetermined distance from the vehicle 100 .
  • the two-wheeled vehicle OB13 may be a motorcycle or a bicycle located on a sidewalk or roadway.
  • the traffic signal may include a traffic light OB15, a traffic sign OB14, and a pattern or text drawn on a road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from the street lamp.
  • the light may be sunlight.
  • the road may include a road surface, a curve, an uphill slope, a downhill slope, and the like.
  • the structure may be an object located around a road and fixed to the ground.
  • the structure may include a street light, a street tree, a building, a power pole, a traffic light, and a bridge.
  • Features may include mountains, hills, and the like.
  • the object may be classified into a moving object and a fixed object.
  • the moving object may be a concept including other vehicles and pedestrians.
  • the fixed object may be a concept including a traffic signal, a road, and a structure.
  • the object detection apparatus 300 may include a camera 310 , a radar 320 , a lidar 330 , an ultrasonic sensor 340 , an infrared sensor 350 , and a processor 370 .
  • the object detecting apparatus 300 may further include other components in addition to the described components, or may not include some of the described components.
  • the camera 310 may be located at an appropriate place outside the vehicle in order to acquire an image outside the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an AVM (Around View Monitoring) camera 310b, or a 360 degree camera.
  • the camera 310 may be disposed adjacent to the front windshield in the interior of the vehicle to acquire an image of the front of the vehicle.
  • the camera 310 may be disposed around the front bumper or the radiator grill.
  • the camera 310 may be disposed adjacent to the rear glass in the interior of the vehicle in order to acquire an image of the rear of the vehicle.
  • the camera 310 may be disposed around a rear bumper, a trunk, or a tailgate.
  • the camera 310 may be disposed adjacent to at least one of the side windows in the interior of the vehicle in order to acquire an image of the side of the vehicle.
  • the camera 310 may be disposed around a side mirror, a fender, or a door.
  • the camera 310 may provide the acquired image to the processor 370 .
  • the radar 320 may include an electromagnetic wave transmitter and a receiver.
  • the radar 320 may be implemented in a pulse radar method or a continuous wave radar method in view of a radio wave emission principle.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object based on a time of flight (TOF) method or a phase-shift method using an electromagnetic wave as a medium, and a position of the detected object, a distance from the detected object, and a relative speed can be detected.
  • TOF time of flight
  • phase-shift method using an electromagnetic wave as a medium
  • the radar 320 may be disposed at an appropriate location outside the vehicle to detect an object located in front, rear or side of the vehicle.
  • the lidar 330 may include a laser transmitter and a receiver.
  • the lidar 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • the lidar 330 may be implemented as a driven or non-driven type.
  • the lidar 330 When implemented as a driving type, the lidar 330 is rotated by a motor and may detect an object around the vehicle 100 .
  • the lidar 330 may detect an object located within a predetermined range with respect to the vehicle 100 by light steering.
  • the vehicle 100 may include a plurality of non-driven lidars 330 .
  • the lidar 330 detects an object based on a time of flight (TOF) method or a phase-shift method as a laser light medium, and determines the position of the detected object, the distance from the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method as a laser light medium
  • the lidar 330 may be disposed at an appropriate location outside the vehicle to detect an object located in the front, rear, or side of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasound sensor 340 may detect an object based on ultrasound, and detect a position of the detected object, a distance from the detected object, and a relative speed.
  • the ultrasonic sensor 340 may be disposed at an appropriate location outside the vehicle to detect an object located in the front, rear, or side of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 may detect an object based on infrared light, and detect a position of the detected object, a distance from the detected object, and a relative speed.
  • the infrared sensor 350 may be disposed at an appropriate location outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the processor 370 may control the overall operation of each unit of the object detection apparatus 300 .
  • the processor 370 may detect and track the object based on the acquired image.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to an object through an image processing algorithm.
  • the processor 370 may detect and track the object based on the reflected electromagnetic wave that is reflected by the object and returns.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the electromagnetic wave.
  • the processor 370 may detect and track the object based on the reflected laser light from which the transmitted laser is reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the laser light.
  • the processor 370 may detect and track the object based on the reflected ultrasound reflected back by the transmitted ultrasound.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the ultrasound.
  • the processor 370 may detect and track the object based on the reflected infrared light reflected back by the transmitted infrared light.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the infrared light.
  • the object detecting apparatus 300 may include a plurality of processors 370 or may not include the processors 370 .
  • each of the camera 310 , the radar 320 , the lidar 330 , the ultrasonic sensor 340 , and the infrared sensor 350 may individually include a processor.
  • the object detection apparatus 300 may be operated under the control of the processor or the controller 170 of the apparatus in the vehicle 100 .
  • the object detecting apparatus 400 may be operated under the control of the controller 170 .
  • the communication apparatus 400 is an apparatus for performing communication with an external device.
  • the external device may be another vehicle, a mobile terminal, or a server.
  • the communication device 400 may include at least one of a transmit antenna, a receive antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short-range communication unit 410 , a location information unit 420 , a V2X communication unit 430 , an optical communication unit 440 , a broadcast transceiver 450 , and a processor 470 .
  • the communication device 400 may further include other components in addition to the described components, or may not include some of the described components.
  • the short-range communication unit 410 is a unit for short-range communication.
  • Short-range communication unit 410 Bluetooth (BluetoothTM), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless) -Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technology may be used to support short-distance communication.
  • the short-range communication unit 410 may form wireless area networks to perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for obtaining location information of the vehicle 100 .
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing protocols for communication with infrastructure (V2I), vehicle-to-vehicle communication (V2V), and communication with pedestrians (V2P).
  • the optical communication unit 440 is a unit for performing communication with an external device via light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits the optical signal, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light transmitter may be formed to be integrated with a lamp included in the vehicle 100 .
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server or transmitting a broadcast signal to the broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal.
  • the processor 470 may control the overall operation of each unit of the communication device 400 .
  • the communication device 400 may include a plurality of processors 470 or may not include the processors 470 .
  • the communication device 400 may be operated under the control of a processor or controller 170 of another device in the vehicle 100 .
  • the communication device 400 may implement a vehicle display device together with the user interface device 200 .
  • the vehicle display device may be referred to as a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the controller 170 .
  • the driving operation device 500 is a device that receives a user input for driving.
  • the vehicle 100 may be driven based on a signal provided by the driving manipulation device 500 .
  • the driving manipulation device 500 may include a steering input device 510 , an acceleration input device 530 , and a brake input device 570 .
  • the steering input device 510 may receive a driving direction input of the vehicle 100 from a user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from a user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from a user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. According to an embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the driving operation device 500 may be operated under the control of the controller 170 .
  • the vehicle driving device 600 is a device that electrically controls driving of various devices in the vehicle 100 .
  • the vehicle driving unit 600 may include a power train driving unit 610 , a chassis driving unit 620 , a door/window driving unit 630 , a safety device driving unit 640 , a lamp driving unit 650 , and an air conditioning driving unit 660 .
  • a power train driving unit 610 may be included in the vehicle driving unit 600 .
  • a chassis driving unit 620 may be included in the vehicle driving unit 600 .
  • a door/window driving unit 630 may include a safety device driving unit 640 , a lamp driving unit 650 , and an air conditioning driving unit 660 .
  • the vehicle driving apparatus 600 may further include other components in addition to the described components, or may not include some of the described components.
  • the vehicle driving apparatus 600 may include a processor. Each unit of the vehicle driving apparatus 600 may each individually include a processor.
  • the power train driver 610 may control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612 .
  • the power source driving unit 611 may control the power source of the vehicle 100 .
  • the power source driving unit 610 may perform electronic control of the engine. Thereby, the output torque of an engine, etc. can be controlled.
  • the power source driving unit 611 may adjust the engine output torque according to the control of the control unit 170 .
  • the power source driving unit 610 may control the motor.
  • the power source driving unit 610 may adjust the rotation speed and torque of the motor according to the control of the control unit 170 .
  • the transmission driving unit 612 may control the transmission.
  • the transmission driving unit 612 may adjust the state of the transmission.
  • the transmission driving unit 612 may adjust the transmission state to forward (D), reverse (R), neutral (N), or park (P).
  • the transmission driving unit 612 may adjust the engagement state of the gear in the forward (D) state.
  • the chassis driving unit 620 may control the operation of the chassis device.
  • the chassis driving unit 620 may include a steering driving unit 621 , a brake driving unit 622 , and a suspension driving unit 623 .
  • the steering driving unit 621 may perform electronic control of a steering apparatus in the vehicle 100 .
  • the steering driving unit 621 may change the traveling direction of the vehicle.
  • the brake driving unit 622 may perform electronic control of a brake apparatus in the vehicle 100 .
  • the speed of the vehicle 100 may be reduced by controlling the operation of a brake disposed on the wheel.
  • the brake driving unit 622 may individually control each of the plurality of brakes.
  • the brake driving unit 622 may differently control the braking force applied to the plurality of wheels.
  • the suspension driving unit 623 may electronically control a suspension apparatus in the vehicle 100 . For example, when there is a curve in the road surface, the suspension driving unit 623 may control the suspension device to reduce vibration of the vehicle 100 .
  • the suspension driving unit 623 may individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control of a door apparatus or a window apparatus in the vehicle 100 .
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632 .
  • the door driving unit 631 may control the door device.
  • the door driving unit 631 may control opening and closing of a plurality of doors included in the vehicle 100 .
  • the door driving unit 631 may control opening or closing of a trunk or a tail gate.
  • the door driving unit 631 may control opening or closing of a sunroof.
  • the window driving unit 632 may perform electronic control of a window apparatus. Opening or closing of a plurality of windows included in the vehicle 100 may be controlled.
  • the safety device driving unit 640 may perform electronic control of various safety apparatuses in the vehicle 100 .
  • the safety device driving unit 640 may include an airbag driving unit 641 , a seat belt driving unit 642 , and a pedestrian protection device driving unit 643 .
  • the airbag driving unit 641 may perform electronic control of an airbag apparatus in the vehicle 100 .
  • the airbag driver 641 may control the airbag to be deployed when a danger is detected.
  • the seat belt driving unit 642 may perform electronic control of a seat belt appartus in the vehicle 100 .
  • the seat belt driving unit 642 may control the occupant to be fixed to the seats 110FL, 110FR, 110RL, and 110RR using the seat belt when a danger is sensed.
  • the pedestrian protection device driving unit 643 may perform electronic control for the hood lift and the pedestrian airbag. For example, when detecting a collision with a pedestrian, the pedestrian protection device driving unit 643 may control to lift up the hood and deploy the pedestrian airbag.
  • the lamp driver 650 may electronically control various lamp apparatuses in the vehicle 100 .
  • the air conditioning driving unit 660 may perform electronic control of an air conditioner (air cinditioner) in the vehicle 100 . For example, when the temperature inside the vehicle is high, the air conditioning driving unit 660 may control the air conditioner to operate to supply cool air to the interior of the vehicle.
  • air conditioner air cinditioner
  • the vehicle driving apparatus 600 may include a processor. Each unit of the vehicle driving apparatus 600 may each individually include a processor.
  • the vehicle driving apparatus 600 may be operated under the control of the controller 170 .
  • the operation system 700 is a system for controlling various operations of the vehicle 100 .
  • the driving system 700 may be operated in an autonomous driving mode.
  • the driving system 700 may include a driving system 710 , a vehicle taking-out system 740 , and a parking system 750 .
  • the navigation system 700 may further include other components in addition to the described components, or may not include some of the described components.
  • the driving system 700 may include a processor.
  • Each unit of the navigation system 700 may each individually include a processor.
  • the operating system 700 when the operating system 700 is implemented in software, it may be a sub-concept of the control unit 170 .
  • the driving system 700 may control at least one of the user interface device 200 , the object detection device 300 , the communication device 400 , the vehicle driving device 600 , and the control unit 170 . It may be a concept that includes
  • the driving system 710 may perform driving of the vehicle 100 .
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100 .
  • the driving system 710 may receive object information from the object detecting apparatus 300 , and provide a control signal to the vehicle driving apparatus 600 to drive the vehicle 100 .
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to drive the vehicle 100 .
  • the un-parking system 740 may perform un-parking of the vehicle 100 .
  • the un-parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the un-parking system 740 may receive the object information from the object detection apparatus 300 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the un-parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the parking system 750 may perform parking of the vehicle 100 .
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to park the vehicle 100 .
  • the parking system 750 may receive object information from the object detection apparatus 300 , and may provide a control signal to the vehicle driving apparatus 600 to park the vehicle 100 .
  • the parking system 750 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to park the vehicle 100 .
  • the navigation system 770 may provide navigation information.
  • the navigation information may include at least one of map information, set destination information, route information according to the destination setting, information on various objects on a route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include a memory and a processor.
  • the memory may store navigation information.
  • the processor may control the operation of the navigation system 770 .
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified into sub-components of the user interface device 200 .
  • the sensing unit 120 may sense the state of the vehicle.
  • the sensing unit 120 may include a posture sensor (eg, a yaw sensor, a roll sensor, a pitch sensor), a collision sensor, a wheel sensor, a speed sensor, and an inclination. sensor, weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a steering sensor by rotation, a vehicle internal temperature sensor, a vehicle internal humidity sensor, an ultrasonic sensor, an illuminance sensor, an accelerator pedal position sensor, a brake pedal position sensor, and the like.
  • the sensing unit 120 may include vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/reverse information, and a battery. Acquires sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, exterior illumination of the vehicle, pressure applied to the accelerator pedal, and pressure applied to the brake pedal can do.
  • the sensing unit 120 is, in addition, an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.
  • the vehicle interface unit 130 may serve as a passage with various types of external devices connected to the vehicle 100 .
  • the vehicle interface unit 130 may include a port connectable to a mobile terminal, and may be connected to a mobile terminal through the port. In this case, the vehicle interface unit 130 may exchange data with the mobile terminal.
  • the vehicle interface unit 130 may serve as a passage for supplying electrical energy to the connected mobile terminal.
  • the vehicle interface unit 130 may provide the electric energy supplied from the power supply unit 190 to the mobile terminal. .
  • the memory 140 is electrically connected to the control unit 170 .
  • the memory 140 may store basic data for the unit, control data for operation control of the unit, and input/output data.
  • the memory 140 may be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc. in terms of hardware.
  • the memory 140 may store various data for the overall operation of the vehicle 100 , such as a program for processing or controlling the controller 170 .
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170 .
  • the controller 170 may control the overall operation of each unit in the vehicle 100 .
  • the control unit 170 may be referred to as an Electronic Control Unit (ECU).
  • ECU Electronic Control Unit
  • the power supply unit 190 may supply power required for operation of each component under the control of the control unit 170 .
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control unit 170 include ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • the vehicle 100 related to the present invention may include a path providing device 800 .
  • the path providing apparatus 800 may control at least one of the components described with reference to FIG. 7 . From this point of view, the path providing apparatus 800 may be the control unit 170 .
  • the present invention is not limited thereto, and the path providing apparatus 800 may have a separate configuration independent of the control unit 170 .
  • the route providing apparatus 800 may be provided in a part of the vehicle 100 .
  • the path providing apparatus 800 will be described as a separate component independent of the control unit 170 .
  • Functions (operations) and control methods described for the route providing apparatus 800 in this specification may be performed by the control unit 170 of the vehicle. That is, all contents described in relation to the path providing apparatus 800 may be analogously applied to the control unit 170 in the same/similar manner.
  • the path providing apparatus 800 described in this specification may include some of the components described with reference to FIG. 7 and various components provided in the vehicle.
  • the components described with reference to FIG. 7 and various components provided in the vehicle will be described with separate names and reference numerals.
  • EHP Electronic Horizon Provider
  • the route providing apparatus 800 related to the present invention may control the vehicle 100 based on eHorizon (Electronic Horizon).
  • the path providing device 800 may be an Electronic Horizon Provider (EHP).
  • EHP Electronic Horizon Provider
  • Electronic Horzion may be named 'ADAS Horizon', 'ADASIS Horizon', 'Extended Driver Horizon' or 'eHorizon'.
  • eHorizon uses high-definition map data (HD map data) to generate the vehicle's forward path information, and composes it to meet the specified standard (protocol) (eg, the standard standard set by ADASIS) to provide map information ( or route information) to a module of the vehicle (eg, ECU, control unit 170, navigation system 770, etc.) or an application installed in the vehicle (eg, ADAS application, map application, etc.) It may be understood as a software, module, or system that performs.
  • the specified standard eg, the standard set by ADASIS
  • a module of the vehicle eg, ECU, control unit 170, navigation system 770, etc.
  • an application installed in the vehicle eg, ADAS application, map application, etc.
  • the route in front of the vehicle was provided as a single route based on the navigation map, but eHorizon can provide lane-by-lane route information based on a high-definition map (HD map).
  • HD map high-definition map
  • Data generated by eHorizon may be referred to as 'Electronic Horizon Data' or 'EHorizon Data'.
  • the Electronic Horizon data may be described as driving plan data used when the driving system generates a driving control signal of the vehicle 100 .
  • the electronic horizon data may be understood as driving plan data within a range from a point where the vehicle 100 is located to a horizon.
  • the horizon may be understood as a point in front of a preset distance from a point where the vehicle 100 is located based on a preset driving route.
  • the horizon may mean a point to which the vehicle 100 can reach after a predetermined time from a point where the vehicle 100 is located along a preset driving route.
  • the driving route means a driving route to the final destination, and may be set by a user input.
  • the electronic horizon data may include horizon map data and horizon pass data.
  • the horizon map data may include at least one of topology data, ADAS data, HD map data, and dynamic data.
  • the horizon map data may include a plurality of layers.
  • the horizon map data may include a first layer matching topology data, a second layer matching ADAS data, a third layer matching HD map data, and a fourth layer matching dynamic data.
  • the horizon map data may further include static object data.
  • Topology data can be described as a map created by connecting road centers.
  • the topology data is suitable for roughly indicating the location of the vehicle, and may be in the form of data mainly used in navigation for drivers.
  • the topology data may be understood as data on road information excluding information on lanes.
  • the topology data may be generated based on data received from the infrastructure via V2I.
  • the topology data may be based on data generated by the infrastructure.
  • the topology data may be based on data stored in at least one memory provided in the vehicle 100 .
  • ADAS data may refer to data related to road information.
  • the ADAS data may include at least one of slope data of the road, curvature data of the road, and speed limit data of the road.
  • the ADAS data may further include overtaking prohibited section data.
  • ADAS data may be based on data generated by the infrastructure 20 .
  • ADAS data may be based on data generated by the object detection apparatus 210 .
  • ADAS data may be referred to as road information data.
  • HD map data includes detailed lane-by-lane topology information of the road, connection information of each lane, and characteristic information for vehicle localization (eg, traffic signs, Lane Marking/attributes, Road furniture, etc.).
  • vehicle localization eg, traffic signs, Lane Marking/attributes, Road furniture, etc.
  • the HD map data may be based on data generated in infrastructure.
  • the dynamic data may include various dynamic information that may be generated on the road.
  • the dynamic data may include construction information, variable speed lane information, road surface condition information, traffic information, moving object information, and the like.
  • the dynamic data may be based on data received from the infrastructure 20 .
  • the dynamic data may be based on data generated by the object detection apparatus 210 .
  • the route providing apparatus 800 may provide map data within a range from the point where the vehicle 100 is located to the horizon.
  • the horizon pass data may be described as a trajectory that the vehicle 100 can take within a range from a point where the vehicle 100 is located to the horizon.
  • the horizon pass data may include data representing a relative probability of selecting any one road at a decision point (eg, a fork, a junction, an intersection, etc.).
  • the relative probability may be calculated based on the time it takes to arrive at the final destination. For example, at the decision point, if the time taken to arrive at the final destination is shorter when selecting the first road than when selecting the second road, the probability of selecting the first road is higher than the probability of selecting the second road. can be calculated higher.
  • the horizon pass data may include a main path and a sub path.
  • the main path may be understood as a track connecting roads with a high relative probability of being selected.
  • the sub-path may diverge at at least one decision point on the main path.
  • the sub-path may be understood as a trajectory connecting at least one road having a low relative probability of being selected from at least one decision point on the main path.
  • eHorizon can be classified into categories such as software, system, and concept (concept).
  • eHorizon is an autonomous driving system and infotainment system by converging real-time events such as high-precision map road shape information and real-time traffic signs, road surface conditions and accidents under a connected environment such as external servers (cloud servers) and V2X (Vehicle to everything) It means the configuration that provides the relevant information to the system.
  • eHorizon can play a role in delivering the precise map road shape and real-time events in front of the vehicle to the autonomous driving system and infotainment system under an external server/V2X environment.
  • the eHorizon data (information) transmitted (generated) from eHorizon can be formed according to the standard called 'ADASIS (Advanced Driver Assistance Systems Interface Specification)' in order to effectively transmit the data to the autonomous driving system and infotainment system. have.
  • 'ADASIS Advanced Driver Assistance Systems Interface Specification
  • the vehicle 100 related to the present invention may use information received (generated) from eHorizon in an autonomous driving system and/or an infotainment system.
  • information provided by eHorizon can be used in terms of safety and ECO.
  • the vehicle 100 of the present invention uses the road shape information and event information received from eHorizon and the surrounding object information sensed through the sensing unit 840 provided in the vehicle, LKA (Lane Keeping Assist) ), an Advanced Driver Assistance System (ADAS) function such as Traffic Jam Assist (TJA), and/or an AutoDrive (AD) function such as overtaking, road merging, and lane change.
  • LKA Li Keeping Assist
  • ADAS Advanced Driver Assistance System
  • TJA Traffic Jam Assist
  • AD AutoDrive
  • the route providing device 800 may receive information on the slope of the road ahead, traffic light information, etc. from the eHorizon and control the vehicle to efficiently output the engine, thereby improving fuel efficiency.
  • Convenience aspects may be included in the infotainment system.
  • the vehicle 100 receives the accident information of the road ahead, the road surface condition information, etc. received from the eHorizon and displays it on the display unit (eg, HUD (Head Up Display), CID, Cluster, etc.) provided in the vehicle. It is possible to provide guide information that allows the driver to drive safely by outputting it.
  • the display unit eg, HUD (Head Up Display), CID, Cluster, etc.
  • eHorizon receives location information of various event information (eg, road surface condition information, construction information, accident information, etc.) and/or speed limit information for each road from the vehicle 100 or other vehicles generated on the road, or It can be collected from the installed infrastructure (eg, measuring device, sensing device, camera, etc.).
  • event information eg, road surface condition information, construction information, accident information, etc.
  • speed limit information for each road from the vehicle 100 or other vehicles generated on the road, or It can be collected from the installed infrastructure (eg, measuring device, sensing device, camera, etc.).
  • event information or speed limit information for each road may be previously linked to map information or updated.
  • the location information of the event information may be divided into units of lanes.
  • the eHorizon system (or EHP) of the present invention is based on a precise map that can determine the road condition (or road information) in units of lanes, and is required for the autonomous driving system and infotainment system with each vehicle. information can be provided.
  • the eHorizon Provider (EHP) of the present invention provides an absolute high-precision MAP using absolute coordinates for road-related information (eg, event information, location information of the vehicle 100, etc.) based on a high-precision map. can do.
  • road-related information eg, event information, location information of the vehicle 100, etc.
  • the road-related information provided by the eHorizon may be provided with information included within a certain area (a certain space) with respect to the present vehicle 100 .
  • An Electronic Horizon Provider may be understood as a component that is included in the eHorizon system and performs a function provided by the eHorizon (or eHorizon system).
  • the path providing apparatus 800 of the present invention may be an EHP.
  • the route providing device 800 (EHP) of the present invention receives a high-precision map from an external server (or cloud server), generates route information to a destination in lane units, and generates high-precision maps and route information in lane units. can be transmitted to a module or application (or program) of the vehicle that requires map information and route information.
  • FIG. 8 the overall structure of the Electronic Horizon system of the present invention is shown in FIG.
  • the route providing device 800 (EHP) of the present invention may include a communication unit 810 (Telecommunication Control Unit, TCU) that receives a high-definition map (HD-map) existing in the cloud server.
  • TCU Telecommunication Control Unit
  • the communication unit 810 may be the communication device 400 described above, and may include at least one of components included in the communication device 400 .
  • the communication unit 810 may include a telematics module or a vehicle to everything (V2X) module.
  • V2X vehicle to everything
  • the communication unit 810 may receive a high-definition map (HD map) conforming to (or conforming to the NDS standard) navigation data standard (NDS) from the cloud server.
  • HD map high-definition map
  • NDS navigation data standard
  • the high-definition map (HD map) is updated by reflecting data sensed through a sensor provided in a vehicle and/or a sensor installed around a road according to a sensor intake interface specification (SENSORIS, SENSOR Ingestion Interface Specification).
  • the communication unit 810 may download the HD-map from the cloud server through the telematics module or the V2X module.
  • the path providing apparatus 800 of the present invention may include an interface unit 820 .
  • the interface unit 820 receives sensing information from one or more sensors provided in the vehicle 100 .
  • the interface unit 820 may be referred to as a sensor data collector.
  • the interface unit 820 communicates with sensors (eg, V.Sensors) provided in the vehicle (eg, heading, throttle, break, wheel, etc.) for sensing operation of the vehicle and information about the vehicle's surroundings.
  • sensors eg, V.Sensors
  • Information sensed through a sensor (S.Sensors) for sensing eg, Camera, Radar, LiDAR, Sonar, etc. is collected (received).
  • the interface unit 820 may transmit information sensed through a sensor provided in the vehicle to the communication unit 810 (or the processor 830) so that the information is reflected on the high-precision map.
  • the communication unit 810 may transmit the information transmitted from the interface unit 820 to the cloud server to update the high-precision map stored in the cloud server.
  • the path providing apparatus 800 of the present invention may include a processor 830 (or an eHorizon module).
  • the processor 830 may control the communication unit 810 and the interface unit 820 .
  • the processor 830 may store the high-precision map received through the communication unit 810 and update the high-precision map using the information received through the interface unit 820 . Such an operation may be performed in the storage unit 832 of the processor 830 .
  • the processor 830 may receive first route information from Audio Video Navigation (AVN) or the navigation system 770 .
  • APN Audio Video Navigation
  • the first route information is conventionally provided route information, and may be information for guiding a travel route to a destination.
  • the conventionally provided first route information provides only one route information and does not distinguish a lane.
  • the processor 830 when receiving the first route information, guides the driving route to the destination set in the first route information in units of lanes using a high-definition map and the first route information. to generate second path information. Such an operation may be performed, for example, by the operation unit 834 of the processor 830 .
  • the eHorizon system may include a localization unit 840 that detects the location of the vehicle using information sensed through sensors (V.Sensors, S.Sensors) provided in the vehicle.
  • V.Sensors V.Sensors, S.Sensors
  • the localization unit 840 may transmit the location information of the vehicle to the processor 830 so that the location of the vehicle identified using a sensor provided in the vehicle is matched with the high-precision map.
  • the processor 830 may match the location of the present vehicle 100 to a high-precision map based on the location information of the vehicle.
  • the processor 830 may generate Electronic Horizon data.
  • the processor 830 may generate Electronic Horizon data.
  • the processor 830 may generate horizon pass data.
  • the processor 830 may generate Electronic Horizon data by reflecting the driving situation of the vehicle 100 .
  • the processor 830 may generate Electronic Horizon data based on driving direction data and driving speed data of the vehicle 100 .
  • the processor 830 may merge the generated Electronic Horizon data with the previously generated Electronic Horizon data. For example, the processor 830 may positionally connect the horizon map data generated at the first time point with the horizon map data generated at the second time point. For example, the processor 830 may positionally connect the horizon pass data generated at the first time point with the horizon pass data generated at the second time point.
  • the processor 830 may include a memory, an HD map processing unit, a dynamic data processing unit, a matching unit, and a path generating unit.
  • the HD map processing unit may receive HD map data from the server through the communication device.
  • the HD map processing unit may store HD map data.
  • the HD map processing unit may process and process HD map data.
  • the dynamic data processing unit may receive dynamic data from the object detection apparatus.
  • the dynamic data processing unit may receive dynamic data from the server.
  • the dynamic data processing unit may store dynamic data.
  • the dynamic data processing unit 172 may process and process dynamic data.
  • the matching unit may receive the HD map from the HD map processing unit 171 .
  • the matching unit may receive dynamic data from the dynamic data processing unit.
  • the matching unit may generate the horizon map data by matching the HD map data and the dynamic data.
  • the matching unit may receive topology data.
  • the matching unit may receive ADAS data.
  • the matching unit may generate the horizon map data by matching the topology data, ADAS data, HD map data, and dynamic data.
  • the path generator may generate horizon path data.
  • the path generator may include a main path generator and a sub-path generator.
  • the main path generator may generate main path data.
  • the sub path generator may generate sub path data.
  • the eHorizon system may include a fusion unit 850 that fuses information (data) sensed through a sensor provided in the vehicle and eHorizon data formed by the eHorizon module (control unit).
  • the fusion unit 850 updates the high-precision map by fusing sensor data sensed by the vehicle with the high-precision map corresponding to the eHozion data, and uses the updated high-precision map with an ADAS function, AD (AutoDrive) function, or ECO function. function can be provided.
  • ADAS function AutoDrive
  • ECO function ECO function
  • the fusion unit 850 may provide the updated high-precision map to the infotainment system.
  • the path providing apparatus 800 (EHP) of the present invention is illustrated as including only the communication unit 810 , the interface unit 820 , and the processor 830 , but is not limited thereto.
  • the path providing apparatus 800 of the present invention may further include at least one of a localization unit 840 and a fusion unit 850 .
  • the route providing apparatus 800 (EHP) of the present invention may further include a navigation system 770 .
  • the included configuration performs The function/operation/control may be understood to be performed by the processor 830 .
  • FIG. 9 is a block diagram for explaining the path providing apparatus of FIG. 8 in more detail.
  • the route providing device refers to a device that provides a route to a vehicle.
  • the path providing device may be a device that is mounted on a vehicle, performs communication through CAN communication, and generates a message for controlling a vehicle and/or an electric device mounted on the vehicle.
  • the route providing device may be located outside the vehicle like a server or a communication device and communicate with the vehicle through a mobile communication network.
  • the path providing apparatus may remotely control the vehicle and/or the electric equipment mounted in the vehicle using a mobile communication network.
  • the path providing device 800 is provided in a vehicle, and may be an independent device that can be attached to or detached from the vehicle, or may be integrally installed in the vehicle and be a part of the vehicle.
  • the path providing apparatus 800 includes a communication unit 810 , an interface unit 820 , and a processor 830 .
  • the communication unit 810 is configured to communicate with various components provided in the vehicle.
  • the communication unit 810 may receive various types of information provided through a controller are network (CAN).
  • CAN network
  • the communication unit 810 includes a first communication unit 812 , and the first communication unit 812 may receive a high-precision map provided through telematics.
  • the first communication unit 812 is configured to perform 'telematics communication'.
  • the telematics communication may perform communication with a server using a satellite navigation system or a base station provided by a mobile communication such as 4G or 5G.
  • the first communication unit 812 may communicate with the telematics communication device 910 .
  • the telematics communication device may include a server provided by a portal provider, a vehicle provider, and/or a mobile communication company.
  • the processor 840 of the route providing device 800 determines the absolute coordinates of road-related information (event information) based on the ADAS MAP received from the external server (eHorizon) through the first communication unit 812 .
  • the processor 830 may perform vehicle control when the present vehicle is autonomously driven by using the absolute coordinates of the road-related information (event information).
  • the communication unit 810 includes a second communication unit 114 , and the second communication unit 814 may receive various types of information provided through Vehicle to Everything (V2X).
  • V2X Vehicle to Everything
  • the second communication unit 814 is configured to perform 'V2X communication'.
  • V2X communication can be defined as a technology for exchanging or sharing information such as traffic conditions while communicating with road infrastructure and other vehicles while driving.
  • the second communication unit 814 may communicate with the V2X communication device 930 .
  • the V2X communication device may include a mobile terminal exhausted by pedestrians or cyclists, a stationary terminal installed on a road, and other vehicles.
  • the other vehicle may mean at least one of a vehicle existing within a predetermined distance with respect to the present vehicle 100 or a vehicle entering within a predetermined distance with respect to the present vehicle 100 .
  • the present invention is not limited thereto, and the other vehicle may include any vehicle capable of communicating with the communication unit 810 .
  • the surrounding vehicle is a vehicle that exists within a predetermined distance from the present vehicle 100 or that enters within the predetermined distance.
  • the predetermined distance may be determined based on a distance communicable through the communication unit 810, determined according to product specifications, or determined/variable based on a user setting or a standard of V2X communication.
  • the second communication unit 814 may be configured to receive LDM data from another vehicle.
  • the LDM data may be a V2X message (BSM, CAM, DENM, etc.) transmitted and received between vehicles through V2X communication.
  • BSM V2X message
  • the LDM data may include location information of other vehicles.
  • the processor 830 determines the relative position between the present vehicle and the other vehicle. can decide
  • the LDM data may include speed information of other vehicles.
  • the processor 830 may determine the relative speed of the other vehicle by using the speed information of the present vehicle and the speed information of the other vehicle.
  • the speed information of the present vehicle is calculated by using the degree to which the location information of the present vehicle received through the communication unit 810 changes with time, or the driving operation device 500 or the power train driving unit 610 of the vehicle 100 . It can be calculated based on information received from
  • the second communication unit 814 may be the V2X communication unit 430 described above.
  • the interface unit 820 communicates with a device located inside the vehicle 100 using wired/wireless communication. is a component that
  • the interface unit 820 may receive information related to driving of the vehicle from most of the electronic components provided in the vehicle. Information transmitted from the electrical equipment provided in the vehicle to the route providing device 800 is referred to as 'vehicle driving information'.
  • the vehicle driving information may be sensing information sensed by the sensor.
  • the vehicle driving information includes vehicle information and surrounding information of the vehicle. Based on the frame of the vehicle, information related to the inside of the vehicle may be defined as vehicle information, and information related to the outside of the vehicle may be defined as surrounding information.
  • the vehicle information means information about the vehicle itself.
  • vehicle information includes vehicle traveling speed, traveling direction, acceleration, angular speed, position (GPS), weight, number of passengers in vehicle, vehicle braking force, vehicle maximum braking force, air pressure of each wheel, and centrifugal force applied to the vehicle.
  • the driving mode of the vehicle whether autonomous driving mode or manual driving
  • the parking mode of the vehicle autonomous parking mode, automatic parking mode, manual parking mode
  • whether a user is in the vehicle and information related to the user, etc. may include
  • the surrounding information means information about other objects located within a predetermined range around the vehicle and information related to the outside of the vehicle. For example, the condition of the road surface (friction force) on which the vehicle is traveling, the weather, the distance to the front (or rear) vehicle, the relative speed of the front (or rear) vehicle, the curvature of the curve when the driving lane is a curve, the vehicle Ambient brightness, information related to an object existing in a reference area (constant area) based on the vehicle, whether an object enters/leaves into the predetermined area, whether a user exists around the vehicle, and information related to the user (e.g., For example, whether the user is an authenticated user), and the like.
  • the condition of the road surface (friction force) on which the vehicle is traveling the weather
  • the distance to the front (or rear) vehicle the relative speed of the front (or rear) vehicle
  • the curvature of the curve when the driving lane is a curve the vehicle Ambient brightness
  • the surrounding information includes ambient brightness, temperature, sun position, object information located in the vicinity (person, other vehicle, sign, etc.), the type of road surface being driven, topographical features, line information, and driving lane (Lane). ) information, and information necessary for autonomous driving/autonomous parking/automatic parking/manual parking modes.
  • the surrounding information includes an object (object) existing in the vicinity of the vehicle and the distance to the vehicle, the possibility of collision, the type of the object, a parking space in which the vehicle can be parked, and an object (eg, a parking line) for identifying a parking space. , string, other vehicles, walls, etc.) may be further included.
  • the vehicle driving information is not limited to the example described above, and may include all information generated from components included in the vehicle.
  • the processor 830 is configured to control one or more electronic components provided in the vehicle using the interface unit 820 .
  • the processor 830 may determine whether at least one of a plurality of preset conditions is satisfied based on the vehicle driving information received through the communication unit 810 . According to a satisfied condition, the processor 830 may control the one or more electronic devices in different ways.
  • the processor 830 may detect that an event has occurred in an electric device and/or an application provided in the vehicle, and determine whether the detected event satisfies a preset condition. In this case, the processor 830 may detect that an event has occurred from information received through the communication unit 810 .
  • the application is a concept including a widget or a home launcher, and means any type of program that can be driven in a vehicle. Accordingly, the application may be a program that performs functions of a web browser, video playback, message transmission and reception, schedule management, and application update.
  • FCW Forward Collision Warning
  • BSD Blind Spot Detection
  • LWD Lane Departure Warning
  • PD Pedestrian Detection
  • Curve Speed Warning It may include at least one of (Curve Speed Warning, CSW) and turn by turn navigation (TBT).
  • event occurrence may occur when there is a missed call, when there is an application to be updated, when a message arrives, start on, start off, autonomous driving on/off, display activation key pressed (LCD awake key), an alarm (alarm), a call connection (Incoming call), may be a missed notification (missed notification) and the like.
  • the event may be a case in which a warning set in an advanced driver assistance system (ADAS) is generated or a function set in the ADAS is performed.
  • ADAS advanced driver assistance system
  • a forward collision warning occurs
  • a blind spot detection occurs
  • a lane departure warning occurs
  • a lane keeping assist warning it may be considered that an event has occurred when an autonomous emergency braking function is performed.
  • the processor 830 controls the interface unit 820 so that information corresponding to the satisfied condition is displayed on one or more displays provided in the vehicle. can do.
  • FIG. 10 is a conceptual diagram for explaining an eHorizon related to the present invention.
  • the route providing apparatus 800 related to the present invention may autonomously drive the vehicle 100 based on eHorizon (electronic horizon).
  • eHorizon can be classified into categories such as software, system, and concept (concept). eHorizon combines road shape information from precise maps with real-time events such as real-time traffic signs, road surface conditions, and accidents under a connected environment such as external servers (cloud) and V2X (Vehicle to everything) to create an autonomous driving system and infotainment system. configuration that provides
  • eHorizon may mean an external server (or cloud, cloud server).
  • eHorizon can play a role in delivering the precise map road shape and real-time events in front of the vehicle to the autonomous driving system and infotainment system under an external server/V2X environment.
  • the data standard and transmission method are 'ADASIS (Advanced Driver Assistance Systems Interface Specification)' according to the standard. can be formed.
  • the route providing apparatus 800 related to the present invention may use information received from eHorizon for an autonomous driving system and/or an infotainment system.
  • an autonomous driving system can be divided into a safety aspect and an ECO aspect.
  • the route providing apparatus 800 of the present invention uses road shape information and event information received from eHorizon and peripheral object information sensed through the sensing unit 840 provided in the vehicle, LKA (Lane) Keeping Assist) and TJA (Traffic Jam Assist) functions such as ADAS (Advanced Driver Assistance System) and/or AD (AutoDrive) functions such as overtaking, road merging, and lane change may be performed.
  • the route providing device 800 may receive from the eHorizon the slope information of the road ahead, the traffic light information, and the like, and control the vehicle to provide efficient engine thrust to improve fuel efficiency.
  • Convenience aspects may be included in the infotainment system.
  • the route providing device 800 receives the accident information of the road ahead, the road surface condition information, etc. received from the eHorizon, and a display unit (eg, HUD (Head Up Display), CID, Cluster, etc.) provided in the vehicle. ) to provide guide information so that the driver can drive safely.
  • a display unit eg, HUD (Head Up Display), CID, Cluster, etc.
  • eHorizon provides location information of various event information generated on the road (eg, road surface condition information 1010a, construction information 1010b, accident information 1010c, etc.) and/or
  • the speed limit information 1010d for each road may be received from the present vehicle 100 or other vehicles 1020a and 1020b, or may be collected from an infrastructure (eg, a measuring device, a sensing device, a camera, etc.) installed on the road.
  • an infrastructure eg, a measuring device, a sensing device, a camera, etc.
  • event information or speed limit information for each road may be previously linked to map information or updated.
  • the location information of the event information may be divided into units of lanes.
  • the eHorizon (external server) of the present invention provides information necessary for an autonomous driving system and an infotainment system for each vehicle, based on a precise map that can determine the road condition (or road information) on a lane-by-lane basis. can provide
  • the eHorizon (external server) of the present invention provides an absolute high-precision MAP using absolute coordinates for road-related information (eg, event information, location information of the vehicle 100, etc.) based on a precise map. can do.
  • road-related information eg, event information, location information of the vehicle 100, etc.
  • the vehicle control apparatus of the present invention may acquire location information of another vehicle through communication with the other vehicle.
  • Communication with other vehicles may be made through V2X (Vehicle to Everything) communication, and data transmitted and received with other vehicles through V2X communication may be data in a format defined by the LDM (Local Dynamic Map) standard.
  • LDM Local Dynamic Map
  • LDM means a conceptual data storage located in a vehicle control device (or ITS station) including information related to the safe and normal operation of an application (or application program) provided in the vehicle (or Intelligent Transport System (ITS)).
  • ITS Intelligent Transport System
  • the LDM may, for example, conform to the EN standard.
  • LDM is different from the above-described ADAS MAP in data format and transmission method.
  • ADAS MAP corresponds to a high-precision MAP having absolute coordinates received from eHorizon (external server), and LDM may mean a high-precision MAP having relative coordinates based on data transmitted and received through V2X communication.
  • LDM data is data that is mutually transmitted and received in V2X communication (Vehicle to everything) (eg, V2V (Vehicle to Vehicle) communication, V2I (Vehicle to Infra) communication, V2P (Vehicle to Pedestrian) communication).
  • V2X communication Vehicle to everything
  • V2V Vehicle to Vehicle
  • V2I Vehicle to Infra
  • V2P Vehicle to Pedestrian
  • the LDM is a concept of a storage for storing data transmitted and received in V2X communication, and the LDM may be formed (stored) in a vehicle control device provided in each vehicle.
  • the LDM data may refer to data transmitted and received between a vehicle and a vehicle (infrastructure, pedestrian) and the like.
  • the LDM data may include, for example, a Basic Safety Message (BSM), a Cooperative Awareness Message (CAM), and a Decentralized Environmental Notification message (DENM).
  • BSM Basic Safety Message
  • CAM Cooperative Awareness Message
  • DENM Decentralized Environmental Notification message
  • the LDM data may be named as a V2X message or an LDM message.
  • the vehicle control apparatus related to the present invention can efficiently manage LDM data (or V2X messages) transmitted and received between vehicles efficiently using LDM.
  • LDM is based on the LDM data received through V2X communication, and all relevant information (e.g., the traffic situation around the place where the vehicle is located (or the road condition for an area within a certain distance from the place where the vehicle is currently located))
  • all relevant information e.g., the traffic situation around the place where the vehicle is located (or the road condition for an area within a certain distance from the place where the vehicle is currently located)
  • the V2X application provided in the path providing device 800 registers with the LDM, and receives a specific message such as all DENMs, including a warning for a broken vehicle. Thereafter, the LDM automatically allocates the received information to the V2X application, and the V2X application may control the vehicle based on the information allocated from the LDM.
  • the vehicle of the present invention can control the vehicle using the LDM formed by the LDM data collected through V2X communication.
  • the LDM related to the present invention may provide road-related information to the vehicle control device.
  • the road-related information provided by the LDM provides only the relative distance and relative speed between other vehicles (or the event point), not map information having absolute coordinates.
  • the vehicle of the present invention can configure autonomous driving using ADAS MAP (absolute coordinate high-precision MAP) according to the ADASIS standard provided by eHorizon, but determines the road conditions in the surrounding area of the present vehicle (own vehicle) can only be used to
  • the vehicle of the present invention can configure autonomous driving using LDM (relative coordinate high-precision MAP) formed by LDM data received through V2X communication, but there is a limitation in that the accuracy is low due to lack of absolute position information. .
  • LDM relative coordinate high-precision MAP
  • the vehicle control device included in the vehicle of the present invention generates a fusion precision map using ADAS MAP received from eHorizon and LDM data received through V2X communication, and controls the vehicle in an optimized way using the fusion precision map. (autonomous driving) is possible.
  • FIG. 11A shows an example of a data format of LDM data (or LDM) mutually transmitted and received between vehicles through V2X communication
  • FIG. 11B shows an example of a data format of an ADAS MAP received from an external server (eHorizon). .
  • the LDM data (or LDM) 1050 may be formed to have four layers.
  • the LDM data 1050 may include a first layer 1052 , a second layer 1054 , a third layer 1056 , and a fourth layer 1058 .
  • the first layer 1052 may include static information among road-related information, for example, map information.
  • the second layer 1054 may include landmark information (eg, specific place information designated by a producer among a plurality of place information included in map information) among road-related information.
  • the landmark information may include location information, name information, and size information.
  • the third layer 1056 may include information related to traffic conditions (eg, traffic light information, construction information, accident information, etc.) among road-related information.
  • the construction information and accident information may include location information.
  • the fourth layer 1058 may include dynamic information (eg, object information, pedestrian information, other vehicle information, etc.) among road-related information. Location information may be included in the object information, pedestrian information, and other vehicle information.
  • the LDM data 1050 may include information sensed through a sensing unit of another vehicle or information sensed through a sensing unit of the present vehicle, and is related to a road that is deformed in real time from the first layer to the fourth layer. information may be included.
  • the ADAS MAP may be formed to have four layers similar to LDM data.
  • the ADAS MAP 1060 may refer to data received from eHorizon and formed to conform to the ADASIS standard.
  • the ADAS MAP 1060 may include a first layer 1062 to a fourth layer 1068 .
  • the first layer 1062 may include topology information.
  • the topology information for example, is information that explicitly defines a spatial relationship, and may mean map information.
  • the second layer 1064 may include landmark information (eg, specific place information designated by a producer among a plurality of place information included in map information) among road-related information.
  • the landmark information may include location information, name information, and size information.
  • the third layer 1066 may include high-precision map information.
  • the high-precision map information may be named HD-MAP, and road-related information (eg, traffic light information, construction information, and accident information) may be recorded on a lane-by-lane basis.
  • the construction information and accident information may include location information.
  • the fourth layer 1068 may include dynamic information (eg, object information, pedestrian information, other vehicle information, etc.). Location information may be included in the object information, pedestrian information, and other vehicle information.
  • dynamic information eg, object information, pedestrian information, other vehicle information, etc.
  • the ADAS MAP 1060 may include information related to roads that are transformed in real time from the first layer to the fourth layer.
  • the processor 830 may make the vehicle 100 autonomously drive.
  • the processor 830 may autonomously drive the vehicle 100 based on vehicle driving information sensed from various electronic components provided in the vehicle 100 and information received through the communication unit 810 . .
  • the processor 830 may control the communication unit 810 to obtain location information of the present vehicle.
  • the processor 830 may obtain location information (location coordinates) of the vehicle 100 viewed through the location information unit 420 of the communication unit 810 .
  • the processor 830 may control the first communication unit 812 of the communication unit 810 to receive map information from an external server.
  • the first communication unit 812 may receive the ADAS MAP from an external server (eHorizon).
  • the map information may be included in the ADAS MAP.
  • the processor 830 may control the second communication unit 814 of the communication unit 810 to receive the location information of the other vehicle from the other vehicle.
  • the second communication unit 814 may receive LDM data from another vehicle.
  • the location information of the other vehicle may be included in the LDM data.
  • the other vehicle means a vehicle that exists within a predetermined distance from the vehicle, and the predetermined distance may be an available communication distance of the communication unit 810 or a distance set by a user.
  • the processor 830 may control the communication unit to receive map information from an external server and location information of another vehicle from another vehicle.
  • the processor 830 fuses the acquired location information of the vehicle and the received location information of the other vehicle with the received map information, and the fused map information and the vehicle sensed through the sensing unit 840 and The vehicle 100 may be controlled based on at least one of related information.
  • the map information received from the external server may mean high-definition map information (HD-MAP) included in the ADAS MAP.
  • the high-precision map information may record road-related information in units of lanes.
  • the processor 830 may fuse the location information of the present vehicle 100 and the location information of another vehicle with the map information on a lane-by-lane basis. In addition, the processor 830 may fuse road-related information received from an external server and road-related information received from another vehicle with the map information on a lane-by-lane basis.
  • the processor 830 may generate an ADAS MAP required for vehicle control by using the ADAS MAP received from the external server and vehicle-related information received through the sensing unit 840 .
  • the processor 830 may apply vehicle-related information sensed within a predetermined range through the sensing unit 840 to map information received from an external server.
  • the predetermined range may be an available distance that can be sensed by an electric device included in the vehicle 100 or a distance set by a user.
  • the processor 830 may control the vehicle by applying the information related to the vehicle sensed within a predetermined range through the sensing unit to the map information, and then additionally fusing the location information of the other vehicle.
  • the processor 830 can use only information within the predetermined range from the vehicle, so that the vehicle can be controlled within a range. can be narrow
  • the location information of the other vehicle received through the V2X module may be received from the other vehicle existing in a space outside the predetermined range. This may be because the available communication distance of the V2X module communicating with another vehicle through the V2X module is greater than a predetermined range of the sensing unit 840 .
  • the processor 830 fuses the location information of the other vehicle included in the LDM data received through the second communication unit 814 with the map information in which the vehicle-related information is sensed, The location information of the vehicle can be acquired, and the vehicle can be controlled more effectively by using it.
  • the sensing unit can sense only position information of a vehicle immediately in front of the present vehicle.
  • the processor 830 may generate a control command for controlling the vehicle so that the current vehicle overtakes and intervenes in front of the vehicle.
  • the present invention can obtain the location information of the other vehicle received through the V2X module.
  • the received location information of the other vehicle may acquire location information of a plurality of other vehicles in front of the vehicle in front as well as the vehicle immediately in front of the present vehicle 100 .
  • the processor 830 may additionally fuse the location information of a plurality of other vehicles obtained through the V2X module with the map information to which the vehicle-related information is applied, and determine that the situation is inappropriate to intervene by overtaking the vehicle in front.
  • the present invention can overcome the conventional technical limitations in which autonomous driving is possible only within a certain range by simply fusion of high-precision map information with vehicle-related information acquired through the sensing unit 840 . That is, the present invention provides not only information related to the vehicle sensed through the sensing unit in the map information, but also information related to other vehicles (speed of other vehicles, other vehicles) received from other vehicles at a greater distance than the predetermined range through the V2X module. position) can be additionally used to perform vehicle control more accurately and stably.
  • Vehicle control described in this specification may include at least one of autonomously driving the vehicle 100 and outputting a warning message related to driving of the vehicle.
  • the processor controls the vehicle using LDM data received through the V2X module, ADAS MAP received from an external server (eHorizon), and vehicle-related information sensed through a sensing unit provided in the vehicle. Let's look at how to do it in more detail.
  • 12A and 12B are exemplary views for explaining a method for a communication device to receive high-definition map data according to an embodiment of the present invention.
  • the server may classify the HD map data in units of tiles and provide them to the path providing apparatus 800 .
  • the processor 830 may receive HD map data in units of tiles from a server or another vehicle through the communication unit 810 .
  • HD map data received in units of tiles is hereinafter referred to as 'HD map tile'.
  • HD map data is partitioned into tiles having a predetermined shape, and each tile corresponds to a different part of the map. When all tiles are connected, full HD map data is obtained. Since the HD map data has a high capacity, the vehicle 100 requires a high capacity memory in order to download and use the entire HD map data. As communication technology develops, it is more efficient to download, use, and delete HD map data in units of tiles, rather than having a high-capacity memory in the vehicle 100 .
  • the predetermined shape is a rectangle
  • it may be modified into various polygonal shapes.
  • the processor 830 may store the downloaded HD map tile in the memory 140 .
  • the processor 830 may delete the stored HD map tile. For example, when the vehicle 100 leaves an area corresponding to the HD map tile, the processor 830 may delete the HD map tile. For example, the processor 830 may delete the HD map tile after a preset time has elapsed after storage.
  • the processor 830 may receive the first HD map tile 1251 including the location 1250 of the vehicle 100 .
  • the server 21 receives the location 1250 data of the vehicle 100 from the vehicle 100 , and displays the first HD map tile 1251 including the location 1250 of the vehicle 100 to the vehicle 100 .
  • the processor 830 may receive the HD map tiles 1252 , 1253 , 1254 , and 1255 around the first HD map tile 1251 .
  • the processor 830 may receive the HD map tiles 1252 , 1253 , 1254 , and 1255 adjacent to each of the top, bottom, left, and right of the first HD map tile 1251 . In this case, the processor 830 may receive a total of five HD map tiles.
  • the processor 830 may further add HD map tiles located in a diagonal direction together with the HD map tiles 1252 , 1253 , 1254 and 1255 adjacent to each of the top, bottom, left, and right of the first HD map tile 1251 . can receive In this case, the processor 830 may receive a total of nine HD map tiles.
  • the processor 830 may receive a tile associated with a path from the location 1250 of the vehicle 100 to the destination.
  • the processor 830 may receive a plurality of tiles to cover the path.
  • the processor 830 may receive all tiles covering the path at once.
  • the processor 830 may divide and receive all tiles while the vehicle 100 moves along the path.
  • the processor 830 may receive at least a portion of all tiles based on the location of the vehicle 100 while the vehicle 100 is moving along the path. Thereafter, the processor 830 may continuously receive the tile while the vehicle 100 is moving and delete the previously received tile.
  • the processor 830 may generate Electronic Horizon data based on the HD map data.
  • the vehicle 100 may be driven in a state in which a final destination is set.
  • the final destination may be set based on a user input received through the user interface device 200 or the communication device 220 . According to an embodiment, the final destination may be set by the driving system 260 .
  • the vehicle 100 may be located within a preset distance from the first point while driving.
  • the processor 830 may generate Electronic Horizon data using the first point as a starting point and the second point as an end point.
  • the first point and the second point may be a point on a path toward the final destination.
  • the first point may be described as a point where the vehicle 100 is located or will be located in the near future.
  • the second point can be described as the aforementioned horizon.
  • the processor 830 may receive an HD map of an area including a section from the first point to the second point. For example, the processor 830 may request and receive an HD map for an area within a predetermined radius from the section from the first point to the second point.
  • the processor 830 may generate electronic horizon data for an area including a section from the first point to the second point based on the HD map.
  • the processor 830 may generate horizon map data for an area including a section from the first point to the second point.
  • the processor 830 may generate horizon pass data for an area including a section from the first point to the second point.
  • the processor 830 may generate main path 313 data for an area including the section from the first point to the second point.
  • the processor 830 may generate a sub-path 314 for an area including the section from the first point to the second point.
  • the processor 830 may generate Electronic Horizon data using the second point as a starting point and the third point as an end point.
  • the second point and the third point may be a point on a path toward the final destination.
  • the second point may be described as a point where the vehicle 100 is located or will be located in the near future.
  • the third point may be described as the aforementioned horizon.
  • Electronic Horizon data having the second point as the starting point and the third point as the ending point may be geographically connected to the Electronic Horizon data having the aforementioned first point as the starting point and the second point as the ending point.
  • the operation of generating Electronic Horizon data with the second point as the starting point and the third point as the end point may be applied mutatis mutandis to the electronic horizon data generating operation with the first point as the starting point and the second point as the ending point. .
  • the vehicle 100 may be driven even in a state where a final destination is not set.
  • FIG. 13 is a flowchart illustrating a path providing method of the path providing apparatus of FIG. 9 .
  • the processor 830 receives a high-precision map from an external server (S1310).
  • the external server is a device capable of communicating through the first communication unit 812 and is an example of the telematics communication device 910 .
  • the high-precision map consists of a plurality of layers.
  • the high-definition map may include at least one of the four layers described above with reference to FIG. 11B as an ADAS MAP.
  • the processor 830 may generate visual field information for autonomous driving that guides a road located in front of the vehicle in units of lanes using the high-precision map (S1330).
  • the processor 830 receives sensing information from one or more sensors provided in the vehicle 100 through the interface unit 820 .
  • the sensing information may be vehicle driving information.
  • the processor 830 may specify any one lane in which the vehicle is located on a road including a plurality of lanes based on an image received from an image sensor among the sensing information. For example, if the vehicle 100 is driving in the first lane of an 8-lane road, the processor 830 sets the first lane based on the image received from the image sensor to the lane in which the vehicle 100 is located. can be specified as
  • the processor 830 may estimate an optimal route for which movement of the vehicle is expected or planned based on a specified lane on a lane-by-lane basis using the map information.
  • the optimal path may be called a Most Preferred Path or a Most Probable Path, and may be abbreviated as MPP.
  • the vehicle 100 may autonomously drive along the optimal path. In the case of manual driving, the vehicle 100 may provide navigation information for guiding the optimal route to the driver.
  • the processor 830 may generate visual field information for autonomous driving in which the sensing information is fused with the optimal path.
  • the visual field information for autonomous driving may be referred to as 'eHorizon'.
  • the processor 830 may generate different visual field information for autonomous driving according to whether a destination is set in the vehicle 100 .
  • the processor 830 may generate visual field information for autonomous driving that guides a driving route to the destination in units of lanes.
  • the processor 830 calculates a Most Preferred Path (MPP) on which the vehicle 100 is most likely to travel and calculates the main route.
  • MPP Most Preferred Path
  • Vision information for autonomous driving that guides (MPP) in lane units can be generated.
  • the autonomous driving visual field information may further include sub-path information on a sub-path branching from the main path MPP and allowing the vehicle 100 to move with a higher probability than a predetermined reference.
  • the autonomous driving visual field information may be formed to provide more precise and detailed route information by providing a driving route to a destination for each lane displayed on the road. This may be path information conforming to the standard of ADASIS v3.
  • the autonomous driving field of view information may be provided by subdividing a route through which the vehicle should travel or drivable in units of lanes.
  • the autonomous driving visual field information may be information for guiding a driving route to a destination in units of lanes.
  • a guide line for guiding a driving lane may be displayed on a map.
  • a graphic object indicating the location of the vehicle 100 may be included on at least one lane in which the vehicle 100 is located among a plurality of lanes included in the map.
  • Dynamic information for guiding a movable object located on the optimal path may be fused with the visual field information for autonomous driving.
  • the dynamic information is received by the processor 830 through the communication unit 810 and/or the interface unit 820 , and the processor 830 may update the optimal path based on the dynamic information. As the optimal path is updated, the autonomous driving field of view information is also updated.
  • the dynamic information may be referred to as dynamic information and may include dynamic data.
  • the processor 830 may provide the autonomous driving visual field information to at least one electronic device provided in the vehicle (S1350). Furthermore, the processor 830 may provide the autonomous driving visual field information to various applications installed in the system of the vehicle 100 .
  • the electrical equipment means any device mounted on the vehicle 100 and capable of communication, and may include the components 120-700 described above with reference to FIG. 7 .
  • the device for detecting an object such as a radar or a lidar 300 , a navigation system 770 , a vehicle driving device 600 , and the like may be included in the electronic device.
  • the electronic device may perform a unique function to be performed on the basis of the autonomous driving visual field information.
  • the autonomous driving field of view information may include a lane unit path and a location of the vehicle 100 , and may include dynamic information including at least one object to be sensed by the electronic device.
  • the electronic device may reallocate resources to sense an object corresponding to the dynamic information, determine whether it matches sensing information sensed by itself, or change a setting value for generating sensing information.
  • the autonomous driving visual field information includes a plurality of layers, and the processor 830 may selectively transmit at least one of the layers according to an electronic device receiving the autonomous driving visual field information.
  • the processor 830 selects at least one of a plurality of layers included in the autonomous driving visual field information by the path providing device based on at least one of a function being executed by the electronic device and a function scheduled to be executed. can In addition, the processor 830 may transmit the selected layer to the electronic device, and the unselected layer may not be transmitted to the electronic device.
  • the processor 830 may receive external information generated by the external device from an external device located within a predetermined range with respect to the vehicle.
  • the predetermined range means a distance at which the second communication unit 914 can perform communication, and may vary according to the performance of the second communication unit 914 .
  • the V2X communication possible range may be defined as the predetermined range.
  • the predetermined range may vary according to the absolute speed of the vehicle 100 and/or the relative speed with the external device.
  • the processor 830 may determine the predetermined range based on the absolute speed of the vehicle 100 and/or the relative speed with the external device, and allow communication with an external device located within the determined predetermined range.
  • an external device capable of communicating through the second communication unit 914 is classified into a first group or a second group. can do. External information received from an external device included in the first group is used to generate dynamic information to be described below, but external information received from an external device included in the second group is not used to generate the dynamic information. Even if external information is received from the external device included in the second group, the processor 830 ignores the external information.
  • the processor 830 may generate dynamic information of an object to be sensed by at least one electronic device included in the vehicle based on the external information, and may match the dynamic information with the autonomous driving visual field information.
  • the dynamic information may correspond to the fourth layer described above with reference to FIGS. 11A and 11B .
  • the path providing apparatus 800 may receive ADAS MAP and/or LDM data.
  • the ADAS MAP is received from the telematics communication device 910 through the first communication unit 812
  • the LDM data is received from the V2X communication device 920 through the second communication unit 814 .
  • the ADAS MAP and the LDM data may be formed of a plurality of layers having the same format.
  • the processor 830 may select at least one layer from the ADAS MAP, select at least one layer from the LDM data, and then generate the autonomous driving view information including the selected layers.
  • one autonomous driving view information may be generated by matching four layers into one.
  • the processor 830 may transmit a rejection message for rejecting the transmission of the fourth layer to the telematics communication device 910 . This is because receiving some information excluding the fourth layer uses less resources of the first communication unit 812 than receiving all information including the fourth layer.
  • complementary information can be utilized.
  • one autonomous driving view information may be generated by matching five layers into one. In this case, priority may be given to the fourth layer of the LDM data.
  • the processor 830 deletes the mismatch information or corrects the mismatch information based on the LDM data.
  • the dynamic information may be object information for guiding a predetermined object. For example, at least one of location coordinates for guiding the position of the predetermined object and information for guiding the shape, size, and type of the predetermined object may be included in the dynamic information.
  • the predetermined object may mean objects that interfere with driving in a corresponding lane among drivable objects on the road.
  • the predetermined object may include a bus stopping at a bus stop, a taxi stopping at a taxi stop, or a truck disembarking a courier service.
  • the predetermined object may include a garbage collection vehicle traveling at a speed below a certain speed, or a large vehicle (eg, a truck or a container truck, etc.) determined to obstruct visibility.
  • a garbage collection vehicle traveling at a speed below a certain speed
  • a large vehicle eg, a truck or a container truck, etc.
  • the predetermined object may include an object notifying an accident, road damage, or construction.
  • the predetermined object may include all types of objects blocking a lane to prevent the vehicle 100 from traveling or to interfere with the vehicle 100 .
  • Traffic signals such as icy roads, pedestrians, other vehicles, construction signs, and traffic lights that the vehicle 100 should avoid may correspond to the predetermined object and may be received by the route providing device 800 as the external information.
  • the processor 830 may determine whether the predetermined object guided by the external information is located within a reference range based on the driving route of the vehicle 100 .
  • Whether the predetermined object is located within the reference range may vary depending on the lane in which the vehicle 100 is traveling and the location of the predetermined object.
  • the reference range is set to 1 m with respect to the vehicle 100 , the sign is located outside the reference range. This is because, if the vehicle 100 continues to drive in the first lane, the third lane is located 1 m outside the vehicle 100 . On the other hand, if the reference range is set to 10 m with respect to the vehicle 100 , the sign is located within the reference range.
  • the processor 830 generates the dynamic information based on the external information when the predetermined object is located within the reference range, but does not generate the dynamic information when the predetermined object is located outside the reference range. can That is, when the predetermined object guided by the external information is located on the driving path of the vehicle 100 or is within a reference range that may affect the driving path of the vehicle 100 , the processor 830 is Only the dynamic information can be generated.
  • the route providing apparatus integrates information received through the first communication unit and information received through the second communication unit into one when generating visual field information for autonomous driving, so that information provided through different communication units It is possible to generate and provide optimal visual field information for autonomous driving that is complementary to each other. This is because the information received through the first communication unit has a limitation in not reflecting the information in real time, but the information received through the second communication unit supplements the real-time property.
  • the processor 830 controls the first communication unit so as not to receive information corresponding thereto, so that the bandwidth of the first communication unit can be used less than before. have. That is, resource use of the first communication unit can be minimized.
  • the processor 830 may control the interface unit 820 to execute a control function related to an image sensor included in the vehicle based on the autonomous driving visual field information (S1370).
  • the image sensor generates an image of the outside of the vehicle 100 .
  • the image is used to search for a target object located outside the vehicle 100 .
  • the target object may be various boundary lines, traffic lights, signs, features, structures, other vehicles, pedestrians, etc. on the road on which the vehicle 100 is traveling.
  • the autonomous driving visual field information may include target object information to be sensed in the image.
  • target object information of a target object or a target object expected to be included with a higher probability than a predetermined probability
  • the visual field information for autonomous driving can be included in
  • the processor 830 and/or the electrical equipment included in the vehicle 100 including the image sensor may search for a target object from the image generated by the image sensor based on the autonomous driving field of view information.
  • a component that searches for a target object from an image is described as an image sensor, but is not limited thereto.
  • the processor 830 may execute various control functions based on the autonomous driving visual field information.
  • the processor 830 may control the interface unit 820 to turn on or off the function execution in the image sensor according to the autonomous driving visual field information.
  • a predetermined function related to the image generated by the image sensor may be selectively executed based on the dynamic information included in the autonomous driving visual field information.
  • the image sensor may execute a search function to search for various objects from the generated image.
  • a load is generated and may act as a major cause of battery consumption.
  • the processor 830 can block unnecessary load by selectively turning on or off the function execution in the image sensor.
  • the processor 830 may search for a target object to be sensed from the autonomous driving visual field information, and may turn off the function execution in the image sensor when there is no searched target object.
  • the processor 830 when the image sensor or the processor 830 detects a target object using the image, when dynamic information satisfying a reference condition is included in the visual field information for autonomous driving, the processor 830 is The interface unit 820 may be controlled to stop the detection of the target object or to change an area for detecting the target object in the image.
  • the processor 830 may vary an area in which the image sensor captures the image, set a partial area of the entire area of the image, or select a plurality of cameras based on the autonomous driving visual field information You can choose at least one.
  • the image sensor uniformly searches for an object satisfying a predetermined condition regardless of vehicle driving information. There was a problem in that resources were wasted as the search function was executed even in unnecessary situations.
  • a structure may be searched for, or an object located at a distance in which object detection through an image is impossible in a bad weather environment may be searched. Furthermore, there may be a case in which many objects of a level that cannot be searched with available resources are located in front of the vehicle 100 .
  • the route providing apparatus 800 may provide the field of view information for autonomous driving so that a customized search for each situation is performed.
  • the image sensor is turned on only in a necessary situation to search for an object or to search for an object using a partial area instead of the entire area of the generated image. Through this, resources used for object search can be minimized.
  • FIG. 14 is a flowchart for explaining a method for a path providing apparatus to execute a predetermined function related to an image generated by an image sensor
  • FIGS. 15A to 15C are exemplary views for explaining the embodiments of FIG. 14 .
  • the processor 830 may search for a target object within a predetermined range to be sensed from the high-precision map (S1410).
  • a high-precision map may include various target objects.
  • the processor 830 selects among the characteristics of the sensors provided in the vehicle 100 , the characteristics of the driving road, the driver's driving habits, the current time, the current weather, the current location, the current speed, and the driving direction of the vehicle 100 . In consideration of at least one of the target objects included in the high-precision map, some target objects to be sensed by the sensor may be searched for.
  • the discovered target object may be included in the autonomous driving visual field information, and the undiscovered target object may not be included in the autonomous driving visual field information.
  • the searched target information may be included in the autonomous driving visual field information as target object information.
  • Target objects included in the high-precision map are filtered by the processor 830, and the filtered target objects include characteristics of sensors provided in the vehicle 100, characteristics of a driving road, driving habits of the driver, current time, It varies according to at least one of the current weather, the current location, the current speed, and the driving direction of the vehicle 100 .
  • the autonomous driving field of view information includes an optimal path on which the vehicle is expected or planned, and the autonomous driving field of view information includes a target to be sensed within a predetermined range based on the location of the vehicle 100 on the optimal path.
  • Object information may be included.
  • a coordinate value thereof may be generated as target object information.
  • the target object is another vehicle capable of moving or a traffic accident that is temporarily generated, it may be generated as dynamic information.
  • the autonomous driving field of view information includes all target object information provided by a high-precision map, and the processor 830 requires a sensor provided in the vehicle 100 to sense the autonomous driving field of view information. Some target objects can be searched. Target object information for guiding some of the discovered target objects may be generated by the processor 830 and shared with one or more electronic devices provided in the vehicle through the interface unit 820 .
  • the processor 830 may control the interface unit 820 to selectively execute a function related to an image generated by the image sensor based on the target object (S1430).
  • the processor 830 may determine a predetermined range in which a target object is to be sensed by using at least one of the high-precision map and the sensing information. In addition, the processor 830 may control the interface unit 820 to turn on or off the function execution in the image sensor according to whether the vehicle 100 is within the predetermined range with the target object.
  • the processor 830 may change the predetermined range based on the autonomous driving visual field information (S1450).
  • the predetermined range may vary according to at least one of a position of the vehicle and sensing information sensed by a sensor provided in the vehicle 100 .
  • At least one of the size and shape of the predetermined range is a characteristic of a sensor provided in the vehicle 100 , a characteristic of a driving road, a driving habit of a driver, a current time, a current weather, a current location, a current speed, and the vehicle 100 . ) may be varied according to at least one of the driving directions.
  • the predetermined range may vary according to weather.
  • the accuracy of the search may vary depending on weather.
  • the processor 830 reduces a predetermined range in a situation in which a target object cannot be searched through an image due to heavy rain, so that only a necessary minimum target object is searched, and in clear weather, a predetermined range is enlarged to maximize the target Objects can be explored.
  • a first predetermined range 1520 is set, but as shown in FIG. 15B , when it is raining, a second predetermined range 1530 may be set.
  • the first predetermined range 1520 is set, but as shown in FIG. 15C , the second optimal path 1510 .
  • a third predetermined range 1540 may be set.
  • the reference distance for determining the predetermined range may vary according to the current weather.
  • the reference distance may be 30 m on a sunny day, but the reference distance may be changed to 10 m on a rainy day.
  • a predetermined function using an image is turned on on a sunny day, but the predetermined function is turned off on a rainy day.
  • FIG. 16 is a flowchart for explaining a method of setting a partial region for an image generated by an image sensor
  • FIGS. 17A, 17B, and 18 are exemplary views for explaining the embodiments of FIG. 16 .
  • the processor 830 may determine one or more partial regions from among the entire regions of the image generated by the image sensor based on the autonomous driving visual field information (S1610).
  • the image sensor generates an image 1700 in real time.
  • At least one of the map information and the autonomous driving visual field information may include a plurality of target objects 1710a-1710e to be searched by an image sensor or the like.
  • the processor 830 may search for a target object to be sensed based on the map information and the autonomous driving visual field information, and determine one or more partial areas from among the entire area of the image based on the searched target object. have.
  • a first area 1710a in which to search for the sign may be determined.
  • the processor 830 may determine the characteristics of the sensors provided in the vehicle 100 , the characteristics of the driving road, the driver's driving habits, the current time, the current weather, the current location, the current speed, and the driving of the vehicle 100 .
  • At least one of the size and shape of the first area 1710a may be changed in real time in consideration of at least one of the directions.
  • the processor 830 may output guide information for guiding the determined partial region through the interface unit (S1630).
  • the guide information may guide at least one of the size and shape of the first area 1710a on the entire area of the image. For example, when the first region 1710a has a rectangular shape, four different vertex coordinates corresponding to each vertex may be included in the guide information.
  • the image generated by the image sensor and the electronic device receiving the guide information may execute a unique function using a partial area of the image, that is, a partial area guided by the guide information, rather than the entire area of the image.
  • the processor 830 may control the interface unit 820 so that one or more sensors provided in the vehicle 100 execute a predetermined function using the partial area instead of the entire area. have. For example, a search function for searching for a target object may be performed only in the partial area. Since the function is executed only for a part of the area rather than the entire area, the resource usage can be reduced.
  • the processor 830 may control the interface unit 820 to generate a new image corresponding to the determined partial region.
  • a new image 1720 corresponding to a partial region of the image 1700 may be generated separately from the image 1700 generated by the image sensor.
  • the processor 830 may control the interface unit 820 so that the image sensor generates an image corresponding to the partial region instead of the entire region.
  • the processor 830 generates a new image corresponding to the partial region using the image generated by the image sensor, and the processor 830 generates the new image with the interface unit 820 . It can be shared with the electrical equipment provided in the vehicle 100 through the.
  • the new image has a lower resolution or a smaller size than the existing image, it is possible to reduce resources required to execute a predetermined function.
  • the processor 830 selects some lanes from among the lanes included in the driving road on which the vehicle 100 is traveling based on the visual field information for autonomous driving, and the partial area includes the selected partial lanes and is not selected.
  • the partial area may be determined not to include the remaining lanes. As some areas are determined in units of lanes, search for unnecessary target objects unrelated to vehicle driving is prevented in advance.
  • 19A and 19B are exemplary views for explaining a method of controlling an image sensor provided in a vehicle based on visual field information for autonomous driving.
  • the processor 830 may control the interface unit 820 to change at least one of an angle of view and a depth of view of the image sensor based on the autonomous driving visual field information.
  • the processor 830 determines a photographing area to be photographed by the image sensor based on the visual field information for autonomous driving, and changes at least one of an angle of view and a depth of view of the image sensor based on the photographing area. can make you lose
  • the processor 830 is configured to, when a road to be merged with respect to a driving road on which the vehicle 100 is traveling is included in the forward path, the image sensor The interface unit 820 may be controlled to sense the merging road. This is because the area in which the target object needs to be searched is highly likely to be located on the road to be merged.
  • the vehicle 100 may select some lanes in consideration of the characteristics of the road on which it is traveling.
  • the first lane 1910 may be selected and the second lane 1920 may not be selected.
  • the processor 830 may change at least one of an angle of view and a depth of view of the image sensor so that the first lane 1910 is photographed based on the vanishing point of the image sensor and the second lane 1920 is not photographed. .
  • 20 is a flowchart illustrating a method of selectively controlling at least one of a plurality of image sensors.
  • the vehicle 100 may be provided with a plurality of image sensors.
  • the processor 830 may select one or more image sensors from among a plurality of image sensors provided in the vehicle based on the forward path (S2010) and execute a control function using the selected image sensor (S2030). ).
  • the processor 830 may control the interface unit 820 such that a selected image sensor is activated and an unselected image sensor is deactivated.
  • the present invention described above can be implemented as computer-readable code (or application or software) on a medium in which a program is recorded.
  • the above-described method for controlling the autonomous vehicle may be realized by a code stored in a memory or the like.
  • the computer-readable medium includes all kinds of recording devices in which data readable by a computer system is stored.
  • Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc.
  • HDD Hard Disk Drive
  • SSD Solid State Disk
  • SDD Silicon Disk Drive
  • ROM Read Only Memory
  • RAM compact disc-read only memory
  • CD-ROM compact disc-read only memory
  • magnetic tape floppy disk
  • optical data storage device etc.
  • carrier wave eg, transmission over the Internet
  • the computer may include a processor or a control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

Abstract

본 발명은 차량에 경로를 제공하는 경로 제공 장치 및 그것의 경로 제공 방법을 제공한다. 상기 경로 제공 장치는 서버로부터 복수의 레이어들로 이루어지는 지도 정보를 수신하는 통신부, 상기 차량에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신하는 인터페이스부, 및 상기 센싱 정보 중 이미지 센서로부터 수신된 이미지에 근거하여 복수의 차선들로 이루어진 도로 상에서 상기 차량이 위치한 어느 하나의 차선을 특정하고, 특정된 차선을 기준으로 상기 차량의 이동이 예상되거나 계획된 최적 경로를 상기 지도 정보를 이용하여 차선 단위로 추정하며, 상기 최적 경로에 상기 센싱 정보가 융합된 자율주행용 시야 정보를 생성해 상기 서버 및 상기 차량에 구비된 전장품 중 적어도 하나로 전송한다.

Description

경로 제공 장치 및 그것의 경로 제공 방법
본 발명은 차량에 경로를 제공하는 경로 제공 장치 및 그것의 경로 제공 방법에 관한 것이다.
차량은 운동 에너지를 이용하여 사람이나 짐을 이동시킬 수 있는 교통 수단을 의미한다. 차량의 대표적인 예로, 자동차 및 오토바이를 들 수 있다.
차량을 이용하는 사용자의 안전 및 편의를 위해, 차량에는 각종 센서와 장치가 구비되고 있으며, 차량의 기능이 다양화 되고 있다.
차량의 기능은 운전자의 편의를 도모하기 위한 편의 기능, 그리고 운전자 및/또는 보행자의 안전을 도모하기 위한 안전 기능으로 나뉠 수 있다.
먼저, 편의 기능은 차량에 인포테인먼트(information + entertainment) 기능을 부여하고, 부분적인 자율 주행 기능을 지원하거나, 야간 시야나 사각 대와 같은 운전자의 시야 확보를 돕는 등의 운전자 편의와 관련된 개발 동기를 가진다. 예를 들어, 적응 순향 제어(active cruise control, ACC), 스마트주자시스템(smart0020parking assist system, SPAS), 나이트비전(night vision, NV), 헤드 업 디스플레이(head up display, HUD), 어라운드 뷰 모니터(around view monitor, AVM), 적응형 상향등 제어(adaptive headlight system, AHS) 기능 등이 있다.
안전 기능은 운전자의 안전 및/또는 보행자의 안전을 확보하는 기술로, 차선 이탈 경고 시스템(lane departure warning system, LDWS), 차선 유지 보조 시스템(lane keeping assist system, LKAS), 자동 긴급 제동(autonomous emergency braking, AEB) 기능 등이 있다.
차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
최근에는 ADAS(Advanced Driving Assist System)에 대한 개발이 활발히 이루어짐에 따라, 차량 운행에 있어서 사용자 편의와 안전을 극대화할 수 있는 기술 개발의 필요성이 대두되고 있다.
이에 대한 일환으로, EU OEM(European Union Original Equipment Manufacturing) 연합은 eHorizon(electronic Horizon) 데이터를 자율주행 시스템 및 인포테인먼트(infortainment) 시스템으로 효과적으로 전달하기 위해, 데이터규격과 전송방식을 ‘ADASIS(ADAS(Advanced Driver Assist System) Interface Specification)’라는 이름의 표준으로 제정하였다.
또한, eHorizon(소프트웨어)은 커넥티드 환경 하에서 자율주행차량의 안전/ECO/편의를 위한 필수요소로 자리잡고 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명의 일 목적은, 자율주행이 가능하게 하는 자율주행용 시야 정보를 제공할 수 있는 경로 제공 장치 및 그것의 경로 제공 방법을 제공하는 것이다.
본 발명의 일 목적은, 자율주행용 시야 정보를 활용해 차량의 자원을 효율적으로 관리하고, 연산량을 감소시킬 수 있는 경로 제공 장치 및 그것의 경로 제공 방법을 제공하는 것이다.
본 발명은 차량에 경로를 제공하는 경로 제공 장치 및 그것의 경로 제공 방법을 제공한다.
상기 경로 제공 장치는 서버로부터 복수의 레이어들로 이루어지는 지도 정보를 수신하는 통신부; 상기 차량에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신하는 인터페이스부; 및 상기 센싱 정보 중 이미지 센서로부터 수신된 이미지에 근거하여 복수의 차선들로 이루어진 도로 상에서 상기 차량이 위치한 어느 하나의 차선을 특정하고, 특정된 차선을 기준으로 상기 차량의 이동이 예상되거나 계획된 최적 경로를 상기 지도 정보를 이용하여 차선 단위로 추정하며, 상기 최적 경로에 상기 센싱 정보가 융합된 자율주행용 시야 정보를 생성해 상기 서버 및 상기 차량에 구비된 전장품 중 적어도 하나로 전송하고, 상기 자율주행용 시야 정보에는 상기 최적 경로 상에 위치한 이동 가능한 물체를 가이드 하는 다이나믹 정보가 융합되며, 상기 다이나믹 정보에 근거하여 상기 최적 경로를 업데이트 하는 프로세서를 포함하며, 상기 프로세서는, 상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서와 관련된 제어 기능이 실행되도록 상기 인터페이스부를 제어한다.
일 실시 예에 따르면, 상기 프로세서는, 상기 자율주행용 시야 정보에 따라 상기 이미지 센서에서의 기능 실행이 온 또는 오프 되도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 자율주행용 시야 정보로부터 센싱해야 하는 타겟 물체를 탐색하고, 탐색된 타겟 물체가 없는 경우 상기 이미지 센서에서의 기능 실행을 오프 시킬 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 차량을 기준으로 소정 범위 내에 위치한 타겟 물체를 상기 자율주행용 시야 정보를 이용하여 탐색하며, 상기 소정 범위는 상기 차량의 위치 및 상기 센싱 정보 중 적어도 하나에 따라 가변될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 이미지 센서가 이미지를 이용하여 물체를 탐지하는 중에 상기 자율주행용 시야 정보에 기준 조건을 만족하는 다이나믹 정보가 포함된 경우, 상기 이미지 센서의 탐지가 중지되거나 상기 이미지 센서가 물체를 탐지하는 영역이 달라지도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 고정밀 지도 및 상기 센싱 정보 중 적어도 하나를 이용하여 타겟 물체를 센싱해야 하는 소정 범위를 결정하고, 상기 차량이 상기 자율주행용 시야 정보로부터 탐색된 타겟 물체와 상기 소정 범위 이내인지 여부에 따라 상기 이미지 센서에서의 기능 실행이 온 또는 오프 되도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 소정 범위는 날씨에 따라 가변될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 이미지 센서가 생성하는 이미지의 전체 영역 중에서 하나 또는 그 이상의 일부 영역들을 상기 자율주행용 시야 정보에 근거하여 결정하고, 결정된 일부 영역을 가이드 하는 가이드 정보를 상기 인터페이스부를 통해 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 자율주행용 시야 정보에 근거하여 상기 차량이 주행 중인 주행 도로에 포함된 차선들 중 일부 차선을 선택하고, 상기 일부 영역이 선택된 일부 차선을 포함하고 선택되지 않은 나머지 차선은 포함하지 않도록 상기 일부 영역을 결정할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 이미지 센서가 상기 전체 영역이 아닌 상기 일부 영역에 대응하는 이미지를 생성하도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 차량에 구비된 하나 또는 그 이상의 센서들이 상기 전체 영역이 아닌 상기 일부 영역을 이용하여 소정 기능을 실행하도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서의 화각 및 심도 중 적어도 하나가 달라지도록 상기 인터페이스를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 차량이 주행 중인 주행 도로에 대하여 합류가 예정된 합류 예정 도로가 상기 전방 경로에 포함된 경우, 상기 이미지 센서가 상기 합류 예정 도로를 센싱 하도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 차량에 구비된 복수의 이미지 센서들 중에서 상기 전방 경로에 근거하여 하나 또는 그 이상의 이미지 센서를 선택하고, 선택된 이미지 센서를 이용하여 상기 제어 기능을 실행할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 선택된 이미지 센서가 활성화되고 선택되지 않은 이미지 센서는 비활성화되도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 이미지 센서가 생성하는 상기 이미지와 관련된 소정 기능이 상기 자율주행용 시야 정보에 포함된 상기 다이나믹 정보에 근거하여 선택적으로 실행되도록 상기 인터페이스부를 제어할 수 있다.
일 실시 예에 따르면, 상기 소정 기능은, 상기 이미지 센서가 상기 이미지를 생성하는 영역을 가변시키는 제1기능, 상기 이미지 센서가 생성한 상기 이미지의 전체 영역 중에서 일부 영역에 대하여 물체를 탐색하는 제2기능, 복수의 이미지 센서들 중에서 적어도 하나를 선택하는 제3기능 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 이미지 센서 또는 상기 프로세서가 상기 이미지를 이용하여 타겟 물체를 탐지하는 중에 상기 자율주행용 시야 정보에 기준 조건을 만족하는 다이나믹 정보가 포함된 경우, 타겟 물체의 탐지가 중지되거나 상기 이미지에서 상기 타겟 물체를 탐지하는 영역이 달라지도록 상기 인터페이스부를 제어할 수 있다.
또한, 본 발명에 따르면, 차량에 경로를 제공하는 경로 제공 장치의 경로 제공 방법이 제공된다. 상기 경로 제공 방법은 서버로부터 복수의 레이어들로 이루어지는 지도 정보를 단계; 상기 차량에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신하는 단계; 상기 센싱 정보 중 이미지 센서로부터 수신된 이미지에 근거하여 복수의 차선들로 이루어진 도로 상에서 상기 차량이 위치한 어느 하나의 차선을 특정하는 단계; 특정된 차선을 기준으로 상기 차량의 이동이 예상되거나 계획된 최적 경로를 상기 지도 정보를 이용하여 차선 단위로 추정하는 단계; 상기 최적 경로에 상기 센싱 정보가 융합된 자율주행용 시야 정보를 생성해 상기 서버 및 상기 차량에 구비된 전장품 중 적어도 하나로 전송하는 단계; 상기 자율주행용 시야 정보에는 상기 최적 경로 상에 위치한 이동 가능한 물체를 가이드 하는 다이나믹 정보가 융합되며, 상기 다이나믹 정보에 근거하여 상기 최적 경로를 업데이트 하는 단계; 및 상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서와 관련된 제어 기능이 실행되도록 인터페이스부를 제어하는 단계를 포함한다.
일 실시 예에 따르면, 상기 이미지 센서가 생성하는 상기 이미지와 관련된 소정 기능이 상기 자율주행용 시야 정보에 포함된 상기 다이나믹 정보에 근거하여 선택적으로 실행되도록 상기 인터페이스부를 제어하는 단계를 더 포함할 수 있다.
본 발명에 따른 경로 제공 장치 및 그것의 경로 제공 방법의 효과에 대해 설명하면 다음과 같다.
본 발명에 따르면, 경로 제공 장치(800)가 상황별 맞춤형 탐색이 이루어지도록 자율주행용 시야 정보를 제공할 수 있다. 이미지 센서는 필요한 상황에서만 온 되어 물체를 탐색하거나, 생성된 이미지의 전체 영역이 아닌 일부 영역을 이용하여 물체를 탐색할 수 있다. 이를 통해, 물체 탐색에 사용되는 리소스가 최소화될 수 있다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 8은 본 발명과 관련된 EHP(Electronic Horizon Provider)을 설명하기 위한 개념도이다.
도 9는 도 8의 경로 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 10은 본 발명과 관련된 eHorizon을 설명하기 위한 개념도이다.
도 11a 및 도 11b는 본 발명과 관련된 LDM(Local Dynamic Map)과 ADAS(Advanced Driver Assistance System) MAP을 설명하기 위한 개념도이다.
도 12a 및 도 12b는 본 발명의 실시 예에 따른 경로 제공 장치가 고정밀 지도 데이터를 수신하는 방법을 설명하기 위한 예시도들이다.
도 13은 경로 제공 장치가 고정밀 지도를 수신받아 자율주행용 시야 정보를 생성하는 방법을 설명하기 위한 흐름도이다.
도 14는 경로 제공 장치가 이미지 센서가 생성하는 이미지와 관련된 소정 기능을 실행하는 방법을 설명하기 위한 흐름도이다.
도 15a 내지 도 15c는 도 14의 실시 예들을 설명하기 위한 예시도들이다.
도 16은 이미지 센서가 생성하는 이미지에 대하여 일부 영역을 설정하는 방법을 설명하기 위한 흐름도이다.
도 17a, 도 17b 및 도 18은 도 16의 실시 예들을 설명하기 위한 예시도들이다.
도 19a 및 도 19b는 자율주행용 시야 정보에 근거하여 차량에 구비된 이미지 센서를 제어하는 방법을 설명하기 위한 예시도이다.
도 20은 복수의 이미지 센서들 중 적어도 하나를 선택적으로 제어하는 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명과 관련된 차량(100)은 경로 제공 장치(800)를 포함할 수 있다.
경로 제공 장치(800)는, 도 7에서 설명한 구성요소들 중 적어도 하나를 제어하는 것이 가능하다. 이러한 관점에서 봤을 때, 상기 경로 제공 장치(800)는 제어부(170)일 수 있다.
이에 한정되지 않고, 경로 제공 장치(800)는, 제어부(170)와 독립된 별도의 구성일 수 있다. 경로 제공 장치(800)가 제어부(170)와 독립된 구성요소로 구현되는 경우, 상기 경로 제공 장치(800)는 차량(100)의 일부분에 구비될 수 있다.
이하에서는, 설명의 편의를 위해 경로 제공 장치(800)를 제어부(170)와 독립된 별도의 구성인 것으로 설명하기로 한다. 본 명세서에서 경로 제공 장치(800)에 대하여 설명하는 기능(동작) 및 제어방법은, 차량의 제어부(170)에 의해 수행될 수 있다. 즉, 경로 제공 장치(800)와 관련하여 설명한 모든 내용은, 제어부(170)에도 동일/유사하게 유추적용될 수 있다.
또한, 본 명세서에서 설명하는 경로 제공 장치(800)는, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들 중 일부분이 포함될 수 있다. 본 명세서에서는, 설명의 편의를 위해, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들을 별도의 명칭과 도면부호를 부여하여 설명하기로 한다.
이하에서는, 첨부된 도면을 참조하여 본 발명과 관련된 차량을 최적화된 방법으로 자율주행시키거나 차량의 주행에 최적화된 경로 정보를 제공하는 방법에 대하여 보다 구체적으로 살펴본다.
도 8은 본 발명과 관련된 EHP(Electronic Horizon Provider)을 설명하기 위한 개념도이다.
도 8을 참조하면, 본 발명과 관련된 경로 제공 장치(800)는, eHorizon(Electronic Horizon) 기반으로 차량(100)을 제어할 수 있다.
경로 제공 장치(800)는, EHP(Electronic Horizon Provider)일 수 있다.
여기서, Electronic Horzion은 ‘ADAS Horizon’, ‘ADASIS Horizon’, ‘Extended Driver Horizon’ 또는 ‘eHorizon’ 등으로 명명될 수 있다.
eHorizon은 고정밀 지도 데이터(HD map data)를 이용하여 차량의 전방 경로(path) 정보를 생성하고, 이를 정해진 규격(프로토콜)(예를 들어, ADASIS에서 정해진 표준 규격)에 맞게 구성하여, 지도 정보(또는 경로 정보)가 필요한 차량의 모듈(예를 들어, ECU, 제어부(170), 내비게이션 시스템(770) 등) 또는 차량에 설치된 애플리케이션(예를 들어, ADAS application, 지도 애플리케이션 등)에 전송하는 역할을 수행하는 소프트웨어, 모듈 또는 시스템으로 이해될 수 있다.
기존에는 내비게이션 지도를 기반으로 차량 전방의 경로(또는 목적지까지의 경로)를 단일 경로로 제공하였으나, eHorizon는 고정밀 지도(HD map)를 기반으로 한 차선단위 경로 정보를 제공할 수 있다.
eHorizon에 의하여 생성된 데이터는 '일렉트로닉 호라이즌 데이터' 또는 '이호라이즌 데이터'로 호칭될 수 있다.
일렉트로닉 호라이즌 데이터는, 주행 시스템에서 차량(100)의 주행 제어 신호를 생성할 때 이용되는 드라이빙 플랜 데이터(driving plan data)로 설명될 수 있다. 예를 들면, 일렉트로닉 호라이즌 데이터는, 차량(100)이 위치한 지점에서부터 호라이즌(horizon)까지 범위 내에서의 드라이빙 플랜 데이터로 이해될 수 있다.
여기서, 호라이즌은, 기 설정된 주행 경로를 기준으로, 차량(100)이 위치한 지점에서 기설정된 거리 앞의 지점으로 이해될 수 있다. 호라이즌은, 기 설정된 주행 경로를 따라 차량(100)이 위치한 지점에서부터 차량(100)이 소정 시간 이후에 도달할 수 있는 지점을 의미할 수 있다. 여기서, 주행 경로는, 최종 목적지까지의 주행 경로를 의미하며, 사용자 입력에 의해 설정될 수 있다.
일렉트로닉 호라이즌 데이터는, 호라이즌 맵 데이터 및 호라이즌 패스 데이터를 포함할 수 있다. 호라이즌 맵 데이터는, 토폴로지 데이터(topology data), ADAS 데이터, HD 맵 데이터 및 다이나믹 데이터(dynamic data) 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 호라이즌 맵 데이터는, 복수의 레이어를 포함할 수 있다. 예를 들면, 호라이즌 맵 데이터는, 토폴로지 데이터에 매칭되는 1 레이어, ADAS 데이터에 매칭되는 제2 레이어, HD 맵 데이터에 매칭되는 제3 레이어 및 다이나믹 데이터에 매칭되는 제4 레이어를 포함할 수 있다. 호라이즌 맵 데이터는, 스태이틱 오브젝트(static object) 데이터를 더 포함할 수 있다.
토폴로지 데이터는, 도로 중심을 연결해 만든 지도로 설명될 수 있다. 토폴로지 데이터는, 차량의 위치를 대략적으로 표시하기에 알맞으며, 주로 운전자를 위한 내비게이션에서 사용하는 데이터의 형태일 수 있다. 토폴로지 데이터는, 차로에 대한 정보가 제외된 도로 정보에 대한 데이터로 이해될 수 있다. 토폴로지 데이터는, V2I를 통해 인프라스트럭처에서 수신된 데이터에 기초하여 생성될 수 있다. 토폴로지 데이터는, 인프라스트럭처에서 생성된 데이터에 기초할 수 있다. 토폴로지 데이터는, 차량(100)에 구비된 적어도 하나의 메모리에 저장된 데이터에 기초할 수 있다.
ADAS 데이터는, 도로의 정보와 관련된 데이터를 의미할 수 있다. ADAS 데이터는, 도로의 경사 데이터, 도로의 곡률 데이터, 도로의 제한 속도 데이터 중 적어도 어느 하나를 포함할 수 있다. ADAS 데이터는, 추월 금지 구간 데이터를 더 포함할 수 있다. ADAS 데이터는, 인프라스트럭처(20)에서 생성된 데이터에 기초할 수 있다. ADAS 데이터는, 오브젝트 검출 장치(210)에서 생성된 데이터에 기초할 수 있다. ADAS 데이터는, 도로 정보 데이터로 명명될 수 있다.
HD 맵 데이터는, 도로의 상세한 차선 단위의 토폴로지 정보, 각 차선의 연결 정보, 차량의 로컬라이제이션(localization)을 위한 특징 정보(예를 들면, 교통 표지판, Lane Marking/속성, Road furniture 등)를 포함할 수 있다. HD 맵 데이터는, 인 인프라스트럭처에서 생성된 데이터에 기초할 수 있다.
다이나믹 데이터는, 도로상에서 발생될 수 있는 다양한 동적 정보를 포함할 수 있다. 예를 들면, 다이나믹 데이터는, 공사 정보, 가변 속도 차로 정보, 노면 상태 정보, 트래픽 정보, 무빙 오브젝트 정보 등을 포함할 수 있다. 다이나믹 데이터는, 인프라스트럭처(20)에서 수신된 데이터에 기초할 수 있다. 다이나믹 데이터는, 오브젝트 검출 장치(210)에서 생성된 데이터에 기초할 수 있다.
경로 제공 장치(800)는, 차량(100)이 위치한 지점에서부터 호라이즌까지 범위 내에서의 맵 데이터를 제공할 수 있다. 호라이즌 패스 데이터는, 차량(100)이 위치한 지점에서부터 호라이즌까지의 범위 내에서 차량(100)이 취할 수 있는 궤도로 설명될 수 있다. 호라이즌 패스 데이터는, 디시전 포인트(decision point)(예를 들면, 갈림길, 분기점, 교차로 등)에서 어느 하나의 도로를 선택할 상대 확률을 나타내는 데이터를 포함할 수 있다. 상대 확률은, 최종 목적지까지 도착하는데 걸리는 시간에 기초하여 계산될 수 있다. 예를 들면, 디시전 포인트에서, 제1 도로를 선택하는 경우 제2 도로를 선택하는 경우보다 최종 목적지에 도착하는데 걸리는 시간이 더 작은 경우, 제1 도로를 선택할 확률은 제2 도로를 선택할 확률보다 더 높게 계산될 수 있다.
호라이즌 패스 데이터는, 메인 패스와 서브 패스를 포함할 수 있다. 메인 패스는, 선택될 상대적 확률이 높은 도로들을 연결한 궤도로 이해될 수 있다. 서브 패스는, 메인 패스 상의 적어도 하나의 디시전 포인트에서 분기될 수 있다. 서브 패스는, 메인 패스 상의 적어도 하나의 디시전 포인트에서 선택될 상대적 확률이 낮은 적어도 어느 하나의 도로를 연결한 궤도로 이해될 수 있다.
eHorizon은 소프트웨어, 시스템, 개념(컨셉) 등의 카테고리로 분류될 수 있다. eHorizon은 외부 서버(클라우드 서버), V2X(Vehicle to everything) 등의 커넥티드(connected) 환경 하에서 고정밀 지도의 도로형상 정보와 실시간 교통표지, 노면상태, 사고 등 실시간 이벤트들을 융합하여 자율주행시스템과 인포테인먼트 시스템으로 해당정보를 제공하는 구성을 의미한다.
즉, eHorizon은 외부서버/V2X 환경 하에서 차량 전방의 정밀지도 도로형상 및 실시간 이벤트를 자율주행시스템 및 인포테인먼트(infortainment) 시스템으로 전달하는 역할을 수행할 수 있다.
eHorizon로부터 전송(생성)되는 eHorizon 데이터(정보)는, 자율주행 시스템 및 인포테인먼트 시스템으로 효과적으로 전달하기 위해, 데이터규격과 전송방식을 ‘ADASIS(Advanced Driver Assistance Systems Interface Specification)’라는 표준에 따라 형성될 수 있다.
본 발명과 관련된 차량(100)은, eHorizon에서 수신(생성)한 정보를 자율주행시스템 및/또는 인포테인먼트 시스템에서 이용할 수 있다.
예를 들어, 자율주행시스템에서는 안전 측면과 ECO 측면에서 eHorizon에서 제공하는 정보를 이용할 수 있다.
안전 측면을 살펴보면, 본 발명의 차량(100)은, eHorizon으로부터 수신한 도로형상 정보, 이벤트 정보와 차량에 구비된 센싱부(840)를 통해 센싱된 주변물체 정보를 이용하여, LKA(Lane Keeping Assist), TJA(Traffic Jam Assist) 등과 같은 ADAS(Advanced Driver Assistance System)기능 및/또는 앞지르기, 도로합류, 차선변경 등의 AD(AutoDrive)기능을 수행할 수 있다.
또한, ECO 측면을 살펴보면, 경로 제공 장치(800)는, eHorizon으로부터 전방 도로의 경사정보, 신호등 정보 등을 수신하여 효율적인 엔진출력을 하도록 차량을 제어하여 연료 효율을 향상시킬 수 있다.
인포테인먼트 시스템에서는 편의성 측면이 포함될 수 있다.
일 예로, 차량(100)은, eHorizon으로부터 수신한 전방도로의 사고정보, 노면상태정보 등을 수신하여 차량에 구비된 디스플레이부(예를 들어, HUD(Head Up Display), CID, Cluster 등)에 출력하여 운전자가 안전운행을 할 수 있도록 하는 가이드 정보를 제공할 수 있다.
eHorizon은 도로에서 발생된 각종 이벤트 정보(예를 들어, 노면상태 정보, 공사정보, 사고정보 등)의 위치정보 및/또는 도로별 제한속도 정보를 본 차량(100) 또는 타차량으로부터 수신하거나, 도로에 설치된 인프라(예를 들어, 측정장치, 센싱장치, 카메라 등)으로부터 수집할 수 있다.
또한, 상기 이벤트 정보나 도로별 제한속도 정보는, 지도정보에 기 연계되어 있거나, 업데이트될 수 있다.
또한, 상기 이벤트 정보의 위치정보는, 차선(Lane) 단위로 구분될 수 있다.
이와 같은 정보들을 이용하여, 본 발명의 eHorizon 시스템(또는 EHP)은, 차선단위로 도로 상황(또는 도로 정보)를 판단할 수 있는 정밀 지도를 기반으로, 각 차량으로 자율주행시스템 및 인포테인먼트 시스템에 필요한 정보들을 제공할 수 있다.
즉, 본 발명의 eHorizon Provider(EHP)는, 고정밀 지도를 바탕으로 도로와 관련된 정보(예를 들어, 이벤트 정보, 본 차량(100)의 위치정보 등)에 대한 절대좌표를 이용한 절대 고정밀MAP을 제공할 수 있다.
이러한 eHorizon에서 제공하는 도로와 관련된 정보는 본 차량(100)을 기준으로 일정영역(일정공간) 이내에 포함하는 정보를 제공받을 수 있다.
EHP(Electronic Horizon Provider)는, eHorizon 시스템에 포함되어, eHorizon(또는 eHorizon 시스템)에서 제공하는 기능을 수행하는 구성요소로 이해될 수 있다.
본 발명의 경로 제공 장치(800)는, 도 8에 도시된 것과 같이, EHP일 수 있다.
본 발명의 경로 제공 장치(800)(EHP)는, 외부 서버(또는 클라우드 서버)로부터 고정밀 지도를 수신하고, 목적지까지의 경로 정보를 차선단위로 생성하여, 고정밀 지도 및 차선단위로 생성된 경로정보를, 지도 정보 및 경로 정보를 필요로 하는 차량의 모듈 또는 애플리케이션(또는 프로그램)에 전송할 수 있다.
도 8을 참조하면, 도 8에는 본 발명의 Electronic Horizon 시스템의 전체적인 구조가 도시되어 있다.
본 발명의 경로 제공 장치(800)(EHP)는 클라우드 서버에 존재하는 고정밀 지도(High Definition map, HD-map)를 수신하는 통신부(810)(Telecommunication Control Unit, TCU)를 포함할 수 있다.
상기 통신부(810)는, 앞서 설명한 통신 장치(400)일 수 있으며, 상기 통신 장치(400)에 포함된 구성요소들 중 적어도 하나를 포함할 수 있다.
상기 통신부(810)는, 텔레매틱스 모듈 또는 V2X(Vehicle to everything) 모듈을 포함할 수 있다.
통신부(810)는, 클라우드 서버로부터 내비게이션 데이터 표준(Navigation Data Standard, NDS)을 따르는(또는 NDS 표준에 부합하는) 고정밀 지도(HD map)을 수신할 수 있다.
또한, 상기 고정밀 지도(HD map)는, 센서 섭취 인터페이스 규격인 센서스(SENSORIS, SENSOR Ingestion Interface Specification)에 따라, 차량에 구비된 센서 및/또는 도로 주변에 설치된 센서를 통해 센싱된 데이터들을 반영하여 업데이트될 수 있다.
통신부(810)는, 텔레매틱스 모듈 또는 V2X모듈을 통해 클라우드 서버에서 HD-map을 다운로드받을 수 있다.
본 발명의 경로 제공 장치(800)는 인터페이스부(820)를 포함할 수 있다. 상기 인터페이스부(820)는 상기 차량(100)에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신한다.
상기 인터페이스부(820)는 센서 데이터 콜렉터(Sensor Data Collector)로 호칭될 수 있다.
상기 인터페이스부(820)는, 차량에 구비되는 센서(예를 들어, 차량의 조작을 감지하는 센서(V.Sensors)(예를 들어, heading, throttle, break, wheel 등)와 차량의 주변 정보를 센싱하기 위한 센서(S.Sensors)(예를 들어, Camera, Radar, LiDAR, Sonar 등))를 통해 센싱된 정보를 수집(수신)한다.
상기 인터페이스부(820)는, 차량에 구비된 센서를 통해 센싱된 정보가 고정밀 지도에 반영되도록 통신부(810)(또는 프로세서(830))로 전송할 수 있다.
상기 통신부(810)는, 상기 인터페이스부(820)로부터 전송된 정보를 클라우드 서버로 전송하여, 클라우드 서버에 저장된 고정밀 지도를 업데이트할 수 있다.
본 발명의 경로 제공 장치(800)는, 프로세서(830)(또는 eHorizon 모듈)을 포함할 수 있다.
상기 프로세서(830)는, 통신부(810) 및 인터페이스부(820)를 제어할 수를 있다.
상기 프로세서(830)는, 통신부(810)를 통해 수신된 고정밀 지도를 저장하고, 인터페이스부(820)를 통해 수신된 정보를 이용하여 고정밀 지도를 업데이트할 수 있다. 이러한 동작은, 프로세서(830)의 저장부(832)에서 수행될 수 있다.
프로세서(830)는, AVN(Audio Video Navigation) 또는 내비게이션 시스템(770) 으로부터 제1 경로 정보를 수신할 수 있다.
상기 제1 경로 정보는, 종래에 제공되는 경로 정보로서, 목적지까지의 주행 경로를 가이드하는 정보일 수 있다.
이 때, 종래에 제공되는 제1 경로 정보는, 하나의 경로 정보만을 제공하며, 차선(Lane)을 구분하지 않는다.
한편, 프로세서(830)는, 상기 제1 경로 정보를 수신하면, 고정밀 지도(HD map)와 상기 제1 경로 정보를 이용하여, 상기 제1 경로 정보에 설정된 목적지까지의 주행 경로를 차선 단위로 가이드하는 제2 경로 정보를 생성할 수 있다. 이러한 동작은, 일 예로, 프로세서(830)의 연산부(834)에서 수행될 수 있다.
또한, eHorizon 시스템은, 차량에 구비된 센서(V.Sensors, S.Sensors)를 통해 센싱된 정보를 이용하여 차량의 위치를 파악하는 로컬라이제이션(Localization)부(840)를 포함할 수 있다.
상기 로컬라이제이션부(840)는, 차량에 구비된 센서를 이용하여 파악된 차량의 위치를 고정밀 지도에 정합하도록, 차량의 위치 정보를 프로세서(830)로 전송할 수 있다.
프로세서(830)는, 차량의 위치 정보에 근거하여, 본 차량(100)의 위치를 고정밀 지도에 정합할 수 있다.
프로세서(830)는, 일렉트로닉 호라이즌 데이터를 생성할 수 있다. 프로세서(830)는, 일렉트로닉 호라이즌 데이터를 생성할 수 있다. 프로세서(830)는, 호라이즌 패스 데이터를 생성할 수 있다.
프로세서(830)는, 차량(100)의 주행 상황을 반영하여 일렉트로닉 호라이즌 데이터를 생성할 수 있다. 예를 들면, 프로세서(830)는, 차량(100)의 주행 방향 데이터 및 주행 속도 데이터에 기초하여, 일렉트로닉 호라이즌 데이터를 생성할 수 있다.
프로세서(830)는, 생성된 일렉트로닉 호라이즌 데이터를 기존에 생성된 일렉트로닉 호라이즌 데이터와 병합할 수 있다. 예를 들면, 프로세서(830)는, 제1 시점에 생성된 호라이즌 맵 데이터를 제2 시점에 생성된 호라이즌 맵 데이터와 위치적으로 연결할 수 있다. 예를 들면, 프로세서(830)는, 제1 시점에 생성된 호라이즌 패스 데이터를 제2 시점에 생성된 호라이즌 패스 데이터와 위치적으로 연결할 수 있다.
프로세서(830)는, 메모리, HD맵 처리부, 다이나믹 데이터 처리부, 매칭부 및 패스 생성부를 포함할 수 있다.
HD 맵 처리부는, 통신 장치를 통해, 서버로부터, HD 맵 데이터를 수신할 수 있다. HD 맵 처리부는, HD 맵 데이터를 저장할 수 있다. 실시예에 따라, HD 맵 처리부는, HD 맵 데이터를 처리, 가공할 수도 있다. 다이나믹 데이터 처리부는, 오브젝트 검출 장치로부터, 다이나믹 데이터를 수신할 수 있다. 다이나믹 데이터 처리부는, 서버로부터, 다이나믹 데이터를 수신할 수 있다. 다이나믹 데이터 처리부는, 다이나믹 데이터를 저장할 수 있다. 실시예에 따라, 다이나믹 데이터 처리부(172)는, 다이나믹 데이터를 처리, 가공할 수 있다.
매칭부는, HD 맵 처리부(171)로부터 HD 맵을 제공받을 수 있다. 매칭부는, 다이나믹 데이터 처리부로부터 다이나믹 데이터를 제공받을 수 있다. 매칭부는, HD 맵 데이터와 다이나믹 데이터를 매칭하여 호라이즌 맵 데이터를 생성할 수 있다.
실시예에 따라, 매칭부는, 토폴로지 데이터를 수신할 수 있다. 매칭부는, ADAS 데이터를 수신할 수 있다. 매칭부는, 토폴로지 데이터, ADAS 데이터, HD 맵 데이터 및 다이나믹 데이터를 매칭하여 호라이즌 맵 데이터를 생성할 수 있다. 패스 생성부는, 호라이즌 패스 데이터를 생성할 수 있다. 패스 생성부는, 메인 패스 생성부 및 서브 패스 생성부를 포함할 수 있다. 메인 패스 생성부는, 메인 패스 데이터를 생성할 수 있다. 서브 패스 생성부는, 서브 패스 데이터를 생성할 수 있다.
또한, eHorizon 시스템은, 차량에 구비된 센서를 통해 센싱된 정보(데이터)와 eHorizon 모듈(제어부)에 의해 형성된 eHorizon data를 융합하는 융합부(850)를 포함할 수 있다.
예를 들어, 상기 융합부(850)는, eHozion data에 해당하는 고정밀 지도에 차량에서 센싱된 센서 데이터를 융합하여 고정밀 지도를 업데이트하고, 업데이트된 고정밀 지도를 ADAS 기능, AD(AutoDrive) 기능 또는 ECO 기능에 제공할 수 있다.
또한, 도시되진 않았지만, 융합부(850)는, 인포데인먼트 시스템에도 상기 업데이트된 고정밀 지도를 제공할 수 있다.
도 8에는, 본 발명의 경로 제공 장치(800)(EHP)가 통신부(810), 인터페이스부(820) 및 프로세서(830)만 포함하는 것으로 도시되어 있으나 이에 한정되지 않는다.
본 발명의 경로 제공 장치(800)는, 로컬라이제이션부(840) 및 융합부(850) 중 적어도 하나를 더 포함할 수 있다.
또한, 본 발명의 경로 제공 장치(800)(EHP)는, 내비게이션 시스템(770)을 더 포함할 수도 있다.
이러한 구성을 통해, 로컬라이제이션부(840), 융합부(850) 및 내비게이션 시스템(770) 중 적어도 하나가 본 발명의 경로 제공 장치(800)(EHP)에 포함되는 경우, 상기 포함된 구성이 수행하는 기능/동작/제어는, 프로세서(830)에 의해 수행되는 것으로 이해될 수 있다.
도 9는 도 8의 경로 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
상기 경로 제공 장치는 차량에 경로를 제공하는 장치를 의미한다.
예를 들어, 상기 경로 제공 장치는 차량에 탑재되어 CAN 통신을 통해 통신을 수행하며 차량 및/또는 차량에 탑재된 전장품을 제어하기 위한 메시지를 생성하는 장치일 수 있다.
다른 예를 들어, 상기 경로 제공 장치는 서버나 통신 장치처럼 상기 차량 밖에 위치하며 이동 통신 네트워크를 통해 상기 차량과 통신을 수행할 수 있다. 이경우, 상기 경로 제공 장치는 이동 통신 네트워크를 이용하여 원격으로 차량 및/또는 차량에 탑재된 전장품을 제어할 수 있다.
상기 경로 제공 장치(800)는 차량에 구비되는 것으로, 차량에 탈부착이 가능한 독립된 장치로 이루어지거나, 차량에 일체형으로 설치되어 차량의 일부 구성 요소일 수 있다.
도 9를 참조하면, 상기 경로 제공 장치(800)는 통신부(810), 인터페이스부(820) 그리고 프로세서(830)를 포함한다.
통신부(810)는, 차량에 구비된 다양한 구성요소들과 통신을 수행하도록 이루어진다.
일 예로, 통신부(810)는 CAN(controller are network)을 통해 제공되는 각종 정보를 수신할 수 있다.
통신부(810)는 제1 통신부(812)를 구비하고, 상기 제1 통신부(812)는 텔레매틱스(Tematics)를 통해 제공되는 고정밀 지도를 수신할 수 있다. 다시 말해, 상기 제1 통신부(812)는 ‘텔레매틱스 통신’을 수행하도록 이루어진다. 텔레매틱스 통신은 위성항법시스템 위성을 이용하거나, 4G, 5G와 같은 이동통신이 제공하는 기지국을 이용해 서버 등과 통신을 수행할 수 있다.
상기 제1 통신부(812)는 텔레매틱스 통신 장치(910)와 통신을 수행할 수 있다. 상기 텔레매틱스 통신 장치는 포털제공업체, 차량제공업체 및/또는 이동통신업체가 제공하는 서버를 포함할 수 있다.
경로 제공 장치(800)의 프로세서(840)는, 상기 제1 통신부(812)을 통해 외부 서버(eHorizon)으로부터 수신되는 ADAS MAP에 근거하여, 도로와 관련된 정보(이벤트 정보)의 절대좌표를 판단할 수 있다. 또한, 프로세서(830)는, 상기 도로와 관련된 정보(이벤트 정보)의 절대좌표를 이용하여, 본 차량을 자율주행하거자 차량제어를 수행할 수 있다.
통신부(810)는 제2 통신부(114)를 구비하고, 상기 제2 통신부(814)는 V2X(Vehicle to everything)을 통해 제공되는 각종 정보를 수신할 수 있다. 다시 말해, 제2 통신부(814)는 ‘V2X 통신’을 수행하도록 이루어진다. V2X 통신은 운전 중 도로 인프라 및 다른 차량과 통신하면서 교통상황 등의 정보를 교환하거나 공유하는 기술로 정의될 수 있다.
상기 제2 통신부(814)는 V2X 통신 장치(930)와 통신을 수행할 수 있다. 상기 V2X 통신 장치는 보행자나 자전거 탑승자가 소진한 이동 단말기, 도로에 설치된 고정 단말기, 타 차량 등을 포함할 수 있다.
여기서, 상기 타 차량은, 본 차량(100)을 기준으로 일정 거리 이내에 존재하는 차량 또는 상기 본 차량(100)을 기준으로 일정 거리 이내로 진입하는 차량 중 적어도 하나를 의미할 수 있다.
이에 한정되지 않고, 상기 타 차량은, 통신부(810)와 통신 가능한 모든 차량을 포함할 수도 있다. 본 명세서에서는, 설명의 편의를 위해, 상기 주변 차량이 본 차량(100)으로부터 일정 거리 이내에 존재하거나 상기 일정 거리 이내로 진입하는 차량인 것을 예로 설명하기로 한다.
상기 일정 거리는, 통신부(810)를 통해 통신 가능한 거리에 근거하여 결정되거나, 제품의 사양에 따라 결정되거나, 사용자의 설정 또는 V2X 통신의 표준에 근거하여 결정/가변될 수 있다.
상기 제2 통신부(814)는 타차량으로부터 LDM 데이터를 수신하도록 형성될 수 있다. LDM 데이터는, V2X 통신을 통해 차량간에 송수신되는 V2X 메시지(BSM, CAM, DENM 등)일 수 있다.
상기 LDM 데이터에는 타차량의 위치정보가 포함될 수 있다.
프로세서(830)는, 본 차량(100)의 위치정보와 상기 제2 통신부(814)을 통해 수신된 LDM 데이터에 포함된 타차량의 위치정보에 근거하여, 본 차량과 타차량 사이의 상대위치를 결정할 수 있다.
또한, 상기 LDM 데이터에는 타차량의 속도정보가 포함될 수 있다. 또한, 프로세서(830)는, 본 차량의 속도정보와 타차량의 속도정보를 이용하여, 타차량의 상대속도를 판단할 수도 있다. 본 차량의 속도정보는, 통신부(810)를 통해 수신되는 본 차량의 위치정보가 시간별로 변화되는 정도를 이용하여 산출되거나, 차량(100)의 운전조작 장치(500) 또는 파워 트레인 구동부(610)에서 수신되는 정보에 근거하여 산출될 수 있다.
상기 제2 통신부(814)은, 앞서 설명한 V2X 통신부(430)일 수 있다.
통신부(810)가 무선 통신을 이용하여 차량(100) 외부에 위치한 장치와 통신을 수행하는 구성요소라면, 인터페이스부(820)는 유무선 통신을 이용하여 차량(100) 내부에 위치한 장치와 통신을 수행하는 구성요소이다.
인터페이스부(820)는 차량에 구비된 대부분의 전장품들로부터 차량의 주행과 관련된 정보를 수신할 수 있다. 상기 차량에 구비된 전장품으로부터 상기 경로 제공 장치(800)로 전송되는 정보를 ‘차량 주행 정보’로 호칭한다.
일 예로, 상기 전장품이 센서인 경우, 상기 차량 주행 정보는 상기 센서가 센싱한 센싱 정보일 수 있다.
차량 주행 정보는 차량 정보 및 차량의 주변 정보를 포함한다. 차량의 프레임을 기준으로 차량 내부와 관련된 정보를 차량 정보, 차량 외부와 관련된 정보를 주변 정보로 정의할 수 있다.
차량 정보는 차량 자체에 관한 정보를 의미한다. 예를 들어, 차량 정보는 차량의 주행속도, 주행방향, 가속도, 각속도, 위치(GPS), 무게, 차량의 탑승인원, 차량의 제동력, 차량의 최대 제동력, 각 바퀴의 공기압, 차량에 가해지는 원심력, 차량의 주행모드(자율주행모드인지 수동주행인지 여부), 차량의 주차모드(자율주차모드, 자동주차모드, 수동주차모드), 차량 내에 사용자가 탑승해있는지 여부 및 상기 사용자와 관련된 정보 등을 포함할 수 있다.
주변 정보는 차량을 중심으로 소정 범위 내에 위치하는 다른 물체에 관한 정보 및 차량 외부와 관련된 정보를 의미한다. 예를 들어, 차량이 주행중인 노면의 상태(마찰력), 날씨, 전방(또는 후방) 차량과의 거리, 전방(또는 후방) 차량의 상대속도, 주행중인 차선이 커브인 경우 커브의 굴곡률, 차량 주변밝기, 차량을 기준으로 기준영역(일정영역) 내에 존재하는 객체와 관련된 정보, 상기 일정영역으로 객체가 진입/이탈하는지 여부, 차량 주변에 사용자가 존재하는지 여부 및 상기 사용자와 관련된 정보(예를 들어, 상기 사용자가 인증된 사용자인지 여부) 등일 수 있다.
또한, 상기 주변 정보는, 주변밝기, 온도, 태양위치, 주변에 위치하는 객체 정보(사람, 타차량, 표지판 등), 주행중인 노면의 종류, 지형지물, 차선(Line) 정보, 주행 차로(Lane) 정보, 자율주행/자율주차/자동주차/수동주차 모드에 필요한 정보를 포함할 수 있다.
또한, 주변 정보는, 차량 주변에 존재하는 객체(오브젝트)와 차량까지의 거리, 충돌 가능성, 상기 객체의 종류, 차량이 주차 가능한 주차공간, 주차공간을 식별하기 위한 객체(예를 들어, 주차선, 노끈, 타차량, 벽 등) 등을 더 포함할 수 있다.
상기 차량 주행 정보는 이상에서 설명한 예에 한정되지 않으며, 상기 차량에 구비된 구성요소로부터 생성된 모든 정보를 포함할 수 있다.
한편, 상기 프로세서(830)는 상기 인터페이스부(820)를 이용하여 상기 차량에 구비된 하나 또는 그 이상의 전장품들을 제어하도록 이루어진다.
구체적으로, 상기 프로세서(830)는 상기 통신부(810)를 통해 수신되는 차량 주행 정보에 근거하여, 기 설정되어 있는 복수의 조건들 중에서 적어도 하나의 조건이 만족되는지를 판단할 수 있다. 만족되는 조건에 따라, 상기 프로세서(830)는 상기 하나 또는 그 이상의 전장품들을 서로 다른 방식으로 제어할 수 있다.
기 설정된 조건과 관련하여, 상기 프로세서(830)는 차량에 구비된 전장품 및/또는 애플리케이션에서 이벤트가 발생한 것을 감지하고, 감지된 이벤트가 기 설정된 조건을 만족하는지를 판단할 수 있다. 이때, 상기 프로세서(830)는 통신부(810)를 통해 수신된 정보로부터 이벤트가 발생한 것을 감지할 수도 있다.
상기 애플리케이션은 위젯(widget)이나 홈 런처 등을 포함한 개념으로서, 차량에서 구동 가능한 모든 형태의 프로그램을 의미한다. 따라서, 상기 애플리케이션은 웹 브라우저, 동영상 재생, 메세지 송수신, 일정 관리, 애플리케이션의 업데이트의 기능을 수행하는 프로그램이 될 수 있다.
나아가, 상기 애플리케이션은 전방 추돌 방지(Forward Collision Warning, FCW), 사각 지대 감지(Blind Spot Detection, BSD), 차선 이탈 경고(Lane Departure Warning, LDW), 보행자 감지(Pedestrian Detection, PD), 커브 속도 경고(Curve Speed Warning, CSW) 및 턴 바이 턴 길안내(turn by turn navigation, TBT) 중 적어도 하나를 포함할 수 있다.
예를 들어, 이벤트 발생은, 부재중 전화가 있는 경우, 업데이트 대상인 애플리케이션이 있는 경우, 메세지가 도착한 경우, 시동 온(start on), 시동 오프(start off), 자율 주행 온/오프, 디스플레이 활성화 키 눌림(LCD awake key), 알람(alarm), 호 연결(Incoming call), 부재중 알림(missed notification) 등이 될 수 있다.
다른 예로서, 이벤트 발생은 ADAS(advanced driver assistance system)에서 설정한 경고 발생, ADAS에서 설정한 기능이 수행되는 경우일 수 있다. 예를 들어, 전방 충돌 경고(forward collision warning)가 발생하는 경우, 후측방 경고(blind spot detection)가 발생하는 경우, 차선 이탈 경보(lane departure warning)가 발생하는 경우, 주행 조향 보조 경보(lane keeping assist warning)가 발생하는 경우, 긴급 제동 기능(autonomous emergency braking)이 수행되는 경우에 이벤트가 발생한 것으로 볼 수 있다.
또 다른 예로서, 전진 기어에서 후진 기어로 변경되는 경우, 소정 값보다 큰 가속이 발생되는 경우, 소정 값보다 큰 감속이 발생되는 경우, 동력장치가 내연기관에서 모터로 변경되는 경우, 또는 모터에서 내연기관으로 변경되는 경우에도 이벤트가 발생한 것으로 볼 수 있다.
이 밖에도, 차량에 구비된 다양한 ECU가 특정 기능을 수행하는 경우에도 이벤트가 발생한 것으로 볼 수 있다.
일 예로, 발생한 이벤트가 기 설정된 조건에 만족되는 경우, 상기 프로세서(830)는 만족되는 조건에 대응하는 정보가 상기 차량에 구비된 하나 또는 그 이상의 디스플레이들에 표시되도록 상기 인터페이스부(820)를 제어할 수 있다.
도 10은 본 발명과 관련된 eHorizon을 설명하기 위한 개념도이다.
도 10을 참조하면, 본 발명과 관련된 경로 제공 장치(800)는, eHorizon(electronic Horizon) 기반으로 차량(100)을 자율주행시킬 수 있다.
eHorizon은 소프트웨어, 시스템, 개념(컨셉) 등의 카테고리로 분류될 수 있다. eHorizon은 외부 서버(클라우드), V2X(Vehicle to everything) 등의 커넥티드 환경 하에서 정밀 지도의 도로형상 정보와 실시간 교통표지, 노면상태, 사고 등 실시간 이벤트들을 융합하여 자율주행시스템과 인포테인먼트 시스템으로 해당정보를 제공하는 구성을 의미한다.
일 예로, eHorizon은 외부 서버(또는 클라우드, 클라우드 서버)를 의미할 수 있다.
즉, eHorizon은 외부서버/V2X 환경 하에서 차량 전방의 정밀지도 도로형상 및 실시간 이벤트를 자율주행시스템 및 인포테인먼트(infortainment) 시스템으로 전달하는 역할을 수행할 수 있다.
eHorizon(즉, 외부 서버)로부터 전송되는 eHorizon 데이터(정보)는, 자율주행 시스템 및 인포테인먼트 시스템으로 효과적으로 전달하기 위해, 데이터규격과 전송방식을 ‘ADASIS(Advanced Driver Assistance Systems Interface Specification)’라는 표준에 따라 형성될 수 있다.
본 발명과 관련된 경로 제공 장치(800)는, eHorizon으로부터 수신된 정보를 자율주행시스템 및/또는 인포테인먼트 시스템에 이용할 수 있다.
예를 들어, 자율주행시스템에서는 안전 측면과 ECO 측면으로 구분될 수 있다.
안전 측면을 살펴보면, 본 발명의 경로 제공 장치(800)는, eHorizon으로부터 수신한 도로형상 정보, 이벤트 정보와 차량에 구비된 센싱부(840)를 통해 센싱된 주변물체 정보를 이용하여, LKA(Lane Keeping Assist), TJA(Traffic Jam Assist) 등과 같은 ADAS(Advanced Driver Assistance System)기능 및/또는 앞지르기, 도로합류, 차선변경 등의 AD(AutoDrive)기능을 수행할 수 있다.
또한, ECO 측면을 살펴보면, 경로 제공 장치(800)는, eHorizon으로부터 전방 도로의 경사정보, 신호등 정보 등을 수신하여 효율적인 엔진추력을 하도록 차량을 제어하여 연료 효율을 향상시킬 수 있다.
인포테인먼트 시스템에서는 편의성 측면이 포함될 수 있다.
일 예로, 경로 제공 장치(800)는, eHorizon으로부터 수신한 전방도로의 사고정보, 노면상태정보 등을 수신하여 차량에 구비된 디스플레이부(예를 들어, HUD(Head Up Display), CID, Cluster 등)에 출력하여 운전자가 안전운행을 할 수 있도록 하는 가이드 정보를 제공할 수 있다.
도 10을 참조하면, eHorizon(외부 서버)은 도로에서 발생된 각종 이벤트 정보(예를 들어, 노면상태 정보(1010a), 공사정보(1010b), 사고정보(1010c) 등)의 위치정보 및/또는 도로별 제한속도 정보(1010d)를 본 차량(100) 또는 타차량(1020a, 1020b)으로부터 수신하거나, 도로에 설치된 인프라(예를 들어, 측정장치, 센싱장치, 카메라 등)으로부터 수집할 수 있다.
또한, 상기 이벤트 정보나 도로별 제한속도 정보는, 지도정보에 기 연계되어 있거나, 업데이드될 수 있다.
또한, 상기 이벤트 정보의 위치정보는, 차선(Lane) 단위로 구분될 수 있다.
이와 같은 정보들을 이용하여, 본 발명의 eHorizon(외부 서버)은, 차선단위로 도로 상황(또는 도로 정보)를 판단할 수 있는 정밀 지도를 기반으로, 각 차량으로 자율주행시스템 및 인포테인먼트 시스템에 필요한 정보들을 제공할 수 있다.
즉, 본 발명의 eHorizon(외부 서버)는, 정밀 지도를 바탕으로 도로와 관련된 정보(예를 들어, 이벤트 정보, 본 차량(100)의 위치정보 등)에 대한 절대좌표를 이용한 절대 고정밀MAP을 제공할 수 있다.
이러한 eHorizon에서 제공하는 도로와 관련된 정보는 본 차량(100)을 기준으로 일정영역(일정공간) 이내에 해당하는 정보만을 제공받을 수 있다.
한편, 본 발명의 차량 제어 장치는, 타차량과의 통신을 통해 타차량의 위치정보를 획득할 수 있다. 타차량과의 통신은 V2X(Vehicle to everything) 통신을 통해 이루어질 수 있으며, V2X 통신을 통해 타차량과 송수신되는 데이터는 LDM(Local Dynamic Map) 표준에서 정의한 형식의 데이터일 수 있다.
LDM은, 차량(또는 ITS(Intelligent Transport System))에 구비된 애플리케이션(또는 응용 프로그램)의 안전하고 정상적인 작동과 관련된 정보를 포함하는 차량 제어 장치(또는 ITS station) 내에 위치한 개념적인 데이터 저장소를 의미할 수 있다. 상기 LDM은 일 예로, EN 표준에 따를 수 있다.
LDM은 앞서 설명한 ADAS MAP과 데이터 형식 및 전송방법에 있어서 차이가 있다. 일 예로, ADAS MAP은 eHorizon(외부 서버)로부터 수신된 절대좌표를 갖는 고정밀 MAP에 해당하며, LDM은 V2X 통신을 통해 송수신된 데이터에 근거하여 상대좌표를 갖는 고정밀 MAP을 의미할 수 있다.
LDM 데이터(또는 LDM 정보)는, V2X 통신(Vehicle to everything)(예를 들어, V2V(Vehicle to Vehicle) 통신, V2I(Vehicle to Infra) 통신, V2P(Vehicle to Pedestrian) 통신)에서 상호 송수신되는 데이터를 의미한다.
LDM은 V2X 통신에서 송수신되는 데이터를 저장하는 저장소의 개념으로, 상기 LDM은 각 차량에 구비된 차량 제어 장치에 형성(저장)될 수 있다.
LDM 데이터는, 일 예로, 차량과 차량(인프라, 보행자) 등과 상호 송수신하는 데이터를 의미할 수 있다. 상기 LDM 데이터는, 일 예로, BSM(Basic Safety Message), CAM(Cooperative Awareness Message), DENM(Decentralized Environmental Notification message) 등을 포함할 수 있다.
상기 LDM 데이터는, 일 예로, V2X 메시지 또는 LDM 메시지로 명명될 수 있다.
본 발명과 관련된 차량 제어 장치는, LDM을 이용하여 효율적으로 차량간 송수신되는 LDM 데이터(또는 V2X 메시지)를 효율적으로 관리할 수 있다.
LDM은 V2X 통신을 통해 수신된 LDM 데이터에 근거하여, 현재 차량이 위치한 장소의 주변의 교통 상황(또는 현재 차량이 위치한 장소로부터 일정거리 이내의 영역에 대한 도로 상황)에 관한 모든 관련 정보(예를 들어, 본 차량(타차량) 위치, 속도, 신호등 상태, 날씨 정보, 노면 상태 등)를 저장 및 타차량으로 배포하고 지속적으로 업데이트할 수 있다.
일 예로, 경로 제공 장치(800)에 구비된 V2X 애플리케이션은 LDM에 등록하고, 고장 차량에 대한 경고를 비롯한 모든 DENM 등의 특정 메시지를 수신한다. 이후, LDM은 수신된 정보를 V2X 애플리케이션에 자동으로 할당하고, V2X 애플리케이션은 LDM으로부터 할당된 정보에 근거하여 차량을 제어할 수 있다.
이와 같이, 본 발명의 차량은 V2X 통신을 통해 수집된 LDM 데이터에 의해 형성된 LDM을 이용하여 차량을 제어할 수 있다.
본 발명과 관련된 LDM은 도로와 관련된 정보를 차량 제어 장치에 제공할 수 있다. LDM에서 제공된 도로와 관련된 정보는 절대좌표를 갖는 지도정보가 아닌, 타차량(또는 발생된 이벤트 지점) 사이의 상대거리 및 상대속도만을 제공한다.
즉, 본 발명의 차량은, eHorizon에서 제공하는 ADASIS의 표준에 따른 ADAS MAP(절대좌표 고정밀 MAP)을 이용하여 자율주행을 구성할 수 있으나, 본 차량(자기 차량)의 주변영역의 도로 상황을 판단하는 데에만 이용할 수 있다.
또한, 본 발명의 차량은, V2X 통신을 통해 수신된 LDM 데이터에 의해 형성된 LDM(상대좌표 고정밀 MAP)을 이용하여 자율주행을 구성할 수 있으나, 절대위치 정보가 부족하여 정확도가 떨어진다는 한계가 있다.
본 발명의 차량에 포함된 차량 제어 장치는, eHorizon에서 수신된 ADAS MAP과 V2X 통신을 통해 수신된 LDM 데이터를 이용하여 융합정밀지도를 생성하고, 융합정밀지도를 이용하여 차량을 최적화된 방법으로 제어(자율주행)할 수 있다.
도 11a에는 V2X 통신을 통해 차량간 상호 송수신되는 LDM 데이터(또는 LDM)의 데이터형식의 일 예가 도시되어 있고, 도 11b에는 외부 서버(eHorizon)으로부터 수신되는 ADAS MAP의 데이터 형식의 일 예가 도시되어 있다.
우선, 도 11a를 살펴보면, LDM 데이터(또는 LDM)(1050)는 4개의 레이어를 갖도록 형성될 수 있다.
LDM 데이터(1050)에는 제1 레이어(1052), 제2 레이어(1054), 제3 레이어(1056) 및 제4 레이어(1058)가 포함될 수 있다.
제1 레이어(1052)에는, 도로와 관련된 정보 중 static한 정보, 예를 들어, 지도 정보가 포함될 수 있다.
제2 레이어(1054)에는, 도로와 관련된 정보 중 랜드 마크 정보(예를 들어, 지도정보에 포함된 복수의 장소 정보 중 제작자에 의해 지정된 특정 장소정보)가 포함될 수 있다. 상기 랜드마크 정보에는 위치정보, 명칭정보 및 크기정보 등이 포함될 수 있다.
제3 레이어(1056)에는 도로와 관련된 정보 중 교통상황과 관련된 정보(예를 들어, 신호등 정보, 공사정보, 사고정보 등)가 포함될 수 있다. 상기 공사정보 및 사고정보 등에는 위치정보가 포함될 수 있다.
제4 레이어(1058)에는 도로와 관련된 정보 중 다이나믹한 정보(예를 들어, 객체 정보, 보행자 정보, 타차량 정보 등)가 포함될 수 있다. 상기 객체 정보, 보행저 정보 및 타차량 정보 등에는 위치정보가 포함될 수 있다.
즉, 상기 LDM 데이터(1050)는, 타차량의 센싱부를 통해 센싱된 정보 또는 본 차량의 센싱부를 통해 센싱된 정보가 포함될 수 있으며, 제1 레이어에서 제4 레이어로 갈수록 실시간으로 변형되는 도로와 관련된 정보가 포함될 수 있다.
도 11b를 살펴보면, ADAS MAP은 LDM 데이터와 유사하게 4개의 레이어를 갖도록 형성될 수 있다.
상기 ADAS MAP(1060)은 eHorizon으로부터 수신되며 ADASIS규격에 맞도록 형성된 데이터를 의미할 수 있다.
ADAS MAP(1060)에는, 제1 레이어(1062) 내지 제4 레이어(1068)를 포함할 수 있다.
제1 레이어(1062)에는 토폴로지(topology) 정보가 포함되어 있을 수 있다. 상기 토폴로지 정보는, 일 예로, 공간 관계를 명시적으로 정의한 정보로서, 지도정보를 의미할 수 있다.
제2 레이어(1064)에는 도로와 관련된 정보 중 랜드 마크 정보(예를 들어, 지도정보에 포함된 복수의 장소 정보 중 제작자에 의해 지정된 특정 장소정보)가 포함될 수 있다. 상기 랜드마크 정보에는 위치정보, 명칭정보 및 크기정보 등이 포함될 수 있다.
제3 레이어(1066)에는 고정밀 지도정보가 포함될 수 있다. 상기 고정밀 지도정보는 HD-MAP으로 명명될 수 있으며, 차선단위로 도로와 관련된 정보(예를 들어, 신호등 정보, 공사정보, 사고정보)가 기록될 수 있다. 상기 공사정보 및 사고정보 등에는 위치정보가 포함될 수 있다.
제4 레이어(1068)에는 다이나믹한 정보(예를 들어, 객체 정보, 보행자 정보, 타차량 정보 등)가 포함될 수 있다. 상기 객체 정보, 보행저 정보 및 타차량 정보 등에는 위치정보가 포함될 수 있다.
즉, ADAS MAP(1060)은, LDM 데이터(1050)와 같이, 제1 레이어에서 제4 레이어로 갈수록 실시간으로 변형되는 도로와 관련된 정보가 포함될 수 있다
상기 프로세서(830)는, 본 차량(100)을 자율주행 시킬 수 있다.
예를 들어, 프로세서(830)는 본 차량(100)에 구비된 각종 전장품에서 센싱된 차량 주행 정보 및 통신부(810)를 통해 수신된 정보에 근거하여, 본 차량(100)을 자율주행 시킬 수 있다.
구체적으로, 프로세서(830)는, 본 차량의 위치정보를 획득하도록 통신부(810)를 제어할 수 있다. 예를 들어, 프로세서(830)는, 통신부(810)의 위치 정보부(420)를 통해 본 차량(100)의 위치 정보(위치 좌표)를 획득할 수 있다.
또한, 프로세서(830)는, 외부 서버로부터 지도 정보를 수신하도록 통신부(810)의 제1 통신부(812)을 제어할 수 있다. 여기서, 제1 통신부(812)는 외부 서버(eHorizon)으로부터 ADAS MAP을 수신할 수 있다. 상기 지도 정보는 상기 ADAS MAP에 포함될 수 있다.
또한, 프로세서(830)는, 타차량으로부터 상기 타차량의 위치정보를 수신하도록 통신부(810)의 제2 통신부(814)을 제어할 수 있다. 여기서, 제2 통신부(814)은 타차량으로부터 LDM 데이터를 수신할 수 있다. 상기 타차량의 위치정보는, 상기 LDM 데이터에 포함될 수 있다.
상기 타차량은, 차량으로부터 일정거리 이내에 존재하는 차량을 의미하며, 상기 일정거리는 통신부(810)의 통신 가용거리일 수도 있고, 사용자에 의해 설정된 거리일 수도 있다.
프로세서(830)는, 외부 서버로부터 지도정보와 타차량으로부터 타차량의 위치정보를 수신하도록 통신부를 제어할 수 있다.
또한, 프로세서(830)는, 획득된 차량의 위치정보와 상기 수신된 타차량의 위치정보를 상기 수신된 지도 정보에 융합시키고, 상기 융합된 지도 정보 및 센싱부(840)를 통해 센싱된 차량과 관련된 정보 중 적어도 하나에 근거하여 차량(100)을 제어할 수 있다.
여기서, 상기 외부 서버로부터 수신된 지도정보는, ADAS MAP에 포함된 고정밀 지도정보(HD-MAP)을 의미할 수 있다. 고정밀 지도정보는 차선단위로 도로와 관련된 정보가 기록될 수 있다.
프로세서(830)는, 본 차량(100)의 위치 정보와 타차량의 위치정보를 상기 지도정보에 차선 단위로 융합할 수 있다. 또한, 프로세서(830)는, 외부 서버로부터 수신되는 도로와 관련된 정보 및 타차량으로부터 수신되는 도로와 관련된 정보를 상기 지도정보에 차선단위로 융합시킬 수 있다.
프로세서(830)는, 외부 서버로부터 수신되는 ADAS MAP과 센싱부(840)를 통해 수신되는 차량과 관련된 정보를 이용하여, 차량의 제어에 필요한 ADAS MAP을 생성할 수 있다.
구체적으로, 프로세서(830)는, 외부 서버로부터 수신된 지도 정보에 센싱부(840)를 통해 일정 범위 내에서 센싱된 차량과 관련된 정보를 적용할 수 있다.
여기서, 상기 일정 범위는, 본 차량(100)에 구비된 전장품이 센싱할 수 있는 가용거리일 수도 있고, 사용자에 의해 설정된 거리일 수도 있다.
프로세서(830)는, 상기 지도 정보에 상기 센싱부를 통해 일정 범위 내에서 센싱된 차량과 관련된 정보를 적용한 후 타차량의 위치정보를 추가적으로 융합하여 상기 차량을 제어할 수 있다.
즉, 지도 정보에 센싱부를 통해 일정 범위 내에서 센싱된 차량과 관련된 정보를 적용한 경우, 프로세서(830)는, 차량으로부터 상기 일정 범위 내에서의 정보만을 이용할 수 있으므로, 차량을 제어할 수 있는 범위가 지협적일 수 있다.
그러나, 상기 V2X 모듈을 통해 수신된 타차량의 위치정보는 상기 일정 범위를 벗어난 공간에 존재하는 타차량으로부터 수신될 수 있다. 이는, V2X 모듈을 통해 타차량과 통신하는 V2X 모듈의 통신 가용거리가 상기 센싱부(840)의 일정범위보다 멀기 때문일 수 있다.
이에, 프로세서(830)는, 상기 차량과 관련된 정보가 센싱된 지도 정보에 제2 통신부(814)을 통해 수신된 LDM 데이터에 포함된 타차량의 위치정보를 융합하여, 보다 넓은 범위에 존재하는 타차량의 위치정보를 획득할 수 있고, 이를 이용하여 차량을 보다 효과적으로 제어할 수 있다.
예를 들어, 본 차량이 존재하는 차선에 전방으로 복수의 타차량이 밀집되어 있다고 가정하고, 센싱부는, 본 차량의 바로 앞차량의 위치정보만을 센싱할 수 있다고 가정한다.
이 경우, 지도 정보에 일정 범위 내에서 센싱된 차량과 관련된 정보만을 이용하는 경우, 프로세서(830)는, 본 차량이 앞 차량을 추월하여 끼어들도록 차량을 제어하는 제어명령을 생성할 수 있다.
그러나, 실제로는 전방으로 복수의 타차량이 밀집되어 있어 추월하여 끼어들기가 용이하지 않은 상황일 수 있다.
이 때, 본 발명은 V2X 모듈을 통해 수신된 타차량의 위치정보를 획득할 수 있다. 이 때, 상기 수신된 타차량의 위치정보는, 본 차량(100)의 바로 앞차량뿐만 아니라 상기 앞차량의 앞에 있는 복수의 타차량의 위치정보를 획득할 수 있다.
프로세서(830)는, 상기 V2X 모듈을 통해 획득된 복수의 타차량의 위치정보를 차량과 관련된 정보가 적용된 지도정보에 추가적으로 융합하여, 앞 차량을 추월하여 끼어들기 부적절한 상황인 것을 판단할 수 있다.
이러한 구성을 통해, 본 발명은 단순히 고정밀 지도정보에 센싱부(840)를 통해 획득된 차량과 관련된 정보만을 융합하여 일정범위 내에서만 자율주행이 가능했던 종래의 기술적 한계를 극복할 수 있다. 즉, 본원발명은 지도정보에 센싱부를 통해 센싱된 차량과 관련된 정보뿐만 아니라 V2X 모듈을 통해 상기 일정범위보다 더 먼 거리에 있는 타차량으로부터 수신된 타차량과 관련된 정보(타차량의 속도, 타차량의 위치)를 추가적으로 이용함으로써 보다 정확하고 안정적으로 차량 제어를 수행할 수 있다.
본 명세서에서 설명하는 차량 제어는, 차량(100)을 자율주행 시키는 것 및 차량의 주행과 관련된 경고 메시지를 출력하는 것 중 적어도 하나를 포함할 수 있다.
이하에서는 첨부된 도면을 참조하여, 프로세서가 V2X모듈을 통해 수신된 LDM 데이터와 외부 서버(eHorizon)으로부터 수신된 ADAS MAP 및 차량에 구비된 센싱부를 통해 센싱된 차량과 관련된 정보를 이용하여 차량을 제어하는 방법에 대하여 보다 구체적으로 살펴본다.
도 12a 및 도 12b는 본 발명의 실시 예에 따른 통신 장치가 고정밀 지도 데이터를 수신하는 방법을 설명하기 위한 예시도들이다.
서버는, HD 맵 데이터를 타일(tile) 단위로 구분하여 경로 제공 장치(800)에 제공할 수 있다. 상기 프로세서(830)는, 상기 통신부(810)를 통해 서버나 타 차량으로부터 HD 맵 데이터를 타일 단위로 수신할 수 있다. 타일 단위로 수신되는 HD 맵 데이터를 이하에서는 'HD 맵 타일'로 호칭한다.
HD 맵 데이터는 소정 형태를 가지는 타일들로 구획되며, 각 타일은 지도의 서로 다른 일부분에 해당한다. 모든 타일들을 연결하면 전체 HD 맵 데이터가 획득된다. HD 맵 데이터는 고용량이므로, 전체 HD 맵 데이터를 다운로드 받아 이용하기 위해서는, 차량(100)에 고용량의 메모리가 요구된다. 통신 기술이 발달되면서, 차량(100)에 고용량의 메모리가 구비되기 보다는, HD 맵 데이터를 타일 단위로 다운로드하여 이용하고 삭제하는 것이 보다 효율적이다.
본 발명에서 설명의 편의를 위하여 상기 소정 형태가 사각형인 경우를 예로들어 설명하나, 다양한 다각형 형태로 변형될 수 있다.
프로세서(830)는, 다운로드된 HD 맵 타일을 메모리(140)에 저장할 수 있다. 프로세서(830)는, 저장된 HD 맵 타일을 삭제할 수 있다. 예를 들면, 프로세서(830)는, 차량(100)이 HD 맵 타일에 대응되는 구역을 벗어나는 경우, HD 맵 타일을 삭제할 수 있다. 예를 들면, 프로세서(830)는, 저장 후, 기 설정된 시간 경과 후, HD 맵 타일을 삭제할 수 있다.
도 12a에 도시된 바와 같이, 기 설정된 목적지가 없는 경우, 프로세서(830)는, 차량(100)의 위치(1250)가 포함된 제1 HD 맵 타일(1251)을 수신할 수 있다. 서버(21)는, 차량(100)으로부터 차량(100)의 위치(1250) 데이터를 수신하고, 차량(100)의 위치(1250)가 포함된 제1 HD 맵 타일(1251)을 차량(100)에 제공할 수 있다. 또한, 프로세서(830)는, 제1 HD 맵 타일(1251) 주변의 HD 맵 타일(1252, 1253, 1254, 1255)을 수신할 수 있다. 예를 들면, 프로세서(830)는, 제1 HD 맵 타일(1251)의 상하좌우 각각에 이웃하는 HD 맵 타일(1252, 1253, 1254, 1255)을 수신할 수 있다. 이경우, 프로세서(830)는, 총 5개의 HD 맵 타일을 수신할 수 있다. 예를 들면, 프로세서(830)는, 제1 HD 맵 타일(1251)의 상하좌우 각각에 이웃하는 HD 맵 타일(1252, 1253, 1254, 1255)과 함께, 대각선 방향에 위치하는 HD 맵 타일을 더 수신할 수 있다. 이경우, 프로세서(830)는 총 9개의 HD 맵 타일을 수신할 수 있다.
도 12b에 도시된 바와 같이, 기 설정된 목적지가 있는 경우, 프로세서(830)는, 차량(100)의 위치(1250)에서 목적지까지의 경로와 연관된 타일을 수신할 수 있다. 프로세서(830)는, 경로를 커버할 수 있도록 복수의 타일을 수신할 수 있다.
프로세서(830)는, 경로를 커버하는 전체의 타일을 한번에 수신할 수 있다.
또는, 프로세서(830)는, 경로를 따라 차량(100)이 이동하는 중에, 전체의 타일을 나누어 수신할 수 있다. 프로세서(830)는, 경로를 따라 차량(100)이 이동하는 중에, 차량(100)의 위치를 기준으로, 전체의 타일 중 적어도 일부만 수신할 수 있다. 이후에, 프로세서(830)는, 차량(100) 이동 중에 지속적으로 타일을 수신하고, 기 수신된 타일을 삭제할 수 있다.
프로세서(830)는, HD 맵 데이터에 기초하여, 일렉트로닉 호라이즌 데이터를 생성할 수 있다.
차량(100)은, 최종 목적지가 설정된 상태에서 주행될 수 있다. 최종 목적지는, 사용자 인터페이스 장치(200) 또는 통신 장치(220)를 통해 수신된 사용자 입력에 기초하여 설정될 수 있다. 실시예에 따라, 최종 목적지는 주행 시스템(260)에 의해 설정될 수도 있다.
최종 목적지가 설정된 상태에서, 차량(100)이 주행 중 제1 지점으로부터 기 설정 거리 이내에 위치할 수 있다. 차량(100)이 제1 지점으로부터 기 설정 거리 이내에에 위치하는 경우, 프로세서(830)는, 제1 지점을 시작지점으로 하고 제2 지점을 끝지점으로 하는 일렉트로닉 호라이즌 데이터를 생성할 수 있다. 제1 지점 및 제2 지점은, 최종 목적지를 향하는 경로 상의 일 지점일 수 있다. 제1 지점은, 차량(100)이 위치하거나 가까운 미래에 위치할 지점으로 설명될 수 있다. 제2 지점은 상술한 호라이즌으로 설명될 수 있다.
프로세서(830)는, 제1 지점에서 제2 지점까지의 구간을 포함하는 영역의 HD 맵을 수신할 수 있다. 예를 들면, 프로세서(830)는, 제1 지점에서 제2 지점까지의 구간으로부터 반경 소정 거리 이내의 영역에 대한 HD 맵을 요청하여 수신할 수 있다.
프로세서(830)는, HD 맵에 기초하여, 제1 지점에서 제2 지점까지의 구간을 포함하는 영역에 대한 일렉트로닉 호라이즌 데이터를 생성할 수 있다. 프로세서(830)는, 제1 지점에서 제2 지점까지의 구간을 포함하는 영역에 대한, 호라이즌 맵 데이터를 생성할 수 있다. 프로세서(830)는, 제1 지점에서 제2 지점까지의 구간을 포함하는 영역에 대한, 호라이즌 패스 데이터를 생성할 수 있다. 프로세서(830)는, 제1 지점에서 제2 지점까지의 구간을 포함하는 영역에 대한, 메인 패스(313) 데이터를 생성할 수 있다. 프로세서(830)는, 제1 지점에서 제2 지점까지의 구간을 포함하는 영역에 대한, 서브 패스(314)를 생성할 수 있다.
차량(100)이 제2 지점으로부터 기 설정 거리 이내에 위치하는 경우, 프로세서(830)는, 제2 지점을 시작지점으로 하고 제3 지점을 끝지점으로 하는 일렉트로닉 호라이즌 데이터를 생성할 수 있다. 제2 지점 및 제3 지점은, 최종 목적지를 향하는 경로 상의 일 지점일 수 있다. 제2 지점은, 차량(100)이 위치하거나 가까운 미래에 위치할 지점으로 설명될 수 있다. 제3 지점은, 상술한 호라이즌으로 설명될 수 있다. 한편, 제2 지점을 시작지점으로 하고 제3 지점을 끝지점으로 하는 일렉트로닉 호라이즌 데이터는 상술한 제1 지점을 시작지점으로 하고 제2 지점을 끝지점으로 하는 일렉트로닉 호라이즌 데이터와 지리적으로 연결될 수 있다.
제2 지점을 시작지점으로 하고 제3 지점을 끝지점으로 하는 일렉트로닉 호라이즌 데이터 생성 동작은, 제1 지점을 시작지점으로 하고 제2 지점을 끝지점으로 하는 일렉트로닉 호라이즌 데이터를 생성동작이 준용될 수 있다.
실시예에 따라, 차량(100)은, 최종 목적지가 설정되지 않은 상태에서도 주행될 있다.
도 13은 도 9의 경로 제공 장치의 경로 제공 방법을 설명하는 흐름도이다.
상기 프로세서(830)는 외부 서버로부터 고정밀 지도를 수신한다(S1310).
상기 외부 서버는 상기 제1 통신부(812)를 통해 통신 할 수 있는 장치로써 상기 텔레매틱스 통신 장치(910)의 일 예이다. 상기 고정밀 지도는 복수의 레이어들로 이루어진다. 그리고, 상기 고정밀 지도는 ADAS MAP으로 도 11b를 참조하여 상술한 4개의 레이어들 중 적어도 하나를 포함할 수 있다.
상기 프로세서(830)는 상기 고정밀 지도를 이용해 상기 차량의 전방에 위치한 도로를 차선 단위로 가이드 하는 자율주행용 시야 정보를 생성할 수 있다(S1330).
상기 프로세서(830)는 상기 인터페이스부(820)를 통해 상기 차량(100)에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신한다. 상기 센싱 정보는 차량 주행 정보일 수 있다.
상기 프로세서(830)는 상기 센싱 정보 중 이미지 센서로부터 수신된 이미지에 근거하여 복수의 차선들로 이루어진 도로 상에서 상기 차량이 위치한 어느 하나의 차선을 특정할 수 있다. 예를 들어, 상기 차량(100)이 8차선 도로 중 제1차선으로 주행 중이라면, 상기 프로세서(830)는 이미지 센서로부터 수신된 이미지에 근거하여 상기 제1차선을 상기 차량(100)이 위치한 차선으로 특정할 수 있다.
상기 프로세서(830)는 특정된 차선을 기준으로 상기 차량의 이동이 예상되거나 계획된 최적 경로를 상기 지도 정보를 이용하여 차선 단위로 추정할 수 있다.
여기서, 최적 경로는 Most Preferred Path 또는 Most Probable Path로 호칭될 수 있고, 엠피피(MPP)라고 약칭될 수 있다.
상기 차량(100)은 상기 최적 경로를 따라 자율 주행을 할 수 있다. 수동 주행 중인 경우, 상기 차량(100)은 상기 최적 경로를 운전자에게 가이드 하는 네비게이션 정보를 제공할 수 있다.
상기 프로세서(830)는 상기 최적 경로에 상기 센싱 정보가 융합된 자율주행용 시야 정보를 생성할 수 있다. 상기 자율주행용 시야 정보는 'eHorizon'이라고 호칭될 수 있다.
상기 프로세서(830)는 상기 차량(100)에 목적지가 설정되어 있는지 여부에 따라 서로 다른 자율주행용 시야 정보를 생성할 수 있다.
일 예로, 상기 프로세서(830)는 상기 차량(100)에 목적지가 설정된 경우에는 상기 목적지까지의 주행 경로를 차선 단위로 가이드 하는 자율주행용 시야 정보를 생성할 수 있다.
다른 일 예로, 상기 차량(100)에 목적지가 설정되지 않은 경우, 상기 프로세서(830)는 상기 차량(100)이 가장 주행할 가능성이 높은 메인 경로(Most Preferred Path, MPP)를 산출하고 상기 메인 경로(MPP)를 차선 단위로 가이드 하는 자율주행용 시야 정보를 생성할 수 있다. 이경우, 상기 자율주행용 시야 정보에는 상기 메인 경로(MPP)로부터 분기되어 상기 차량(100)이 소정 기준보다 높은 확률로 이동이 가능한 서브 경로에 대한 서브 경로 정보가 더 포함될 수 있다.
상기 자율주행용 시야 정보는 목적지까지의 주행 경로를 도로에 표시된 차선별로 제공하도록 하여, 보다 정밀하고 세밀한 경로 정보를 제공하도록 형성될 수 있다. 이는, ADASIS v3의 표준을 따르는 경로 정보일 수 있다.
상기 자율주행용 시야 정보는 차선 단위로 차량이 주행해야 하는 또는 주행 가능한 경로를 세분화하여 제공할 수 있다. 상기 자율주행용 시야 정보는, 목적지까지의 주행 경로를 차선 단위로 가이드 하는 정보일 수 있다. 상기 자율주행용 시야 정보가 상기 차량(100)에 탑재된 디스플레이에 표시되는 경우, 지도 상에 주행 가능한 차선을 가이드 하는 가이드 라인이 표시될 수 있다. 나아가, 지도에 포함된 복수의 차선들 중 상기 차량(100)이 위치하는 적어도 하나의 차선 위에 상기 차량(100)의 위치를 나타내는 그래픽 객체가 포함될 수 있다.
상기 자율주행용 시야 정보에는 상기 최적 경로 상에 위치한 이동 가능한 물체를 가이드 하는 다이나믹 정보가 융합될 수 있다. 상기 다이나믹 정보는 상기 통신부(810) 및/또는 상기 인터페이스부(820)를 통해 상기 프로세서(830)에 수신되며, 상기 프로세서(830)는 상기 다이나믹 정보에 근거하여 상기 최적 경로를 업데이트 할 수 있다. 상기 최적 경로가 업데이트됨에 따라 상기 자율주행용 시야 정보도 업데이트 된다.
상기 다이나믹 정보는 동적 정보로 호칭될 수 있고, 다이나믹 데이터를 포함할 수 있다.
상기 프로세서(830)는 상기 자율주행용 시야 정보를 상기 차량에 구비된 적어도 하나의 전장품으로 제공할 수 있다(S1350). 나아가, 상기 프로세서(830)는 상기 자율주행용 시야 정보를 상기 차량(100)의 시스템에 설치된 각종 애플리케이션에 제공할 수도 있다.
상기 전장품은 상기 차량(100)에 탑재되어 통신이 가능한 모든 장치를 의미하며, 도 7에서 상술한 구성요소들(120-700)을 포함할 수 있다. 예를 들어, 레이더, 라이더와 같은 오브젝트 검출 장치(300), 내비게이션 시스템(770), 차량 구동 장치(600) 등이 상기 전장품에 포함될 수 있다.
상기 전장품은 상기 자율주행용 시야 정보에 근거하여 자신이 수행해야 할 고유의 기능을 수행할 수 있다.
상기 자율주행용 시야 정보에는 차선 단위의 경로와 상기 차량(100)의 위치가 포함될 수 있으며, 상기 전장품이 센싱해야 하는 적어도 하나의 물체를 포함하는 동적 정보가 포함될 수 있다. 상기 전장품은 상기 동적 정보에 대응하는 물체를 센싱하기 위하여 리소스를 재할당하거나, 자신이 센싱한 센싱 정보와 일치하는지를 판단하거나, 센싱 정보를 생성하기 위한 설정 값을 변경할 수 있다.
상기 자율주행용 시야 정보는 복수의 레이어들로 이루어지며, 상기 프로세서(830)는, 상기 자율주행용 시야 정보를 수신하는 전장품에 따라 상기 레이어들 중 적어도 하나를 선택적으로 전송할 수 있다.
구체적으로, 상기 프로세서(830)는 상기 전장품이 실행 중인 기능 및 실행이 예정된 기능 중 적어도 하나에 근거하여, 상기 경로 제공 장치가 상기 자율주행용 시야 정보에 포함된 복수의 레이어들 중 적어도 하나를 선택할 수 잇다. 그리고, 상기 프로세서(830)는 상기 전장품으로 선택된 레이어를 전송하며, 선택되지 않은 레이어는 상기 전장품으로 전송되지 않을 수 있다.
상기 프로세서(830)는 상기 차량을 기준으로 소정 범위 내에 위치하는 외부 장치로부터 상기 외부 장치가 생성한 외부 정보를 수신할 수 있다.
상기 소정 범위는 상기 제2 통신부(914)가 통신을 수행할 수 있는 거리를 의미하며, 상기 제2 통신부(914)의 성능에 따라 가변될 수 있다. 상기 제2 통신부(914)가 V2X 통신을 수행하는 경우, V2X 통신 가능 범위가 상기 소정 범위로 정의될 수 있다.
나아가, 상기 소정 범위는 상기 차량(100)의 절대 속도 및/또는 상기 외부 장치와의 상대 속도에 따라 가변될 수 있다.
상기 프로세서(830)는 상기 차량(100)의 절대 속도 및/또는 상기 외부 장치와의 상대 속도에 근거하여 상기 소정 범위를 결정하고, 결정된 소정 범위 내에 위치한 외부 장치와의 통신을 허여할 수 있다.
구체적으로, 상기 차량(100)의 절대 속도 및/또는 상기 외부 장치와의 상대 속도에 근거하여, 상기 제2 통신부(914)를 통해 통신할 수 있는 외부 장치를 제1그룹 또는 제2그룹으로 분류할 수 있다. 제1그룹에 포함된 외부 장치로부터 수신된 외부 정보는 이하에서 설명할 동적 정보를 생성하는데 이용되지만, 제2그룹에 포함된 외부 장치로부터 수신된 외부 정보는 상기 동적 정보를 생성하는데 이용되지 않는다. 상기 제2 그룹에 포함된 외부 장치로부터 외부 정보가 수신되더라도, 상기 프로세서(830)는 그 외부 정보를 무시한다.
상기 프로세서(830)는 상기 차량에 구비된 적어도 하나의 전장품이 센싱해야 하는 물체의 동적 정보를 상기 외부 정보에 근거하여 생성하고, 상기 자율주행용 시야 정보에 상기 동적 정보를 정합할 수 있다.
일 예로, 상기 동적 정보는 도 11a 및 도 11b에서 상술한 제4 레이어에 해당할 수 있다.
도 11a 및 도 11b에서 상술한 바와 같이, 상기 경로 제공 장치(800)는 ADAS MAP 및/또는 LDM 데이터를 수신할 수 있다. 구체적으로, 상기 제1 통신부(812)를 통해 상기 텔레매틱스 통신 장치(910)로부터 상기 ADAS MAP을 수신하고, 상기 제2 통신부(814)를 통해 상기 V2X 통신 장치(920)로부터 상기 LDM 데이터를 수신할 수 있다.
상기 ADAS MAP과 상기 LDM 데이터는 동일한 형식을 가지는 복수의 레이어들로 이루어질 수 있다. 상기 프로세서(830)는 상기 ADAS MAP에서 적어도 하나의 레이어를 선택하고, 상기 LDM 데이터에서 적어도 하나의 레이어를 선택한 후 선택된 레이어들로 이루어진 상기 자율주행용 시야 정보를 생성할 수 있다.
예를 들어, 상기 ADAS MAP의 제1-3레이어들을 선택하고, 상기 LDM 데이터의 제4레이어를 선택한 후, 4개의 레이어들을 하나로 정합한 하나의 자율주행용 시야 정보를 생성할 수 있다. 이경우, 상기 프로세서(830)는 상기 텔레매틱스 통신 장치(910)로 상기 제4레이어의 송신을 거부하는 거부 메시지를 전송할 수 있다. 제4레이어를 포함한 모든 정보를 수신하는 것보다 제4레이어가 제외된 일부 정보를 수신하는 것이 상기 제1 통신부(812)의 리소스를 적게 사용하기 때문이다. ADAS MAP의 일부와 LDM 데이터의 일부를 정합함으로써, 상호 보완된 정보를 활용할 수 있다.
다른 예를 들어, 상기 ADAS MAP의 제1-4레이어들을 선택하고, 상기 LDM 데이터의 제4레이어를 선택한 후, 5개의 레이어들을 하나로 정합한 하나의 자율주행용 시야 정보를 생성할 수 있다. 이경우, 상기 LDM 데이터의 제4레이어에 우선순위를 부여할 수 있다. 상기 ADAS MAP의 제4레이어에 상기 LDM 데이터의 제4레이어와 일치하지 않는 불일치 정보가 있는 경우, 상기 프로세서(830)는 상기 불일치 정보를 삭제하거나, 상기 LDM 데이터에 근거하여 상기 불일치 정보를 보정할 수 있다.
상기 동적 정보는 소정 물체를 가이드 하는 객체 정보일 수 있다. 예를 들어, 상기 소정 물체의 위치를 가이드 하는 위치 좌표, 상기 소정 물체의 형태, 크기, 종류 등을 가이드 하는 정보 중 적어도 하나가 상기 동적 정보에 포함될 수 있다.
상기 소정 물체는, 도로 상에서 주행 가능한 객체들 중 해당 차선에서의 주행을 방해하는 객체들을 의미할 수 있다.
예를 들어, 상기 소정 물체는, 버스 정류장에서 정차중인 버스 또는 택시 정류장에서 정차중인 택시 또는 택배를 하차중인 트럭 등을 포함할 수 있다.
다른 예로, 상기 소정 물체는, 일정속도 이하로 주행하는 쓰레기 수거 차량, 또는 시야를 방해한다고 판단되는 대형 차량(예를 들어, 트럭이나 컨테이너 트럭, 등)을 포함할 수 있다.
또 다른 예로, 상기 소정 물체는, 사고, 도로 파손 또는 공사를 알리는 객체를 포함할 수도 있다.
이와 같이, 상기 소정 물체는, 본 차량(100)의 주행이 불가능하거나, 주행에 방해되도록 차선을 가로막고 있는 모든 종류의 객체를 포함할 수 있다. 차량(100)이 회피해야 하는 빙판길, 보행자, 타차량, 공사 표지판, 신호등의 교통신호 등이 상기 소정 물체에 해당되어 상기 외부 정보로 상기 경로 제공 장치(800)에 수신될 수 있다.
한편, 상기 프로세서(830)는 상기 외부 정보가 안내하는 소정 물체가 상기 차량(100)의 주행 경로를 기준으로 기준 범위 이내에 위치하는지를 판단할 수 있다.
상기 소정 물체가 상기 기준 범위 이내에 위치하는지 여부는, 상기 차량(100)이 주행하고 있는 차선과 상기 소정 물체의 위치에 따라 달라질 수 있다.
예를 들어, 제1차선으로 주행 중인 상태에서 전방 1km 앞 제3차선의 공사를 가리키는 표지판을 안내하는 외부 정보가 수신될 수 있다. 상기 기준 범위가 상기 차량(100)을 기준으로 1m로 설정되어 있다면, 상기 표지판은 기준 범위 밖에 위치한다. 상기 차량(100)이 제1차선으로 계속 주행한다면, 상기 제3차선은 상기 차량(100)을 기준으로 1m 밖에 위치하기 때문이다. 이와 달리, 상기 기준 범위가 상기 차량(100)을 기준으로 10m로 설정되어 있다면, 상기 표지판은 기준 범위 내에 위치한다.
상기 프로세서(830)는 상기 소정 물체가 상기 기준 범위 이내에 위치하는 경우, 상기 동적 정보를 상기 외부 정보에 근거하여 생성하지만, 상기 소정 물체가 상기 기준 범위 밖에 위치하는 경우, 상기 동적 정보를 생성하지 않을 수 있다. 즉, 상기 프로세서(830)는 상기 외부 정보가 안내하는 소정 물체가 상기 차량(100)의 주행 경로 상에 위치하거나, 상기 차량(100)의 주행 경로에 영향을 줄 수 있는 기준 범위 이내인 경우에 한하여 상기 동적 정보를 생성할 수 있다.
본 발명에 따른 경로 제공 장치는, 자율주행용 시야 정보를 생성함에 있어서 제1 통신부를 통해 수신되는 정보와 제2 통신부를 통해 수신되는 정보를 하나로 통합하기 때문에, 서로 다른 통신부를 통해 제공되는 정보를 상호 보완되는 최적의 자율주행용 시야 정보를 생성 및 제공할 수 있다. 이는, 제1 통신부를 통해 수신되는 정보는 정보를 실시간으로 반영하지 못하는 한계가 있으나, 제2 통신부를 통해 수신되는 정보가 실시간성을 보완해주기 때문이다.
나아가, 상기 프로세서(830)는 상기 제2 통신부를 통해 수신되는 정보가 있는 경우, 그에 대응하는 정보를 수신받지 않도록 상기 제1 통신부를 제어하기 때문에, 상기 제1 통신부의 대역폭을 종래보다 적게 사용할 수 있다. 즉, 상기 제1 통신부의 리소스 사용을 최소화할 수 있다.
상기 프로세서(830)는 상기 자율주행용 시야 정보에 근거하여 상기 차량에 포함된 이미지 센서와 관련된 제어 기능이 실행되도록 인터페이스부(820)를 제어할 수 있다(S1370).
상기 이미지 센서는 상기 차량(100)의 외부를 촬영한 이미지를 생성한다. 상기 이미지는 상기 차량(100)의 외부에 위치한 타겟 물체를 탐색하는데 이용된다. 예를 들어, 상기 타겟 물체는 상기 차량(100)이 주행하고 있는 도로 상의 각종 경계선, 신호등, 표지판, 지형물, 구조물, 타 차량, 보행자 등일 수 있다.
상기 자율주행용 시야 정보에는 상기 이미지에서 센싱되어야 하는 타겟 물체 정보가 포함될 수 있다. 예를 들어, 차량의 현재 위치를 기준으로 전방에 위치하며 상기 이미지에 포함되어야 하는 타겟 물체(또는, 소정 확률보다 높은 확률로 포함될 것으로 예상되는 타겟 물체)의 타겟 물체 정보가 상기 자율주행용 시야 정보에 포함될 수 있다.
상기 프로세서(830) 및/또는 상기 이미지 센서를 포함해 상기 차량(100)에 구비된 전장품은 상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서가 생성한 이미지로부터 타겟 물체를 탐색할 수 있다. 이하에서는 설명의 편의를 위하여 이미지로부터 타겟 물체를 탐색하는 구성 요소를 이미지 센서인 것으로 설명하나, 이에 한정되는 것은 아니다.
상기 프로세서(830)는 상기 자율주행용 시야 정보에 근거하여 다양한 제어 기능을 실행할 수 있다.
일 예로, 상기 프로세서(830)는 상기 자율주행용 시야 정보에 따라 상기 이미지 센서에서의 기능 실행이 온 또는 오프 되도록 상기 인터페이스부(820)를 제어할 수 있다. 상기 이미지 센서가 생성하는 상기 이미지와 관련된 소정 기능이 상기 자율주행용 시야 정보에 포함된 상기 다이나믹 정보에 근거하여 선택적으로 실행될 수 있다.
상기 이미지 센서는 생성되는 이미지로부터 다양한 오브젝트를 탐색하는 탐색 기능을 실행할 수 있다. 탐색 기능이 실행됨에 따라 부하가 발생하게 되고, 배터리 소모의 주요 원인으로 작용할 수 있다. 본 발명에 따르면, 상기 프로세서(830)는 상기 이미지 센서에서의 기능 실행을 선택적으로 온 또는 오프 시킴으로써 불필요하게 부하가 발생하는 것을 차단할 수 있다.
구체적으로, 상기 프로세서(830)는 상기 자율주행용 시야 정보로부터 센싱해야 하는 타겟 물체를 탐색하고, 탐색된 타겟 물체가 없는 경우 상기 이미지 센서에서의 기능 실행을 오프시킬 수 있다.
다른 일 예로, 상기 이미지 센서 또는 상기 프로세서(830)가 상기 이미지를 이용하여 타겟 물체를 탐지하는 중에 상기 자율주행용 시야 정보에 기준 조건을 만족하는 다이나믹 정보가 포함된 경우, 상기 프로세서(830)는 타겟 물체의 탐지가 중지되거나 상기 이미지에서 상기 타겟 물체를 탐지하는 영역이 달라지도록 상기 인터페이스부(820)를 제어할 수 있다.
이 밖에도, 상기 프로세서(830)는 상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서가 상기 이미지를 촬영하는 영역을 가변시키거나, 상기 이미지의 전체 영역 중 일부 영역을 설정하거나, 복수의 카메라들 중 적어도 하나를 선택할 수 있다.
종래 기술에 따르면, 상기 이미지 센서는 차량 주행 정보와 관계없이 소정 조건을 만족하는 물체를 일률적으로 탐색하였다. 불필요한 상황에서도 탐색 기능이 실행됨에 따라 리소스가 낭비되는 문제가 있었다.
예를 들어, 차량(100)이 주행 중인 도로 주변에 구조물이 없을 때에도 구조물을 탐색하거나, 악천후의 환경에서 이미지를 통한 물체 탐지가 불가능한 거리에 위치한 물체에 대해서 탐색을 시도할 수 있다. 나아가, 가용할 수 있는 리소스로는 탐색이 불가능한 수준의 많은 물체들이 차량(100)의 전방에 위치하는 경우가 발생할 수 있다.
본 발명에 따르면, 경로 제공 장치(800)가 상황별 맞춤형 탐색이 이루어지도록 자율주행용 시야 정보를 제공할 수 있다. 이미지 센서는 필요한 상황에서만 온 되어 물체를 탐색하거나, 생성된 이미지의 전체 영역이 아닌 일부 영역을 이용하여 물체를 탐색할 수 있다. 이를 통해, 물체 탐색에 사용되는 리소스가 최소화될 수 있다.
이하 어떤 조건에서 어떤 기능이 실행되는지 구체적인 예를 통해 설명한다.
도 14는 경로 제공 장치가 이미지 센서가 생성하는 이미지와 관련된 소정 기능을 실행하는 방법을 설명하기 위한 흐름도이고, 도 15a 내지 도 15c는 도 14의 실시 예들을 설명하기 위한 예시도들이다.
상기 프로세서(830)는 고정밀 지도로부터 센싱해야 하는 소정 범위 내의 타겟 물체를 탐색할 수 있다(S1410).
고정밀 지도에는 다양한 타겟 물체들이 포함될 수 있다.
상기 프로세서(830)는 상기 차량(100)에 구비된 센서의 특성, 주행 중인 도로의 특성, 운전자의 운전 습관, 현재 시간, 현재 날씨, 현재 위치, 현재 속도, 상기 차량(100)의 주행방향 중 적어도 하나를 고려하여 상기 고정밀 지도에 포함된 모든 타겟 물체들 중 상기 센서가 센싱해야 하는 일부 타겟 물체를 탐색할 수 있다.
일 예로, 탐색된 타겟 물체는 상기 자율주행용 시야 정보에 포함되고, 탐색되지 않은 타겟 물체는 상기 자율주행용 시야 정보에 포함되지 않을 수 있다. 탐색된 타겟 정보는 타겟 물체 정보로 상기 자율주행용 시야 정보에 포함될 수 있다.
상기 고정밀 지도에 포함된 타겟 물체들은 상기 프로세서(830)에 의하여 필터링 되며, 필터링 되는 타겟 물체는 상기 차량(100)에 구비된 센서의 특성, 주행 중인 도로의 특성, 운전자의 운전 습관, 현재 시간, 현재 날씨, 현재 위치, 현재 속도, 상기 차량(100)의 주행방향 중 적어도 하나에 따라 가변된다.
상기 자율주행용 시야 정보에는 상기 차량의 이동이 예상되거나 계획된 최적 경로가 포함되며, 상기 자율주행용 시야 정보에는 상기 최적 경로 상에서 상기 차량(100)의 위치를 기준으로 소정 범위 내에서 센싱해야 하는 타겟 물체 정보가 포함될 수 있다.
상기 타겟 물체가 고정되어 있는 교통 신호, 구조물 또는 지형물인 경우, 그 좌표 값이 타겟 물체 정보로 생성될 수 있다. 상기 타겟 물체가 이동이 가능한 타 차량이거나, 일시적으로 생성된 교통 사고인 경우 다이나믹 정보로 생성될 수 있다.
다른 일 예로, 상기 자율주행용 시야 정보에는 고정밀 지도가 제공하는 모든 타겟 물체 정보가 포함되고, 상기 프로세서(830)는 상기 자율주행용 시야 정보에서 상기 차량(100)에 구비된 센서가 센싱해야 하는 일부 타겟 물체를 탐색할 수 있다. 탐색된 일부 타겟 물체를 가이드 하는 타겟 물체 정보가 상기 프로세서(830)에 의하여 생성되어 상기 인터페이스부(820)를 통해 상기 차량에 구비된 하나 또는 그 이상의 전장품들로 공유될 수도 있다.
상기 프로세서(830)는 타겟 물체에 근거하여 이미지 센서가 생성하는 이미지와 관련된 소정 기능이 선택적으로 실행되도록 인터페이스부(820)를 제어할 수 있다(S1430)
상기 프로세서(830)는 상기 고정밀 지도 및 상기 센싱 정보 중 적어도 하나를 이용하여 타겟 물체를 센싱해야 하는 소정 범위를 결정할 수 있다. 그리고, 상기 프로세서(830)는 상기 차량(100)이 타겟 물체와 상기 소정 범위 이내인지 여부에 따라 상기 이미지 센서에서의 기능 실행이 온 또는 오프되도록 상기 인터페이스부(820)를 제어할 수 있다.
상기 프로세서(830)는 상기 자율주행용 시야 정보에 근거하여 상기 소정 범위를 변경할 수 있다(S1450).
상기 소정 범위는 상기 차량의 위치 및 상기 차량(100)에 구비된 센서가 센싱한 센싱 정보 중 적어도 하나에 따라 가변될 수 있다.
상기 소정 범위의 크기 및 형태 중 적어도 하나는 상기 차량(100)에 구비된 센서의 특성, 주행 중인 도로의 특성, 운전자의 운전 습관, 현재 시간, 현재 날씨, 현재 위치, 현재 속도, 상기 차량(100)의 주행방향 중 적어도 하나에 따라 가변될 수 있다.
예를 들어, 상기 소정 범위는 날씨에 따라 가변될 수 있다. 이미지 센서가 생성한 이미지를 이용하여 타겟 물체를 탐색하는 경우, 탐색의 정확도가 날씨에 의하여 가변될 수 있다. 상기 프로세서(830)는, 폭우에 의하여 이미지를 통해 타겟 물체를 탐색할 수 없는 상황에서는 소정 범위를 축소시켜 꼭 필요한 최소한의 타겟 물체만이 탐색되도록 하고, 맑은 날씨에서는 소정 범위를 확대시켜 최대한의 타겟 물체가 탐색되도록 할 수 있다.
예를 들어, 도 15a에 도시된 바와 같이, 제1 최적 경로(1510)에 대하여 날씨가 맑은 경우에는, 제1 소정 범위(1520)가 설정되지만, 도 15b에 도시된 바와 같이, 비가오는 경우에는, 제2 소정 범위(1530)가 설정될 수 있다.
다른 예를 들어, 도 15a에 도시된 바와 같이, 제1 최적 경로(1510)에 대하여 날씨가 맑은 경우에는, 제1 소정 범위(1520)가 설정되지만, 도 15c에 도시된 바와 같이, 제2 최적 경로(1512)에 대하여 날씨가 맑은 경우에는, 제3 소정 범위(1540)가 설정될 수 있다.
소정 범위를 결정하는 기준 거리가 현재 날씨에 따라 가변될 수 있다. 예를 들어, 맑은 날에는 기준 거리가 30m이지만, 비가 오는 날에는 상기 기준 거리가 10m로 변경될 수 있다. 타겟 물체가 차량(100)으로부터 30m 내지 10m 사이에 위치한 경우, 맑은 날에는 이미지를 이용한 소정 기능이 온 되지만, 비오는 날에는 상기 소정 기능이 오프 된다.
도 16은 이미지 센서가 생성하는 이미지에 대하여 일부 영역을 설정하는 방법을 설명하기 위한 흐름도이고, 도 17a, 도 17b 및 도 18은 도 16의 실시 예들을 설명하기 위한 예시도들이다.
상기 프로세서(830)는 이미지 센서가 생성하는 이미지의 전체 영역 중에서 하나 또는 그 이상의 일부 영역들을 상기 자율주행용 시야 정보에 근거하여 결정할 수 있다(S1610).
예를 들어, 도 17a에 도시된 바와 같이, 이미지 센서는 실시간으로 이미지(1700)를 생성한다. 상기 지도 정보 및 상기 자율주행용 시야 정보 중 적어도 하나에는 이미지 센서 등이 탐색해야 하는 복수의 타겟 물체들(1710a-1710e)이 포함될 수 있다.
상기 프로세서(830)는 상기 지도 정보 및 상기 자율주행용 시야 정보에 근거하여 센싱해야 하는 타겟 물체를 탐색하고, 탐색된 타겟 물체에 근거하여 상기 이미지의 전체 영역 중에서 하나 또는 그 이상의 일부 영역들을 결정할 수 있다.
예를 들어, 도 17a에 도시된 바와 같이, 센싱해야 하는 물체가 표지판인 경우, 표지판을 탐색해야 하는 제1 영역(1710a)을 결정할 수 있다. 이때, 상기 프로세서(830)는 상기 차량(100)에 구비된 센서의 특성, 주행 중인 도로의 특성, 운전자의 운전 습관, 현재 시간, 현재 날씨, 현재 위치, 현재 속도, 상기 차량(100)의 주행방향 중 적어도 하나를 고려하여 상기 제1 영역(1710a)의 크기 및 형태 중 적어도 하나를 실시간으로 변경할 수 있다.
상기 프로세서(830)는 결정된 일부 영역을 가이드 하는 가이드 정보를 인터페이스부를 통해 출력할 수 있다(S1630).
도 17a를 참조하면, 상기 이미지(1700)에 대하여 상기 가이드 정보는 상기 이미지의 전체 영역 상에서 상기 제1 영역(1710a)의 크기 및 형태 중 적어도 하나를 가이드 할 수 있다. 예를 들어, 상기 제1 영역(1710a)이 사각형 형태인 경우, 각 꼭지점에 대응하는 4개의 서로 다른 꼭지점 좌표가 상기 가이드 정보에 포함될 수 있다.
상기 이미지 센서가 생성한 이미지 및 상기 가이드 정보를 수신한 전장품은 상기 이미지의 전체 영역이 아니라 상기 이미지의 일부 영역, 즉 상기 가이드 정보가 가이드 하는 일부 영역을 이용하여 고유의 기능을 실행할 수 있다. 다시 말해, 상기 프로세서(830)는, 상기 차량(100)에 구비된 하나 또는 그 이상의 센서들이 상기 전체 영역이 아닌 상기 일부 영역을 이용하여 소정 기능을 실행하도록 상기 인터페이스부(820)를 제어할 수 있다. 예를 들어, 타겟 물체를 탐색하는 탐색 기능은 상기 일부 영역에서만 이루어질 수 있다. 전체 영역이 아닌 일부 영역에 대해서만 기능이 실행되기 때문에, 리소스 사용량이 감소될 수 있다.
상기 프로세서(830)는 결정된 일부 영역에 대응하는 새로운 이미지가 생성되도록 상기 인터페이스부(820)를 제어할 수 있다.
도 17b에 도시된 바와 같이, 이미지 센서가 생성한 이미지(1700)와 별도로 이미지(1700)의 일부 영역에 대응하는 새로운 이미지(1720)가 생성될 수 있다.
예를 들어, 상기 프로세서(830)는, 상기 이미지 센서가 상기 전체 영역이 아닌 상기 일부 영역에 대응하는 이미지를 생성하도록 상기 인터페이스부(820)를 제어할 수 있다.
다른 예를 들어, 상기 프로세서(830)는, 상기 프로세서(830)는 상기 이미지 센서가 생성한 이미지를 이용하여 상기 일부 영역에 대응하는 새로운 이미지를 생성하고, 상기 새로운 이미지를 상기 인터페이스부(820)를 통해 상기 차량(100)에 구비된 전장품에 공유할 수 있다.
새로운 이미지는 기존 이미지에 비해 해상도가 낮거나 크기가 작기 때문에, 소정 기능을 실행하는데 소요되는 리소스를 감소시킬 수 있다.
상기 프로세서(830)는, 상기 자율주행용 시야 정보에 근거하여 상기 차량(100)이 주행 중인 주행 도로에 포함된 차선들 중 일부 차선을 선택하고, 상기 일부 영역이 선택된 일부 차선을 포함하고 선택되지 않은 나머지 차선은 포함하지 않도록 상기 일부 영역을 결정할 수 있다. 차선 단위로 일부 영역이 결정됨에 따라 차량 주행과 관계없는 불필요한 타겟 물체가 탐색되는 것이 사전에 차단된다.
도 19a 및 도 19b는 자율주행용 시야 정보에 근거하여 차량에 구비된 이미지 센서를 제어하는 방법을 설명하기 위한 예시도이다.
상기 프로세서(830)는, 상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서의 화각 및 심도 중 적어도 하나가 달라지도록 상기 인터페이스부(820)를 제어할 수 있다.
보다 구체적으로, 상기 프로세서(830)는 상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서가 촬영해야 하는 촬영 영역을 결정하고, 상기 촬영 영역에 근거하여 상기 이미지 센서의 화각 및 심도 중 적어도 하나를 달라지게 할 수 있다.
예를 들어, 도 19a에 도시된 바와 같이, 상기 프로세서(830)는, 상기 차량(100)이 주행 중인 주행 도로에 대하여 합류가 예정된 합류 예정 도로가 상기 전방 경로에 포함된 경우, 상기 이미지 센서가 상기 합류 예정 도로를 센싱 하도록 상기 인터페이스부(820)를 제어할 수 있다. 타겟 물체를 탐색해야 하는 영역이 합류 예정 도로에 위치할 가능성이 높기 때문이다.
다른 예를 들어, 도 19a에 도시된 바와 같이, 상기 차량(100)은 주행 중인 도로의 특성을 고려하여 일부 차선을 선택할 수 있다. 제1 차선(1910)이 선택되고 제2 차선(1920)이 선택되지 않을 수 있다. 상기 프로세서(830)는 상기 이미지 센서의 소실점을 기준으로 상기 제1 차선(1910)을 촬영하고, 상기 제2 차선(1920)을 촬영하지 않도록 상기 이미지 센서의 화각 및 심도 중 적어도 하나를 변경할 수 있다.
도 20은 복수의 이미지 센서들 중 적어도 하나를 선택적으로 제어하는 방법을 설명하기 위한 흐름도이다.
상기 차량(100)에는 복수의 이미지 센서들이 구비될 수 있다.
상기 프로세서(830)는 상기 차량에 구비된 복수의 이미지 센서들 중에서 상기 전방 경로에 근거하여 하나 또는 그 이상의 이미지 센서를 선택하고(S2010), 선택된 이미지 센서를 이용하여 제어 기능을 실행할 수 있다(S2030).
상기 프로세서(830)는 선택된 이미지 센서가 활성화되고 선택되지 않은 이미지 센서는 비활성화되도록 상기 인터페이스부(820)를 제어할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 차량에 경로를 제공하는 경로 제공 장치로서,
    서버로부터 복수의 레이어들로 이루어지는 지도 정보를 수신하는 통신부;
    상기 차량에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신하는 인터페이스부; 및
    상기 센싱 정보 중 이미지 센서로부터 수신된 이미지에 근거하여 복수의 차선들로 이루어진 도로 상에서 상기 차량이 위치한 어느 하나의 차선을 특정하고, 특정된 차선을 기준으로 상기 차량의 이동이 예상되거나 계획된 최적 경로를 상기 지도 정보를 이용하여 차선 단위로 추정하며, 상기 최적 경로에 상기 센싱 정보가 융합된 자율주행용 시야 정보를 생성해 상기 서버 및 상기 차량에 구비된 전장품 중 적어도 하나로 전송하고,
    상기 자율주행용 시야 정보에는 상기 최적 경로 상에 위치한 이동 가능한 물체를 가이드 하는 다이나믹 정보가 융합되며, 상기 다이나믹 정보에 근거하여 상기 최적 경로를 업데이트 하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서와 관련된 제어 기능이 실행되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 자율주행용 시야 정보에 따라 상기 이미지 센서에서의 기능 실행이 온 또는 오프 되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 고정밀 지도 및 상기 자율주행용 시야 정보 중 적어도 하나로부터 센싱해야 하는 타겟 물체를 탐색하고, 탐색된 타겟 물체가 없는 경우 상기 이미지 센서에서의 기능 실행을 오프 시키는 것을 특징으로 하는 경로 제공 장치.
  4. 제3항에 있어서,
    상기 프로세서는 상기 차량을 기준으로 소정 범위 내에 위치한 타겟 물체를 상기 고정밀 지도 및 상기 자율주행용 시야 정보 중 적어도 하나를 이용하여 탐색하며,
    상기 소정 범위는 상기 차량의 위치 및 상기 센싱 정보 중 적어도 하나에 따라 가변되는 것을 특징으로 하는 경로 제공 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 센서가 이미지를 이용하여 물체를 탐지하는 중에 상기 자율주행용 시야 정보에 기준 조건을 만족하는 다이나믹 정보가 포함된 경우, 상기 이미지 센서의 탐지가 중지되거나 상기 이미지 센서가 물체를 탐지하는 영역이 달라지도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 고정밀 지도 및 상기 센싱 정보 중 적어도 하나를 이용하여 타겟 물체를 센싱해야 하는 소정 범위를 결정하고,
    상기 차량이 타겟 물체와 상기 소정 범위 이내인지 여부에 따라 상기 이미지 센서에서의 기능 실행이 온 또는 오프 되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  7. 제6항에 있어서,
    상기 소정 범위는 날씨에 따라 가변되는 것을 특징으로 하는 경로 제공 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 센서가 생성하는 이미지의 전체 영역 중에서 하나 또는 그 이상의 일부 영역들을 상기 자율주행용 시야 정보에 근거하여 결정하고, 결정된 일부 영역을 가이드 하는 가이드 정보를 상기 인터페이스부를 통해 출력하는 것을 특징으로 하는 경로 제공 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 자율주행용 시야 정보에 근거하여 상기 차량이 주행 중인 주행 도로에 포함된 차선들 중 일부 차선을 선택하고, 상기 일부 영역이 선택된 일부 차선을 포함하고 선택되지 않은 나머지 차선은 포함하지 않도록 상기 일부 영역을 결정하는 것을 특징으로 하는 경로 제공 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 이미지 센서가 상기 전체 영역이 아닌 상기 일부 영역에 대응하는 이미지를 생성하도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  11. 제8항에 있어서,
    상기 프로세서는,
    상기 차량에 구비된 하나 또는 그 이상의 센서들이 상기 전체 영역이 아닌 상기 일부 영역을 이용하여 소정 기능을 실행하도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서의 화각 및 심도 중 적어도 하나가 달라지도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 차량이 주행 중인 주행 도로에 대하여 합류가 예정된 합류 예정 도로가 상기 전방 경로에 포함된 경우, 상기 이미지 센서가 상기 합류 예정 도로를 센싱 하도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  14. 제1항에 있어서,
    상기 프로세서는,
    상기 차량에 구비된 복수의 이미지 센서들 중에서 상기 전방 경로에 근거하여 하나 또는 그 이상의 이미지 센서를 선택하고, 선택된 이미지 센서를 이용하여 상기 제어 기능을 실행하는 것을 특징으로 하는 경로 제공 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    선택된 이미지 센서가 활성화되고 선택되지 않은 이미지 센서는 비활성화되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  16. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 센서가 생성하는 상기 이미지와 관련된 소정 기능이 상기 자율주행용 시야 정보에 포함된 상기 다이나믹 정보에 근거하여 선택적으로 실행되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  17. 제16항에 있어서,
    상기 소정 기능은,
    상기 이미지 센서가 상기 이미지를 생성하는 영역을 가변시키는 제1기능, 상기 이미지 센서가 생성한 상기 이미지의 전체 영역 중에서 일부 영역에 대하여 물체를 탐색하는 제2기능, 복수의 이미지 센서들 중에서 적어도 하나를 선택하는 제3기능 중 적어도 하나를 포함하는 것을 특징으로 하는 경로 제공 장치.
  18. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 센서 또는 상기 프로세서가 상기 이미지를 이용하여 타겟 물체를 탐지하는 중에 상기 자율주행용 시야 정보에 기준 조건을 만족하는 다이나믹 정보가 포함된 경우, 타겟 물체의 탐지가 중지되거나 상기 이미지에서 상기 타겟 물체를 탐지하는 영역이 달라지도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 제공 장치.
  19. 차량에 경로를 제공하는 경로 제공 장치의 경로 제공 방법으로,
    서버로부터 복수의 레이어들로 이루어지는 지도 정보를 단계;
    상기 차량에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신하는 단계;
    상기 센싱 정보 중 이미지 센서로부터 수신된 이미지에 근거하여 복수의 차선들로 이루어진 도로 상에서 상기 차량이 위치한 어느 하나의 차선을 특정하는 단계;
    특정된 차선을 기준으로 상기 차량의 이동이 예상되거나 계획된 최적 경로를 상기 지도 정보를 이용하여 차선 단위로 추정하는 단계;
    상기 최적 경로에 상기 센싱 정보가 융합된 자율주행용 시야 정보를 생성해 상기 서버 및 상기 차량에 구비된 전장품 중 적어도 하나로 전송하는 단계;
    상기 자율주행용 시야 정보에는 상기 최적 경로 상에 위치한 이동 가능한 물체를 가이드 하는 다이나믹 정보가 융합되며, 상기 다이나믹 정보에 근거하여 상기 최적 경로를 업데이트 하는 단계; 및
    상기 자율주행용 시야 정보에 근거하여 상기 이미지 센서와 관련된 제어 기능이 실행되도록 인터페이스부를 제어하는 단계를 포함하는 경로 제공 장치의 경로 제공 방법.
  20. 제19항에 있어서,
    상기 이미지 센서가 생성하는 상기 이미지와 관련된 소정 기능이 상기 자율주행용 시야 정보에 포함된 상기 다이나믹 정보에 근거하여 선택적으로 실행되도록 상기 인터페이스부를 제어하는 단계를 더 포함하는 것을 특징으로 하는 경로 제공 장치의 경로 제공 방법.
PCT/KR2020/000180 2020-01-06 2020-01-06 경로 제공 장치 및 그것의 경로 제공 방법 WO2021141143A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2020/000180 WO2021141143A1 (ko) 2020-01-06 2020-01-06 경로 제공 장치 및 그것의 경로 제공 방법
US17/035,202 US20210207969A1 (en) 2020-01-06 2020-09-28 Path providing device and path providing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/000180 WO2021141143A1 (ko) 2020-01-06 2020-01-06 경로 제공 장치 및 그것의 경로 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/035,202 Continuation US20210207969A1 (en) 2020-01-06 2020-09-28 Path providing device and path providing method thereof

Publications (1)

Publication Number Publication Date
WO2021141143A1 true WO2021141143A1 (ko) 2021-07-15

Family

ID=76654919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000180 WO2021141143A1 (ko) 2020-01-06 2020-01-06 경로 제공 장치 및 그것의 경로 제공 방법

Country Status (2)

Country Link
US (1) US20210207969A1 (ko)
WO (1) WO2021141143A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878934B (zh) * 2015-12-10 2020-07-31 阿里巴巴集团控股有限公司 一种电子地图显示方法及装置
EP4012346A4 (en) * 2019-08-08 2023-05-17 LG Electronics Inc. ROUTE PROVISION DEVICE AND ROUTE PREPARATION METHOD THEREOF
WO2021045256A1 (ko) * 2019-09-04 2021-03-11 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
JP7150900B2 (ja) * 2021-01-12 2022-10-11 本田技研工業株式会社 推奨レーンを判定する車両システム
DE102021102652B3 (de) * 2021-02-04 2022-03-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuergerät zum Ermitteln, ob ein Kraftfahrzeug auf einer in digitalem Kartenmaterial enthaltenen Straße gefahren ist
JP2023069326A (ja) * 2021-11-05 2023-05-18 ルネサスエレクトロニクス株式会社 衝突回避システムおよびそれを搭載した車両

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007237964A (ja) * 2006-03-09 2007-09-20 Alpine Electronics Inc 車両運転支援装置
KR20130066184A (ko) * 2011-12-12 2013-06-20 현대모비스 주식회사 레이더 센서를 이용한 카메라 각도 자동 조절 장치 및 방법
KR20170075142A (ko) * 2015-12-23 2017-07-03 에스엘 주식회사 주변 영상 모니터링 장치 및 방법
KR20180000672A (ko) * 2016-06-23 2018-01-03 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20180032468A (ko) * 2016-09-22 2018-03-30 엘지전자 주식회사 차량용 카메라 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007237964A (ja) * 2006-03-09 2007-09-20 Alpine Electronics Inc 車両運転支援装置
KR20130066184A (ko) * 2011-12-12 2013-06-20 현대모비스 주식회사 레이더 센서를 이용한 카메라 각도 자동 조절 장치 및 방법
KR20170075142A (ko) * 2015-12-23 2017-07-03 에스엘 주식회사 주변 영상 모니터링 장치 및 방법
KR20180000672A (ko) * 2016-06-23 2018-01-03 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20180032468A (ko) * 2016-09-22 2018-03-30 엘지전자 주식회사 차량용 카메라 장치 및 방법

Also Published As

Publication number Publication date
US20210207969A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
WO2020235765A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021045257A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021141142A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2017222299A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2021090971A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021141143A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2019031851A1 (ko) 지도 제공 장치
EP3475134A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2021029444A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021157760A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021025212A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021045256A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2020149431A1 (ko) 경로 제공 장치 및 그것의 제어 방법
WO2021045255A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021025216A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021029445A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2020149427A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
EP3545380A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2021246534A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021230387A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021182655A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021010507A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018236012A1 (ko) 입출력 장치
WO2021025214A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912948

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912948

Country of ref document: EP

Kind code of ref document: A1