WO2023238993A1 - 차량의 ar 디스플레이 장치 및 그것의 동작방법 - Google Patents

차량의 ar 디스플레이 장치 및 그것의 동작방법 Download PDF

Info

Publication number
WO2023238993A1
WO2023238993A1 PCT/KR2022/015982 KR2022015982W WO2023238993A1 WO 2023238993 A1 WO2023238993 A1 WO 2023238993A1 KR 2022015982 W KR2022015982 W KR 2022015982W WO 2023238993 A1 WO2023238993 A1 WO 2023238993A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
driving
lane
processor
display
Prior art date
Application number
PCT/KR2022/015982
Other languages
English (en)
French (fr)
Inventor
이한성
채지석
손정훈
김일완
박종태
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020237018103A priority Critical patent/KR102611337B1/ko
Priority to EP23175929.1A priority patent/EP4289695A3/en
Priority to CN202310686429.XA priority patent/CN117213520A/zh
Priority to US18/208,622 priority patent/US20230399004A1/en
Publication of WO2023238993A1 publication Critical patent/WO2023238993A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an AR display device linked to a vehicle and a method of operating the same. More specifically, an AR display device capable of providing guidance related to changing the driving lane of the vehicle through AR technology while the vehicle is driving, and It's about how it works.
  • vehicle functions are becoming more diverse. These vehicle functions can be divided into convenience functions to promote driver convenience, and safety functions to promote driver and/or pedestrian safety.
  • Convenience functions of a vehicle have a motive for development related to driver convenience, such as providing infotainment (information + entertainment) functions to the vehicle, supporting partial autonomous driving functions, or helping to secure the driver's field of vision such as night vision or blind spots.
  • driver convenience such as providing infotainment (information + entertainment) functions to the vehicle, supporting partial autonomous driving functions, or helping to secure the driver's field of vision such as night vision or blind spots.
  • ACC adaptive cruise control
  • SPAS smart0020parking assist system
  • NV night vision
  • HUD head up display
  • AHS adaptive headlight system
  • vehicle safety functions are technologies that ensure driver safety and/or pedestrian safety, such as lane departure warning system (LDWS), lane keeping assist system (LKAS), and automatic emergency There is an autonomous emergency braking (AEB) function.
  • LDWS lane departure warning system
  • LKAS lane keeping assist system
  • AEB autonomous emergency braking
  • Augmented Reality outputs additional graphic objects in the real world by outputting graphic objects through a vehicle's windshield or HUD (Head Up Display) or on images captured by a camera.
  • HUD Head Up Display
  • Technology development is actively taking place.
  • technologies that provide route guidance to drivers through augmented reality (AR) technology is expanding.
  • the existing driving guidance display was merely displayed in AR format.
  • the existing AR driving mode simply displays driving direction change guidance as an AR image at a fixed specific location.
  • the present invention aims to solve the above-mentioned problems and other problems.
  • the purpose is to provide an AR display device and a method of operating the same that can predict the possibility of a collision when a vehicle changes driving lane and guide an intuitive lane change path in AR form. .
  • an object of the present invention is to provide an AR display device that provides notifications through an intuitive AR interface to prevent a vehicle from leaving its driving lane, and a method of operating the same.
  • an object of the present invention is to provide an AR display device and a method of operating the same that can provide an AR guide path so that a vehicle can safely overtake a vehicle in front.
  • the purpose is to provide an AR display device and a method of operating the same that can provide a more intuitive form of AR notification to prevent the vehicle from colliding with a collisionable object in front.
  • the AR display device for a vehicle can change the AR graphic interface to display a guide related to the vehicle's driving lane.
  • the occurrence of events related to the driving lane such as lane changes, lane bias and departure prediction, and overtaking of the car in front, can be recognized.
  • the AR display device includes a camera that acquires a front image of the vehicle; A communication module that receives map data and sensing data from the vehicle; An AR graphic interface that runs a preset application and combines a first AR object that displays the driving state of the vehicle based on the map data and a second AR object that displays a guide to the driving situation of the vehicle displays the front image of the vehicle.
  • a processor that renders nested in; And according to the rendering, it may include a display that displays a navigation screen including a forward image with the AR graphic interface overlaid.
  • the processor separates the second AR object based on a notification event related to the driving lane recognized based on the sensing data and the current location of the vehicle and displays a guide related to the driving lane corresponding to the notification event.
  • the rendering of the AR graphic interface may be updated to do so.
  • the notification event related to the driving lane may be any one of a change in the driving lane, estimation of departure from the driving lane, overtaking of a front object, and detection of a possible collision object in the current driving lane or the driving lane to be changed.
  • the sensing data for recognizing the notification event related to the driving lane may include a combination of one or more of the vehicle's ADAS sensing data, CAN data, GPS information, and navigation information.
  • the processor displays the first AR object in the current driving lane of the vehicle based on the notification event determining a change in the driving lane of the vehicle based on the sensing data, and the second AR object. may update the rendering of the AR graphical interface to include a plurality of trajectories that are separated and directed toward changing driving lanes.
  • the processor may detect an object approaching the vehicle based on the sensing data and map data, separate some of the plurality of trajectories, and update them to display the location of the detected object.
  • the processor changes the display of the plurality of trajectories to indicate that lane change is not possible, based on the detection of an object that may collide in the driving lane to be changed, and some of the displayed changed trajectories correspond to the detected object. You can update the display to indicate your location.
  • the processor may update rendering so that the plurality of trajectories indicating the impossibility of changing lanes are located only in one of the vehicle's current driving lane or the driving lane in which change is not possible.
  • the processor determines that, based on the departure from the driving lane being estimated as a notification event related to the driving lane, the first AR object represents the vehicle driving posture in the current driving lane, and the separated second AR object may update the rendering of the AR graphic interface to display at least one of a first guide that induces a change in vehicle posture for lane maintenance and a second guide that warns of departure from the driving lane.
  • the processor determines a time to warn of departure from the driving lane based on the driving speed of the vehicle, and displays the second guide at a position corresponding to the estimated departure direction at the determined time.
  • AR objects can be displayed and updated.
  • the processor updates the display of the vehicle driving posture indicated by the first AR object based on the bias within the driving lane being determined to exceed a threshold range, and the first guide is positioned in the center of the driving lane.
  • the display of the second AR object may be updated to be positioned.
  • the processor updates the rendering to display a guide trajectory indicating the avoidance path and the overtaking point of the target object through a separated second AR object, based on recognition of overtaking driving as a notification event related to the driving lane. can do.
  • the processor may maintain the separated state of the separated second AR object until the overtaking of the vehicle is completed during the overtaking and update the rendering to display a guide trajectory for the vehicle to travel. .
  • the processor based on the current location and driving state of the vehicle, sets the crossing point of the lane corresponding to the overtaking point of the target object between the guide trajectories to be driven and the driving speed for passing the crossing point.
  • the display can be updated to include information.
  • the processor determines an avoidance driving lane based on the current location of the vehicle and the ADAS sensing data, based on detection of a front object that can collide with a notification event related to the driving lane based on ADAS sensing data.
  • a decision may be made, and the separated second AR object may be rendered to display a guide trajectory for the vehicle to travel based on the decision.
  • the guide for the current location and predicted driving situation of the vehicle is simultaneously provided as an AR object in the front image that is calibrated without separate settings, thereby providing the vehicle with a better view. It can provide intuitive and realistic AR guide guidance.
  • the AR display device and its operating method it is possible to predict the possibility of a collision when a vehicle changes driving lane and inform the driver of whether lane change is possible rather than simply providing a warning notification.
  • lane change is prohibited when lane change is not possible and an intuitive change guide path is provided when lane change is possible, greatly helping safe driving and lane change driving.
  • the AR display device and its operating method it is possible to prevent driving lane departure through an intuitive AR interface without driving interruption due to frequent warning alarms.
  • the vehicle determines whether the vehicle can safely pass the vehicle in front, and provides a safe path and driving speed to help ensure safe and convenient driving.
  • FIG. 1 is a diagram illustrating an example of a vehicle related to an embodiment of the present invention.
  • Figure 2 is a view of a vehicle related to an embodiment of the present invention viewed from various angles.
  • FIG. 8 is a detailed block diagram related to the processor of the AR display device according to an embodiment of the present invention.
  • FIG. 9 is a diagram referenced for explaining a navigation screen according to an embodiment of the present invention
  • FIG. 10 is a diagram referenced for explaining an operation of generating the navigation screen of FIG. 9 .
  • Figure 11 is a flowchart referenced to explain a method of displaying an AR graphic interface on a navigation screen according to an embodiment of the present invention.
  • FIGS. 12A and 12B are illustrations of an AR graphic interface according to an embodiment of the present invention, and are reference diagrams for explaining separation and combination into first and second AR objects.
  • FIGS. 13A, 13B, and 13C are conceptual diagrams used to explain a method of providing UX related to lane scenery using an AR graphic interface according to an embodiment of the present invention, and FIG. 14 is a flow chart for this.
  • Figures 17a and 17b are conceptual diagrams used to explain a method of providing guide UX related to overtaking a vehicle in front using an AR graphic interface according to an embodiment of the present invention.
  • Figure 18 is a conceptual diagram referenced to explain a method of providing guide UX related to AES (Automatic Emergency Steering) response using an AR graphic interface according to an embodiment of the present invention.
  • AES Automatic Emergency Steering
  • Figure 19 is a flowchart referenced to explain a method of providing UX related to a possible forward collision warning using an AR graphic interface according to an embodiment of the present invention.
  • the vehicle described in this specification may be a concept that includes all internal combustion engine vehicles having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle refers to the left side of the vehicle's traveling direction
  • the right side of the vehicle refers to the right side of the vehicle's traveling direction
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the moving direction of the vehicle 100.
  • the autonomous vehicle 100 may receive user input for driving through the driving control device 500. Based on user input received through the driving control device 500, the vehicle 100 may be driven.
  • the overall length refers to the length from the front to the rear of the vehicle 100
  • the overall width refers to the width of the vehicle 100
  • the overall height refers to the length from the bottom of the wheels to the roof.
  • the overall length direction (L) is the direction that is the standard for measuring the overall length of the vehicle 100
  • the overall width direction (W) is the direction that is the standard for measuring the overall width of the vehicle 100
  • the overall height direction (H) is the direction that is the standard for measuring the overall width of the vehicle 100. It may refer to the direction that serves as the standard for measuring the total height of (100).
  • the vehicle 100 includes a user interface device (hereinafter referred to as a 'user terminal') 200, an object detection device 300, a communication device 400, and a driving operation device. (500), vehicle driving device 600, driving system 700, navigation system 770, sensing unit 120, vehicle interface unit 130, memory 140, control unit 170, and power supply unit 190 ) may include.
  • the user interface device 200 is a device for communication between the vehicle 100 and the user.
  • the user interface device 200 may receive user input and provide information generated by the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UI) or User Experience (UX) through a user interface device (hereinafter referred to as a 'user terminal') 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, a biometric detection unit 230, an output unit 250, and a processor 270. Depending on the embodiment, the user interface device 200 may further include other components in addition to the components described, or may not include some of the components described.
  • the input unit 210 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 can convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 can convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input. Depending on the embodiment, the gesture input unit 212 may detect a user's 3D gesture input. To this end, the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 can convert the user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the touch input unit 213 may include a touch sensor for detecting a user's touch input.
  • the touch input unit 213 may be formed integrally with the display unit 251 to implement a touch screen. This touch screen can provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170.
  • the mechanical input unit 214 may be placed on a steering wheel, center fascia, center console, cockpit module, door, etc.
  • the internal camera 220 can acquire images inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may obtain the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect a user's gesture from an image inside the vehicle.
  • the biometric detection unit 230 can acquire the user's biometric information.
  • the biometric detection unit 230 includes a sensor that can acquire the user's biometric information, and can obtain the user's fingerprint information, heart rate information, etc. using the sensor. Biometric information can be used for user authentication.
  • the output unit 250 is for generating output related to vision, hearing, or tactile sensation.
  • the output unit 250 may include at least one of a display unit 251, an audio output unit 252, and a haptic output unit 253.
  • the display unit 251 can display graphic objects corresponding to various information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. It may include at least one of a display, a 3D display, and an e-ink display.
  • the display unit 251 and the touch input unit 213 may form a layered structure or be formed as one piece, thereby implementing a touch screen.
  • the display unit 251 may be implemented as a Head Up Display (HUD).
  • HUD Head Up Display
  • the display unit 251 is equipped with a projection module and can output information through an image projected on a windshield or window.
  • the display unit 251 may include a transparent display.
  • the transparent display can be attached to a windshield or window.
  • a transparent display can display a certain screen while having a certain transparency.
  • transparent displays include transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transparent transparent display, and transparent LED (Light Emitting Diode) display. It may include at least one of: The transparency of a transparent display can be adjusted.
  • the display unit 251 includes one area of the steering wheel, one area of the instrument panel (521a, 251b, 251e), one area of the seat (251d), one area of each pillar (251f), and one area of the door ( 251g), may be placed in an area of the center console, an area of the headlining, or an area of the sun visor, or may be implemented in an area of the windshield (251c) or an area of the window (251h).
  • the audio output unit 252 converts the electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs it. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may operate to vibrate the steering wheel, seat belt, and seats 110FL, 110FR, 110RL, and 110RR so that the user can perceive the output.
  • the processor (hereinafter referred to as a 'control unit') 270 may control the overall operation of each unit of the user interface device 200.
  • the user interface device 200 may include a plurality of processors 270 or may not include the processor 270.
  • the user interface device 200 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the user interface device 200 may be called a vehicle display device.
  • the user interface device 200 may be operated under the control of the control unit 170.
  • the object detection device 300 is a device for detecting objects located outside the vehicle 100. Objects may be various objects related to the operation of the vehicle 100. 5 and 6, the object O is a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), a traffic signal (OB14, OB15), light, a road, a structure, Can include speed bumps, landmarks, animals, etc.
  • the other vehicle OB11 may be a vehicle running around the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle that precedes or follows the vehicle 100.
  • the pedestrian OB12 may be a person located around the vehicle 100.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100.
  • a pedestrian OB12 may be a person located on a sidewalk or roadway.
  • Traffic signals may include traffic lights (OB15), traffic signs (OB14), and symbols or text drawn on the road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from street lights.
  • the light may be sunlight.
  • the structure may be an object located near the road and fixed to the ground.
  • structures may include streetlights, trees, buildings, electric poles, traffic lights, and bridges.
  • Landforms may include mountains, hills, etc.
  • the object detection apparatus 300 may further include other components in addition to the components described, or may not include some of the components described.
  • the camera 310 may be located at an appropriate location outside the vehicle to obtain images of the exterior of the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an Around View Monitoring (AVM) camera 310b, or a 360-degree camera.
  • AVM Around View Monitoring
  • the camera 310 may be placed close to the rear windshield in the interior of the vehicle to obtain an image of the rear of the vehicle.
  • the camera 310 may be placed around the rear bumper, trunk, or tailgate.
  • the camera 310 may be placed close to at least one of the side windows inside the vehicle to obtain an image of the side of the vehicle.
  • the camera 310 may be placed around a side mirror, fender, or door.
  • the camera 310 may provide the acquired image to the processor 370.
  • Radar 320 may include an electromagnetic wave transmitting unit and a receiving unit.
  • the radar 320 may be implemented as a pulse radar or continuous wave radar based on the principle of transmitting radio waves.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method depending on the signal waveform among the continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object using electromagnetic waves based on a Time of Flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • TOF Time of Flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • the radar 320 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • LiDAR 330 may include a laser transmitter and a receiver. LiDAR 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • LiDAR 330 may be implemented as a driven or non-driven type.
  • the LIDAR 330 When implemented in a driven manner, the LIDAR 330 is rotated by a motor and can detect objects around the vehicle 100.
  • the LIDAR 330 can detect objects located within a predetermined range based on the vehicle 100 through optical steering.
  • the vehicle 100 may include a plurality of non-driven LIDARs 330.
  • the LIDAR 330 detects an object via laser light based on a time of flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • Lidar 330 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 can detect an object based on ultrasonic waves and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the ultrasonic sensor 340 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the processor 370 can detect and track an object based on the acquired image.
  • the processor 370 can perform operations such as calculating a distance to an object and calculating a relative speed to an object through an image processing algorithm.
  • the processor 370 may detect and track an object based on reflected laser light that is returned after the transmitted laser is reflected by the object.
  • the processor 370 may perform operations such as calculating the distance to the object and calculating the relative speed to the object, based on the laser light.
  • the processor 370 may detect and track an object based on reflected ultrasonic waves in which the transmitted ultrasonic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on ultrasonic waves.
  • the object detection apparatus 300 may include a plurality of processors 370 or may not include the processor 370.
  • the camera 310, radar 320, lidar 330, ultrasonic sensor 340, and infrared sensor 350 may each individually include a processor.
  • the object detection device 300 may be operated under the control of the processor or control unit 170 of the device in the vehicle 100.
  • the object detection device 400 may be operated under the control of the control unit 170.
  • the communication device 400 is a device for communicating with an external device.
  • the external device may be another vehicle, mobile terminal, or server.
  • the communication device 400 may include a short-range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transceiver 450, and a processor 470.
  • the communication device 400 may further include other components in addition to the components described, or may not include some of the components described.
  • the short-range communication unit 410 is a unit for short-range communication.
  • the short-range communication unit 410 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless
  • -Fidelity Wi-Fi Direct
  • Wireless USB Wireless Universal Serial Bus
  • the short-range communication unit 410 may form a wireless area network and perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for acquiring location information of the vehicle 100.
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing communication with infrastructure (V2I), communication between vehicles (V2V), and communication with pedestrians (V2P) protocols.
  • the optical communication unit 440 is a unit for communicating with an external device through light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits it to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light emitting unit may be formed to be integrated with the lamp included in the vehicle 100.
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server through a broadcast channel or transmitting a broadcast signal to the broadcast management server.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • Broadcast signals may include TV broadcast signals, radio broadcast signals, and data broadcast signals.
  • the communication device 400 may include a plurality of processors 470 or may not include the processor 470.
  • the communication device 400 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the communication device 400 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be called a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the control unit 170.
  • the driving control device 500 is a device that receives user input for driving.
  • the vehicle 100 may be operated based on signals provided by the driving control device 500.
  • the driving control device 500 may include a steering input device 510, an acceleration input device 530, and a brake input device 570.
  • the steering input device 510 may receive an input of the direction of travel of the vehicle 100 from the user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, touch pad, or button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from the user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from the user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. Depending on the embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, touch pad, or button.
  • the driving control device 500 may be operated under the control of the control unit 170.
  • the vehicle driving device 600 may include a power train driving unit 610, a chassis driving unit 620, a door/window driving unit 630, a safety device driving unit 640, a lamp driving unit 650, and an air conditioning driving unit 660. You can.
  • the vehicle driving device 600 may further include other components in addition to the components described, or may not include some of the components described.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612.
  • the chassis driver 620 can control the operation of the chassis device.
  • the chassis drive unit 620 may include a steering drive unit 621, a brake drive unit 622, and a suspension drive unit 623.
  • the steering drive unit 621 may perform electronic control of the steering apparatus within the vehicle 100.
  • the steering drive unit 621 can change the moving direction of the vehicle.
  • the brake driver 622 can individually control each of the plurality of brakes.
  • the brake driver 622 can control braking force applied to a plurality of wheels differently.
  • the suspension drive unit 623 may perform electronic control of the suspension apparatus within the vehicle 100. For example, when the road surface is curved, the suspension drive unit 623 may control the suspension device to reduce vibration of the vehicle 100. Meanwhile, the suspension driving unit 623 can individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632.
  • the window driver 632 may perform electronic control of a window apparatus. It is possible to control the opening or closing of a plurality of windows included in the vehicle 100.
  • the safety device driver 640 may perform electronic control of various safety apparatuses in the vehicle 100.
  • the operation system 700 is a system that controls various operations of the vehicle 100.
  • the navigation system 700 may be operated in autonomous driving mode.
  • the driving system 700 may include a driving system 710, a parking system 740, and a parking system 750.
  • the navigation system 700 may include a processor. Each unit of the navigation system 700 may individually include a processor.
  • the navigation system 700 when the navigation system 700 is implemented in software, it may be a sub-concept of the control unit 170.
  • the navigation system 700 includes at least one of the user interface device 200, the object detection device 300, the communication device 400, the vehicle driving device 600, and the control unit 170. It may be a concept that includes
  • the driving system 710 can drive the vehicle 100.
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 750 can park the vehicle 100.
  • the navigation system 770 may provide navigation information.
  • Navigation information may include at least one of map information, set destination information, route information according to the set destination, information on various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include memory and a processor.
  • the memory can store navigation information.
  • the processor may control the operation of the navigation system 770.
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified as a sub-component of the user interface device 200.
  • the sensing unit 120 can sense the status of the vehicle.
  • the sensing unit 120 includes a posture sensor (e.g., yaw sensor, roll sensor, pitch sensor), collision sensor, wheel sensor, speed sensor, and inclination sensor.
  • Sensor weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a rotational steering sensor, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, brake pedal position sensor, etc.
  • the sensing unit 120 includes vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/backward information, and battery. Obtain sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, etc. can do.
  • the sensing unit 120 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), etc. may be further included.
  • the vehicle interface unit 130 may serve as a conduit for supplying electrical energy to a connected mobile terminal.
  • the vehicle interface unit 130 may provide electrical energy supplied from the power supply unit 190 to the mobile terminal under the control of the control unit 170. .
  • the memory 140 is electrically connected to the control unit 170.
  • the memory 140 can store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 140 may be a variety of storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc.
  • the memory 140 may store various data for the overall operation of the vehicle 100, such as programs for processing or controlling the control unit 170.
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170.
  • the control unit 170 may control the overall operation of each unit within the vehicle 100.
  • the control unit 170 may be named ECU (Electronic Control Unit).
  • the power supply unit 190 may supply power required for the operation of each component under the control of the control unit 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control units 170 included in the vehicle 100 include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs ( It may be implemented using at least one of field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • the AR display device 800 is used for navigation of the vehicle 100. Based on the information and data received from the AR camera, an AR graphic interface indicating the driving state of the vehicle can be displayed in real time through AR registration on the front image of the vehicle (or the vehicle's windshield).
  • 'front image' refers not only to images captured through camera sensors (or smart glasses including these functions), but also to images reflected on the LCD screen through camera sensors and windshield/dash images. It can include both real-space images and/or digitally twinned 3D images shown on the board.
  • 'Navigation screen including forward image (or driving image)' disclosed in this specification is a navigation screen created based on the current location and navigation information, a forward image captured through the vehicle's camera, and reflected on the LCD screen. This may mean that a forward image implemented in the form of one of the images of real space shown through a video, windshield, etc. and/or a digitally twinned 3D image is layered on the navigation screen.
  • the navigation screen may be an AR navigation screen to which AR technology is applied.
  • the 'AR graphic interface' disclosed in this specification is a graphic user interface using augmented reality (AR) technology, and is AR matched to the front image of the vehicle in real time.
  • AR augmented reality
  • the AR display device 800 displays an AR object separated from the AR graphic interface based on map data (e.g., information such as route, POI, etc.), sensing data, and a front image acquired by a camera to display information about the driving situation of the vehicle. It can be rendered to display a guide and provided in real time to the AR GUI surface and AR camera surface of the navigation application.
  • map data e.g., information such as route, POI, etc.
  • sensing data e.g., information such as route, POI, etc.
  • a front image acquired by a camera to display information about the driving situation of the vehicle. It can be rendered to display a guide and provided in real time to the AR GUI surface and AR camera surface of the navigation application.
  • the AR engine 920 may perform calibration on the front image based on data provided from a calibration factor database.
  • the AR engine 920 may perform object detection based on front image data and route data.
  • the AR engine 920 may perform prediction and interpolation based on the detected object.
  • the navigation application 930 displays a navigation map surface 901, an AR camera surface 902, an AR GUI surface 903, and a navigation GUI surface ( 904) can be generated.
  • the navigation application 930 may provide the parameters of the AR camera surface 902 and the parameters of the AR GUI surface 903 to the AR engine 920.
  • FIG. 11 is a flowchart referenced to explain a method 1100 of displaying an AR graphic interface on a navigation screen according to an embodiment of the present invention.
  • the processor displays (render) the AR graphic interface with the first and second AR objects combined. If a preset condition is satisfied, the processor displays (render) the AR graphic interface with the second AR object separated from the AR graphic interface.
  • variable AR graphic interface displays a plurality of AR objects in a separated form so that the driver of the vehicle can intuitively see the display of the current driving state and the guide display for the driving situation predicted to change.
  • the AR graphic interface 1200 may be implemented as an AR image of a specific shape in 3D form, and through these AR images, the vehicle's current driving direction, driving speed, and steering information, as well as road information, etc. can be displayed. there is.
  • the first object may be implemented in the form of, for example, a 3D spade (e.g., a shovel-shaped image), and the second object may be implemented as a 3D chevron (e.g., a 3D chevron) extending from the first object. , A or V-shaped image).
  • a 3D spade e.g., a shovel-shaped image
  • the second object may be implemented as a 3D chevron (e.g., a 3D chevron) extending from the first object.
  • a or V-shaped image e.g., a 3D chevron
  • the AR graphic interface 1200 may be displayed so that the first and second objects are combined and move at the same or different twisting angles to indicate the current driving state of the vehicle.
  • the plurality of fragments may be expressed as moving a certain distance ahead of the first AR object 1220.
  • it is implemented to express a driving guide according to the occurrence of a predicted situation while moving based on the current location and driving state of the vehicle.
  • Figures 13a, 13b, and 13c are conceptual diagrams related to a method of providing UX related to lane change using an AR graphic interface.
  • collision interference functions include, for example, AEB (Automatic Emergency Braking), AES (Automatic Emergency Steering), and RAB (Rear Automatic Braking).
  • the processor 820 recognizes a notification event related to the driving lane detected based on sensing data, and separates the second AR object from the first AR object based on the recognized notification event,
  • the AR graphic interface may be updated for rendering to display a guide related to the driving lane corresponding to the notification event through the separated second AR object.
  • the notification event related to the driving lane of the vehicle may be any one of a change in the driving lane, estimation of departure from the driving lane, overtaking of a front object, and detection of a collidable object in the current driving lane or the driving lane to be changed.
  • sensing data for recognizing a notification event related to the vehicle's driving lane may be a combination of one or more of CAN data, GPS information, navigation information, and ADAS sensing data.
  • the processor 820 detects an object approaching the vehicle based on the vehicle's sensing data and map data, separates some of the plurality of trajectories of the separated second AR object, and updates it to display the location of the detected object. You can. Accordingly, the driver's attention can be awakened.
  • the processor 820 changes the display so that a plurality of trajectories indicate that lane change is not possible, based on the detection of an object that may collide in the driving lane to be changed, and some of the displayed changed trajectories indicate the location of the detected object.
  • the display can be updated.
  • the processor 820 may update rendering so that the plurality of trajectories indicating that lane change is not possible are located only in one of the vehicle's current driving lane or the driving lane in which change is not possible.
  • Figure 13a shows a case where it is confirmed that there is no approaching moving object behind the lane to be changed, and the vehicle is allowed to change lanes.
  • the processor 820 detects a moving object (e.g., vehicle, two-wheeled vehicle, bicycle, electric kickboard, etc.) approaching the vehicle from the rear of the lane (e.g., right lane) 10R to be changed. ) Confirm that there is no. Accordingly, a guide trajectory guiding the vehicle to change the right lane is displayed on the front image 1301 of the vehicle through the separated second AR object 1310a.
  • a moving object e.g., vehicle, two-wheeled vehicle, bicycle, electric kickboard, etc.
  • the guide trajectory of the separated second AR object 1310a forms a guide path connected from the first AR object 1320, which indicates the current driving state of the vehicle, toward the right lane 10R.
  • the first AR object 1320 is displayed with its position, rotation amount, and color (eg, when the driving speed increases) changed depending on the driving state of the vehicle following the guide trajectory of the second AR object 1310a.
  • the vehicle can change to the left lane (10L).
  • a guiding trajectory will be provided on the image in front of the vehicle.
  • Figure 13b shows a case where a vehicle is not allowed to change lanes because there is an approaching moving object in the lane to be changed and the possibility of collision is predicted.
  • the processor 820 detects a moving object (e.g., vehicle, two-wheeled vehicle, bicycle, electric kickboard, etc.) approaching the vehicle from the rear of the lane (e.g., right lane) 10R to be changed. ).
  • a moving object e.g., vehicle, two-wheeled vehicle, bicycle, electric kickboard, etc.
  • the processor 820 may determine the possibility of a collision with an approaching moving object at the right rear based on map data such as ADAS sensing data, vehicle data (eg, CAN data), and navigation/map/GPS data.
  • map data such as ADAS sensing data, vehicle data (eg, CAN data), and navigation/map/GPS data.
  • the processor 820 may determine the possibility of a collision by obtaining information about the distance, position, direction, and speed between the vehicle and a moving object approaching from the rear based on ADAS sensing data.
  • each of the separated second AR objects (1310b-2, 1310b-1) displays a different color, shape, flashing light, and highlight display than before so that the driver can be alerted to approaching moving objects and intuitively perceive lane access prohibition warnings. etc. may be output.
  • the vehicle changes lane. A sign warning that this is not possible will be provided on the video in front of the vehicle.
  • Figure 13c shows a case where a vehicle is allowed to change lanes even though there is a moving object approaching the lane to be changed.
  • the processor 820 detects a moving object (e.g., vehicle, two-wheeled vehicle, bicycle, electric kickboard, etc.) approaching the vehicle from the rear of the lane (e.g., right lane) 10R to be changed. ).
  • a moving object e.g., vehicle, two-wheeled vehicle, bicycle, electric kickboard, etc.
  • the processor 820 may determine the possibility of a collision with an approaching moving object at the right rear based on map data such as ADAS sensing data, vehicle data (eg, CAN data), and navigation/map/GPS data. For example, the processor 820 may determine the possibility of a collision by obtaining information about the distance, position, direction, and speed between the vehicle and a moving object approaching from the rear based on ADAS sensing data.
  • map data such as ADAS sensing data, vehicle data (eg, CAN data), and navigation/map/GPS data.
  • the part 1310c-2 of the separated second AR object may be displayed in a color indicating a warning notification (e.g., orange or red) so that the driver pays attention to the presence of an approaching moving object. .
  • a warning notification e.g., orange or red
  • the guide trajectory 1310c-1 of the separated second AR object forms a guide path connected from the first AR object 1320, which indicates the current driving state of the vehicle, toward the right lane 10R.
  • the first AR object 1320 is displayed with its position, rotation amount, and color (e.g., when the driving speed increases) changed depending on the driving state of the vehicle following the guide trajectory 1310c-1 of the second AR object.
  • Figure 14 is a flowchart of a method for providing UX related to lane scenery using an AR graphic interface according to an embodiment of the present invention.
  • each step shown in FIG. 14 is performed by the processor 820 of the AR display device 800.
  • each step is performed including some of the operations of the navigation engine 910, AR engine 920, and navigation application 930 described above with reference to FIGS. 8 to 10, or at least some of the operations are performed. The following may be performed before/after the process of FIG. 14.
  • the processor 820 can detect the left turn signal input of the vehicle based on the data (1401). For example, the processor 820 may recognize a left turn signal input based on sensing data resulting from the turning on of the vehicle's left turn signal lamp.
  • some of the separated second AR objects move to the position of the approaching vehicle at the left rear and display it to provide attention (1403) .
  • a part of the second AR object is changed in color (or changed in shape/highlighted) and displayed on the rear left side based on the position of the first AR object.
  • the processor 820 determines whether the possibility of a collision between the vehicle and a vehicle approaching the left rear (or a moving object such as a two-wheeled vehicle or an electric kickboard) is predicted (1404), and if the possibility of a collision is predicted, the separated second AR The impossibility of changing lanes is indicated through an object (1405).
  • judgment 1404 if it is predicted that there is no possibility of collision with an approaching vehicle from the left rear, it is determined that the vehicle can change lanes to the left lane, and a lane change guide trajectory is displayed through a separate second AR object (1406) .
  • the lane change guide trajectory displayed by the separated second AR object is displayed and updated according to the vehicle's driving status (e.g., location, driving direction, driving speed) (1407).
  • the color of the first AR object changes based on the vehicle's driving speed.
  • the first and second objects are updated to be displayed in a combined form instead of displaying the approaching vehicle and the guide trajectory.
  • some of the separated second AR objects move to the location of the approaching vehicle at the right rear and display it to warn the driver ( 1409).
  • a portion of the second AR object 1310C-2 is changed in color (or changed in shape/highlighted) to the right based on the position of the first AR object 1320. Marked at the rear.
  • the processor 820 determines whether the possibility of a collision between the vehicle and an approaching vehicle (or a moving object such as a two-wheeled vehicle or an electric kickboard) is predicted at the right rear (1410), and if the possibility of a collision is predicted, the separated second AR The impossibility of changing lanes is indicated through an object (1411).
  • the color of a part (1310b-1) of the second AR object is changed (or the shape is changed/highlighted), and the first AR object is used to intuitively perceive that lane changes are not possible.
  • the guide trajectory connected to is not displayed.
  • the second AR objects 1310b-1 and 1310b-2 are displayed only on the non-changeable lane, for example, may be displayed on the border of the non-changeable lane.
  • the judgment 1410 if it is predicted that there is no possibility of collision with the approaching vehicle on the right rear, it is determined that the vehicle can change lanes to the right lane, and the lane change guide trajectory is displayed through the second separated AR object (1412) .
  • the color of the first AR object changes based on the vehicle's driving speed.
  • the processor 820 approaches The rendering is updated to display the AR graphic interface in a combined form with the first and second objects instead of displaying the vehicle and guide trajectories.
  • FIGS. 15A and 15B are conceptual diagrams for explaining a method of providing UX related to lane keeping using an AR graphic interface.
  • the AR display device 800 can detect a situation where there is concern about the possibility of lane departure even though the vehicle is not changing lanes, based on the vehicle's sensing data, map data, and ADAS sensing data, Accordingly, the second AR object can be separated to display the location where the vehicle should be for warning notification and lane maintenance.
  • the processor 820 stores vehicle sensing data (e.g., CAN (steering wheel angle, driving speed, yaw rate), GPS location/direction information) and map data (e.g., navigation/map data). (lane geometry), notification events related to lane maintenance can be detected based on ADAS sensing data.
  • vehicle sensing data e.g., CAN (steering wheel angle, driving speed, yaw rate), GPS location/direction information
  • map data e.g., navigation/map data.
  • notification events related to lane maintenance can be detected based on ADAS sensing data.
  • a notification event related to lane maintenance occurs when the possibility of deviation or departure in the lateral direction (left or right) is detected based on the vehicle's posture in the current driving lane.
  • the posture of the vehicle in the current driving lane is determined by the processor 820 based on the vehicle's sensing data, map data, and ADAS sensing data, including the vehicle's position within the driving lane and the lateral distance to the biased lane boundary line. It can be obtained by calculating (lateral offest), speed/acceleration in the lateral direction, steering angle of the vehicle, etc.
  • the processor 820 can predict the lane departure point of the vehicle based on the vehicle's attitude in the current driving lane (e.g., speed/acceleration in the lateral direction, etc.), and before the predicted lane departure point (results in the driver's reaction time). With further consideration), warnings can be displayed via an AR graphical interface.
  • the processor 820 uses the first AR object to display the vehicle's driving posture in the current driving lane, and the second AR object to display the vehicle's driving posture in the current driving lane, based on the predicted departure of the driving lane through a notification event related to the driving lane.
  • the rendering may be updated to display at least one of a first guide that induces a change in the vehicle's driving posture and a second guide that warns of lane departure of the vehicle.
  • the processor 820 may display the first guide through a separate second AR object when detecting a vehicle's driving lane bias, and when a prediction of a vehicle's driving lane deviation is detected, the processor 820 may display the first guide through a separated second AR object. Both the first and second guides can be displayed through .
  • the first guide is displayed when vehicle bias is detected, and may include the proposed location, posture, and driving direction of the vehicle.
  • the first guide may be displayed prior to the first AR object indicating the current driving state of the vehicle so that the vehicle intuitively follows it.
  • the first guide may include a different color, shape, highlight display, etc. from the first AR object for intuitive warning display.
  • the first guide may not be displayed if the possibility of vehicle bias or deviation is no longer predicted.
  • the second guide is displayed when the vehicle is predicted to deviate from its driving lane, and is displayed before the predicted lane departure point.
  • the second guide may include a different color, shape, highlight, etc. from the first AR object for intuitive warning display.
  • the second guide may be displayed on or at least partially overlapping the lane boundary line in the direction in which the vehicle intends to deviate.
  • the second guide may display a warning display in the form of a flashing image of the same lane on the lane boundary line.
  • the second guide is displayed together with the first guide to induce a change in posture to maintain the vehicle driving lane.
  • the second guide may not be displayed if the possibility of the vehicle leaving is no longer predicted.
  • the processor 820 determines a time to warn that the vehicle is leaving the driving lane (and a time to predict the vehicle's driving lane departure) based on the driving speed of the vehicle, and places a second device at a position corresponding to the estimated direction of departure at the determined time.
  • the display of the second AR object may be updated to display a guide.
  • the processor 820 updates the display of the driving posture indicated by the first AR object, based on the determination that the bias of the vehicle in the driving lane exceeds the threshold range, and configures the first guide to be located in the center of the driving lane.
  • the display of the second AR object can be updated.
  • the processor 820 may operate to apply a display update for the first AR object (e.g., when determining lane bias) to the image in front of the vehicle when the threshold value is exceeded.
  • the calculation of the vehicle's attitude value for lane maintenance and the lane departure prediction time are performed in real time, but the first and second guides
  • the display update by the second guide can be applied to be performed when the reference value (or weight) is satisfied.
  • the processor 820 determines the first and second guides based on the width of the lane and the size of the vehicle. Display updates and display timing can be applied differently.
  • Figure 15a is an example of warning of lane bias of a vehicle through the first guide.
  • the first AR object 1520 displays the current driving state of the vehicle, that is, the vehicle's position, posture (Roll, Pitch, Yaw), and driving direction
  • the separated second AR object 1510s displays the first AR object 1510s. It is displayed to indicate the corrected posture direction at the center of the lane ahead of the AR object 1520.
  • the separated second AR object 1510s provides a guide (the first guide) for lane maintenance.
  • the driver or vehicle can correct lane bias and prevent lane departure by following the first guide and performing vehicle steering control.
  • Figure 15b is an example of warning of lane departure of a vehicle through the first and second guides.
  • the first AR object 1520 displays the current driving state of the vehicle, that is, the vehicle's position, posture (Roll, Pitch, Yaw), and driving direction, and is a part of the separated second AR object, that is, the first AR object.
  • the guide 1510s is displayed to indicate the corrected posture direction at a position ahead of the first AR object 1520 and at the center position of the lane.
  • the remaining part of the separated second AR object or the third AR object that is, the second guide 1530, is displayed as a warning along the lane boundary line to prevent the vehicle from leaving the lane.
  • the second guide 1530 may be changed in color, changed in shape, or displayed as a highlight for warning purposes, as described above.
  • a portion 1510s of the separated second AR object provides a guide for lane maintenance (the first guide).
  • the driver can correct lane bias and prevent lane departure.
  • the processor 820 may transmit a control signal to provide additional warning through the vehicle's audio output, haptic output, etc. along with the second guide display.
  • Figure 16 is a flowchart of a method of providing UX related to lane keeping using an AR graphic interface.
  • the AR display device 800 displays vehicle sensing data (e.g., CAN (Steering Wheel angle, driving speed, yaw rate), GPS location/direction information) and map data (e.g., navigation /Notification events related to lane maintenance can be detected based on ADAS sensing data along with map data (lane geometry).
  • vehicle sensing data e.g., CAN (Steering Wheel angle, driving speed, yaw rate), GPS location/direction information
  • map data e.g., navigation /Notification events related to lane maintenance can be detected based on ADAS sensing data along with map data (lane geometry).
  • the AR display device 800 may update the rendering of the AR graphic interface to display a guide related to the driving lane corresponding to the detected notification event.
  • the processor 820 of the AR display device 800 provides the navigation application with an AR GUI frame corresponding to the rendering update of the AR graphic interface and causes the navigation application to update the AR GUI surface, thereby creating an AR navigation screen. can be output.
  • FIG. 16 Each step shown in FIG. 16 is performed by a processor (or AR engine) unless otherwise specified.
  • the process of FIG. 16 includes or performs operations of the navigation engine 910, AR engine 920, and navigation application 930 by the processor 820 described above with reference to FIGS. 8 to 10. At least some of these may be performed before or after the process of FIG. 16.
  • the processor 820 may render a guide related to the driving lane corresponding to the notification event on the image in front of the vehicle using the first AR object and the separated second AR object.
  • the processor 820 calculates the center position of the driving lane and the pose of the second AR object to display the first guide for lane maintenance guidance (1610).
  • the pose of the second AR object means the pitch, roll, and yaw values corresponding to the proposed corrected posture direction.
  • the center position of the travel lane corresponds to the display position of the first guide.
  • the processor 820 displays the second separated AR object in the form of the first guide on the image in front of the vehicle (1620).
  • the case that satisfies the preset display standard means that the current driving state of the vehicle is biased more than the standard value on the lane boundary line (e.g., left/right lane boundary line, etc.).
  • the first guide indicates a desirable position for the vehicle to be in to maintain lane.
  • the processor 820 calculates the position and pose values of the vehicle to display the first AR object corresponding to the current driving state of the vehicle (1630).
  • the processor 820 determines the position of the vehicle within the lane, the lateral distance to the deviated lane boundary line (lateral offest), the speed/acceleration in the lateral direction, and the vehicle's
  • the steering angle, etc. can be calculated, and based on this, the pitch, roll, and yaw values can be calculated.
  • the processor 820 compares the previous position and posture values of the first AR object with the current position and posture values of the vehicle and determines whether the threshold range is exceeded (1640). As a result of the determination (1640), if there is a change that exceeds the threshold range, the processor 820 updates the display of the first object (1650).
  • the processor 820 calculates the distance, speed, and acceleration in the left and right lateral directions based on the driving lane.
  • the possibility of lane departure is calculated.
  • the processor 820 displays a second guide warning that the vehicle may deviate from its driving lane on the image in front of the vehicle (1680).
  • the lane departure warning may be accompanied by audio output or haptic output.
  • the first and second guides are no longer displayed on the image in front of the vehicle, and the corresponding first and second AR objects are combined to guide the vehicle. It is displayed on the front image.
  • lane change is prohibited when lane change is not possible and an intuitive change guide path is provided when lane change is possible, greatly helping safe driving and lane change driving. .
  • Figures 17a and 17b show examples of a method of providing guide UX related to overtaking a vehicle in front using an AR graphic interface according to an embodiment of the present invention.
  • the AR display device 800 displays vehicle sensing data (e.g., CAN (steering wheel angle, driving speed, yaw rate), GPS location/direction information) and map data (e.g., navigation Based on ADAS sensing data along with map data (lane geometry), overtaking attempts can be recognized with notification events related to lane maintenance.
  • vehicle sensing data e.g., CAN (steering wheel angle, driving speed, yaw rate), GPS location/direction information
  • map data e.g., navigation Based on ADAS sensing data along with map data (lane geometry)
  • overtaking attempts can be recognized with notification events related to lane maintenance.
  • Vehicle overtaking (overtaking) must be performed at a safe speed and in a safe manner, taking into account the driving speed, driving direction, and other driving conditions of the vehicle in front.
  • the processor 820 may update rendering to display a guide trajectory indicating the avoidance path and the overtaking point of the target object through the separated second AR object, based on recognition of overtaking driving as a notification event related to the driving lane.
  • the avoidance route is a lane change (or bypass) route to overtake the vehicle in front (the first part of the avoidance route), and a change route to return to the original lane at the calculated point (the second part of the avoidance route). ) includes.
  • the target object is an overtaking target traveling in front of a vehicle in the same lane and may include, for example, a vehicle, a two-wheeled vehicle, an electric kickboard, a bicycle, etc.
  • the overtaking point refers to a lane change point, that is, a crossing point, included in each of the first and second parts of the avoidance route.
  • the overtaking point is located to the left of the target object, unless there are special circumstances.
  • vehicle overtaking may be performed within the same lane or may be performed while changing lanes.
  • the processor 820 uses a separated second AR object to move to the left of the target object within the same lane. Avoidance routes (multiple guide trajectories) are created and displayed on the image in front of the vehicle. At this time, when the separated second AR object is displayed, an evasive steering assist device such as a high beam may be activated to provide attention to the target object.
  • the vehicle When passing a vehicle by changing lanes, the vehicle is overtaken by moving to the left lane of the target object to be passed, then passing the target object and returning to the original lane.
  • the processor 820 combines the separated second AR object with the first AR object based on the completion of the lane change of the vehicle, and based on the current location of the vehicle being close to the overtaking point of the target object, the first AR object 2
  • the AR object is separated from the first AR object again and displays a guide trajectory to indicate the lane position to which it will return.
  • the processor 820 updates the rendering so that the separated second AR object remains separated until the overtaking of the vehicle is completed and displays the guide trajectory.
  • Figure 17a (a) shows the first part of the avoidance path
  • Figure 17a (b) shows the first part of the avoidance path
  • the processor 820 When vehicle overtaking (overtaking) begins, the processor 820 separates the second AR object and creates a first path (including a plurality of guide trajectories) 1710a for guiding the movement of the target vehicle to the left lane. Displays . At this time, if there is a moving object in the left lane, the processor 820 uses the second AR object to inform that lane change is not possible and displays the first path 1710a after the moving object passes or a safe distance is secured. You can.
  • the separated second AR object is combined with the first AR object (1710b) It is displayed as .
  • the combined second AR object (1710b) is separated again, and a plurality of guide trajectories guiding the vehicle to drive straight at the increased driving speed are displayed. You can.
  • the processor 820 displays a second path (including a plurality of guide trajectories) 1710c that guides the target vehicle to return to the original lane by passing it.
  • the processor 820 may inform the driver that lane changes cannot be made until a safe distance is secured and display the second path 1710c after the situation is over.
  • the separated second AR object is the first AR object. It is displayed in a form combined with an object (1710d).
  • the length and shape of the first and second paths are determined by taking into account the location, driving speed, driving direction, and other driving situations of the target vehicle to be overtaken (e.g., when the car in front of the current lane changes lanes first, etc.) , can be variable.
  • each of the first and second paths includes a point at which the lane changes, that is, a crossing point, and the vehicle changes lanes close to the target vehicle at the crossing point, thereby ensuring safe driving. It would be good to provide guidance on the appropriate driving speed.
  • the processor 820 includes a crossing point corresponding to the overtaking point of the target object and driving speed information for passing the crossing point between the plurality of guide trajectories to be driven, based on the current location and driving state of the vehicle. You can update the display to do so.
  • the processor 820 determines the first path 1710e based on the location and driving speed of the target vehicle calculated based on ADAS sensing data and the presence of a moving object approaching the rear of the left lane.
  • the proposed first required driving speed information 1730a e.g., '60 km/h'
  • the processor 820 determines the second path 1710f based on the location and driving speed of the target vehicle calculated based on ADAS sensing data and the presence of a moving object in front of the return lane. ), the proposed second required driving speed information 1730a (e.g., '80 km/h') can be displayed at the crossing point.
  • the proposed second required driving speed information 1730a e.g., '80 km/h'
  • each speed value displayed in the first and second required driving speed information may be displayed variably by reflecting the actual driving speed of the target vehicle and the presence of surrounding moving objects detected through ADAS sensing data.
  • the processor 820 of the AR display device 800 processes vehicle sensing data (e.g., CAN (steering wheel angle, driving speed, yaw rate), GPS location/direction information), Based on map data (e.g., navigation/map data (lane geometry)) and ADAS sensing data (e.g., camera, radar, lidar), possible collision front objects are alerted with notification events related to the driving lane. It can be detected.
  • vehicle sensing data e.g., CAN (steering wheel angle, driving speed, yaw rate), GPS location/direction information
  • map data e.g., navigation/map data (lane geometry)
  • ADAS sensing data e.g., camera, radar, lidar
  • the processor 820 determines an avoidance driving lane based on the detection of a front object that can collide, the current location of the vehicle and ADAS sensing data, and sets a guide trajectory for the separated second AR object to travel according to the determination. Can be rendered for display.
  • the vehicle 100 performs emergency braking by activating AEB (Automatic Emergency Braking, hereinafter referred to as 'AEB') when a collidable object is detected in front of the vehicle through the ADAS system, etc. while driving, or AES ( Automatic emergency steering (automatic ground steering, hereinafter referred to as 'AES') function is activated to perform automatic avoidance driving.
  • AEB Automatic Emergency Braking
  • 'AES' Automatic emergency steering (automatic ground steering, hereinafter referred to as 'AES') function is activated to perform automatic avoidance driving.
  • the route for the vehicle to automatically avoid driving can be guided in advance through the AR graphic interface.
  • AES Automatic emergency steering function is a function that detects a potential collision of a vehicle and automatically controls the steering control device to prevent or reduce the severity of the impact.
  • Some systems may include pedestrian or other object detection.
  • the processor 820 selects the lane with the lowest rear collision probability among the left or right lanes based on the current driving lane. Select and calculate the AES trajectory.
  • TTC Time To Collision
  • the processor 820 displays the expected trajectory based on the AES trajectory on the image in front of the vehicle using a separated second AR object, and displays the current driving state of the vehicle (e.g., vehicle location, driving direction) using the first AR object. , steering angle, etc.) are displayed on the image in front of the vehicle.
  • the current driving state of the vehicle e.g., vehicle location, driving direction
  • the first AR object e.g., steering angle, etc.
  • the steering wheel (steering angle) that can be avoided in a dangerous situation is displayed as a plurality of guide trajectories through a separate second AR object, so that the driver can intuitively recognize the avoidance path.
  • the AEB function is executed.
  • the processor 820 separates the second AR object and displays a guide trajectory corresponding to automatic avoidance driving according to the AES function.
  • the AES function selects a safer lane for evasive driving.
  • Figure 18 (a) shows the guide trajectory in the case where AES is safer on the left (L).
  • the vehicle displays the expected trajectory (1820a) of (100) and the expected final position (100').
  • the expected trajectory 1820a and the expected final position 100' of the vehicle 100 are displayed at least simultaneously with the execution of AES, so the driver can determine the route of automatic avoidance driving in advance.
  • Figure 18 (b) shows the guide trajectory in the case where AES is safer on the right (R).
  • the vehicle displays the expected trajectory (1820b) of (100) and the expected final position (100').
  • the expected trajectory 1820b and the expected final position 100' of the vehicle 100 are displayed at least simultaneously with the execution of AES, so the driver can determine the path of automatic avoidance driving in advance.
  • the separated second AR object is displayed again in a form combined with the first AR object.
  • Figure 19 is a flowchart showing a method of providing UX related to a possible forward collision warning using an AR graphic interface according to an embodiment of the present invention.
  • Each step shown in the flowchart of FIG. 19 is performed by a processor (or AR engine) unless otherwise specified.
  • the process of FIG. 19 includes or performs operations of the navigation engine 910, AR engine 920, and navigation application 930 by the processor 820 described above with reference to FIGS. 8 to 10. At least some of these may be performed before or after the process of FIG. 19.
  • the processor 820 may obtain information about a collision-possible object ahead (e.g., front car collision information, pedestrian information) based on ADAS sensing data while the vehicle is driving.
  • information about a collision-possible object ahead e.g., front car collision information, pedestrian information
  • the processor 820 determines whether a collision warning display is necessary based on the acquired information (1920), and if a collision warning display is necessary, the front collision-possible object (e.g., front car, pedestrian) converted from ADAS location information to the AR coordinate system ) (1930)
  • a collision warning display is necessary, the front collision-possible object (e.g., front car, pedestrian) converted from ADAS location information to the AR coordinate system ) (1930)
  • the warning mode is executed (1940), the warning notification level is determined, and different warning notifications are displayed according to the degree of risk.
  • the processor 820 calculates the relative position of the object based on the current location of the vehicle and the ADAS sensing data, based on the detection of a collisionable object in front based on the ADAS sensing data of the vehicle. , Depending on the calculated relative position (or depending on the degree of possible collision), a variable alarm object is rendered on the image in front of the vehicle.
  • the alarm object may be an AR image that surrounds the outline of the detected object in the form of a spiral ring. Additionally, the color, shape, etc. of the alarm object may vary depending on the predicted degree of collision possibility.
  • a warning notification corresponding to the separated second AR object is displayed in a color (eg, yellow) or shape indicating the low level (1950).
  • a warning notification corresponding to the separated second AR object is displayed in a color (e.g., orange) or shape indicating the high level (1960).
  • a warning notification corresponding to the separated second AR object can be displayed in a color (eg, red), shape, etc. indicating the critical level (1970).
  • the warning notification UX corresponding to the first to third modes may be displayed along with other output means of the vehicle (eg, audio output, haptic output, etc.) depending on the degree of risk.
  • other output means of the vehicle eg, audio output, haptic output, etc.
  • the guide for the current location and predicted driving situation of the vehicle is simultaneously provided as an AR object in the front image that is calibrated without separate settings, thereby It is possible to provide more intuitive and realistic AR guide guidance to users. Additionally, by predicting the possibility of a collision when the vehicle changes lanes, the driver can be notified of whether lane changes are possible rather than simply providing a warning notification. In addition, through a separate AR object, lane change is prohibited when lane change is not possible and an intuitive change guide path is provided when lane change is possible, greatly helping safe driving and lane change driving. Additionally, lane departure can be prevented through the intuitive AR interface without driving interruption due to frequent warning alarms.
  • the vehicle determines whether the vehicle can safely pass the vehicle in front, and provides a safe path and driving speed to help ensure safe and convenient driving. Furthermore, detection of possible front/side/rear collision objects is displayed as an intuitive AR object rather than a sound, helping safe driving without interfering with driving.
  • the above-described present invention can be implemented as computer-readable code (or application or software) on a program-recorded medium.
  • the control method of the self-driving vehicle described above can be implemented using codes stored in memory, etc.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It also includes those implemented in the form of carrier waves (e.g., transmission via the Internet). Additionally, the computer may include a processor or control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

차량과 연동된 AR 디스플레이 장치 및 그것의 동작방법이 개시된다. 본 발명에 따른 AR 디스플레이 장치는, ADAS 센싱 데이터, 맵 데이터, 차량 데이터 등에 기초하여 주행 차선과 관련된 알림 이벤트 발생을 인지할 수 있고, 이에 근거하여 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트로부터 분리된 제2 AR 오브젝트를 이용하여 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시할 수 있다.

Description

차량의 AR 디스플레이 장치 및 그것의 동작방법
본 발명은 차량과 연동된 AR 디스플레이 장치 및 그것의 동작방법에 관한 것으로, 보다 구체적으로는, 차량의 주행 동안 AR 기술을 통해 차량의 주행 차선 변경과 관련된 가이드 안내를 제공할 수 있는 AR 디스플레이 장치 및 그것의 동작방법에 관한 것이다.
차량을 이용하는 사용자의 안전 및 편의를 위해, 차량에는 각종 센서와 장치가 구비되고 있으며, 차량의 기능이 다양화 되고 있다. 이러한 차량의 기능은 운전자의 편의를 도모하기 위한 편의 기능, 그리고 운전자 및/또는 보행자의 안전을 도모하기 위한 안전 기능으로 나뉠 수 있다.
차량의 편의 기능은 차량에 인포테인먼트(information + entertainment) 기능을 부여하고, 부분적인 자율 주행 기능을 지원하거나, 야간 시야나 사각 대와 같은 운전자의 시야 확보를 돕는 등의 운전자 편의와 관련된 개발 동기를 가진다. 예를 들어, 적응 순향 제어(active cruise control, ACC), 스마트주자시스템(smart0020parking assist system, SPAS), 나이트비전(night vision, NV), 헤드 업 디스플레이(head up display, HUD), 어라운드 뷰 모니터(around view monitor, AVM), 적응형 상향등 제어(adaptive headlight system, AHS) 기능 등이 있다.
또한, 차량의 안전 기능은 운전자의 안전 및/또는 보행자의 안전을 확보하는 기술로, 차선 이탈 경고 시스템(lane departure warning system, LDWS), 차선 유지 보조 시스템(lane keeping assist system, LKAS), 자동 긴급 제동(autonomous emergency braking, AEB) 기능 등이 있다.
최근에는, 차량의 윈드쉴드, HUD(Head Up Display)를 통해 그래픽 객체를 출력하거나, 카메라로 촬영되는 영상에 그래픽 객체를 출력하여 실제 세계에 그래픽 객체를 추가로 출력시키는 증강현실(Augmented Reality, AR)에 대한 기술개발이 활발히 이루어지고 있다. 특히, 이러한 증강현실(AR) 기술을 활용하여, 운전자에게 증강현실(AR) 기술을 통해 경로를 안내하는 기술들의 개발이 보다 확대되고 있다.
한편, 기존에는 AR 주행 모드에 따라 이러한 증강현실(AR) 기술을 경로 안내에 적용하더라도, 기존 주행 안내 표시를 AR 형태로 표시하는데 불과하였다. 예를 들어, 기존의 AR 주행 모드는 고정된 특정 위치에 주행방향 변경 안내를 AR 이미지로 표시하는데 불과하였다.
그에 따라, AR 주행 모드의 다른 AR 피처(feature)와 표시 구별이 어려워 직관적인 경로 안내를 제공받는데 한계가 있었다. 또, 운전에 미숙한 운전자의 경우, 안내대로 정확하게 주행하는데 한계가 있었다.
나아가, 차량의 주행 차선 변경과 관련하여, 기존에도 ADAS 를 통한 차선이탈 경고 알람이나 후측방 경보장치(BSD)를 통한 알람을 제공하였다. 그러나, 이는 오히려 잦은 알람 또는 오알람을 발생시켜 운전에 오히려 방해를 주는 경우가 많다. 또한, 운전에 미숙한 운전자는 경고 알람을 제공받는 것만으로는 차선 변경 주행 또는 충돌방지 주행을 하는데 큰 도움을 받지 못했었다.
이에, 좀더 직관적이고 완성도 높은 AR 주행 모드를 수행하기 위한 연구가 필요하다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명의 일부 실시 예에 따르면, 보다 직관적이고 완성도 높은 AR 주행 모드를 수행할 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 일부 실시 예에 따르면, 차량의 주행 차선 변경시 충돌가능성을 예측하여 직관적인 차선 변경 경로를 AR 형태로 안내해줄 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 일부 실시 예에 따르면, 차량이 주행 차선을 이탈하지 않도록 직관적인 AR 인터페이스로 알림을 제공하는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 일부 실시 예에 따르면, 차량이 안전하게 앞차를 추월할 수 있도록 AR 가이드 경로를 제공할 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 일부 실시 예에 따르면, 차량이 전방의 충돌가능한 오브젝트와 충돌하지 않도록 보다 직관적인 형태의 AR 알림을 제공할 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.
이를 위해, 본 발명에 따른 차량의 AR 디스플레이 장치는, AR 그래픽 인터페이스를 가변하여 차량의 주행 차선과 관련된 가이드를 표시할 수 있다. 이를 위해, 차량의 센싱 데이터, 맵 데이터, ADAS 센싱 데이터 등에 기초하여 주행 차선과 관련된 이벤트 발생, 예를 들어 차선 변경, 차선 치우침 및 이탈 예측, 앞차 추월 등을 인지할 수 있다.
구체적으로, 본 개시에 따른 AR 디스플레이 장치는, 차량의 전방 영상을 획득하는 카메라; 차량의 맵 데이터 및 센싱 데이터를 수신하는 통신 모듈; 기설정된 애플리케이션을 구동하여, 상기 맵 데이터에 기반하여 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트가 결합된 AR 그래픽 인터페이스가 차량의 전방 영상에 중첩되도록 렌더링하는 프로세서; 및 상기 렌더링에 따라, 상기 AR 그래픽 인터페이스가 중첩된 전방 영상이 포함된 내비게이션 화면을 표시하는 디스플레이를 포함할 수 있다. 또한, 상기 프로세서는, 상기 센싱 데이터와 차량의 현재 위치에 기초하여 인식된 주행 차선과 관련된 알림 이벤트에 근거하여, 상기 제2 AR 오브젝트를 분리하여 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.
실시 예에 따라, 상기 주행 차선과 관련된 알림 이벤트는, 주행 차선의 변경, 주행 차선의 이탈 추정, 전방 오브젝트의 추월, 및 현재 주행 차선 또는 변경할 주행 차선 내 충돌가능한 오브젝트의 검출 중 어느 하나일 수 있다.
실시 예에 따라, 상기 주행 차선과 관련된 알림 이벤트를 인지하기 위한 센싱 데이터는, 차량의 ADAS 센싱 데이터와 CAN 데이터, GPS 정보, 내비게이션 정보 중 하나 이상의 조합을 포함할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 센싱 데이터에 기초하여 상기 알림 이벤트로 차량의 주행 차선 변경이 결정된 것에 근거하여, 상기 제1 AR 오브젝트는 차량의 현재 주행 차선에 표시하고, 상기 제2 AR 오브젝트는 분리되어 변경할 주행 차선을 향하는 복수의 궤적을 포함하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 센싱 데이터 및 맵 데이터에 기초하여 차량에 접근하는 오브젝트를 검출하고, 상기 복수의 궤적 중 일부를 분리하여 상기 검출된 오브젝트의 위치를 표시하도록 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 변경할 주행 차선에 충돌가능성 있는 오브젝트가 검출된 것에 근거하여, 상기 복수의 궤적이 차선 변경 불가를 나타내도록 표시 변경하고, 표시 변경된 궤적 중 일부는 상기 검출된 오브젝트의 위치를 나타내도록 표시 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 차선 변경 불가를 나타내는 복수의 궤적이 차량의 현재 주행 차선 또는 변경이 불가한 주행 차선 중 어느 하나에만 위치하도록 렌더링 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 주행 차선과 관련된 알림 이벤트로 주행 차선의 이탈이 추정된 것에 근거하여, 상기 제1 AR 오브젝트는 현재 주행 차선에서 차량 주행 자세를 나타내고, 분리된 제2 AR 오브젝트는 차선유지를 위해 차량 자세의 변경을 유도하는 제1 가이드 및 주행 차선의 이탈을 경고하는 제2가이드 중 적어도 하나를 표시하도록, 상기 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 차량의 주행 속도에 근거하여 주행 차선의 이탈을 경고하는 시점을 결정하고, 상기 결정된 시점에서 이탈 추정 방향에 대응되는 위치에 상기 제2 가이드를 표시하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 주행 차선 내 치우침이 임계범위를 초과하는 것으로 결정된 것에 근거하여 상기 제1 AR 오브젝트가 나타내는 차량 주행 자세의 표시를 업데이트하고, 상기 제1 가이드가 주행 차선의 중앙에 위치하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 주행 차선과 관련된 알림 이벤트로 추월 주행이 인지된 것에 근거하여, 분리된 제2 AR 오브젝트를 통해 회피 경로 및 타겟 오브젝트의 추월 지점을 나타내는 가이드 궤적을 표시하도록 렌더링 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 차량이 상기 회피 경로를 주행하는 동안, 차량의 차선 변경이 완료된 것에 근거하여 상기 분리된 제2 AR 오브젝트를 상기 제1 AR 오브젝트와 결합된 형태로 표시하고, 차량의 현재 위치가 상기 타겟 오브젝트의 추월 지점에 근접한 것에 근거하여 상기 제2 AR 오브젝트를 상기 제1 AR 오브젝트로부터 분리하여, 복귀할 차선의 위치를 나타내는 가이드 궤적을 표시할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 추월 주행시, 상기 분리된 제2 AR 오브젝트는 차량의 추월 주행이 완료될 때까지 분리된 상태를 유지하며 차량이 주행해야할 가이드 궤적을 표시하도록 렌더링 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, 차량의 현재 위치와 주행 상태에 근거하여, 상기 주행해야할 가이드 궤적 사이에 상기 타겟 오브젝트의 추월 지점에 대응되는 차선의 크로싱 포인트와 해당 크로싱 포인트를 통과하기 위한 주행 속도 정보를 포함하도록 표시 업데이트할 수 있다.
실시 예에 따라, 상기 프로세서는, ADAS 센싱 데이터에 기초하여 상기 주행 차선과 관련된 알림 이벤트로 충돌가능한 전방오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 회피 주행 차선을 결정하고, 분리된 제2 AR 오브젝트가 상기 결정에 띠리 차량이 주행할 가이드 궤적을 표시하도록 렌더링할 수 있다.
실시 예에 따라, 상기 프로세서는, ADAS 센싱 데이터에 기초하여 충돌가능한 전방오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 상기 검출된 전방 오브젝트의 상대 위치를 산출하고, 산출된 상대 위치에 따라 가변된 알람 오브젝트가 상기 전방 영상에 중첩되도록 렌더링할 수 있다.
본 발명에 따른 차량의 AR 디스플레이 장치 및 그것의 동작방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 별도의 설정 없이도 캘리브레이션되는 전방 영상에 차량의 현재 위치와 예측 주행 상황에 대한 가이드를 AR 오브젝트로 동시 안내함으로써, 차량에게 보다 직관적이고 현실감 있는 AR 가이드 안내를 제공할 수 있다.
또한, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 차량의 주행 차선 변경시 충돌가능성을 예측하여, 단순 경고 알림이 아닌 차선 변경 가능 여부를 운전자에게 알려줄 수 있다. 또한, 분리된 AR 오브젝트를 통해, 차선 변경 불가시에는 차선 변경 금지를 표시하고 차선 변경 가능시에는 직관적인 변경 가이드 경로를 제공함으로써, 안전 운전 및 차선 변경 주행에 크게 도움을 준다.
또한, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 잦은 경고 알람으로 인한 운전 방해 없이, 직관적인 AR 인터페이스를 통해 주행 차선 이탈을 방지할 수 있다. 또한, 앞차 추월시, 차량이 앞차를 안전하게 추월할 수 있는 상황인지를 판단하고, 안전하게 추월할 수 있는 경로, 주행속도를 제공하여, 안전하고 편리한 주행을 돕는다.
나아가, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 전방/측후방의 충돌가능한 오브젝트의 검출을 사운드가 아닌 직관적인 AR 오브젝트로 표시하여, 운전을 방해하지 않으면서 안전 운전을 돕는다.
도 1은 본 발명의 실시예와 관련된 차량의 예시를 도시한 도면이다.
도 2는 본 발명의 실시예와 관련된 차량을 다양한 각도에서 본 도면이다.
도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 및 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예와 관련된 차량과 AR 디스플레이 장치를 설명하는데 참조되는 블럭도이다.
도 8은 본 발명의 실시예에 관련된 AR 디스플레이 장치의 프로세서와 관련된 상세 블럭도이다.
도 9는 본 발명의 실시예에 따른 내비게이션 화면을 설명하는데 참조되는 도면이며, 도 10은 도 9의 내비게이션 화면을 생성하는 동작을 설명하는데 참조되는 도면이다.
도 11은 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 내비게이션 화면이 표시하는 방법을 설명하는데 참조되는 흐름도이다.
도 12a 및 도 12b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스의 예시로서, 제1 및 제2 AR 오브젝트로 분리 및 결합되는 것을 설명하는데 참조되는 도면이다.
도 13a, 도 13b, 도 13c는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 차선 병경과 관련된 UX를 제공하는 방법을 설명하는데 참조되는 개념도들이고, 도 14는 이에 대한 흐름도이다.
도 15a, 도 15b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 차선 유지와 관련된 UX를 제공하는 방법을 설명하는데 참조되는 개념도들이고, 도 16은 이에 대한 흐름도이다.
도 17a, 도 17b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 앞차 추월과 관련된 가이드 UX를 제공하는 방법을 설명하는데 참조되는 개념도이다
도 18은 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 AES(Automatic Emergency Steering) 대응과 관련된 가이드 UX를 제공하는 방법을 설명하는데 참조되는 개념도이다.
도 19는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 전방 충돌가능 경고와 관련된 UX 를 제공하는 방법을 설명하는데 참조되는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
본 명세서에 개시된 "시스템"은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.
본 명세서에 개시된 "맵 정보" 또는 "맵 데이터"는 카메라 등의 비전센서를 통해 촬영된 영상, 2차원 지도정보, 3차원지도정보, 디지털 트윈(Digital Twin) 3차원 맵, 고정밀 지도(HD map), 및 실제/가상 공간상의 지도 등의 지도 정보, 지도 데이터, 지도 관련 애플리케이션을 포함하는 의미로 지칭될 수 있다.
본 명세서에 개시된 "POI(Point of Interest, POI) 정보"는 상기 맵 정보 또는 맵 데이터를 기초로 선택된 관심지점으로, 기등록된 POI 정보(클라우드 서버의 맵 지도에 저장된 POI), 사용자 설정 POI 정보(예, 우리집, 학교, 회사 등), 주행 관련 POI 정보(예, 목적지, 경유지, 주유소, 휴게소, 주차장 등), 및 상위 검색 POI 정보(예, 최근 클릿/방문수가 많은 POI, 핫 플레이스 등)를 포함할 수 있다. 이러한 POI 정보는, 차량의 현재 위치를 기준으로 실시간 업데이트될 수 있다.
본 명세서에 개시된 "전방 영상"은 차량 또는 차량 주변의 비전센서, 또는 AR 디스플레이 장치의 AR 카메라를 통해 획득된 것으로, 예를 들어 차량의 주행 동안 비전센서(카메라, 영상용 레이저센서 등)를 통해 획득되거나 투사되는 영상, 차량의 윈드쉴드에 투사되는 현실의 이미지 자체/가상공간의 영상을 포함할 수 있다. 즉, 상기 전방 영상은 디스플레이를 통해 출력되는 영상, 레이저 센서 등을 통해 투사되는 영상, 또는 차량의 윈드쉴드를 통해 보여지는 현실의 이미지 자체를 모두 포함하는 의미로 지칭될 수 있다.
도 1 및 도 2는 본 발명의 실시 예와 관련된 차량의 외관이고, 도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 도시한 도면이다.
도 7은 본 발명의 실시예와 관련된 차량을 설명하는데 참조되는 블럭도이다. 도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다. 차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다. 예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다. 예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(210)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(210)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(210)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(210)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(210)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(이하, '제어부'로 명명될 수 있음)(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다. 사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다. 오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다. 도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)는, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다. 변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다. 한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명에 따른 AR 디스플레이 장치(800)는 차량(100)의 내비게이션 정보와 AR 카메라로부터 수신된 데이터에 기초하여, 차량의 전방 영상(또는, 차량의 윈드쉴드)에, 차량의 주행 상태를 나타내는 AR 그래픽 인터페이스를 실시간으로 AR 정합하여 표시할 수 있다.
이를 위해, AR 디스플레이 장치(800)는 다른 장치/시스템, 서버, 및 차량과 통신하기 위한 통신모듈(810), AR 디스플레이 장치(800)의 전반적인 동작을 제어하는 프로세서(820), 및 AR 그래픽 인터페이스가 렌더링된 전방 영상을 포함하는 내비게이션 화면을 디스플레이하기 위한 디스플레이(830)를 포함할 수 있다.
본 명세서에 개시된, '전방 영상' 은, 카메라 센서(또는, 이러한 기능을 포함하는 스마트 글래스를 포함함)를 통해 촬영된 영상뿐만 아니라, 카메라 센서를 통해 LCD 화면에 반사되는 영상 및 윈드쉴드/대시보드에 보여지는 실제공간의 이미지 및/또는 디지털 트윈된 3차원 이미지 등을 모두 포함할 수 있다.
본 명세서에 개시된, '전방 영상(또는, 주행 영상)이 포함된 내비게이션 화면' 은 현재 위치와 내비게이션 정보에 기초하여 생성된 내비게이션 화면에, 차량의 카메라를 통해 촬영된 전방 영상, LCD 화면에 반사된 영상, 윈드쉴드 등을 통해 보여지는 실제공간의 이미지 및/또는 디지털 트윈된 3차원 이미지 중 하나의 형태로 구현된 전방 영상이 내비게이션 화면에 레이어된 것을 의미할 수 있다.
내비게이션 화면은, AR 기술이 적용된 AR 내비게이션 화면일 수 있다.
본 명세서에 개시된 'AR 그래픽 인터페이스'는 증강 현실(AR) 기술이 적용된 그래픽 유저 인터페이스로서, 차량의 전방 영상에 실시간으로 AR 정합된다.
본 명세서에서 AR 그래픽 인터페이스는, 차량의 현재 주행 상태를 나타내는 AR 그래픽 이미지일 수 있다. 또한, 본 명세서에 개시된 AR 그래픽 인터페이스는, 차량의 현재 주행 상태와 동시에 차량의 주행 상황에 대한 가이드를 더 나타내는 AR 그래픽 이미지일 수 있다. 이때, 차량의 주행 상황에 대한 가이드는, 해당 주행 상황 보다 일정거리 및/또는 일정시간 앞서서 차량 전방 영상에 표시된다. 또한, 본 명세서에 개시된 AR 그래픽 인터페이스는, 차량의 현재 주행 상태 및/또는 차량의 주행 상황에 따라 움직이거나 이동하는 AR 그래픽 이미지로 구현될 수 있다.
도 7을 참조하면, 본 발명의 실시 예에 따른 AR 디스플레이 장치(800)는, 차량(100)의 전장품 또는 시스템의 일부로 구현되거나, 또는 별도의 독립항 장치 또는 시스템으로 구현될 수 있다. 또는, 상기 AR 디스플레이 장치(800)는 차량(100)의 사용자 단말 등의 프로세서에 의해 동작하는 명령어로 이루어진 프로그램 형태로 구현될 수도 있다.
AR 디스플레이 장치(800)는 차량(100), 다른 장치, 및/또는 서버와 통신하여 AR 카메라를 통해 획득되는 차량의 전방 영상 및 차량에 구비된 센서(예, 자이로스코프센서, 가속도센서, 중력센서, 지자기센서, 온도 센서 등)를 통해 획득된 센싱 데이터를 수신할 수 있다.
AR 디스플레이 장치(800)는 기설정된 애플리케이션, 예를 들어 (AR) 내비게이션 애플리케이션을 구동할 수 있다.
AR 디스플레이 장치(800)는 맵 데이터(예, 루트, POI 등의 정보), 센싱 데이터, 카메라에 의해 획득된 전방 영상에 기초하여, 차량의 현재 주행 상태를 나타내는 AR 그래픽 인터페이스를 렌더러하여, 내비게이션 애플리케이션의 AR GUI 서피스 및 AR 카메라 서피스에 실시간으로 제공할 수 있다.
AR 디스플레이 장치(800)는 맵 데이터(예, 루트, POI 등의 정보), 센싱 데이터, 카메라에 의해 획득된 전방 영상에 기초하여, 상기 AR 그래픽 인터페이스로부터 분리된 AR 오브젝트가 차량의 주행 상황에 대한 가이드를 나타내도록 렌더러하여, 내비게이션 애플리케이션의 AR GUI 서피스 및 AR 카메라 서피스에 실시간으로 제공할 수 있다.
이때, 분리된 AR 오브젝트는 '제2 AR 오브젝트'로 명명될 수 있고, 제2 AR 오브젝트가 분리된 후 상기 AR 그래픽 인터페이스의 남은 부분은 '제1 AR 오브젝트'로 명명될 수 있다. 즉, 상기 AR 그래픽 인터페이스는 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트를 포함한다고 말할 수 있다.
이하, 도 8은 전술한 본 발명의 실시예에 관련된 AR 디스플레이 장치(800)의 프로세서(820)와 관련된 상세 블럭도이다.
도 8에 도시된 개념도는 AR 디스플레이 장치(800)의 프로세서(820)에 의해 수행되는 동작과 관련된 구성 및 이를 위해 사용되는 정보, 데이터, 및 프로그램을 포함할 수 있다. 이러한 측면에서 도 8에 도시된 블럭도는 프로세서(820)를 통해 제공되는 서비스 및/또는 프로세서(820)에 의해 실행/구현되는 시스템을 의미하는 것으로 사용될 수도 있다. 이하에서는, 설명의 편의를 위해, 프로세서(820)로 지칭하겠다.
도 9는 본 발명의 실시예에 따른 내비게이션 화면을 설명하는데 참조되는 도면이며, 도 10은 도 9의 내비게이션 화면을 생성하는 동작을 설명하는데 참조되는 도면이다.
도 8을 참조하면, 프로세서(820)는, 내비게이션 엔진(Navigation Engine)(910), AR 엔진(Augmented Reality Engine)(920) 및 내비게이션 애플리케이션(Navigation Application)(930), 및 센서 및 맵(940)을 포함하거나 그리고/또는 이와 연동하여 이들을 구동시킬 수 있다.
내비게이션 엔진(910)은, 차량 등으로부터 맵 데이터 및 GPS 데이터를 수신할 수 있다. 내비게이션 엔진(910)은, 맵 데이터 및 GPS 데이터에 기초하여 맵 매칭을 수행할 수 있다. 내비게이션 엔진(910)은, 맵 매칭에 따라 루트 플레닝(route planning)을 수행할 수 있다. 내비게이션 엔진(910)은, 맵을 디스플레이하고, 루트 가이던스(route guidance)를 수행할 수 있다. 내비게이션 엔진(910)은, 루트 가이던스 정보를 내비게이션 애플리케이션(930)에 제공할 수 있다.
내비게이션 엔진(910)은, 내비게이션 컨트롤러(911)를 포함할 수 있다. 내비게이션 컨트롤러(911)는, 맵 매칭 데이터, 맵 디스플레이 데이터, 루트 가이던스 데이터를 수신할 수 있다.
내비게이션 컨트롤러(911)는, 수신된 맵 매칭 데이터, 맵 디스플레이 데이터, 루트 가이던스 데이터에 기초하여 루트 데이터, POI(point of interest) 데이터 등을 AR 엔진(920)에 제공할 수 있다.
내비게이션 컨트롤러(911)는, 내비게이션 애플리케이션(930)에 루트 가이던스 데이터 및 맵 디스플레이 프레임 등을 제공할 수 있다.
AR 엔진(920)은, 어댑터(adaptor)(921) 및 렌더러(renderer)(922)를 포함할 수 있다. 어댑터(921)는 카메라(예, AR 카메라)로부터 획득된 전방 영상 데이터, 차량의 센서, 예를 들어 자이로스코프 센서(Gyroscope), 가속도 센서(ccelorometer), 중력 센서(Gravity), 지자기센서(Magnetometer), 및/또는 온도센서(Thermometer)로부터 획득된 센싱 데이터를 수신할 수 있다.
AR 엔진(920)은, ADAS 센서(예, 카메라(Camera), 레이다(Radar), 라이다(Lidar), 초음파(Ultrasonic), 소나(Sonar))로부터 획득된 센싱 데이터를 수신할 수 있다. 예를 들어, ADAS 센서를 통해, 주행 방향 및 속도, 차선과의 거리 등의 주행 관련 센싱 데이터를 센싱 데이터로 획득할 수 있다.
AR 엔진(920)은, 고정밀 지도 데이터 및 이와 관련된 프로그램을 수신할 수 있다. 여기서, 고정밀 지도(HD Map)는 자율주행차량에 세밀한 도로와 주변 지형의 정보를 사전에 제공하기 위한 지도로서, 오차범위 약 10cm 이내 수준의 정확도를 가지며 도로 중심선, 경계선 등 차선 단위의 정보는 물론 신호등, 표지판, 연석, 노면마크, 각종 구조물 등의 정보가 3차원 디지털로 담긴다.
AR 엔진(920)은, TCU(Transmission Contro Unit)(예, 써드 파티 서비스, V2X, ITS 통신 등)로부터 획득된 센싱 데이터, 수신 데이터, 제어 데이터, 및 이와 관련된 프로그램을 수신할 수 있다.
센서 및 맵(940)의 TCU(Transmission Contro Unit)는, 차량에 장착된 통신 제어 장치로서, 예를 들어 자율주행차량을 위해 도로에 있는 다양한 요소와 소통하는 통신 기술인 V2X(vehicle to everything)(예, V2V 및 V2I를 통해 수집가능한 상황 데이터), 협력 지능형 교통 체계 기술인 ITS(Intelligent Transport Systems)나 C-ITS(Cooperative Intelligent Transport Systems)와 통신할 수 있게 한다.
AR 엔진(920)은, 캘리브레이션 팩터 데이터 베이스(calibration factor DB)에서 제공되는 데이터에 기초하여, 전방 영상에 대한 캘리브레이션을 수행할 수 있다. AR 엔진(920)은, 전방 영상 데이터 및 루트 데이터에 기초하여, 오브젝트 검출을 수행할 수 있다. AR 엔진(920)은, 검출된 오브젝트를 기초로 예측 및 보간(Prediction & Interpolation)을 수행할 수 있다.
렌더러(922)는, 루트 데이터, POI 데이터 및 예측 및 보간 결과 데이터에 기초하여 렌더링을 수행할 수 있다. 렌더러(922)는, 내비게이션 애플리케이션(930)에 AR GUI(graphical user interface) 프레임 및 AR 카메라 프레임을 제공할 수 있다.
내비게이션 애플리케이션(930)은, AR 내비게이션 화면을 생성할 수 있다.
도 9를 참조하면, AR 내비게이션 화면(900)은, 내비게이션 맵 서피스(navigation map surface)(901), AR 카메라 서피스(902), AR GUI 서피스(903) 및 내비게이션 GUI 서피스(904)를 포함할 수 있다.
내비게이션 애플리케이션(930)은, 내비게이션 컨트롤러(911)에서 제공받은 맵 디스플레이 프레임에 기초하여, 내비게이션 맵 서피스(901)를 생성할 수 있다. 내비게이션 애플리케이션(930)은, 렌더러(922)로부터 제공받은 AR 카메라 프레임에 기초하여 AR 카메라 서피스(902)를 생성할 수 있다. 내비게이션 애플리케이션(930)은, 렌더러(922)로부터 제공받은 AR GUI 프레임에 기초하여 AR GUI 서피스(903)를 생성할 수 있다. 내비게이션 애플리케이션(930)은, 내비게이션 컨트롤러(911)로부터 제공받은 루트 가이던스 데이터에 기초하여, 내비게이션 GUI 서피스(904)를 생성할 수 있다.
도 8 및 도 10을 함께 참조하면, 내비게이션 애플리케이션(930)이 구동되면, 내비게이션 애플리케이션(930)에서 내비게이션 맵 서피스(901), AR 카메라 서피스(902), AR GUI 서피스(903) 및 내비게이션 GUI 서피스(904)를 생성할 수 있다.
내비게이션 애플리케이션(930)은, AR 카메라 서피스(902)의 파라미터와 AR GUI 서피스(903)의 파라미터를 AR 엔진(920)에 제공할 수 있다.
AR 엔진(920)은, 카메라 서버(1001)에서 전방 영상 데이터를 수신하기 위해 콜백(callback) 함수를 등록할 수 있다. 카메라 서버(1001)는, 예를 들어 AR 디스플레이 장치(800)의 메모리에 포함되는 개념으로 이해될 수 있다.
AR 엔진(920)은, 전방 영상 데이터를 수신하여 크로핑(cropping)할 수 있다. 크로핑(cropping)은 영상의 크기 또는 위치 조절, 일부영역이 편집, 투명도 조절 등을 포함할 수 있다. 내비게이션 애플리케이션(930)은, AR 카메라 서피스(902)에 크로핑된 전방 영상을 표시할 수 있다. AR 엔진(920)은, 실시간으로 AR 정합(AR Merging)을 수행할 수 있다. 또, 내비게이션 애플리케이션(930)은, 크로핑된 전방 영상에 기초하여, AR GUI 서피스(903)에 AR GUI를 표시할 수 있다.
도 11은 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 내비게이션 화면이 표시하는 방법(1100)을 설명하는데 참조되는 흐름도이다.
도 11의 각 과정은 다른 언급이 없다면 프로세서(또는, AR 엔진)에 의해 수행될 수 있다. 또한, 도 11의 과정은 위에서 도 8 내지 도 10을 참조하여 설명한 프로세서(820)에 의한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들을 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 도 11의 과정 이전 또는 이후에 수행될 수 있다.
도 11을 참조하면, 기설정된 애플리케이션이 구동되는 것으로 방법이 개시된다(S10).
상기 기설정된 애플리케이션은, AR 디스플레이 장치(800)에 미리 설치되거나 또는 이와 연동된 다른 장치/서버에 의해, 예를 들어 차량의 AR 모드의 실행에 따라 구동될 수 있다. 상기 기설정된 애플리케이션은, 예를 들어 차량의 주행시 AR 모드에서 실행되는 내비게이션 애플리케이션일 수 있다.
내비게이션 애플리케이션은, 예를 들어 내비게이션 엔진으로부터 맵 데이터 및 GPS 데이터에 기반한 루트 가이던스와 맵 디스플레이 프레임을 제공받아, 각각 내비게이션 GUI 렌더링 및 맵 디스플레이 서피스를 생성한다.
또, 내비게이션 애플리케이션은, 예를 들어 AR 엔진으로부터 AR GUI 프레임을 제공받아 AR GUI 서피스를 생성하고, AR 카메라 프레임을 제공받아 AR 카메라 서피스를 생성한다. 내비게이션 애플리케이션은 생성된 맵 디스플레이 서피스, AR 카메라 서피스, 및 AR GUI 서피스를 내비게이션 GUI 서피스에 렌더링한다.
프로세서는, 서버, 메모리, 또는 차량으로부터 획득된 맵(map) 데이터 그리고 차량의 센싱 데이터에 기초하여, 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트를 포함하는 AR 그래픽 인터페이스를 생성하여 차량의 전방 영상에 중첩되도록 렌더링한다(S20).
프로세서는, 실시간 생성되는 AR 그래픽 인터페이스를 차량의 전방 영상에 실시간으로 정합(AR Merging)할 수 있다.
프로세서는, 제1 및 제2 AR 오브젝트가 결합된 상태로 AR 그래픽 인터페이스를 표시(렌더링)한다. 프로세서는, 기설정된 조건을 만족하면 제2 AR 오브젝트가 AR 그래픽 인터페이스로부터 분리된 상태로 AR 그래픽 인터페이스를 표시(렌더링)한다.
여기에서, 상기 기설정된 조건은 차량의 센싱 데이터에 기초하여, 현재 주행 상태로부터 차량의 주행 상황의 변경이 예측되는 경우를 포함할 수 있다. 상기 기설정된 조건은 ADAS 센싱 데이터, 고정밀 지도 데이터, V2X, ITS, C-ITS 등의 TCU 통신 데이터 중 적어도 하나에 기초하여, 현재 주행 상태로부터 차량의 주행 상황의 변경 또는 가이드 필요가 예측되는 상황이 검출된 경우를 포함할 수 있다.
이어서, 프로세서는 AR 그래픽 인터페이스가 중첩된 전방 영상을 내비게이션 화면에 표시한다(S30).
프로세서는, 제1 및 제2 AR 오브젝트가 결합된 상태로 AR 그래픽 인터페이스를 전방 영상에 렌더링할 수 있다. 프로세서는, AR 그래픽 인터페이스에 대응되는 AR GUI 프레임과 AR 카메라 프레임을 내비게이션 애플리케이션에 제공하여, AR GUI 서피스와 AR 카메라 서피스를 각각 생성할 수 있다.
이 후, 생성된 AR GUI 서피스 및 AR 카메라 서피스가 내비게이션 GUI 서피스에 렌더링됨으로써, AR 그래픽 인터페이스가 렌더링된 전방 영상이 내비게이션 화면에 포함된다(표시된다).
한편, 이러한 AR 그래픽 인터페이스는 맵 데이터 및 차량의 센싱 데이터에 기초하여 변경 예측되는 주행 상황에 근거하여, 가변될 수 있다.
이때, 가변되는 AR 그래픽 인터페이스는, 차량의 운전자가 현재 주행 상태의 표시와 변경 예측된 주행 상황에 대한 가이드 표시를 직관할 수 있도록, 복수의 AR 오브젝트가 분리된 형태로 나타내진다.
도 12a 및 도 12b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스의 예시로서, 예측되는 변경 주행 상황에 근거하여 제1 및 제2 AR 오브젝트로 분리 및 결합되는 것을 설명하는데 참조되는 도면이다.
도면을 참조하면, AR 그래픽 인터페이스(1200)는 3D 형태의 특정 형상의 AR 이미지로 구현될 수 있고, 이러한 AR 이미지를 통해 차량의 현재 주행방향, 주행속도, 조향정보 외에도, 도로 정보 등을 나타낼 수 있다.
AR 그래픽 인터페이스(1200)는 제1 오브젝트와 제2 오브젝트가 결합된 형태로 구현될 수 있다.
여기서, 상기 제1 오브젝트는 예를 들어 3D 스페이드(spade)(예, 삽 형태의 이미지) 형태로 구현될 수 있고, 상기 제2 오브젝트는 상기 제1 오브젝트로부터 연장된 3D 셰브런(chevron)(예, A 또는 V 형태의 이미지) 형태로 구현될 수 있다. 다만, 제1 및 제2 오브젝트가 이러한 형상에 제한되는 것을 의미하는 것은 아니다.
AR 그래픽 인터페이스(1200)는 상기 제2 오브젝트의 내측 프레임과 상기 제1 오브젝트의 외측 프레임이 맞닿도록 연장된 형태로 결합될 수 있다. 이때, 상기 제1 및 제2 오브젝트는 시각적으로 구별할 수 있도록, 서로 다른 컬러로 표현될 수 있다.
AR 그래픽 인터페이스(1200)는 차량의 현재 주행 상태를 나타내기 위해 상기 제1 및 제2 오브젝트가 결합된 상태에서 동일 또는 서로 다른 뒤틀림 각도로 움직이도록 표현될 수 있다.
생성된 AR 그래픽 인터페이스(1200)는 내비게이션 화면에 포함된 차량 전방 영상에 중첩되도록 표시된다. 구체적으로, 프로세서(820)는 맵 데이터 및 차량의 센싱 데이터 차량의 현재 주행 상태를 나타내는 AR 그래픽 인터페이스(1200)를 생성하여, 루트 및 POI 정보 등을 기초로 렌더러하고, 이를 내비게이션 애플리케이션(930)에 제공하여, 내비게이션 화면에 포함된 차량 전방 영상에 AR 그래픽 인터페이스(1200)가 오버랩 형태로 표시되게 한다.
도 12b를 참조하면, 프로세서(820)는 맵 데이터 및 차량의 센싱 데이터에 기초하여 예측되는 변경 주행 상황에 근거하여, AR 그래픽 인터페이스의 제1 및 제2 AR 오브젝트(1210, 1220)를 분리하고, 분리된 제2 AR 오브젝트(1210)를 통해 변경 주행 상황과 관련된 가이드를 표시하도록 렌더러하여, 내비게이션 애플리케이션(930)의 AR GUI 서피스 및 AR 카메라 서피스를 업데이트할 수 있다.
제1 및 제2 AR 오브젝트(1210, 1220)가 분리되는 조건은, 차량의 센싱 데이터에 기초하여, 차량의 현재 주행 상태로부터 차량의 주행 상황의 변경이 예측되는 경우를 포함할 수 있다.
또는, 상기 제1 및 제2 AR 오브젝트(1210, 1220)가 분리되는 조건은, 차량의 ADAS 센싱 데이터, 고정밀 지도 데이터, V2X, ITS, C-ITS 등의 TCU 통신 데이터 중 적어도 하나에 기초하여, 차량의 현재 주행 상태로부터 차량의 주행 상황의 변경 또는 가이드 필요가 예측되는 상황이 검출된 경우를 포함할 수 있다.
한편, 분리된 제2 AR 오브젝트(1210)는 제1 AR 오브젝트(1220)의 표시 위치로부터 연장되어 표시된다. 제1 AR 오브젝트(1220)는 차량의 현재 주행 상태(예, 차량의 현재 위치 및 주행방향)를 나타내므로, 운전자는 차량이 제2 AR 오브젝트(1210)에 표현된 가이드에 따라 주행해야할 시점과 주행 방향을 직관할 수 있다.
제1 및 제2 AR 오브젝트(1210, 1220) 간의 이격거리는 차량의 주행 상황의 변경 예측 시점 또는 거리에 대응될 수 있다.
또, 비록 자세히 도시되지 않았지만, 분리된 제2 AR 오브젝트(1210)는 복수의 프래그먼트(fragments)로 표현될 수 있다. 상기 복수의 프래그먼트 간에는 일정 간격을 유지할 수 있다.
또, 상기 복수의 프래그먼트의 각 프래그먼트가 나타내는 방향은 예측되는 상황 발생 지점(또는, 상황 종료 지점)을 점진적으로 지향하도록 표현될 수 있다. 예를 들어, 분리된 제2 AR 오브젝트(1210)가 총 5개의 프래그먼트로 표현되는 경우, 5개의 프래그먼트 각각은 서로 다른 비틀림 각도로 동일 위치(예, 예측되는 상황 발생 지점)를 지향할 수 있다.
상기 복수의 프래그먼트는 제1 AR 오브젝트(1220) 보다 일정 거리 앞서서 이동하는 형태로 표현될 수 있다. 즉, 복수의 프래그먼트 특정 지점 또는 시점에 고정적으로 나타나는 형태가 아니라, 차량의 현재 위치 및 주행 상태에 기초하여 이동하면서 예측되는 상황 발생에 따른 주행 가이드를 표현하도록 구현된다.
상기 복수의 프래그먼트의 이동 속도는 차량이 가까이 접근하는 정도(예, 주행속도)에 대응될 수 있다.
또, 상기 복수의 프래그먼트의 개수 및/또는 표시 길이는 예측되는 상황의 유지 시간 또는 유지 거리에 비례할 수 있다. 예를 들어, 상황 유지 시간이 긴 경우가 그렇지 않은 경우보다 더 많은 개수의 프래그먼트를 포함하거나 총 표시 길이가 더 길게 표현될 수 있다.
복수의 프래그먼트 중 제1 AR 오브젝트(1220)로부터 가까운 프래그먼트는 제1 AR 오브젝트(1220)에 표현된 주행 상태와 연관되도록 가이드가 표시된다.
복수의 프래그먼트 중 제1 AR 오브젝트(1220)로부터 먼 프래그먼트는 예측되는 상황과 연관되도록 가이드 표시된다.
즉, 분리된 제2 AR 오브젝트(1210)의 복수의 프래그먼트는 제1 AR 오브젝트(1220)에 대응되는 현재 주행 상태로부터 예측되는 상황을 보다 점진적이고 심리스한 방식으로 가이드 제공한다.
분리된 제2 AR 오브젝트(1210)는 분리되는 조건에 대응되는 상황이 종료되면, 다시 제1 AR 오브젝트(1220)와 결합된 상태로 표시된다. 즉, 다시 도 12a와 같은 AR 그래픽 인터페이스(1200)로 표시될 수 있다.
도 13a, 도 13b, 도 13c는 AR 그래픽 인터페이스를 이용하여 차선 변경과 관련된 UX를 제공하는 방법과 관련된 개념도들이다.
차량의 주행중 또는 차선 변경 시도시 충돌가능성을 감지하기 위한 다양한 ADAS 시스템의 다양한 기능들이 존재한다.
주행 제어 지원 기능으로, 예를 들어 ACC(Adaptive cruise contorl, 적응형 정속주행 시스템), ADA(Active Driving Assistance, 능동형 주행 보조), LKA(Lane Keeping Assistance, 차선 유지 지원) 등이 있다.
또한, 충돌 경고 기능으로, 예를 들어, BSW(Blind Spot Warning, 사각지대 경고), FCW(Forward Collision Warning, 전방 충돌 경고), LDW(Lane Departure Warning, 차선 이탈 경고) 등이 있다.
또한, 충돌 간섭 기능으로, 예를 들어 AEB(Automatic Emergency Braking, 자동 비상 제동), AES(Automatic Emergency Steering, 자동 비상 조향 장치), RAB(Rear Automatic Braking, 후방 자동 제동) 등이 있다.
이러한 기능은 충돌가능성을 회피하여 안전 운전에 도움을 주는 것들이나, 오작동이나 잦은 알람등의 문제가 있고, 충돌가능성의 직관적인 인지 및 대응 주행 동작에 대한 안내로 연결되지 못하는 한계가 있었다.
이에, 본 개시에 따른 AR 디스플레이 장치(800)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 가변된 AR 그래픽 인터페이스를 통해, 충돌가능성의 직관적인 인지 및 대응 주행 동작에 보다 확실한 안내를 제공하도록 구현되었다.
구체적으로, 프로세서(820)는 AR 주행 모드의 실행에 따라 기설정된 애플리케이션(예, 내비게이션 애플리케이션(930))을 구동하고, 맵 데이터(예, 내비게이션/지도 데이터)에 기반하여 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트가 결합된 형태의 AR 그래픽 인터페이스를 차량 전방 영상에 중첩되도록 렌더링한다.
프로세서(820)는, 렌더링에 따른 AR GUI 프레임을 내비게이션 애플리케이션이 제공하고, 내비게이션 애플리케이션은 이를 기초로 AR GUI 서피스를 업데이트함으로서, 가변되는 AR 그래픽 인터페이스를 표시한다.
프로세서(820)는, 차량이 주행하는 동안, 센싱 데이터에 기초하여 검출된 주행 차선과 관련된 알림 이벤트를 인지하고, 인지된 알림 이벤트에 근거하여, 제1 AR 오브젝트로부터 제2 AR 오브젝트를 분리하고, 분리된 제2 AR 오브젝트를 통해 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록, AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.
여기에서, 차량의 주행 차선과 관련된 알림 이벤트는, 주행 차선의 변경, 주행 차선의 이탈 추정, 전방 오브젝트의 추월, 및 현재 주행 차선 또는 변경할 주행 차선 내 충돌가능한 오브젝트의 검출 중 어느 하나일 수 있다.
또한, 차량의 주행 차선과 관련된 알림 이벤트를 인지하기 위한 센싱 데이터는, CAN 데이터, GPS 정보, 내비게이션 정보 중 하나 이상과 ADAS 센싱 데이터가 조합된 것일 수 있다.
프로세서(820)는 차량의 센싱 데이터 및 맵 데이터에 기초하여 차량에 접근하는 오브젝트를 검출하고, 분리된 제2 AR 오브젝트의 복수의 궤적 중 일부를 분리하여 상기 검출된 오브젝트의 위치를 표시하도록 업데이트할 수 있다. 그에 따라, 운전자의 주의를 환기시킬 수 있다.
프로세서(820)는, 변경할 주행 차선에 충돌가능성 있는 오브젝트가 검출된 것에 근거하여, 복수의 궤적이 차선 변경 불가를 나타내도록 표시 변경하고, 표시 변경된 궤적 중 일부는 상기 검출된 오브젝트의 위치를 나타내도록 표시 업데이트할 수 있다.
이때에는, 차선 변경이 불가능하므로, 차선 변경을 안내하는 가이드 궤적이 표시되지 않고, 안전 운전을 위해 차선 변경 불가를 강조하는 표시만 출력한다.
이를 위해, 프로세서(820)는 차선 변경 불가를 나타내는 복수의 궤적이 차량의 현재 주행 차선 또는 변경이 불가한 주행 차선 중 어느 하나에만 위치하도록 렌더링 업데이트할 수 있다.
도 13a는, 변경하려는 차선의 후방에 접근 이동체가 없음이 확인되어, 차량의 차선 변경이 허용되는 경우이다.
도 13a를 참조하면, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 변경하려는 차선(예, 우측 차선)(10R)의 후방에서 차량에 접근하는 이동체(예, 차량, 이륜차, 자전거, 전동킥보드 등)가 없음이 확인한다. 그에 따라, 분리된 제2 AR 오브젝트(1310a)를 통해 차량의 우측 차선 변경을 안내하는 가이드 궤적을 차량 전방 영상(1301)에 표시한다.
분리된 제2 AR 오브젝트(1310a)의 가이드 궤적은, 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트(1320)로부터 우측 차선(10R)을 향하도록 연결된 가이드 경로를 형성한다. 제1 AR 오브젝트(1320)는 제2 AR 오브젝트(1310a)의 가이드 궤적을 추종하는 차량의 주행 상태에 따라, 위치, 회전량, 컬러(예, 주행속도 증가시) 등이 변경 표시된다.
한편, 비록 도시되지는 않았지만, 변경하려는 차선이 좌측 차선(10L)인 경우에도 전술한 바와 마찬가지로, 좌측 후방에서 접근하는 이동체를 확인한 후, 접근 이동체가 없음이 확인된 경우, 차량의 좌측 차선 변경을 안내하는 가이드 궤적을 차량 전방 영상에 제공할 것이다.
도 13b는, 변경하려는 차선에 접근 이동체가 존재하고, 충돌가능성이 예측되어 차량의 차선 변경이 허용되지 않는 경우이다.
도 13b를 참조하면, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 변경하려는 차선(예, 우측 차선)(10R)의 후방에서 차량에 접근하는 이동체(예, 차량, 이륜차, 자전거, 전동킥보드 등)를 확인한다.
프로세서(820)는 ADAS 센싱 데이터, 차량 데이터(예, CAN 데이터), 내비게이션/지도/GPS 데이터 등의 맵 데이터에 기초하여, 우측 후방의 접근 이동체와의 충돌가능성을 판단할 수 있다.
예를 들어, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 후방에서 접근하는 이동체와 차량간의 거리, 위치, 방향, 속도에 관한 정보를 획득하여 충돌가능성을 판단할 수 있다.
충돌가능성이 예측되어 차선 변경이 불가한 경우, 분리된 제2 AR 오브젝트의 일부(1310b-2)가 접근 이동체의 위치를 표시하는 동안, 나머지 부분(1310b-1)은 차량 전방 영상(1302)에 차량의 차선 변경 불가를 표시한다.
이때, 분리된 제2 AR 오브젝트(1310b-2, 1310b-1) 각각은, 운전자에게 접근 이동체를 주의시키고, 차선 접근 금지 경고를 직관할 수 있도록, 이전과 다른 컬러, 형상, 점등점멸, 하이라이트 표시 등이 출력될 수 있다.
한편, 비록 도시되지는 않았지만, 변경하려는 차선이 좌측 차선(10L)인 경우에도 전술한 바와 마찬가지로, 좌측 후방에서 접근하는 이동체를 확인한 후, 접근 이동체가 있고 충돌가능성이 예측된 경우, 차량의 차선 변경 불가를 경고하는 표시를 차량 전방 영상에 제공할 것이다.
도 13c는, 변경하려는 차선에 접근 이동체가 있지만 차량의 차선 변경이 허용되는 경우이다.
도 13c를 참조하면, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 변경하려는 차선(예, 우측 차선)(10R)의 후방에서 차량에 접근하는 이동체(예, 차량, 이륜차, 자전거, 전동킥보드 등)를 확인한다.
프로세서(820)는 ADAS 센싱 데이터, 차량 데이터(예, CAN 데이터), 내비게이션/지도/GPS 데이터 등의 맵 데이터에 기초하여, 우측 후방의 접근 이동체와의 충돌가능성을 판단할 수 있다. 예를 들어, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 후방에서 접근하는 이동체와 차량간의 거리, 위치, 방향, 속도에 관한 정보를 획득하여 충돌가능성을 판단할 수 있다.
다만, 접근 이동체와의 충돌가능성이 예측되지 않아 차선 변경이 가능한 경우, 분리된 제2 AR 오브젝트의 일부(1310c-2)가 접근 이동체의 위치를 표시하는 동안, 분리된 제2 AR 오브젝트의 나머지 부분(1310c-1)을 통해 차량의 우측 차선 변경을 안내하는 가이드 궤적이 차량 전방 영상(1303)에 표시된다.
이때, 분리된 제2 AR 오브젝트의 일부(1310c-2)는 운전자가 접근 이동체의 존재를 주의하도록, 경고 알림을 나타내는 컬러(예, 오렌지계열 또는 레드(red) 컬러)로 변경되어 표시될 수 있다.
분리된 제2 AR 오브젝트의 가이드 궤적(1310c-1)은, 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트(1320)로부터 우측 차선(10R)을 향하도록 연결된 가이드 경로를 형성한다. 제1 AR 오브젝트(1320)는 제2 AR 오브젝트의 가이드 궤적(1310c-1)을 추종하는 차량의 주행 상태에 따라, 위치, 회전량, 컬러(예, 주행속도 증가시) 등이 변경 표시된다.
한편, 비록 도시되지는 않았지만, 변경하려는 차선이 좌측 차선(10L)인 경우에도 전술한 바와 마찬가지로, 좌측 후방에서 접근하는 이동체를 확인한 후, 접근 이동체와의 충돌가능성 없음이 확인된 경우, 접근 이동체의 위치를 표시하고 차량의 좌측 차선 변경을 안내하는 가이드 궤적을 차량 전방 영상에 제공할 것이다.
이하, 도 14는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 차선 병경과 관련된 UX를 제공하는 방법의 흐름도이다.
도 14에 도시된 각 단계는 다른 언급이 없다면, AR 디스플레이 장치(800)의 프로세서(820)에 의해 수행된다. 또한, 각 단계는 도 8 내지 도 10을 참조하여 위에서 설명한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들 중 일부를 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 이하 도 14의 과정 전/후에 수행될 수 있다.
본 개시에 따른 AR 디스플레이 장치(800)는, 차량의 AR 주행 모드 수행에 따라, 제1 및 제2 AR 오브젝트가 결합된 AR 그래픽 인터페이스로 차량 전방 영상에 렌더링되며, 상기 AR 그래픽 인터페이스는 차량의 주행 상황에 따라 가변(예, 분리, 결합, 변형)될 수 있다.
프로세서(820)는 차량의 센싱 데이터(예, CAN 데이터, GPS 등) 및 맵 데이터와 함께, ADAS 센싱 데이터에 근거하여, 가변된 AR 그래픽 인터페이스를 이용하여 차량의 차선 변경과 관련된 UX를 차량 전방 영상에 제공할 수 있다.
프로세서(820)는 상기 데이터에 근거하여 차량의 좌측 턴 시그널(signal) 입력을 감지할 수 있다(1401). 예를 들어, 프로세서(820)는 차량의 좌측 방향지시등 점등에 따른 센싱 데이터를 기초로, 좌측 턴 시그널 입력을 인지할 수 있다.
좌측 턴 시그널(signal) 입력이 감지된 경우, 차량의 현재 위치를 기준으로 좌측 후방에 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 접근하는지를 판단한다(1402).
좌측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 감지되면, 주의를 주기 위해, 분리된 제2 AR 오브젝트 중 일부가 좌측 후방의 접근 차량의 위치로 이동하여 이를 표시한다(1403). 예를 들어, 제2 AR 오브젝트의 일부를 컬러변경(또는, 형상변경/하이라이트 표시)하여, 제1 AR 오브젝트의 위치를 기준으로 좌측 후방에 표시한다.
계속해서, 프로세서(820)는 좌측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)과 차량의 충돌가능성이 예측되는지를 판단하여(1404), 충돌가능성이 예측되면, 분리된 제2 AR 오브젝트를 통해 차선 변경 불가를 표시한다(1405).
판단(1404)에 따라, 좌측 후방의 접근 차량과 충돌가능성 없음이 예측되면, 차량이 좌측 차선으로 차선 변경 가능한 것으로 판단하여, 분리된 제2 AR 오브젝트를 통해 차선 변경 가이드 궤적을 표시한다(1406).
이때, 분리된 제2 AR 오브젝트에 의해 표시되는 차선 변경 가이드 궤적은 차량의 주행 상태(예, 위치, 주행방향, 주행속도)에 따라 표시 업데이트된다(1407).
예를 들어, 차량이 빠른 속도로 차선 변경 가이드 궤적을 추종하는 경우, 차량 주행속도에 근거하여 제1 AR 오브젝트의 컬러가 변경된다. 또한, 차량이 차선 변경 가이드 궤적을 추종하여 차선 변경을 완료한 경우, 접근 차량 및 가이드 궤적의 표시 대신에 제1 및 제2 오브젝트가 결합된 형태로 표시되도록 업데이트된다.
한편, 우측 턴 시그널(signal) 입력이 감지된 경우, 차량의 현재 위치를 기준으로 우측 후방에 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 접근하는지를 판단한다(1408).
우측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 감지되면, 운전자에게 주의를 주기 위해, 분리된 제2 AR 오브젝트 중 일부가 우측 후방의 접근 차량의 위치로 이동하여 이를 표시한다(1409). 예를 들어, 도 13c에 도시된 바와 같이, 제2 AR 오브젝트의 일부(1310C-2)를 컬러변경(또는, 형상변경/하이라이트 표시)하여, 제1 AR 오브젝트(1320)의 위치를 기준으로 우측 후방에 표시한다.
계속해서, 프로세서(820)는 우측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)과 차량의 충돌가능성이 예측되는지를 판단하여(1410), 충돌가능성이 예측되면, 분리된 제2 AR 오브젝트를 통해 차선 변경 불가를 표시한다(1411).
예를 들어, 도 13b에 도시된 바와 같이, 제2 AR 오브젝트의 일부(1310b-1)를 컬러변경(또는, 형상변경/하이라이트 표시)하고, 차선 변경 불가를 직관할 수 있도록, 제1 AR 오브젝트와 연결되는 가이드 궤적을 표시하지 않는다. 제2 AR 오브젝트(1310b-1, 1310b-2)는 모두 변경 불가 차선 상에만 표시되며, 예를 들어 변경 불가 차선의 경계 위에 표시될 수 있다.
판단(1410)에 따라, 우측 후방의 접근 차량과 충돌가능성 없음이 예측되면, 차량이 우측 차선으로 차선 변경 가능한 것으로 판단하고, 분리된 제2 AR 오브젝트를 통해 차선 변경 가이드 궤적을 표시한다(1412).
이때, 분리된 제2 AR 오브젝트에 의해 표시되는 차선 변경 가이드 궤적은 차량의 주행 상태(예, 위치, 주행방향, 주행속도)에 따라 표시 업데이트된다(1413).
예를 들어, 차량이 빠른 속도로 차선 변경 가이드 궤적을 추종하는 경우, 차량 주행속도에 근거하여 제1 AR 오브젝트의 컬러가 변경된다.
또, 예를 들어, 차량(100)이 도 13c와 같이, 제2 AR 오브젝트의 일부(1310C-1)를 통해 표시된 차선 변경 가이드 궤적을 추종하여 차선 변경을 완료한 경우, 프로세서(820)는 접근 차량 및 가이드 궤적의 표시 대신에 제1 및 제2 오브젝트가 결합된 형태로 AR 그래픽 인터페이스를 표시하도록, 렌더링 업데이트한다.
이하, 도 15a, 도 15b는 AR 그래픽 인터페이스를 이용하여 차선 유지와 관련된 UX를 제공하는 방법을 설명하기 위한 개념도들이다.
본 개시에 따른 AR 디스플레이 장치(800)는 차량의 센싱 데이터, 맵 데이터, 및 ADAS 센싱 데이터에 기초하여, 차량이 차선을 변경하는 경우가 아닌데 차선의 이탈가능성이 우려되는 상황을 감지할 수 있고, 그에 따라 제2 AR 오브젝트를 분리하여 경고 알림 및 차선유지를 위해 차량이 있어야할 위치를 표시할 수 있다.
구체적으로, 프로세서(820)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 차선유지와 관련된 알림 이벤트를 감지할 수 있다.
여기에서, 차선유지와 관련된 알림 이벤트는, 현재 주행 차선에서의 차량의 자세에 기반하여 횡방향(좌측 또는 우측)으로 치우침이 또는 이탈 가능성이 감지된 경우에 발생한다.
또한, 현재 주행 차선에서의 차량의 자세는, 차량의 센싱 데이터, 맵 데이터, ADAS 센싱 데이터에 근거하여, 프로세서(820)에 의해, 주행 차선 내에서 차량의 위치, 치우친 차선 경계선까지의 횡방향 거리(lateral offest), 횡방향으로의 속도/가속도, 차량의 조향각을 등을 산출함으로써, 획득될 수 있다.
프로세서(820)는 현재 주행 차선에서의 차량의 자세(예, 횡방향으로의 속도/가속도 등)에 근거하여 차량의 차선 이탈 시점을 예측할 수 있고, 예측된 차선 이탈 시점 전에 (운전자의 반응 시간을 추가 고려하여), AR 그래픽 인터페이스를 통해 경고를 표시할 수 있다.
구체적으로, 프로세서(820)는, 이와 같이 주행 차선과 관련된 알림 이벤트로 주행 차선의 이탈이 예측된 것에 근거하여, 제1 AR 오브젝트는 현재 주행 차선에서의 차량 주행 자세를 표시하고, 제2 AR 오브젝트를 분리하여 차량 주행 자세의 변경을 유도하는 제1 가이드와 차량의 차선 이탈을 경고하는 제2 가이드 중 적어도 하나를 표시하도록 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.
예를 들어, 프로세서(820)는 차량의 주행 차선 치우침 검출시에는 분리된 제2 AR 오브젝트를 통해 상기 제1 가이드를 표시할 수 있고, 차량의 주행 차선 이탈 예측이 검출되면 분리된 제2 AR 오브젝트를 통해 상기 제1 및 제2 가이드를 모두 표시할 수 있다.
여기에서, 상기 제1 가이드는 차량의 치우침이 감지된 경우에 표시되며, 제안하는 차량의 위치, 자세, 및 주행방향을 포함할 수 있다.
또한, 상기 제1 가이드는 현재 차량의 주행 상태를 나타내는 제1 AR 오브젝트에 앞서서 표시되어, 차량이 이를 직관적으로 추종하도록 표시될 수 있다.
또한, 상기 제1 가이드는 직관적인 경고 표시를 위해 상기 제1 AR 오브젝트와 다른 컬러, 형상, 하이라이트 표시 등을 포함할 수 있다.
또한, 상기 제1 가이드는 차량의 치우침 또는 이탈 가능성이 더 이상 예측되지 않으면 표시되지 않을 수 있다.
여기에서, 상기 제2 가이드는 차량의 주행 차선의 이탈이 예측되는 경우에 표시되며, 차선 이탈 예측 시점 전에 표시된다.
또한, 상기 제2 가이드는 직관적인 경고 표시를 위해 상기 제1 AR 오브젝트와 다른 컬러, 형상, 하이라이트 표시 등을 포함할 수 있다.
또한, 상기 제2 가이드는 차량이 이탈하려는 방향의 차선 경계선 위에 또는 적어도 일부가 오버랩되도록 표시될 수 있다.
또한, 상기 제2 가이드는 차선 경계선상에 동일한 차선 이미지가 점등점멸되는 형태로 경고 표시될 수 있다.
또한, 상기 제2 가이드는 차량 주행 차선유지를 위해 자세의 변경을 유도하는 제1 가이드와 함께 표시된다.
또한, 상기 제2 가이드는 차량의 이탈 가능성이 더 이상 예측되지 않으면 표시되지 않을 수 있다.
프로세서(820)는, 차량의 주행 속도에 근거하여 (차량의 주행 차선 이탈 예측 시점 및) 차량의 주행 차선 이탈을 경고하는 시점을 결정하고, 상기 결정된 시점에서 이탈 추정 방향에 대응되는 위치에 제2 가이드를 표시하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.
프로세서(820)는, 주행 차선 내 차량의 치우침이 임계범위를 초과하는 것으로 결정된 것에 근거하여, 제1 AR 오브젝트가 나타내는 주행 자세의 표시를 업데이트하고, 상기 제1 가이드가 주행 차선의 중앙에 위치하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.
한편, 차량의 실제 자세는 주행에 따라 실시간으로 변경되는데, 이러한 자세 변화를 실시간으로 제1 AR 오브젝트에 반영할 경우, 제1 AR 오브젝트가 미세하게 떨리게 되는 화면 떨림(screen flickering)이 발생한다. 이에, 본 개시에 따른 프로세서(820)는 임계치를 초과하는 경우 제1 AR 오브젝트에 대한 표시 업데이트 (예, 차선 치우침으로 판단시)가 차량 전방 영상에 적용되도록 동작할 수 있다.
또한, 제1 및 제2 가이드에 의한 잦은 경고로 인해 운전자의 피로도가 증가하는 것을 방지하기 위해, 차선유지를 위한 차량의 자세값 산출과 차선 이탈 예측 시점의 산출은 실시간으로 수행하되, 제1 및 제2 가이드에 의한 표시 업데이트는 기준치(또는 가중치)를 만족한 경우에 수행되도록 적용할 수 있다.
예를 들어, 프로세서(820)는 차량과 차선 경계선과의 거리, 정해진 기준치(또는 가중치)(예, 치우침 횟수 등) 만족시, 차선의 너비와 차량의 크기에 근거하여 제1 및 제2 가이드의 표시 업데이트 및 표시시점을 다르게 적용할 수 있다.
도 15a는 상기 제1 가이드를 통해 차량의 차선 치우침을 경고하는 예시이다.
도 15a에서, 제1 AR 오브젝트(1520)는 차량의 현재 주행 상태, 즉 차량의 위치, 자세(Roll, Pitch, Yaw), 주행방향을 표시하며, 분리된 제2 AR 오브젝트(1510s)는 제1 AR 오브젝트(1520) 보다 앞서서 차선의 중앙 위치에 교정된 자세방향으로 나타내도록 표시된다.
분리된 제2 AR 오브젝트(1510s)는 차선유지를 위한 가이드(상기 제1 가이드)를 제공한다. 운전자(또는, 차량)는 상기 제1 가이드를 추종하여 차량 조향 제어를 수행함으로서, 차선 치우침을 교정하고 차선 이탈을 미연에 방지할 수 있다.
도 15b는 제1 및 제2 가이드를 통해 차량의 차선 이탈을 경고하는 예시이다.
도 15b에서, 제1 AR 오브젝트(1520)는 차량의 현재 주행 상태, 즉 차량의 위치, 자세(Roll, Pitch, Yaw), 주행방향을 표시하며, 분리된 제2 AR 오브젝트의 일부, 즉 제1 가이드(1510s)는 제1 AR 오브젝트(1520) 보다 앞서서 위치 그리고 차선의 중앙 위치에서 교정된 자세방향을 나타내도록 표시된다.
그리고, 분리된 제2 AR 오브젝트의 나머지부분 또는 제3 AR 오브젝트, 즉 제2 가이드(1530)는 차량의 차선 이탈을 방지하도록, 차선 경계선을 따라 경고 표시된다. 이때, 제2 가이드(1530)는 전술한 바와 같이 경고를 위한 컬러 변경, 형상 변경, 또는 하이라이트 표시가 적용될 수 있다.
분리된 제2 AR 오브젝트의 일부분(1510s)은 차선유지를 위한 가이드(상기 제1 가이드)를 제공한다. 운전자는 상기 제1 가이드를 추종하여 차량 조향 제어를 수행함으로서, 차선 치우침을 교정하고 차선 이탈을 미연에 방지할 수 있다.
한편, 프로세서(820)는 차선 이탈 경고를 위해, 상기 제2 가이드 표시와 함께, 차량의 오디오 출력, 햅틱 출력 등을 통해 추가 경고하도록 제어신호 등을 전송할 수 있다.
도 16은, AR 그래픽 인터페이스를 이용하여 차선 유지와 관련된 UX를 제공하는 방법의 흐름도이다.
본 개시에 따른 AR 디스플레 장치(800)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 차선유지와 관련된 알림 이벤트를 감지할 수 있다.
AR 디스플레 장치(800)는 감지된 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.
그에 따라, AR 디스플레 장치(800)의 프로세서(820)는, AR 그래픽 인터페이스의 렌더링 업데이트에 대응되는 AR GUI 프레임을 내비게이션 애플리케이션에 제공하고, 내비게이션 애플리케이션으로 하여금 AR GUI 서피스를 업데이트하도록 하여, AR 내비게이션 화면을 출력할 수 있다.
도 16에 도시된 각 단계는 다른 언급이 없다면 프로세서(또는, AR 엔진)에 의해 수행된다. 또한, 도 16의 과정은 위에서 도 8 내지 도 10을 참조하여 설명한 프로세서(820)에 의한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들을 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 도 16의 과정 이전 또는 이후에 수행될 수 있다.
프로세서(820)는, 제1 AR 오브젝트 및 분리된 제2 AR 오브젝트를 이용하여, 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 차량 전방 영상에 렌더링할 수 있다.
먼저, 프로세서(820)는 차선유지 가이드를 위한 제1 가이드 표시를 위해, 주행 차선의 중앙 위치 및 제2 AR 오브젝트의 자세(pose)를 계산한다(1610).
제2 AR 오브젝트의 자세(pose)는 제안하는 교정된 자세방향에 대응되는 피치(pitch), 롤(roll), 요(yaw) 값을 의미한다. 상기 주행 차선의 중앙 위치는, 제1 가이드의 표시 위치에 대응된다.
프로세서(820)는 기설정된 표시 기준을 만족하면, 차량 전방 영상에 상기 제1 가이드 형태로 상기 분리된 제2 AR 오브젝트를 표시한다(1620). 여기에서, 상기 기설정된 표시 기준을 만족하는 경우란, 차량의 현재 주행 상태가 차선 경계선(예, 좌측/우측 차선 경계선 등)에 기준치 이상 치우침이 발생한 경우를 의미한다. 상기 제1 가이드는 차선 유지를 위해 차량이 있어야할 바람직한 위치를 표시한다.
다음, 프로세서(820)는 차량의 현재 주행 상태에 대응되는 제1 AR 오브젝트의 표시를 위해, 차량의 위치와 자세(pose) 값을 계산한다(1630).
프로세서(820)는, 차량의 센싱 데이터, 맵 데이터, ADAS 센싱 데이터에 근거하여, 차선내 차량의 위치, 치우친 차선 경계선까지의 횡방향 거리(lateral offest), 횡방향으로의 속도/가속도, 차량의 조향각을 등을 산출하고, 이를 기초로 피치(pitch), 롤(roll), 요(yaw) 값을 계산할 수 있다.
프로세서(820)는 제1 AR 오브젝트의 이전 위치와 자세값을 현재 차량의 위치 및 자세값과 비교하여, 임계범위를 초과하는 경우인지를 판단한다(1640). 판단(1640) 결과, 임계범위를 초과하는 변화가 있는 경우, 프로세서(820)는 제1 오브젝트의 표시를 업데이트한다(1650).
이는, 차량의 실제 자세는 주행에 따라 실시간으로 변경되는데, 이러한 자세 변화를 실시간으로 제1 AR 오브젝트에 모두 반영할 경우, 차량 전방 영상에 렌더링된 제1 AR 오브젝트가 미세하게 떨리는 화면 떨림(screen flickering)을 방지하기 위함이다.
판단(1640) 결과, 임계범위를 초과하는 위치 및 자세 변화가 없거나 또는 제1 AR 오브젝트의 표시 업데이트가 수행되면, 프로세서(820)는 주행 차선을 기준으로 좌우측 횡방향의 거리, 속도, 가속도를 계산하여(1660), 차선 이탈가능성을 산출한다.
차선 이탈가능성이 검출되면, 프로세서(820)는 차량의 주행 차선 이탈을 경고하는 제2 가이드를 차량 전방 영상에 표시한다(1680). 이때, 차선 이탈 경고로, 오디오 출력, 햅틱 출력이 수반될 수 있다.
상기 제1 및 제2 가이드는 차선 치우침 및/또는 차선 이탈가능성이 검출되지 않거나 해당 기능이 종료되면, 차량 전방 영상에 더이상 표시되지 않으며, 대응되는 제1 및 제2 AR 오브젝트가 결합된 형태로 차량 전방 영상에 표시된다.
이상에서 살펴본 실시 예에 따르면, 분리된 AR 오브젝트를 통해, 차선 변경 불가시에는 차선 변경 금지를 표시하고 차선 변경 가능시에는 직관적인 변경 가이드 경로를 제공함으로써, 안전 운전 및 차선 변경 주행에 크게 도움을 준다.
도 17a과 도 17b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 앞차 추월과 관련된 가이드 UX를 제공하는 방법의 예시들을 도시한 것이다.
본 개시에 따른 AR 디스플레이 장치(800)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 차선유지와 관련된 알림 이벤트로 추월 주행 시도를 인지할 수 있다.
차량 추월(앞지르기)은, 앞차의 주행속도, 주행방향, 및 기타 주행 상황을 고려하여 안전한 속도와 방법으로 수행되어한다.
프로세서(820)는 주행 차선과 관련된 알림 이벤트로 추월 주행이 인지된 것에 근거하여, 분리된 제2 AR 오브젝트를 통해 회피 경로 및 타겟 오브젝트의 추월 지점을 나타내는 가이드 궤적을 표시하도록 렌더링 업데이트할 수 있다.
여기에서, 회피 경로는 앞 차량을 앞지르기 위한 차선 변경(또는, 비껴가기)경로(회피 경로의 제1부분), 계산된 지점에서 원래의 차선으로 복귀하기 위한 변경 경로(회피 경로의 제2부분)을 포함한다.
여기에서, 타겟 오브젝트는, 동일 차선 내에서 차량 앞에서 주행하고 있는 앞지르기 대상으로, 예를 들어 차량, 이륜차, 전동킥보드, 자전거 등을 포함할 수 있다.
여기에서, 추월지점은 회피 경로의 제1부분 및 제2부분 각각에 포함된 차선 변경 지점, 즉 크로싱 포인트(crossing point)를 의미한다. 추월지점은 특별한 사정이 없는 한, 타겟 오브젝트의 좌측에 위치한다.
한편, 타겟 오브젝트의 위치 및 너비에 따라, 동일 차선 내에서 차량 추월(앞지르기)이 수행될 수도 있고 차선을 변경하면서 수행될 수도 있다.
동일 차선 내에서 차량 추월하는 경우(예, 동일 차선 내에서 자전거, 전동킥보드 등을 앞지르기), 프로세서(820)는 분리된 제2 AR 오브젝트를 이용하여, 동일 차선 내 타겟 오브젝트의 좌측으로 비껴가는 회피 경로(복수의 가이드 궤적)를 생성하여 차량 전방 영상에 표시한다. 이때, 분리된 제2 AR 오브젝트가 표시될 때, 하이빔 등의 회피조향 보조장치가 작동되어, 타겟 오브젝트에게 주의를 제공할 수 있다.
차선을 변경하여 차량 추월하는 경우, 추월하려는 타겟 오브젝트의 좌측 차선으로 차량 이동 후, 타겟 오브젝트를 앞질러서 원래 차선으로 복귀하는 방식으로 차량 추월(앞지르기)이 수행된다.
구체적으로, 프로세서(820)는 차량의 차선 변경이 완료된 것에 근거하여 분리된 제2 AR 오브젝트를 제1 AR 오브젝트에 결합하고, 차량의 현재 위치가 타겟 오브젝트의 추월지점에 근접한 것에 근거하여, 상기 제2 AR 오브젝트가 제1 AR 오브젝트로부터 다시 분리되어 복귀할 차선 위치를 나타내도록 가이드 궤적을 표시한다. 프로세서(820)는 분리된 제2 AR 오브젝트가 차량의 추월주행이 완료될 때까지 분리된 상태를 유지하여 가이드 궤적을 표시하도록 렌더링 업데이트한다.
도 17a의 (a)는 회피 경로의 제1부분을 나타낸 것이고, 도 17a의 (b)는 회피 경로의 제1부분을 나타낸 것이다.
프로세서(820)는, 차량 추월(앞지르기)이 개시되면, 제2 AR 오브젝트를 분리하여, 타겟 차량의 좌측 차선으로의 이동을 가이드하는 제1 경로(복수의 가이드 궤적을 포함함)(1710a)를 표시한다. 이때, 좌측 차선이 이동체가 있으면, 프로세서(820)는 상기 제2 AR 오브젝트를 이용하여, 차선 변경 불가를 안내하고, 해당 이동체가 지나간 후 또는 안전거리 확보후 상기 제1 경로(1710a)를 표시할 수 있다.
상기 제1 경로를 따라 차선 변경이 완료되면, 즉 차량이 제1 경로를 따라 좌측 차선으로 이동하고 타겟 차량과 나란히 위치하면, 분리된 제2 AR 오브젝트는 제1 AR 오브젝트에 결합된 형태(1710b)로 표시된다.
다만, 타겟 차량이 주행속도를 높여서 차량이 이 보다 후방에 위치하면, 결합된 제2 AR 오브젝트(1710b)가 다시 분리되어, 보다 증가된 주행속도로 직진주행 하도록 가이드하는 복수의 가이드 궤적이 표시될 수 있다.
이 후, 프로세서(820)는, 타겟 차량을 앞질러서 원래의 차선으로의 복귀를 가이드하는 제2 경로(복수의 가이드 궤적을 포함함)(1710c)를 표시한다. 이때, 복귀하려는 차선의 타겟 차량 앞에 다른 차량이 있으면, 프로세서(820)는 안전거리를 확보할 때까지 차선 변경 불가를 안내하고, 상황 종료 후에 제2 경로(1710c)를 표시할 수 있다.
상기 제2 경로를 따라 차선 변경(복귀)이 완료되면, 즉 차량이 제2 경로를 따라 원래 차선으로 이동하고 안전거리를 확보하여 타겟 차량의 앞에 위치하면, 분리된 제2 AR 오브젝트는 제1 AR 오브젝트에 결합된 형태(1710d)로 표시된다.
한편, 상기 제1 및 제2 경로의 길이, 형상 등은 추월하려는 타겟 차량의 위치, 주행속도, 주행방향, 및 다른 주행 상황(예, 현재 차선의 앞차가 먼저 차선 변경하는 경우 등)을 고려하여, 가변될 수 있다.
또한, 상기 제1 및 제2 경로 각각은 차선이 변경되는 지점, 즉 크로싱 포인트(crossing point)를 포함하는데, 차량은 크로싱 포인트(crossing point)에서 타겟 차량 가까이에서 차선 변경을 수행하므로, 안전 운전을 위해 적절한 주행속도를 안내해주면 좋을 것이다.
이에, 프로세서(820)는 차량의 현재 위치와 주행 상태에 근거하여, 주행해야할 복수의 가이드 궤적 사이에, 타겟 오브젝트의 추월 지점에 대응되는 크로싱 포인트와 해당 크로싱 포인트를 통과하기 위한 주행 속도 정보를 포함하도록 표시 업데이트할 수 있다.
도 17b를 참조하면, 프로세서(820)는 예를 들어 ADAS 센싱 데이터에 기반하여 산출되는 타겟 차량의 위치 및 주행속도와 좌측 차선의 후방에 접근하는 이동체의 존재에 기초하여, 제1 경로(1710e)의 크로싱 포인트에, 제안하는 제1 필요주행속도 정보(1730a)(예, '60km/h')를 표시할 수 있다.
다음, 차량의 좌측 차선 변경 후, 프로세서(820)는 예를 들어 ADAS 센싱 데이터에 기반하여 산출되는 타겟 차량의 위치와 주행속도와 복귀 차선의 전방의 이동체의 존재에 기초하여, 제2 경로(1710f)의 크로싱 포인트에, 제안하는 제2 필요주행속도 정보(1730a)(예, '80km/h')를 표시할 수 있다.
한편, 제1 및 제2 필요주행속도 정보에 표시된 각 속도값은 타겟 차량의 실기간 주행속도와 ADAS 센싱 데이터를 통해 감지되는 주변 이동체의 존재를 반영하여 가변 표시될 수 있다.
이하에서는, 도 18을 참조하여, 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 AES(Automatic Emergency Steering) 대응과 관련된 UX를 제공하는 방법을 설명하겠다.
본 개시에 따른 AR 디스플레이 장치(800)의 프로세서(820)는, 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보), 맵 데이터(예, 내비게이션/지도 데이터(lane geometry)), ADAS 센싱 데이터(예, 카메라, 레이다(Radar), 라이다(Lidar))에 근거하여, 주행 차선과 관련된 알림 이벤트로 충돌가능한 전방 오브젝트를 검출할 수 있다.
프로세서(820)는 충돌가능한 전방 오브젝트의 검출에 근거하여, 차량의 현재 위치와 ADAS 센싱 데이터에 기초하여 회피 주행 차선을 결정하고, 분리된 제2 AR 오브젝트가 상기 결정에 따라 주행해야 할 가이드 궤적을 표시하도록 렌더링할 수 있다.
본 개시에 따른 차량(100)은, 주행 중 ADAS 시스템 등을 통해 차량의 전방에 충돌가능한 오브젝트가 검출되면, AEB(Automatic Emergency Braking, 이하 'AEB')을 활성화하여 긴급제동을 수행하거나 또는 AES(Automatic emergency steering, 자동 지상 조향 장치, 이하 'AES') 기능을 활성화하여 자동 회피 주행을 수행한다.
본 개시에서는 AES 기능이 활성화되는 경우, AR 그래픽 인터페이스를 통해, 차량이 자동 회피 주행할 경로를 미리 안내해줄 수 있다.
AES(Automatic emergency steering) 기능은, 차량의 잠재적 충돌을 감지하고 충격의 심각성을 방지하거나 줄이기 위해 조향 제어 장치를 자동으로 제어하는 기능이다. 일부 시스템에는 보행자 또는 기타 물체 감지를 포함할 수 있다.
프로세서(820)는 예를 들어, 전방 차량과의 TTC (Time To Collision) 판단을 통해 전방 오브젝트와의 충돌이 예상되는 경우, 현재 주행 차선을 기준으로 좌측 또는 우측 차선 중 후방 추돌가능성이 가장 낮은 차선을 선택하고, AES 궤적을 계산한다.
여기에서, TTC (Time To Collision)는 충돌이 예상되는 차량의 접근 속도가 일정함을 전제하였을때, 차량이 타겟 오브젝트에 부딪히기까지 소요되는 시간을 의미한다.
프로세서(820)는, AES 궤적에 기반한 예상 궤적을, 분리된 제2 AR 오브젝트를 이용하여 차량 전방 영상에 표시하고, 제1 AR 오브젝트를 이용하여 차량의 현재 주행 상태(예, 차량 위치, 주행방향, 조향각 등)를 차량 전방 영상에 표시한다.
즉, 위험 상황에서의 회피 가능한 스티어링 휠(조향각)이, 분리된 제2 AR 오브젝트를 통해 복수의 가이드 궤적으로 표시됨으로써, 운전자가 회피 경로를 직관적으로 인지할 수 있다.
충돌 위험이 감지되고 AEB 기능에 의해 긴급제동으로 회피가능하면, AEB 기능을 실행한다.
충돌 위험이 감지되고 긴급제동으로 회피할 수 없는 경우이면, 프로세서(820)는 제2 AR 오브젝트를 분리하여, AES 기능에 따른 자동 회피 주행에 대응되는 가이드 궤적을 표시한다. AES 기능은 더 안전한 차선을 선택하여 회피 주행한다.
도 18의 (a)는 좌측(L)으로 AES가 더 안전한 경우의 가이드 궤적을 표시한 것이다.
도시된 바와 같이, 우측차선에 존재하는 차량 및/또는 우측후방에서 접근하는 차량으로 인해, 좌측(L)으로 AES를 수행하는 것이 더 안전하다고 판단되는 경우, 분리된 제2 AR 오브젝트를 통해, 차량(100)의 예상 궤적(1820a)과 예상 최종 위치(100')를 표시해준다. 이때, 차량(100)의 예상 궤적(1820a)과 예상 최종 위치(100')는 적어도 AES의 실행과 동시에 표시되므로, 운전자는 자동 회피 주행의 경로를 미리 파악할 수 있다.
도 18의 (b)는 우측(R)으로 AES가 더 안전한 경우의 가이드 궤적을 표시한 것이다.
도시된 바와 같이, 좌측차선에 존재하는 차량 및/또는 좌측후방에서 접근하는 차량으로 인해, 우측(R)으로 AES를 수행하는 것이 더 안전하다고 판단되는 경우, 분리된 제2 AR 오브젝트를 통해, 차량(100)의 예상 궤적(1820b)과 예상 최종 위치(100')를 표시해준다. 이때, 차량(100)의 예상 궤적(1820b)과 예상 최종 위치(100')는 적어도 AES의 실행과 동시에 표시되므로, 운전자는 자동 회피 주행의 경로를 미리 파악할 수 있다.
이와 같이 AES 기능에 따른 자동 회피 주행이 종료되면, 분리된 제2 AR 오브젝트는 다시 제1 AR 오브젝트에 결합된 형태로 표시된다.
도 19는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 전방 충돌가능 경고와 관련된 UX 를 제공하는 방법을 도시한 흐름도이다.
도 19의 흐름도에 도시된 각 단계는 다른 언급이 없다면 프로세서(또는, AR 엔진)에 의해 수행된다. 또한, 도 19의 과정은 위에서 도 8 내지 도 10을 참조하여 설명한 프로세서(820)에 의한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들을 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 도 19의 과정 이전 또는 이후에 수행될 수 있다.
프로세서(820)는 차량의 주행동안 ADAS 센싱 데이터에 기초하여 전방의 충돌가능한 오브젝트에 관한 정보(예, 앞차 충돌 정보, 보행자 정보)를 획득할 수 있다.
프로세서(820)는 획득된 정보에 근거하여 충돌 경고 표시가 필요한지를 판단하고(1920), 충돌 경고 표시가 필요한 경우, ADAS 위치 정보로부터 AR 좌표계 기준으로 전환한 전방 충돌가능한 오브젝트(예, 앞차, 보행자)의 위치를 계산한다(1930)
위치 계산 결과에 근거하여 경고 모드를 실행하고(1940), 경고 알림 레벨을 판단하여 위험도에 따라 상이한 경고 알림을 표시한다.
프로세서(820)는, 예를 들어, 차량의 ADAS 센싱 데이터에 기초하여 전방의 충돌가능한 오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 해당 오브젝트의 상대 위치를 산출하고, 산출된 상대 위치에 따라 (또는 충돌가능 정도에 따라) 가변된 알람 오브젝트를 차량 전방 영상에 렌더링한다.
여기에서, 상기 알람 오브젝트는 검출된 오브젝트의 외형을 나선형 고리 형태로 감싸는 AR 이미지일 수 있다. 또한, 상기 알람 오브젝트의 컬러, 형상 등은 예측되는 충돌가능성 정도에 따라 달라질 수 있다.
구체적으로, 제1모드(low level)에서는 분리된 제2 AR 오브젝트에 대응되는 경고 알림을 low level을 나타내는 컬러(예, yellow), 형상 등으로 표시한다(1950). 제2모드(high level)에서는 분리된 제2 AR 오브젝트에 대응되는 경고 알림을 high level을 나타내는 컬러(예, orange), 형상 등으로 표시한다(1960). 제3모드(critical level)에서는 분리된 제2 AR 오브젝트에 대응되는 경고 알림을 critical level을 나타내는 컬러(예, red), 형상 등으로 표시할 수 있다(1970).
이때, 제1 내지 제3 모드에 대응되는 경고 알림 UX는 위험 정도에 따라 차량의 다른 출력수단(예, 오디오 출력, 햅틱 출력 등)과 함께 표시될 수 있을 것이다.
이상, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 별도의 설정 없이도 캘리브레이션되는 전방 영상에 차량의 현재 위치와 예측 주행 상황에 대한 가이드를 AR 오브젝트로 동시 안내함으로써, 차량에게 보다 직관적이고 현실감 있는 AR 가이드 안내를 제공할 수 있다. 또한, 차량의 주행 차선 변경시 충돌가능성을 예측하여, 단순 경고 알림이 아닌 차선 변경 가능 여부를 운전자에게 알려줄 수 있다. 또한, 분리된 AR 오브젝트를 통해, 차선 변경 불가시에는 차선 변경 금지를 표시하고 차선 변경 가능시에는 직관적인 변경 가이드 경로를 제공함으로써, 안전 운전 및 차선 변경 주행에 크게 도움을 준다. 또한, 잦은 경고 알람으로 인한 운전 방해 없이, 직관적인 AR 인터페이스를 통해 주행 차선 이탈을 방지할 수 있다. 또한, 앞차 추월시, 차량이 앞차를 안전하게 추월할 수 있는 상황인지를 판단하고, 안전하게 추월할 수 있는 경로, 주행속도를 제공하여, 안전하고 편리한 주행을 돕는다. 나아가, 전방/측후방의 충돌가능한 오브젝트의 검출을 사운드가 아닌 직관적인 AR 오브젝트로 표시하여, 운전을 방해하지 않으면서 안전 운전을 돕는다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (16)

  1. 차량의 전방 영상을 획득하는 카메라;
    차량의 맵 데이터 및 센싱 데이터를 수신하는 통신 모듈;
    기설정된 애플리케이션을 구동하여, 상기 맵 데이터에 기반하여 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트가 결합된 AR 그래픽 인터페이스가 차량의 전방 영상에 중첩되도록 렌더링하는 프로세서; 및
    상기 렌더링에 따라, 상기 AR 그래픽 인터페이스가 중첩된 전방 영상이 포함된 내비게이션 화면을 표시하는 디스플레이를 포함하고,
    상기 프로세서는,
    상기 센싱 데이터와 차량의 현재 위치에 기초하여 인식된 주행 차선과 관련된 알림 이벤트에 근거하여, 상기 제2 AR 오브젝트를 분리하여 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트하는,
    AR 디스플레이 장치.
  2. 제1항에 있어서,
    상기 주행 차선과 관련된 알림 이벤트는,
    주행 차선의 변경, 주행 차선의 이탈 추정, 전방 오브젝트의 추월, 및 현재 주행 차선 또는 변경할 주행 차선 내 충돌가능한 오브젝트의 검출 중 어느 하나인,
    AR 디스플레이 장치
  3. 제1항에 있어서,
    상기 주행 차선과 관련된 알림 이벤트를 인지하기 위한 센싱 데이터는, 차량의 ADAS 센싱 데이터와 CAN 데이터, GPS 정보, 내비게이션 정보 중 하나 이상의 조합을 포함하는,
    AR 디스플레이 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 센싱 데이터에 기초하여 상기 알림 이벤트로 차량의 주행 차선 변경이 결정된 것에 근거하여, 상기 제1 AR 오브젝트는 차량의 현재 주행 차선에 표시하고, 상기 제2 AR 오브젝트는 분리되어 변경할 주행 차선을 향하는 복수의 궤적을 포함하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트하는,
    AR 디스플레이 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 센싱 데이터 및 맵 데이터에 기초하여 차량에 접근하는 오브젝트를 검출하고, 상기 복수의 궤적 중 일부를 분리하여 상기 검출된 오브젝트의 위치를 표시하도록 업데이트하는,
    AR 디스플레이 장치.
  6. 제4항에 있어서,
    상기 프로세서는,
    변경할 주행 차선에 충돌가능성 있는 오브젝트가 검출된 것에 근거하여, 상기 복수의 궤적이 차선 변경 불가를 나타내도록 표시 변경하고, 표시 변경된 궤적 중 일부는 상기 검출된 오브젝트의 위치를 나타내도록 표시 업데이트하는,
    AR 디스플레이 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 차선 변경 불가를 나타내는 복수의 궤적이 차량의 현재 주행 차선 또는 변경이 불가한 주행 차선 중 어느 하나에만 위치하도록 렌더링 업데이트하는,
    AR 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 주행 차선과 관련된 알림 이벤트로 주행 차선의 이탈이 추정된 것에 근거하여,
    상기 제1 AR 오브젝트는 현재 주행 차선에서 차량 주행 자세를 나타내고, 분리된 제2 AR 오브젝트는 차선유지를 위해 차량 자세의 변경을 유도하는 제1 가이드 및 주행 차선의 이탈을 경고하는 제2 가이드 중 적어도 하나를 표시하도록, 상기 AR 그래픽 인터페이스를 렌더링 업데이트하는,
    AR 디스플레이 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    차량의 주행 속도에 근거하여 주행 차선의 이탈을 경고하는 시점을 결정하고, 상기 결정된 시점에서 이탈 추정 방향에 대응되는 위치에 상기 제2 가이드를 표시하도록 상기 제2 AR 오브젝트를 표시 업데이트하는,
    AR 디스플레이 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    주행 차선 내 치우침이 임계범위를 초과하는 것으로 결정된 것에 근거하여 상기 제1 AR 오브젝트가 나타내는 차량 주행 자세의 표시를 업데이트하고, 상기 제1 가이드가 주행 차선의 중앙에 위치하도록 상기 제2 AR 오브젝트를 표시 업데이트하는,
    AR 디스플레이 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    주행 차선과 관련된 알림 이벤트로 추월 주행이 인지된 것에 근거하여, 분리된 제2 AR 오브젝트를 통해 회피 경로 및 타겟 오브젝트의 추월 지점을 나타내는 가이드 궤적을 표시하도록 렌더링 업데이트하는,
    AR 디스플레이 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    차량이 상기 회피 경로를 주행하는 동안, 차량의 차선 변경이 완료된 것에 근거하여 상기 분리된 제2 AR 오브젝트를 상기 제1 AR 오브젝트와 결합된 형태로 표시하고,
    차량의 현재 위치가 상기 타겟 오브젝트의 추월 지점에 근접한 것에 근거하여 상기 제2 AR 오브젝트를 상기 제1 AR 오브젝트로부터 분리하여, 복귀할 차선의 위치를 나타내는 가이드 궤적을 표시하는,
    AR 디스플레이 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 추월 주행시, 상기 분리된 제2 AR 오브젝트가 차량의 추월 주행이 완료될 때까지 분리된 상태를 유지하면서 차량이 주행해야할 가이드 궤적을 표시하도록 렌더링 업데이트하는,
    AR 디스플레이 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    차량의 현재 위치와 주행 상태에 근거하여, 상기 주행해야할 가이드 궤적 사이에 상기 타겟 오브젝트의 추월 지점에 대응되는 차선의 크로싱 포인트와 해당 크로싱 포인트를 통과하기 위한 주행 속도 정보를 포함하도록 표시 업데이트하는,
    AR 디스플레이 장치.
  15. 제1항에 있어서,
    상기 프로세서는,
    ADAS 센싱 데이터에 기초하여 상기 주행 차선과 관련된 알림 이벤트로 충돌가능한 전방오브젝트가 검출된 것에 근거하여,
    차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 회피 주행 차선을 결정하고, 분리된 제2 AR 오브젝트가 상기 결정에 띠리 차량이 주행할 가이드 궤적을 표시하도록 렌더링하는,
    AR 디스플레이 장치.
  16. 제1항에 있어서,
    상기 프로세서는,
    ADAS 센싱 데이터에 기초하여 충돌가능한 전방오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 상기 검출된 전방 오브젝트의 상대 위치를 산출하고, 산출된 상대 위치에 따라 가변된 알람 오브젝트가 상기 전방 영상에 중첩되도록 렌더링하는,
    AR 디스플레이 장치.
PCT/KR2022/015982 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법 WO2023238993A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020237018103A KR102611337B1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법
EP23175929.1A EP4289695A3 (en) 2022-06-10 2023-05-30 Ar display device for vehicle and method for operating same
CN202310686429.XA CN117213520A (zh) 2022-06-10 2023-06-09 车辆用ar显示装置及其动作方法
US18/208,622 US20230399004A1 (en) 2022-06-10 2023-06-12 Ar display device for vehicle and method for operating same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220070770 2022-06-10
KR10-2022-0070770 2022-06-10

Publications (1)

Publication Number Publication Date
WO2023238993A1 true WO2023238993A1 (ko) 2023-12-14

Family

ID=89118487

Family Applications (4)

Application Number Title Priority Date Filing Date
PCT/KR2022/095146 WO2023239003A1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법
PCT/KR2022/015979 WO2023238992A1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법
PCT/KR2022/015982 WO2023238993A1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법
PCT/KR2022/095145 WO2023239002A1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
PCT/KR2022/095146 WO2023239003A1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법
PCT/KR2022/015979 WO2023238992A1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/095145 WO2023239002A1 (ko) 2022-06-10 2022-10-19 차량의 ar 디스플레이 장치 및 그것의 동작방법

Country Status (1)

Country Link
WO (4) WO2023239003A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032811A (ja) * 2010-07-09 2012-02-16 Toshiba Corp 表示装置、画像データ生成装置、画像データ生成プログラム及び表示方法
US20160129836A1 (en) * 2013-07-05 2016-05-12 Clarion Co., Ltd. Drive assist device
KR20170101758A (ko) * 2016-02-26 2017-09-06 자동차부품연구원 증강현실 헤드 업 디스플레이 내비게이션
KR20190136691A (ko) * 2018-05-31 2019-12-10 주식회사 엘지유플러스 모바일 디바이스 및 상기 모바일 디바이스의 도보네비 모드 전환 방법
JP2022058537A (ja) * 2019-02-14 2022-04-12 株式会社デンソー 表示制御装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102014261B1 (ko) * 2017-12-12 2019-08-26 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032811A (ja) * 2010-07-09 2012-02-16 Toshiba Corp 表示装置、画像データ生成装置、画像データ生成プログラム及び表示方法
US20160129836A1 (en) * 2013-07-05 2016-05-12 Clarion Co., Ltd. Drive assist device
KR20170101758A (ko) * 2016-02-26 2017-09-06 자동차부품연구원 증강현실 헤드 업 디스플레이 내비게이션
KR20190136691A (ko) * 2018-05-31 2019-12-10 주식회사 엘지유플러스 모바일 디바이스 및 상기 모바일 디바이스의 도보네비 모드 전환 방법
JP2022058537A (ja) * 2019-02-14 2022-04-12 株式会社デンソー 表示制御装置

Also Published As

Publication number Publication date
WO2023239003A1 (ko) 2023-12-14
WO2023238992A1 (ko) 2023-12-14
WO2023239002A1 (ko) 2023-12-14

Similar Documents

Publication Publication Date Title
WO2017222299A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019031851A1 (ko) 지도 제공 장치
WO2018044098A1 (en) Vehicle user interface apparatus and vehicle
EP3475134A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2021045257A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018101552A2 (en) Head-up display for vehicle
WO2019117333A1 (ko) 차량에 구비된 디스플레이 장치 및 디스플레이 장치의 제어방법
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2017209313A1 (ko) 차량용 디스플레이 장치 및 차량
WO2018088647A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019035652A1 (en) DRIVING ASSISTANCE SYSTEM AND VEHICLE COMPRISING THE SAME
WO2021141142A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018097465A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018079919A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2022154369A1 (ko) 차량과 연동된 디스플레이 장치 및 그것의 동작방법
WO2018110789A1 (en) Vehicle controlling technology
WO2019066477A1 (en) AUTONOMOUS VEHICLE AND ITS CONTROL METHOD
EP3545380A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2021157760A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021045256A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2017155199A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2020149431A1 (ko) 경로 제공 장치 및 그것의 제어 방법
WO2021045255A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945952

Country of ref document: EP

Kind code of ref document: A1