WO2020059924A1 - 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법 - Google Patents

차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법 Download PDF

Info

Publication number
WO2020059924A1
WO2020059924A1 PCT/KR2018/011334 KR2018011334W WO2020059924A1 WO 2020059924 A1 WO2020059924 A1 WO 2020059924A1 KR 2018011334 W KR2018011334 W KR 2018011334W WO 2020059924 A1 WO2020059924 A1 WO 2020059924A1
Authority
WO
WIPO (PCT)
Prior art keywords
processor
point
vehicle
graphic object
data
Prior art date
Application number
PCT/KR2018/011334
Other languages
English (en)
French (fr)
Inventor
김일완
이재호
최성환
정두경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/278,480 priority Critical patent/US11694369B2/en
Priority to PCT/KR2018/011334 priority patent/WO2020059924A1/ko
Publication of WO2020059924A1 publication Critical patent/WO2020059924A1/ko
Priority to US18/198,608 priority patent/US20230290015A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a vehicle user interface device and a method of operating a vehicle user interface device.
  • the vehicle is a device that moves in a direction desired by a user who boards.
  • a typical example is a car.
  • a user interface device for a vehicle is implemented to display a graphic object in Augmented Reality (AR) with a display.
  • AR Augmented Reality
  • accurate position data of the object corresponding to the AR graphic object is required.
  • an object of the present invention is to provide a user interface device for a vehicle that displays an AR graphic object with little heterogeneity even in a situation in which the position data of the object is incorrect.
  • an object of the present invention is to provide an operation method of a user interface device for a vehicle that displays an AR graphic object with little heterogeneity even in a situation where the position data of the object is incorrect.
  • a user interface device for a vehicle includes a display that displays a first AR (Augmented Reality) graphic object at a point in a display area corresponding to a first point; And at least one processor that receives the distance data between the vehicle and the first point, and changes the first AR graphic object based on the distance data.
  • a first AR Augmented Reality
  • the processor changes at least one of a position, a movement distance, a movement speed, a size, and a display height of the first AR graphic object on the display area.
  • the processor determines at least one of a degree of change of the first AR graphic object and a type of change of the first AR graphic object based on the accuracy of the first point. do.
  • the processor specifies the first point based on GPS data, and adjusts the degree of change of the first AR graphic object based on the error rate of the GPS data.
  • the processor changes the first AR graphic object based on at least one of data on a vanishing line, data on a curvature of a driving road, and motion data of a vehicle. Adjust the degree of.
  • the first AR graphic object when it is determined that the processor does not have a point corresponding to the first point in the display area, the first AR graphic object is located at a point closest to the first point in the display area. Is displayed.
  • the processor determines a moving direction and a moving speed of the first AR graphic object based on the steering data of the vehicle.
  • the processor specifies the first point based on data on at least one object detected from image data.
  • FIG. 1 is a view referred to for explaining a problem of an AR graphic object according to the prior art.
  • FIG. 2 is a view referred to for describing a vehicle user interface device according to an embodiment of the present invention.
  • FIG. 3 is a control block diagram of a user interface device for a vehicle according to an embodiment of the present invention.
  • FIG. 4 is a control block diagram of a vehicle according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a user interface device for a vehicle according to an embodiment of the present invention.
  • 6A to 11B are diagrams referred to for describing an operation of changing an AR graphic object according to an embodiment of the present invention.
  • 12A to 12B are diagrams referred to for explaining a setting operation of an AR graphic object according to an embodiment of the present invention.
  • FIGS. 13A to 13G are flowcharts of a user interface device for a vehicle according to an embodiment of the present invention.
  • FIGS. 14A to 14C are views referred to for describing the operation of a user interface device for a vehicle according to an embodiment of the present invention.
  • 15 is a flowchart of a user interface device for a vehicle according to an embodiment of the present invention.
  • the vehicle described herein may be a concept including an automobile and a motorcycle.
  • a vehicle is mainly described for a vehicle.
  • the vehicle described in this specification may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side means the left side of the vehicle's straight running direction
  • the right side means the right side of the vehicle's straight running direction
  • FIG. 1 is a view referred to for explaining a problem of an AR graphic object according to the prior art.
  • a user interface device for a vehicle may display an AR graphic object corresponding to a specific point 101.
  • Information about the specific point 101 is obtained based on at least one of Global Positioning System (GPS) data and image data.
  • GPS data and image data may not be accurate depending on various variables.
  • the AR graphic object 103 is displayed in response to a specific point 101 calculated by data, not the point 102 where the AR graphic object 103 should be displayed, which may cause confusion to the user. there is a problem.
  • the accuracy of the GPS data and the image data may be flexible depending on the location of the vehicle and the time of data acquisition. In this case, the AR graphic object 103 may be displayed trembling.
  • a vehicle user interface device 200 of the present invention is provided.
  • FIG. 2 is a view referred to for describing a user interface device for a vehicle according to an embodiment of the present invention.
  • FIG. 3 is a control block diagram of a user interface device for a vehicle according to an embodiment of the present invention.
  • FIG. 4 is a control block diagram of a vehicle according to an embodiment of the present invention.
  • the vehicle 100 includes a user interface device 200, an object detection device 110, a communication device 120, a driving operation device 130, a main ECU 140, and a vehicle driving
  • the device 150 may include a driving system 160, a sensing unit 170, and a location data generating device 180.
  • the vehicle 100 may further include other components. Depending on the embodiment, the vehicle 100 may not include some of the components of FIG. 4.
  • the user interface device 200 is a device for communication between the vehicle 100 and a user.
  • the user interface device 200 may receive user input and provide information generated in the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UI) or User Experience (UX) through the user interface device 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, an AR camera 225, a biometric sensing unit 230, an output unit 250 and a processor 270. According to an embodiment, the user interface device 200 may further include other components in addition to the components described, or may not include some of the components described.
  • the input unit 210 is for receiving information from a user, and data generated by the input unit 210 may be processed as a control signal by the processor 270.
  • the input unit 210 may be disposed inside the vehicle.
  • the input unit 210 includes a region of a steering wheel, a region of an instrument panel, a region of a seat, a region of each pillar, and a door One area of the door, one area of the center console, one area of the head lining, one area of the sun visor, one area of the windshield or one of the windows It may be arranged in one area.
  • the input unit 210 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 may convert a user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 270.
  • the voice input unit 211 may include at least one microphone.
  • the gesture input unit 212 may convert a user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 270.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for sensing a user's gesture input.
  • the gesture input unit 212 may detect a user's 3D gesture input.
  • the gesture input unit 212 may include a light output unit outputting a plurality of infrared light or a plurality of image sensors.
  • the gesture input unit 212 may detect a user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 may convert a user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 270.
  • the touch input unit 213 may include a touch sensor for detecting a user's touch input.
  • the touch input unit 213 may be integrally formed with the display 251 to implement a touch screen.
  • the touch screen may provide an input interface and an output interface between the vehicle 100 and a user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 270.
  • the mechanical input unit 214 may be disposed on a steering wheel, center fascia, center console, cock module, door, or the like.
  • the internal camera 220 may acquire an image inside the vehicle.
  • the processor 270 may detect a user's state based on an image inside the vehicle.
  • the processor 270 may acquire the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect a gesture of the user from the image inside the vehicle.
  • the AR camera 225 may photograph an image in front of the vehicle.
  • the AR camera 225 may be disposed indoors to face the front of the vehicle.
  • the AR camera 225 is preferably disposed close to the wind shield.
  • the image captured by the AR camera 225 may be provided to the processor 270.
  • the AR camera 225 may be classified as an external configuration of the user interface device 200.
  • the interface unit 245 may receive the vehicle front image data from the AR camera 225 and transmit it to the processor 270.
  • the biometric sensing unit 230 may acquire biometric information of the user.
  • the biometric sensing unit 230 includes a sensor capable of acquiring the user's biometric information, and may acquire the user's fingerprint information, heartbeat information, and the like using the sensor. Biometric information may be used for user authentication.
  • the output unit 250 is for generating output related to vision, hearing, or tactile sense.
  • the output unit 250 may include at least one of a display 251, an audio output unit 252, and a haptic output unit 253.
  • the display 251 may display graphic objects corresponding to various information.
  • the display 251 is a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display (flexible display) ), At least one of a 3D display and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • the display 251 forms a mutual layer structure with the touch input unit 213 or is integrally formed, thereby realizing a touch screen.
  • the display 251 may be implemented as a head up display (HUD).
  • HUD head up display
  • the display 251 may be provided with a projection module to output information through a wind shield or an image projected on the window.
  • the display 251 may include a transparent display.
  • the transparent display can be attached to a wind shield or window.
  • the transparent display can display a predetermined screen while having a predetermined transparency.
  • Transparent display, to have transparency the transparent display is transparent Thin Film Elecroluminescent (TFEL), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transmissive transparent display, transparent LED (Light Emitting Diode) display It may include at least one of.
  • the transparency of the transparent display can be adjusted.
  • the display 251 may be implemented as at least one of a cluster 251a, a center integrated display (CID) 251b, and a head up display (HUD).
  • the display 251 may include one area of the steering wheel, one area of the instrument panel, one area of the seat, one area of each pillar, one area of the door, one area of the center console, and the head lining. It may be arranged in one area, one area of the sunvisor, or may be implemented in one area of the wind shield or one area of the window.
  • the display 251 may display a first AR (Augmented Reality) graphic object at a point in the display area corresponding to the first point.
  • the first point can be understood as a geographic location.
  • the first AR graphic object is displayed three-dimensionally to match the first point in the image together with the image, and may be a visual pattern or text containing information related to the first point.
  • the audio output unit 252 converts and outputs an electrical signal provided from the processor 270 or the control unit 270 into an audio signal.
  • the sound output unit 252 may include at least one speaker.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may operate to allow the user to recognize the output by vibrating the steering wheel, seat belt, and seat.
  • the processor 270 includes an input unit 210, an internal camera 220, an AR camera 225, a biometric sensing unit 230, a memory 240, an interface unit 245, an output device 250, and a power supply unit ( 290) to exchange signals.
  • the processor 270 includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers It may be implemented using at least one of (controllers), micro-controllers, microprocessors, and electrical units for performing other functions.
  • the processor 270 may be driven by power provided from the power supply 290.
  • the processor 270 includes an input unit 210, an internal camera 220, an AR camera 225, a biometric sensing unit 230, a memory 240, an interface unit 245, an output device 250, and a power supply unit ( 290).
  • the processor 270 may receive vehicle front image data from the AR camera 225. When the AR camera 225 is classified as a sub-configuration of the user interface device 200, the processor 270 may directly receive vehicle front image data from the AR camera 225. When the AR camera 225 is not classified as a sub-configuration of the user interface device 200, the processor 270 may receive the vehicle front image data from the AR camera through the interface unit 245. The processor 270 may display the AR graphic object on the display 251 together with the vehicle front image data received from the AR camera.
  • the processor 270 may receive the vehicle front image data acquired by the camera of the object detection device 110.
  • the processor 270 may receive the vehicle front image data from the object detection device 110 through the interface unit 245.
  • the processor 270 may display the AR graphic object on the display 251 together with the vehicle front image data received from the object detection device 110.
  • the processor 270 may specify the first point.
  • the processor 270 may specify the first point based on GPS data received from the location data generating device 180.
  • the processor 270 may specify the first point based on the vehicle front image acquired by the camera among the object detection devices 110.
  • the processor 270 may provide a control signal to the display to display the first AR graphic object at a point in the display area corresponding to the first point.
  • the processor 270 may acquire distance data between the vehicle 100 and the first point. For example, the processor 270 may acquire distance data between the vehicle 100 and the first point based on GPS data. For example, the processor 270 may acquire distance data between the vehicle 100 and the first point based on the vehicle front image.
  • the processor 270 may change the first AR graphic object based on the distance data.
  • the processor 270 may change at least one of a position, a moving distance, a moving speed, a size, and a display height of the first AR graphic object on the display area.
  • the processor 270 may determine at least one of the degree of change of the first AR graphic object and the type of change of the first AR graphic object based on the accuracy of the first point.
  • the accuracy for the first point GPS error rate (Dilution of precision, DOP) data
  • communication data with an external device through the communication device 120 the image data and memory 240 of the object detection device 110 It may be determined by at least one of the stored map data.
  • the processor 270 may specify the first point based on GPS data.
  • the processor 270 may receive GPS error rate (Dilution of precision, DOP) data together with GPS data.
  • the processor 270 may adjust the degree of change of the first AR graphic object based on the error rate of the GPS data. For example, the processor 270 may increase the degree of change of the first AR graphic object in proportion to the error rate of GPS data.
  • the processor 270 may select the type of change of the first AR graphic object based on the error rate of the GPS data. For example, when the error rate of the GPS data is greater than or equal to a reference value, the processor 270 may change the display height of the first AR graphic object.
  • the processor 270 may acquire data on a vanishing line and data on a curvature of a driving road based on an image in front of the vehicle obtained by the camera of the object detection apparatus 110.
  • the processor 270 may acquire data on curvature of the driving road based on the map data.
  • the processor 270 may acquire motion data of the vehicle 100 based on the sensing data generated by the sensing unit 170.
  • the processor 270 may adjust the degree of change of the first AR graphic object based on at least one of data about a vanishing line, data on a curvature of a driving road, and motion data of the vehicle 100. For example, when the vanishing line is positioned above the center line in the left and right directions of the screen, the processor 270 may make the degree of change of the first AR graphic object larger than if it is located below. For example, when the curvature of the driving road is large, the processor 270 may make the degree of change of the first AR graphic object larger than when the curvature of the road is small. For example, when the movement of the vehicle 100 is large, the processor 270 may increase the degree of change of the first AR graphic object than when the movement of the vehicle 100 is small.
  • the processor 270 may display the first AR graphic object at the point closest to the first point in the display area.
  • the processor 270 may determine a moving direction and a moving speed of the first AR graphic object based on the steering data of the vehicle 100.
  • the processor 270 may specify the first point based on data on at least one object detected from the image data.
  • the object may be a fixed object that can be used as a landmark.
  • the memory 240 is electrically connected to the processor 270.
  • the memory 240 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data.
  • the memory 240 may store data processed by the processor 270.
  • the memory 240 may be configured in hardware, at least one of a ROM, RAM, EPROM, flash drive, and hard drive.
  • the memory 240 may store various data for operations of the user interface device 200, such as a program for processing or controlling the processor 270.
  • the memory 240 may be implemented integrally with the processor 270.
  • the memory 240 may store map data. Map data stored in the memory 240 may be updated through the communication device 120.
  • the interface unit 245 may exchange signals with other devices included in the vehicle 100 by wire or wireless.
  • the interface unit 245 includes a communication device 220, a driving operation device 230, a main ECU 240, a vehicle driving device 250, a driving system 260, a sensing unit 270, and a location data generating device ( The signal can be exchanged with at least one of 280) by wire or wireless.
  • the interface unit 245 may be configured with at least one of a communication module, terminal, pin, cable, port, circuit, element, and device.
  • the power supply unit 290 may supply power to the user interface device 200.
  • the power supply unit 290 may receive power from a power source (eg, a battery) included in the vehicle 100 and supply power to the user interface device 200.
  • the power supply unit 290 may be operated according to a control signal provided from the main ECU 240.
  • the power supply unit 290 may be implemented as a switched-mode power supply (SMPS).
  • SMPS switched-mode power supply
  • the user interface device 200 may include at least one printed circuit board (PCB).
  • PCB printed circuit board
  • Input unit 210, internal camera 220, AR camera 225, biometric sensing unit 230, memory 240, interface unit 245, output device 250, processor 270 and power supply unit 290 ) Can be electrically connected to the printed circuit board.
  • the vehicle user interface device 200 includes a display 251 for displaying a first AR (Augmented Reality) graphic object at a point in a display area corresponding to the first point, at least one processor 270, and the processor When driven by, comprising a computer-readable medium that executes a plurality of steps, the plurality of steps display a first Augmented Reality (AR) graphic object at a point in a display area corresponding to the first point
  • the method may include receiving distance data between a vehicle and a first point, and changing the first AR graphic object based on the distance data.
  • the object detection device 110 may detect an object outside the vehicle 100.
  • the object detection device 110 may include at least one of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the object detection device 110 may provide data on an object generated based on a sensing signal generated by the sensor to at least one electronic device included in the vehicle.
  • the communication device 120 can exchange signals with a device located outside the vehicle 100.
  • the communication device 120 may exchange signals with at least one of an infrastructure (eg, a server) and other vehicles.
  • the communication device 120 may include at least one of a transmitting antenna, a receiving antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the driving operation device 130 is a device that receives a user input for driving. In the manual mode, the vehicle 100 may be driven based on a signal provided by the driving manipulation device 130.
  • the driving manipulation device 130 may include a steering input device (eg, steering wheel), an acceleration input device (eg, an accelerator pedal), and a brake input device (eg, a brake pedal).
  • the main ECU (Electronic Control Unit) 140 may control the overall operation of at least one electronic device provided in the vehicle 100.
  • the vehicle driving device 150 is a device that electrically controls driving of various devices in the vehicle 100.
  • the vehicle driving apparatus 150 may include a power train driving unit, a chassis driving unit, a door / window driving unit, a safety device driving unit, a lamp driving unit, and an air conditioning driving unit.
  • the power train driving unit may include a power source driving unit and a transmission driving unit.
  • the chassis driving unit may include a steering driving unit, a brake driving unit, and a suspension driving unit.
  • the driving system 160 may perform a driving operation of the vehicle 100.
  • the driving system 160 may move the vehicle 100 by providing a control signal to at least one of a power train driving unit and a chassis driving unit among the vehicle driving devices 150.
  • the driving system 160 may include at least one of an advanced driver assistance system (ADAS) application and an autonomous driving application.
  • ADAS advanced driver assistance system
  • the driving system 160 may generate a driving control signal by at least one of an ADAS application and an autonomous driving application.
  • the sensing unit 170 may sense the state of the vehicle.
  • the sensing unit 170 includes an inertial navigation unit (IMU) sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a position module, and a vehicle At least one of forward / reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, in-vehicle temperature sensor, in-vehicle humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor and brake pedal position sensor It may include.
  • an inertial navigation unit (IMU) sensor may include one or more of an acceleration sensor, a gyro sensor, and a magnetic sensor.
  • the sensing unit 170 may generate state data of the vehicle based on signals generated by at least one sensor.
  • the sensing unit 170 vehicle attitude information, vehicle motion information, vehicle yaw information, vehicle roll information, vehicle pitch information, vehicle collision information, vehicle direction information, vehicle angle information, vehicle speed Information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, accelerator pedal Sensing signals for pressure applied to the brake, pressure applied to the brake pedal, and the like can be obtained.
  • the sensing unit 170 other, accelerator pedal sensor, pressure sensor, engine speed sensor (engine speed sensor), air flow sensor (AFS), intake temperature sensor (ATS), water temperature sensor (WTS), throttle position sensor (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.
  • engine speed sensor engine speed sensor
  • air flow sensor air flow sensor
  • ATS intake temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • CAS crank angle sensor
  • the sensing unit 170 may generate vehicle state information based on the sensing data.
  • the vehicle status information may be information generated based on data detected by various sensors provided inside the vehicle.
  • the vehicle state information includes vehicle attitude information, vehicle speed information, vehicle tilt information, vehicle weight information, vehicle direction information, vehicle battery information, vehicle fuel information, vehicle tire pressure information, It may include vehicle steering information, vehicle interior temperature information, vehicle interior humidity information, pedal position information, and vehicle engine temperature information.
  • the location data generation device 180 may generate location data of the vehicle 100.
  • the location data generating device 180 may include at least one of a Global Positioning System (GPS) and a Differential Global Positioning System (DGPS).
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the location data generating device 180 may generate location data of the vehicle 100 based on a signal generated from at least one of GPS and DGPS.
  • the location data generation device 180 may correct the location data based on at least one of an IMU (Inertial Measurement Unit) of the sensing unit 170 and a camera of the object detection apparatus 110.
  • IMU Inertial Measurement Unit
  • the vehicle 100 may include an internal communication system 50.
  • the plurality of electronic devices included in the vehicle 100 may exchange signals through the internal communication system 50. Signals may include data.
  • the internal communication system 50 may use at least one communication protocol (eg, CAN, LIN, FlexRay, MOST, Ethernet).
  • FIG. 5 is a flowchart of a user interface device for a vehicle according to an embodiment of the present invention.
  • the processor 270 may specify a first point (S510).
  • the processor 270 may specify the first point based on the GPS data.
  • the processor 270 may specify the first point based on data on at least one object detected from image data obtained by the camera of the object detection device 210.
  • the processor 270 may display the first AR graphic object at one point of the display area of the display 251 corresponding to the first point (S520). For example, the processor 270 may display an image captured by the AR camera 225 on the display 251. The processor 270 may display the first AR graphic object at a point corresponding to the first point in the image.
  • the processor 270 may acquire distance data between the vehicle 100 and the first point (S530). For example, the processor 270 may acquire distance data between the vehicle 100 and the first point based on GPS data. For example, the processor 270 may acquire distance data between the vehicle 100 and the first point based on the vehicle front image.
  • the processor 270 may change the first AR graphic object based on the distance data (S540).
  • the step of changing (S540), the processor 270 may include the step of changing at least one of the moving distance, moving speed, size and display height of the first AR graphic object.
  • the processor 270 In the step of changing (S540), the processor 270, based on the accuracy of the first point, at least one of the degree of change of the first AR graphic object and the type of change of the first AR graphic object It may include the step of determining.
  • the step of changing (S540), the processor 270 may include adjusting the degree of change of the first AR graphic object based on the error rate of the GPS data.
  • the step of changing (S540), the processor 270, based on at least one of the data for the vanishing line (vanishing line), the data for the curvature of the driving road and the movement data of the vehicle, the first AR graphic object It may include the step of adjusting the degree of change.
  • the first AR graphic is located at a point closest to the first point in the display area. And displaying the object.
  • the step of changing (S540) may include the processor 270 determining a moving direction and a moving speed of the first AR graphic object based on the steering data of the vehicle.
  • 6A to 11B are diagrams referred to for describing an operation of changing an AR graphic object according to an embodiment of the present invention.
  • the processor 270 may display AR graphic objects 610 and 620 at a point in the display area corresponding to the specified first point, together with the vehicle front image. .
  • the vehicle front image may be obtained by at least one of the AR camera 225 and the object detection device 110.
  • the processor 270 may display arrow images 610 and 620 on one point of the intersection in the vehicle front image.
  • the direction of the arrow images 610 and 620 may indicate a direction of rotation on the path of the vehicle 100 at the intersection.
  • the processor 270 may change the first AR graphic objects 610 and 620 based on the distance data between the vehicle 100 and the first point.
  • the processor 270 may gradually change the arrow images 610 and 620 as the vehicle 100 approaches the intersection.
  • the processor 270 may gradually move the arrow images 610 and 620 toward the direction of the arrow as the vehicle 100 approaches the intersection. For example, when a right turn path is set at an intersection, the processor 270 continuously moves from left to right of the display screen while the arrow image 610 is gradually displayed as the vehicle 100 approaches the intersection. You can.
  • the processor 270 continuously moves from right to left of the display screen while the arrow image 620 is gradually displayed as the vehicle 100 approaches the intersection. You can.
  • the processor 270 is based on at least one of accuracy for a first point, data for a vanishing line, curvature of a driving road, and vehicle motion data, The degree of change of the first AR graphic objects 710 and 720 may be adjusted.
  • the processor 270 may determine the accuracy of the first point based on DOP data information of GPS data.
  • the processor 270 may determine the accuracy of the first point based on the location data of the vehicle 100 and the first point received from another vehicle through the communication device 120.
  • the processor 270 may determine the accuracy of the first point based on the sensing data for the first point obtained by the object detection device 110.
  • the first graphic object may be moved larger than the moving distance.
  • the first graphic object may be moved faster than the moving speed.
  • the processor 270 may move the first graphic object with a larger movement distance than when the vanishing line is lower than the center line.
  • the processor 270 may move the first graphic object faster than the case where the vanishing line is lower than the center line.
  • the processor 270 may move the first graphic object with a larger moving distance than when the curvature of the driving road is large.
  • the processor 270 may move the first graphic object faster than the case where the curvature of the driving road is large.
  • the processor 270 may move the first graphic object with a larger movement distance than when the movement of the vehicle 100 is small.
  • the processor 270 may move the first graphic object at a faster moving speed than when the movement of the vehicle 100 is small.
  • the processor 270 is based on at least one of accuracy for a first point, data for a vanishing line, curvature of a driving road, and vehicle motion data,
  • the height of the first AR graphic objects 710 and 720 may be adjusted on the screen.
  • the first graphic object 820 may be displayed at a higher point on the display screen.
  • the processor 270 may display the first graphic object at a higher point on the display screen than when the vanishing line is lower than the center line.
  • the processor 270 may display the first graphic object at a higher point on the screen than when the curvature of the driving road is large.
  • the processor 270 may display the first graphic object at a higher point on the screen than when the movement of the vehicle 100 is small.
  • the processor 270 displays the first graphic object at a point closest to the first point in the display area. Can be displayed.
  • the processor 270 may display only a portion of the acquired vehicle front image data on the display 251. In this case, the first point corresponding to the first graphic object may not be visible in the display area of the display 251.
  • the processor 270 may display the arrow images 910a and 920a on the outer portion of the display 251.
  • the processor 270 connects the center 901 of the display 251 from the point on the screen where the arrow images 910 and 920 are to be displayed corresponding to the first point, the processor 270 connects to the outer portion of the display 251 that meets Arrow images 910a and 920a may be displayed.
  • the processor 270 may determine a moving direction and moving speed of the first AR graphic object based on the steering data of the vehicle 100.
  • the processor 270 may set the start point 1001 and the end point 1002 of the movement. As described with reference to FIGS. 9A to 9B, when the start point 1001 of the arrow image is located outside the screen, the processor 270 may display the arrow image 1010a in the contour portion of the display 251. .
  • the display 251 When the vehicle 100 moves in the left-right direction, the display 251 also moves in the left-right direction. In this case, the arrow images 1010a, 1010b, 1010c, and 1010d and the display 251 move together. While the vehicle 100 moves to the right according to the right steering input, the arrow images 1010a, 1010b, 1010c, and 1010d may be controlled to move to the right. In this case, the movement of the display 251 may be faster than the movement of the arrow images 1010a, 1010b, 1010c, and 1010d. In this case, the processor 270 may move the arrow image based on the display area of the display 251 to the left side of the display area.
  • the processor 270 may decrease the arrow movement speed when the vehicle 100 does not move left and right, and increase the arrow movement speed when the vehicle 100 moves left and right.
  • the processor 270 displays an image 1120 indicating a point at which the arrow image 1110 should be displayed. , 1130).
  • the processor 270 may display connection lines 1120 and 1130 when connecting the point where the arrow image 1110 should be displayed and the center point 251 of the display 251 within the display area.
  • the processor 270 may further display an arrow shape indicating a display point of the arrow image 1110.
  • 12A to 12B are diagrams referred to for explaining a setting operation of an AR graphic object according to an embodiment of the present invention.
  • the processor 270 may receive a user's touch input through the display 251.
  • the processor 270 may set an arrow display method based on a user's touch input.
  • the processor 270 may set at least one of an arrow display direction, a moving distance, and an arrow display height based on a user's touch input.
  • FIGS. 13A to 13G are flowcharts of a user interface device for a vehicle according to an embodiment of the present invention.
  • the processor 270 may start an AR system (S1301).
  • the processor 270 may start the AR engine (S1302).
  • the AR engine may serve to acquire an image in front of the vehicle and generate an AR graphic object to match the AR graphic object to a specified first point in the image in front of the vehicle.
  • the processor 270 may set a navigation destination and start a route guide (S1303).
  • Vehicle driving may start (S1304).
  • the processor 270 may receive an AR operation state (S1305).
  • the processor 270 may determine whether an AR arrow display event occurs (S1306). For example, the processor 270 may determine whether an AR arrow image should be displayed as a left turn or right turn path occurs at an intersection.
  • the processor 270 may display an AR arrow at a point in the display area corresponding to the first point (S1307). On the other hand, in step S1306, when the AR arrow display event does not occur, the processor 270 does not display the AR arrow on the display 251.
  • the processor 270 may acquire distance data between the vehicle 100 and the first point (S530 of FIG. 5) and change the first AR graphic object based on the distance data (S540).
  • S530 of FIG. 5 the distance data between the vehicle 100 and the first point
  • S540 the distance data between the vehicle 100 and the first point
  • S540 the distance data between the vehicle 100 and the first point
  • S540 the distance data between the vehicle 100 and the first point
  • S540 the distance data between the vehicle 100 and the first point
  • S540 distance data between the vehicle 100 and the first point
  • the processor 270 may determine a direction of travel at an intersection (for example, right turn and left turn) and calculate an arrow start point and an end point (S1311).
  • the processor 270 may calculate the position of the AR arrow image (S1312).
  • the processor 270 may move and display the AR arrow image (S1313).
  • the processor 270 may determine a moving direction (eg, a right turn or a left turn) at an intersection and calculate an arrow start point and an end point (S1321). The processor 270 may determine whether the GPS position error is less than a threshold (S1322). The processor 270 may determine whether the change line of the vanishing line is less than the threshold or whether the linearity of the road (determined by the curvature) is below the threshold (S1323). The processor 270 may determine whether the amount of change of the sensor with respect to the vehicle movement is less than the threshold (S1324).
  • the processor 270 may calculate a position such that the AR arrow image is moved slightly (S1325). When it is determined that at least one of the steps S1322, S1323, and S1324 is equal to or greater than a threshold, the processor 270 may calculate a position such that the AR arrow image is significantly moved (S1326). The processor 270 may move and display the AR arrow image (S1327).
  • the processor 270 may determine a direction of travel at an intersection (eg, right turn, left turn) and calculate an arrow start point and an end point (S1331). The processor 270 may determine whether there is a user setting for the direction and movement distance of the arrow image (S1332). If there is a user setting, the processor 270 may update the direction and movement distance information of the arrow image (S1333). The processor 270 may calculate the AR arrow position (S1334). The processor 270 may move and display the AR arrow image (S1335).
  • the processor 270 may determine a moving direction (for example, right turn or left turn) at an intersection and calculate an arrow start point and an end point (S1341).
  • the processor 270 may determine whether there is a user setting for the display height of the arrow image (S1342). If there is a user setting, the processor 270 may update the display height information of the arrow image (S1343).
  • the processor 270 may calculate the AR arrow position (S1344).
  • the processor 270 may move and display the AR arrow image (S1345).
  • the processor 270 may determine a moving direction (for example, right turn or left turn) at an intersection and calculate an arrow start point and an end point (S1351).
  • the processor 270 may determine whether at least one of the start point and the end point of the arrow is outside the display screen of the display 251 (S1352).
  • the processor 270 may calculate the position of the bound box of the display (S1353).
  • the processor 270 may calculate a point where a line connecting at least one of the start point and the end point of the arrow with the center of the display 251 meets the outer portion of the display 251.
  • the processor 270 may calculate the AR arrow position (S1354).
  • the processor 270 may move and display the AR arrow image (S1355).
  • the processor 270 may determine a direction of travel at an intersection (eg, right turn, left turn) and calculate an arrow start point and an end point (S1361). The processor 270 may determine whether at least one of the start and end points of the arrow is outside the display screen of the display 251 (S1362). The processor 270 may calculate the moving speed of the AR arrow based on the steering data (S1363). The processor 270 may calculate the AR arrow position (S1364). The processor 270 may move and display the AR arrow image (S1365).
  • the processor 270 may determine a direction of travel at an intersection (eg, right turn, left turn) and calculate an arrow start point and an end point (S1371).
  • the processor 270 may determine whether at least one of the start point and the end point of the arrow is outside the display screen of the display 251 (S1372). If it is determined to deviate, the processor 270 may calculate the AR arrow position (S1373).
  • the processor 270 may configure a graphic indicating an AR arrow (S1374).
  • the configured graphic may be displayed by connecting lines (1120 and 1130 in FIGS. 11A to 11B).
  • the processor 270 may display an AR arrow indication graphic (S1375). If it is determined in step S1372 that it does not deviate, the processor 270 may calculate the AR arrow position (S1376).
  • the processor 270 may move and display the AR arrow image (S1377).
  • FIGS. 14A to 14C are views referred to for describing the operation of a user interface device for a vehicle according to an embodiment of the present invention.
  • the processor 270 may start the AR system (S1401).
  • the processor 270 may start the AR engine (S1402).
  • the AR engine may serve to acquire an image in front of the vehicle and generate an AR graphic object to match the AR graphic object to a specified first point in the image in front of the vehicle.
  • the processor 270 may set a navigation destination and start a route guide (S1403).
  • Vehicle driving may be started (S1404).
  • the processor 270 may acquire destination indication event information (S1404-1).
  • the processor 270 may determine whether a GPS data error occurs (S1405).
  • the processor 270 may determine whether the driving road is a straight road (S1406).
  • the processor 270 may determine whether the lane is recognized by the object detection device 120 (S1407).
  • the processor 270 may move 1420 the destination icon 1410 (S1408).
  • the processor 270 may display the destination icon 1410 to correspond to the destination (S1409).
  • 15 is a flowchart of a user interface device for a vehicle according to an embodiment of the present invention.
  • the processor 270 may start an AR system (S1501).
  • the processor 270 may start the AR engine (S1502).
  • the processor 270 may call the AR render application programming interface (API) (S1503).
  • the processor 270 may calculate the AR graphic geometry (S1504).
  • the processor 270 may determine whether the AR camera is electrically connected (S1505). When it is determined that the AR camera is connected, the processor 270 may apply the ADAS-AR conversion matrix (S1506).
  • the processor 270 may match the coordinate system of the AR camera with the coordinate system of the camera of the object detection device 210.
  • the processor 270 may display a frame of the AR camera (S1507).
  • the processor 270 may display AR graphics in the AR camera frame (S1509).
  • the processor 270 may display an ADAS camera frame (S1508).
  • the processor 270 may display a frame of the camera of the object detection device 210 (S1508).
  • the processor 270 may display the AR graphic on the frame of the camera of the object detection apparatus 210 (S1509).
  • the above-described present invention can be embodied as computer readable codes on a medium on which a program is recorded.
  • the computer-readable medium includes any kind of recording device in which data readable by a computer system is stored. Examples of computer-readable media include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. This includes, and is also implemented in the form of a carrier wave (eg, transmission over the Internet). Also, the computer may include a processor or a control unit. Accordingly, the above detailed description should not be construed as limiting in all respects, but should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)

Abstract

본 발명은 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 디스플레이; 및 차량과 제1 지점에 사이의 거리 데이터를 수신하고, 상기 거리 데이터에 기초하여, 상기 제1 AR 그래픽 객체를 변화시키는 적어도 하나의 프로세서;를 포함하는 차량용 사용자 인터페이스 장치에 관한 것이다.

Description

차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법
본 발명은 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
최근 차량용 사용자 인터페이스 장치는, 디스플레이로 증강 현실(AR: Augmented Reality)로 그래픽 객체를 표시할 수 있게 구현된다. AR 그래픽 객체를 표시하기 위해서는, AR 그래픽 객체에 대응되는 오브젝트의 정확한 위치 데이터가 요구된다.
오브젝트의 위치 데이터가 부정확한 경우, 디스플레이에 의해 표시되는 AR 그래픽 객체가 잘못된 지점을 가리키거나 상하좌우로 떨리는 문제가 있다.
본 발명은 상기한 문제점을 해결하기 위하여, 오브젝트의 위치 데이터가 부정확한 상황에서도 이질감이 적은 AR 그래픽 객체를 표시하는 차량용 사용자 인터페이스 장치를 제공하는데 목적이 있다.
또한, 본 발명은, 오브젝트의 위치 데이터가 부정확한 상황에서도 이질감이 적은 AR 그래픽 객체를 표시하는 차량용 사용자 인터페이스 장치의 동작 방법을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치는, 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 디스플레이; 및 차량과 제1 지점에 사이의 거리 데이터를 수신하고, 상기 거리 데이터에 기초하여, 상기 제1 AR 그래픽 객체를 변화시키는 적어도 하나의 프로세서;를 포함한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 제1 AR 그래픽 객체의 상기 표시 영역 상에서의 위치, 이동 거리, 이동 속도, 크기 및 표시 높이 중 적어도 어느 하나를 변화시킨다.
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 제1 지점에 대한 정확도에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도 및 상기 제1 AR 그래픽 객체의 변화의 종류 중 적어도 어느 하나를 결정한다.
본 발명의 실시예에 따르면, 상기 프로세서는, GPS 데이터에 기초하여 상기 제1 지점을 특정하고, 상기 GPS 데이터의 에러율에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 소실선(vanishing line)에 대한 데이터, 주행 도로의 곡률에 대한 데이터 및 차량의 움직임 데이터 중 적어도 어느 하나에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 표시 영역에 상기 제1 지점에 대응되는 지점이 없는 것으로 판단되는 경우, 상기 표시 영역 중 상기 제1 지점에 가장 근접한 지점에 상기 제1 AR 그래픽 객체를 표시한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 차량의 스티어링 데이터에 기초하여 상기 제1 AR 그래픽 객체의 이동 방향 및 이동 속도를 결정한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 영상 데이터에서 검출된 적어도 하나의 오브젝트에 대한 데이터에 기초하여 상기 제1 지점을 특정한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, AR 그래픽 객체를 변화시킴으로써 사용자가 느끼는 이질감이 해소되는 효과가 있다.
둘째, AR 그래픽 객체에 의해 보다 명확한 정보 전달이 가능한 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래 기술에 따른 AR 그래픽 객체의 문제점을 설명하는데 참조되는 도면이다.
도 2는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치를 설명하는데 참조되는 도면이다.
도 3은 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 제어 블럭도이다.
도 4는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 5는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 플로우 차트이다.
도 6a 내지 도 11b는 본 발명의 실시예에 따라 AR 그래픽 객체를 변화시키는 동작을 설명하는데 참조되는 도면이다.
도 12a 내지 도 12b는 본 발명의 실시예에 따라 AR 그래픽 객체의 설정동작을 설명하는데 참조되는 도면이다.
도 13a 내지 도 13g는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 플로우 차트이다.
도 14a 내지 도 14c는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 동작을 설명하는데 참조되는 도면이다.
도 15는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 플로우 차트이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다. 본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 좌측은 차량의 직진 주행 방향의 좌측을 의미하고, 우측은 차량의 직진 주행 방향의 우측을 의미한다.
도 1은 종래 기술에 따른 AR 그래픽 객체의 문제점을 설명하는데 참조되는 도면이다.
도 1을 참조하면, 차량용 사용자 인터페이스 장치는, 특정 지점(101)에 대응되게 AR 그래픽 객체를 표시할 수 있다. 특정 지점(101)에 대한 정보는, GPS(Global Positioning System) 데이터 및 영상 데이터 중 적어도 어느 하나에 기초하여, 획득된다. GPS 데이터 및 영상 데이터는, 여러 가지 변수에 따라 정확하지 않을 수 있다. 이경우, AR 그래픽 객체(103)가 표시되여야 하는 지점(102)이 아닌, 데이터에 의해 연산된 특정 지점(101)에 대응하여 AR 그래픽 객체(103)가 표시되어, 사용자에게 혼란을 줄 수 있는 문제가 있다. 또한, GPS 데이터 및 영상 데이터는, 차량의 위치 및 데이터 획득 시점에 따라, 정확도가 유동적일 수 있다. 이경우, AR 그래픽 객체(103)가 떨리게 표시될 수 있다.
이러한 문제를 해결하기 위해, 본원 발명의 차량용 사용자 인터페이스 장치(200)가 제공된다.
도 2는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치를 설명하는데 참조되는 도면이다.
도 3은 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 제어 블럭도이다.
도 4는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 2 내지 도 4를 참조하면, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(110), 통신 장치(120), 운전 조작 장치(130), 메인 ECU(140), 차량 구동 장치(150), 주행 시스템(160), 센싱부(170) 및 위치 데이터 생성 장치(180)를 포함할 수 있다. 실시예에 따라, 차량(100)은, 다른 구성 요소를 더 포함할 수 있다. 실시예에 따라, 차량(100)은, 도 4의 구성 요소 중 일부를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), AR 카메라(225), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(210)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(210)에의해 생성된 데이터는, 프로세서(270)에 의해 제어 신호로 처리될 수 있다. 입력부(210)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(210)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다. 입력부(210)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(270)에 제공될 수 있다. 음성 입력부(211)는, 적어도 하나의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(270)에 제공될 수 있다. 제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다. 제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(270)에 제공될 수 있다. 터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력부(213)는 디스플레이(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(270)에 제공될 수 있다. 기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
AR 카메라(225)는, 차량 전방 영상을 촬영할 수 있다. AR 카메라(225)는, 차량 전방을 향하도록 실내에 배치될 수 있다. AR 카메라(225)는, 윈드 쉴드에 근접하게 배치되는 것이 바람직하다. AR 카메라(225)에서 촬영된 영상은, 프로세서(270)에 제공될 수 있다. 실시예에 따라, AR 카메라(225)는, 사용자 인터페이스 장치(200)의 외부 구성으로 분류될 수 있다. 이경우, 인터페이스부(245)는, AR 카메라(225)로부터 차량 전방 영상 데이터를 수신하여, 프로세서(270)에 전달할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력부(250)는, 디스플레이(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이(251)가 HUD로 구현되는 경우, 디스플레이(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
도 2에 예시된 바와 같이, 디스플레이(251)는, 클러스터(251a), CID(Center Integrated Display)(251b) 및 HUD(Head Up Display) 중 적어도 어느 하나로 구현될 수 있다. 실시예에 따라, 디스플레이(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 윈도우의 일영역에 구현될 수 있다.
디스플레이(251)는, 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시할 수 있다. 제1 지점은, 지리적인 위치로 이해될 수 있다. 제1 AR 그래픽 객체는, 영상과 함께 영상 속 제1 지점과 매칭되게 입체적으로 표시되며, 제1 지점과 관련된 정보를 담은 시각적 패턴 또는 텍스트일 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(270)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 적어도 하나의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 입력부(210), 내부 카메라(220), AR 카메라(225), 생체 감지부(230), 메모리(240), 인터페이스부(245), 출력 장치(250) 및 전원 공급부(290)과 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(270)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 프로세서(270)는, 전원 공급부(290)로부터 제공되는 전원에 의해 구동될 수 있다.
프로세서(270)는, 입력부(210), 내부 카메라(220), AR 카메라(225), 생체 감지부(230), 메모리(240), 인터페이스부(245), 출력 장치(250) 및 전원 공급부(290) 중 적어도 어느 하나와 신호를 교환할 수 있다.
프로세서(270)는, AR 카메라(225)로부터 차량 전방 영상 데이터를 수신할 수 있다. AR 카메라(225)가 사용자 인터페이스 장치(200)의 하위 구성으로 분류되는 경우, 프로세서(270)는, AR 카메라(225)로부터 직접 차량 전방 영상 데이터를 수신할 수 있다. AR 카메라(225)가 사용자 인터페이스 장치(200)의 하위 구성으로 분류되지 않는 경우, 프로세서(270)는, 인터페이스부(245)를 통해, AR 카메라로부터 차량 전방 영상 데이터를 수신할 수 있다. 프로세서(270)는, AR 카메라로부터 수신된 차량 전방 영상 데이터와 함께 AR 그래픽 객체를 디스플레이(251)에 표시할 수 있다.
프로세서(270)는, 오브젝트 검출 장치(110)의 카메라가 획득한 차량 전방 영상 데이터를 수신할 수 있다. 프로세서(270)는, 인터페이스부(245)를 통해, 오브젝트 검출 장치(110)로부터 차량 전방 영상 데이터를 수신할 수 있다. 프로세서(270)는, 오브젝트 검출 장치(110)로부터 수신된 차량 전방 영상 데이터와 함께 AR 그래픽 객체를 디스플레이(251)에 표시할 수 있다.
프로세서(270)는, 제1 지점을 특정할 수 있다. 예를 들면, 프로세서(270)는, 위치 데이터 생성 장치(180)로부터 수신되는 GPS 데이터에 기초하여, 제1 지점을 특정할 수 있다. 예를 들면, 프로세서(270)는, 오브젝트 검출 장치(110) 중 카메라에 의해 획득되는 차량 전방 영상에 기초하여, 제1 지점을 특정할 수 있다. 프로세서(270)는, 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR 그래픽 객체를 표시하도록 디스플레이에 제어 신호를 제공할 수 있다.
프로세서(270)는, 차량(100)과 제1 지점 사이의 거리 데이터를 획득할 수 있다. 예를 들면, 프로세서(270)는, GPS 데이터에 기초하여, 차량(100)과 제1 지점 사이의 거리 데이터를 획득할 수 있다. 예를 들면, 프로세서(270)는, 차량 전방 영상에 기초하여, 차량(100)과 제1 지점과의 거리 데이터를 획득할 수 있다.
프로세서(270)는, 거리 데이터에 기초하여, 제1 AR 그래픽 객체를 변화시킬 수 있다. 프로세서(270)는, 제1 AR 그래픽 객체의 표시 영역 상에서의 위치, 이동 거리, 이동 속도, 크기 및 표시 높이 중 적어도 어느 하나를 변화시킬 수 있다.
프로세서(270)는, 제1 지점에 대한 정확도에 기초하여, 제1 AR 그래픽 객체의 변화의 정도 및 제1 AR 그래픽 객체의 변화의 종류 중 적어도 어느 하나를 결정할 수 있다. 한편, 제1 지점에 대한 정확도는, GPS 에러율(Dilution of precision, DOP) 데이터, 통신 장치(120)를 통한 외부 디바이스와의 통신 데이터, 오브젝트 검출 장치(110)의 영상 데이터 및 메모리(240)에 저장된 맵 데이터 중 적어도 어느 하나에 의해 결정될 수 있다.
프로세서(270)는, GPS 데이터에 기초하여 제1 지점을 특정할 수 있다. 프로세서(270)는, GPS 데이터와 함께, GPS 에러율(Dilution of precision, DOP) 데이터를 수신할 수 있다. 프로세서(270)는, GPS 데이터의 에러율에 기초하여, 제1 AR 그래픽 객체의 변화의 정도를 조절할 수 있다. 예를 들면, 프로세서(270)는, GPS 데이터의 에러율에 비례하여 제1 AR 그래픽 객체의 변화의 정도를 크게할 수 있다. 프로세서(270)는, GPS 데이터의 에러율에 기초하여, 제1 AR 그래픽 객체의 변화의 종류를 선택할 수 있다. 예를 들면, 프로세서(270)는, GPS 데이터의 에러율이 기준값 이상인 경우, 제1 AR 그래픽 객체의 표시 높이를 변화시킬 수 있다.
프로세서(270)는, 오브젝트 검출 장치(110)의 카메라에 의해 획득된 차량 전방 영상에 기초하여, 소실선(vanishing line)에 대한 데이터 및 주행 도로의 곡률에 대한 데이터를 획득할 수 있다. 프로세서(270)는, 맵 데이터에 기초하여, 주행 도로의 곡률에 대한 데이터를 획득할 수 있다. 프로세서(270)는, 센싱부(170)에서 생성된 센싱 데이터에 기초하여, 차량(100)의 움직임 데이터를 획득할 수 있다.
프로세서(270)는, 소실선에 대한 데이터, 주행 도로의 곡률에 대한 데이터 및 차량(100)의 움직임 데이터 중 적어도 어느 하나에 기초하여, 제1 AR 그래픽 객체의 변화의 정도를 조절할 수 있다. 예를 들면, 프로세서(270)는, 소실선이 화면의 좌우 방향의 중심선 보다 위에 위치하는 경우, 아래에 위치하는 경우보다 제1 AR 그래픽 객체의 변화의 정도를 더 크게 할 수 있다. 예를 들면, 프로세서(270)는, 주행 도로의 곡률이 큰 경우, 도로의 곡률이 작은 경우보다 제1 AR 그래픽 객체의 변화의 정도를 더 크게 할 수 있다. 예를 들면, 프로세서(270)는, 차량(100)의 움직임이 큰 경우, 움직임이 작은 경우보다 제1 AR 그래픽 객체의 변화의 정도를 더 크게 할 수 있다.
프로세서(270)는, 표시 영역에 제1 지점에 대응되는 지점이 없는 것으로 판단되는 경우, 표시 영역 중 제1 지점에 가장 근접한 지점에 제1 AR 그래픽 객체를 표시할 수 있다.
프로세서(270)는, 차량(100)의 스티어링 데이터에 기초하여, 제1 AR 그래픽 객체의 이동 방향 및 이동 속도를 결정할 수 있다.
프로세서(270)는, 영상 데이터에서 검출된 적어도 하나의 오브젝트에 대한 데이터에 기초하여, 제1 지점을 특정할 수 있다. 여기서, 오브젝트는 랜드 마크로 이용될 수 있는 고정 오브젝트일 수 있다.
메모리(240)는, 프로세서(270)와 전기적으로 연결된다. 메모리(240)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(240)는, 프로세서(270)에서 처리된 데이터를 저장할 수 있다. 메모리(240)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(240)는 프로세서(270)의 처리 또는 제어를 위한 프로그램 등, 사용자 인터페이스 장치(200) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(240)는, 프로세서(270)와 일체형으로 구현될 수 있다.
메모리(240)는, 맵 데이터를 저장할 수 있다. 메모리(240)에 저장된 맵 데이터는, 통신 장치(120)를 통해 업데이트 될 수 있다.
인터페이스부(245)는, 차량(100)에 포함된 다른 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(245)는, 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), 주행 시스템(260), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(245)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
전원 공급부(290)는, 사용자 인터페이스 장치(200)에 전원을 공급할 수 있다. 전원 공급부(290)는, 차량(100)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 사용자 인터페이스 장치(200)에 전원을 공급할 수 있다. 전원 공급부(290)는, 메인 ECU(240)로부터 제공되는 제어 신호에 따라 동작될 수 있다. 전원 공급부(290)는, SMPS(switched-mode power supply)로 구현될 수 있다.
사용자 인터페이스 장치(200)는, 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 입력부(210), 내부 카메라(220), AR 카메라(225), 생체 감지부(230), 메모리(240), 인터페이스부(245), 출력 장치(250), 프로세서(270) 및 전원 공급부(290)는 인쇄 회로 기판에 전기적으로 연결될 수 있다.
한편, 차량용 사용자 인터페이스 장치(200)는, 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 디스플레이(251), 적어도 하나의 프로세서(270) 및 상기 프로세서에 의해 구동될 때, 복수의 단계들을 실행하는 된 컴퓨터 판독 가능 매체를 포함하고, 상기 복수의 단계는, 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 단계, 차량과 제1 지점에 사이의 거리 데이터를 수신하는 단계 및 상기 거리 데이터에 기초하여, 상기 제1 AR 그래픽 객체를 변화시키는 단계를 포함할 수 있다.
오브젝트 검출 장치(110)는, 차량(100) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(110)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(110)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
통신 장치(120)는, 차량(100) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(120)는, 인프라(예를 들면, 서버) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(120)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
운전 조작 장치(130)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(130)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(130)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
메인 ECU(Electronic Control Unit)(140)는, 차량(100) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
차량 구동 장치(150)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다. 차량 구동 장치(150)는, 파워 트레인 구동부, 샤시 구동부, 도어/윈도우 구동부, 안전 장치 구동부, 램프 구동부 및 공조 구동부를 포함할 수 있다. 파워 트레인 구동부는, 동력원 구동부 및 변속기 구동부를 포함할 수 있다. 샤시 구동부는, 조향 구동부, 브레이크 구동부 및 서스펜션 구동부를 포함할 수 있다.
주행 시스템(160)은, 차량(100)의 주행 동작을 수행할 수 있다. 주행 시스템(160)은, 차량 구동 장치(150) 중 파워 트레인 구동부, 샤시 구동부 중 적어도 어느 하나에 제어 신호를 제공하여, 차량(100)을 움직일 수 있다.
주행 시스템(160)은, ADAS(Advanced driver assistance system) 애플리케이션 및 자율 주행 애플리케이션 중 적어도 어느 하나를 포함할 수 있다. 주행 시스템(160)은, ADAS 애플리케이션 및 자율 주행 애플리케이션 중 적어도 어느 하나에 의해 주행 제어 신호를 생성할 수 있다.
센싱부(170)는, 차량의 상태를 센싱할 수 있다. 센싱부(170)는, IMU(inertial navigation unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서 및 브레이크 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial navigation unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(170)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 센싱부(170)는, 차량 자세 정보, 차량 모션 정보, 차량 요(yaw) 정보, 차량 롤(roll) 정보, 차량 피치(pitch) 정보, 차량 충돌 정보, 차량 방향 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(170)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(170)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
예를 들면, 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
위치 데이터 생성 장치(180)는, 차량(100)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(180)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(180)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(100)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(180)는, 센싱부(170)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(110)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다.
차량(100)은, 내부 통신 시스템(50)을 포함할 수 있다. 차량(100)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
도 5는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 플로우 차트이다.
도 5를 참조하여, 차량용 사용자 인터페이스 장치의 동작 방법에 대해 설명한다. 도 5를 참조하면, 프로세서(270)는, 제1 지점을 특정할 수 있다(S510). 프로세서(270)는, GPS 데이터에 기초하여, 제1 지점을 특정할 수 있다. 프로세서(270)는, 오브젝트 검출 장치(210)의 카메라에 의해 획득된 영상 데이터에서 검출된 적어도 하나의 오브젝트에 대한 데이터에 기초하여, 제1 지점을 특정할 수 있다.
프로세서(270)는, 제1 지점에 대응되는 디스플레이(251) 표시 영역의 일 지점에 제1 AR 그래픽 객체를 표시할 수 있다(S520). 예를 들면, 프로세서(270)는, AR 카메라(225)에 의해 촬영된 영상을 디스플레이(251)에 표시할 수 있다. 프로세서(270)는, 영상에서 제1 지점에 대응되는 지점에 제1 AR 그래픽 객체를 표시할 수 있다.
프로세서(270)는, 차량(100)과 제1 지점 사이의 거리 데이터를 획득할 수 있다(S530). 예를 들면, 프로세서(270)는, GPS 데이터에 기초하여, 차량(100)과 제1 지점 사이의 거리 데이터를 획득할 수 있다. 예를 들면, 프로세서(270)는, 차량 전방 영상에 기초하여, 차량(100)과 제1 지점과의 거리 데이터를 획득할 수 있다.
프로세서(270)는, 거리 데이터에 기초하여, 제1 AR 그래픽 객체를 변화시킬 수 있다(S540).
변화시키는 단계(S540)는, 프로세서(270)가, 제1 AR 그래픽 객체의 이동 거리, 이동 속도, 크기 및 표시 높이 중 적어도 어느 하나를 변화시키는 단계를 포함할 수 있다.
변화시키는 단계(S540)는, 프로세서(270)가, 상기 제1 지점에 대한 정확도에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도 및 상기 제1 AR 그래픽 객체의 변화의 종류 중 적어도 어느 하나를 결정하는 단계를 포함할 수 있다.
변화시키는 단계(S540)는, 프로세서(270)가, 제1 지점에 대한 정확도에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도 및 상기 제1 AR 그래픽 객체의 변화의 종류 중 적어도 어느 하나를 결정하는 단계를 포함할 수 있다.
변화시키는 단계(S540)는, 프로세서(270)가, 상기 GPS 데이터의 에러율에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절하는 단계를 포함할 수 있다.
변화시키는 단계(S540)는, 프로세서(270)가, 소실선(vanishing line)에 대한 데이터, 주행 도로의 곡률에 대한 데이터 및 차량의 움직임 데이터 중 적어도 어느 하나에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절하는 단계를 포함할 수 있다.
변화시키는 단계(S540)는, 프로세서(270)가, 표시 영역에 상기 제1 지점에 대응되는 지점이 없는 것으로 판단되는 경우, 상기 표시 영역 중 상기 제1 지점에 가장 근접한 지점에 상기 제1 AR 그래픽 객체를 표시하는 단계를 포함할 수 있다.
변화시키는 단계(S540)는, 프로세서(270)가, 차량의 스티어링 데이터에 기초하여 상기 제1 AR 그래픽 객체의 이동 방향 및 이동 속도를 결정하는 단계를 포함할 수 있다.
도 6a 내지 도 11b는 본 발명의 실시예에 따라 AR 그래픽 객체를 변화시키는 동작을 설명하는데 참조되는 도면이다.
도 6a 및 도 6b에 예시된 바와 같이, 프로세서(270)는, 차량 전방 영상과 함께, 특정된 제1 지점에 대응되는 표시 영역의 일 지점에 AR 그래픽 객체(610, 620)를 표시할 수 있다. 차량 전방 영상은, AR 카메라(225) 및 오브젝트 검출 장치(110) 중 적어도 어느 하나에 의해 획득될 수 있다. 프로세서(270)는, 차량 전방 영상에서 교차로의 일 지점 상에 화살표 이미지(610, 620)를 표시할 수 있다. 화살표 이미지(610, 620)의 방향은, 교차로에서 차량(100)의 경로상 회전 방향을 나타낼 수 있다.
프로세서(270)는, 차량(100)과 제1 지점 사이의 거리 데이터에 기초하여, 제1 AR 그래픽 객체(610, 620)를 변화시킬 수 있다. 프로세서(270)는, 차량(100)이 교차로에 근접할수록 화살표 이미지(610, 620)를 점점 크게 변화시킬 수 있다. 프로세서(270)는, 차량(100)이 교차로에 근접할수록 화살표 이미지(610, 620)를 화살표가 향하는 방향으로 점점 이동시킬 수 있다. 예를 들면, 교차로에서 우회전 경로가 설정된 경우, 프로세서(270)는, 차량(100)이 교차로에 근접할수록, 화살표 이미지(610)를 점점 크게 표시하면서, 표시 화면의 좌측에서 우측으로 연속적으로 이동시킬 수 있다. 예를 들면, 교차로에서 좌회전 경로가 설정된 경우, 프로세서(270)는, 차량(100)이 교차로에 근접할수록, 화살표 이미지(620)를 점점 크게 표시하면서, 표시 화면의 우측에서 좌측으로 연속적으로 이동시킬 수 있다.
이와 같이, 화살표 이미지(610, 620)의 크기 및 위치를 변화시킴으로써, 사용자가 AR 그래픽 이미지의 잘못된 표시나 떨림을 인지하지 못하게 할 수 있다.
도 7a 내지 도 7b에 예시된 바와 같이, 프로세서(270)는, 제1 지점에 대한 정확도, 소실선에 대한 데이터 및 주행 도로의 곡률에 대한 데이터 및 차량의 움직임 데이터 중 적어도 어느 하나에 기초하여, 제1 AR 그래픽 객체(710, 720)의 변화의 정도를 조절할 수 있다.
프로세서(270)는, GPS 데이터의 DOP 데이터 정보에 기초하여, 제1 지점에 대한 정확도를 판단할 수 있다. 프로세서(270)는, 통신 장치(120)를 통해, 타 차량으로부터 수신되는 차량(100) 및 제1 지점의 위치 데이터에 기초하여, 제1 지점에 대한 정확도를 판단할 수 있다. 프로세서(270)는, 오브젝트 검출 장치(110)에 의해 획득되는 제1 지점에 대한 센싱 데이터에 기초하여, 제1 지점에 대한 정확도를 판단할 수 있다.
프로세서(270)는, 제1 지점에 대한 정확도가 낮은 경우(도 7b와 같이, 정확도가 제2 기준값 이하), 제1 지점에 대한 정확도가 높은 경우(도 7a와 같이, 정확도가 제1 기준값 이상)보다 이동 거리가 더 크게 제1 그래픽 객체를 이동시킬 수 있다. 프로세서(270)는, 제1 지점에 대한 정확도가 낮은 경우(도 7b와 같이, 정확도가 제2 기준값 이하), 제1 지점에 대한 정확도가 높은 경우(도 7a와 같이, 정확도가 제1 기준값 이상)보다 이동 속도가 더 빠르게 제1 그래픽 객체를 이동시킬 수 있다.
프로세서(270)는, 소실선이 가로방향의 화면의 중심선보다 높이 있는 경우, 소실선이 상기 중심선보다 낮게 있는 경우보다 이동 거리가 더 크게 제1 그래픽 객체를 이동시킬 수 있다. 프로세서(270)는, 소실선이 가로방향의 화면의 중심선보다 높이 있는 경우, 소실선이 상기 중심선보다 낮게 있는 경우보다 이동 속도가 더 빠르게 제1 그래픽 객체를 이동시킬 수 있다.
프로세서(270)는, 주행 도로의 곡률이 작은 경우, 주행도로의 곡률이 큰 경우보다 이동 거리가 더 크게 제1 그래픽 객체를 이동시킬 수 있다. 프로세서(270)는, 주행 도로의 곡률이 작은 경우, 주행도로의 곡률이 큰 경우보다 이동 속도가 더 빠르게 제1 그래픽 객체를 이동시킬 수 있다.
프로세서(270)는, 차량(100)의 움직임이 큰 경우, 차량(100)의 움직임이 작은 경우보다 이동 거리가 더 크게 제1 그래픽 객체를 이동시킬 수 있다. 프로세서(270)는, 차량(100)의 움직임이 큰 경우, 차량(100)의 움직임이 작은 경우보다 이동 속도가 더 빠르게 제1 그래픽 객체를 이동시킬 수 있다.
도 8a 내지 도 8b에 예시된 바와 같이, 프로세서(270)는, 제1 지점에 대한 정확도, 소실선에 대한 데이터 및 주행 도로의 곡률에 대한 데이터 및 차량의 움직임 데이터 중 적어도 어느 하나에 기초하여, 제1 AR 그래픽 객체(710, 720)의 화면 상 높이를 조절할 수 있다.
프로세서(270)는, 제1 지점에 대한 정확도가 낮은 경우(도 8b와 같이, 정확도가 제2 기준값 이하), 제1 지점에 대한 정확도가 높은 경우(도 8a와 같이, 정확도가 제1 기준값 이상)보다 표시 화면 상 더 높은 지점에 제1 그래픽 객체(820)를 표시할 수 있다.
프로세서(270)는, 소실선이 가로방향의 화면의 중심선보다 높이 있는 경우, 소실선이 상기 중심선보다 낮게 있는 경우보다 표시 화면 상 더 높은 지점에 제1 그래픽 객체를 표시할 수 있다.
프로세서(270)는, 주행 도로의 곡률이 작은 경우, 주행도로의 곡률이 큰 경우보다 화면 상 더 높은 지점에 제1 그래픽 객체를 표시할 수 있다.
프로세서(270)는, 차량(100)의 움직임이 큰 경우, 차량(100)의 움직임이 작은 경우보다 화면 상 더 높은 지점에 제1 그래픽 객체를 표시할 수 있다.
도 9a 내지 도 9b에 예시된 바와 같이, 프로세서(270)는, 표시 영역에 제1 지점에 대응되는 지점이 없는 것으로 판단되는 경우, 표시 영역 중 제1 지점에 가장 근접한 지점에 제1 그래픽 객체를 표시할 수 있다.
프로세서(270)는, 획득된 차량 전방 영상 데이터 중 일부 영역만 디스플레이(251)에 표시할 수 있다. 이경우, 제1 그래픽 객체에 대응되는 제1 지점이 디스플레이(251)의 표시 영역에는 보이지 않을 수 있다.
화살표 이미지(910, 920)가 디스플레이(251) 밖에 표시되어야 하는 경우, 프로세서(270)는, 디스플레이(251)의 외곽부분에 화살표 이미지(910a, 920a)를 표시할 수 있다. 프로세서(270)는, 제1 지점에 대응하여 화살표 이미지(910, 920)가 표시되어야 하는 화면상의 지점에서부터 디스플레이(251)의 중심(901)을 연결하는 경우, 만나는 디스플레이(251)의 외곽부분에 화살표 이미지(910a, 920a)를 표시할 수 있다.
도 10에 예시된 바와 같이, 프로세서(270)는, 차량(100)의 스티어링 데이터에 기초하여, 제1 AR 그래픽 객체의 이동 방향 및 이동 속도를 결정할 수 있다.
프로세서(270)는, 화살표 이미지를 좌우 방향으로 이동시키는 경우, 이동의 시작점(1001)과 종료점(1002)을 설정할 수 있다. 도 9a 내지 도 9b를 참조하여 설명한 바와 같이, 화살표 이미지의 시작점(1001)이 화면 밖에 위치하는 경우, 프로세서(270)는, 디스플레이(251)의 와곽 부분에 화살표 이미지(1010a)를 표시할 수 있다.
차량(100)이 좌우 방향으로 움직이는 경우, 디스플레이(251)도 좌우 방향으로 움직이게 된다. 이경우, 화살표 이미지(1010a, 1010b, 1010c, 1010d)와 디스플레이(251)가 함께 움직이게 된다. 차량(100)이 우측 스티어링 입력에 따라 우측으로 이동 중에, 화살표 이미지(1010a, 1010b, 1010c, 1010d)는 우측으로 이동되도록 제어될 수 있다. 이경우, 화살표 이미지(1010a, 1010b, 1010c, 1010d)의 이동 보다 디스플레이(251)의 이동이 더 빠를 수 있다. 이경우, 프로세서(270)는, 디스플레이(251)의 표시 영역을 기준으로 화살표 이미지를 표시 영역의 좌측으로 이동시킬 수 있다.
한편, 프로세서(270)는, 차량(100)이 좌우로 움직이지 않는 경우에는 화살표 이동 속도를 작게하고, 차량(100)이 좌우로 움직이는 경우에는 화살표 이동 속도를 크게할 수 있다.
도 11a 내지 도 11b에 예시된 바와 같이, 화살표 이미지(1110)가 디스플레이(251)의 화면 표시 영역을 벗어나는 경우, 프로세서(270)는, 화살표 이미지(1110)가 표시되어야 하는 지점을 알리는 이미지(1120, 1130)를 표시할 수 있다. 프로세서(270)는, 화살표 이미지(1110)가 표시되어야하는 지점과 디스플레이(251)의 중심점(251)을 연결할 때의 연결선(1120, 1130)을 표시 영역 내에서 표시할 수 있다. 이경우, 도 11b에 예시된 바와 같이, 프로세서(270)는, 화살표 이미지(1110)의 표시 지점을 가리키는 화살표 형상을 더 표시할 수 있다.
도 12a 내지 도 12b는 본 발명의 실시예에 따라 AR 그래픽 객체의 설정동작을 설명하는데 참조되는 도면이다.
도 12a 내지 도 12b를 참조하면, 프로세서(270)는, 디스플레이(251)를 통해 사용자의 터치 입력을 수신할 수 있다. 프로세서(270)는, 사용자의 터치 입력에 기초하여, 화살표의 표시 방식을 설정할 수 있다. 프로세서(270)는, 사용자의 터치 입력에 기초하여, 화살표의 표시 방향, 이동 거리, 화살표의 표시 높이 중 적어도 어느 하나를 설정할 수 있다.
도 13a 내지 도 13g는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 플로우 차트이다.
도 13a 내지 도 13g를 참조하면, 프로세서(270)는, AR 시스템을 시작할 수 있다(S1301). 프로세서(270)는, AR 엔진을 시작할 수 있다(S1302). AR 엔진은, 차량 전방 영상을 획득하고, AR 그래픽 객체를 생성하여, AR 그래픽 객체를 차량 전방 영상 중 특정된 제1 지점에 매칭하는 역할을 수행할 수 있다. 프로세서(270)는, 내비게이션 목적지를 설정하고, 경로 가이드를 시작할 수 있다(S1303). 차량 주행이 시작될 수 있다(S1304). 프로세서(270)는, AR 동작 상태를 수신할 수 있다(S1305). 프로세서(270)는, AR 화살표 표시 이벤트가 발생하는지 판단할 수 있다(S1306). 예를 들면, 프로세서(270)는, 교차로에서 좌회전 또는 우회전 경로가 발생함에 따라, AR 화살표 이미지가 표시되어야 하는지 판단할 수 있다. 프로세서(270)는, 제1 지점에 대응되는 표시 영역의 일 지점에 AR 화살표를 표시할 수 있다(S1307). 한편, S1306 단계에서, AR 화살표 표시 이벤트가 발생되지 않는 경우, 프로세서(270)는, AR 화살표를 디스플레이(251)에 표시하지 않는다.
이후에, 프로세서(270)는, 차량(100)과 제1 지점 사이의 거리 데이터를 획득하고(도 5의 S530), 거리 데이터에 기초하여 제1 AR 그래픽 객체를 변화시킬 수 있다(S540). 이하에서는 도 13a 내지 도 13g를 참조하여, 제1 AR 그래픽 객체를 변화시키는 동작의 실시예를 설명한다.
도 13a를 참조하면, 프로세서(270)는, 교차로에서의 진행 방향(예를 들면, 우회전, 좌회전)을 판단하고, 화살표 시작점 및 끝점을 계산할 수 있다(S1311). 프로세서(270)는, AR 화살표 이미지의 위치를 계산할 수 있다(S1312). 프로세서(270)는, AR 화살표 이미지를 이동 표시할 수 있다(S1313).
도 13b를 참조하면, 프로세서(270)는, 교차로에서의 진행 방향(예를 들면, 우회전, 좌회전)을 판단하고, 화살표 시작점 및 끝점을 계산할 수 있다(S1321). 프로세서(270)는, GPS의 위치 오차가 임계값 미만인지 판단할 수 있다(S1322). 프로세서(270)는, 소실선 변경폭이 임계값 미만인지 여부 또는 도로의 선형성(곡률로 판단)이 임계값 이하인지 여부를 판단할 수 있다(S1323). 프로세서(270)는, 차량 움직임에 대한 센서의 변화량이 임계값 미만인지 판단할 수 있다(S1324). S1322 단계, S1323 단계, S1324 단계가 모두 임계값 이하인 것으로 판단된 경우, 프로세서(270)는, AR 화살표 이미지가 소폭 이동되도록 위치 계산할 수 있다(S1325). S1322 단계, S1323 단계 및 S1324 단계 중 적어도 어느 하나가 임계값 이상인 것으로 판단되는 경우, 프로세서(270)는, AR 화살표 이미지가 대폭 이동되도록 위치 계산할 수 있다(S1326). 프로세서(270)는, AR 화살표 이미지를 이동 표시할 수 있다(S1327).
도 13c를 참조하면, 프로세서(270)는, 교차로에서의 진행 방향(예를 들면, 우회전, 좌회전)을 판단하고, 화살표 시작점 및 끝점을 계산할 수 있다(S1331). 프로세서(270)는, 화살표 이미지의 방향 및 이동 거리에 대한 사용자 설정이 있는지 판단할 수 있다(S1332). 사용자 설정이 있는 경우, 프로세서(270)는, 화살표 이미지의 방향 및 이동 거리 정보를 업데이트할 수 있다(S1333). 프로세서(270)는, AR 화살표 위치를 계산할 수 있다(S1334). 프로세서(270)는, AR 화살표 이미지를 이동 표시할 수 있다(S1335).
도 13d를 참조하면, 프로세서(270)는, 교차로에서의 진행 방향(예를 들면, 우회전, 좌회전)을 판단하고, 화살표 시작점 및 끝점을 계산할 수 있다(S1341). 프로세서(270)는, 화살표 이미지의 표시 높에 대한 사용자 설정이 있는지 판단할 수 있다(S1342). 사용자 설정이 있는 경우, 프로세서(270)는, 화살표 이미지의 표시 높이 정보를 업데이트할 수 있다(S1343). 프로세서(270)는, AR 화살표 위치를 계산할 수 있다(S1344). 프로세서(270)는, AR 화살표 이미지를 이동 표시할 수 있다(S1345).
도 13e를 참조하면, 프로세서(270)는, 교차로에서의 진행 방향(예를 들면, 우회전, 좌회전)을 판단하고, 화살표 시작점 및 끝점을 계산할 수 있다(S1351). 프로세서(270)는, 화살표의 시작점 및 끝점 중 적어도 어느 하나가 디스플레이(251)의 표시 화면을 벗어나는지 판단할 수 있다(S1352). 프로세서(270)는, 디스플레이의 바운드 박스(bound box) 위치를 계산할 수 있다(S1353). 프로세서(270)는, 화살표의 시작점 및 끝점 중 적어도 어느 하나를 디스플레이(251)의 중심과 연결한 선이 디스플레이(251)의 외곽 부분과 만나는 지점을 계산할 수 있다. 프로세서(270)는, AR 화살표 위치를 계산할 수 있다(S1354). 프로세서(270)는, AR 화살표 이미지를 이동 표시할 수 있다(S1355).
도 13f를 참조하면, 프로세서(270)는, 교차로에서의 진행 방향(예를 들면, 우회전, 좌회전)을 판단하고, 화살표 시작점 및 끝점을 계산할 수 있다(S1361). 프로세서(270)는, 화살표의 시작점 및 끝점 중 적어도 어느 하나가 디스플레이(251)의 표시 화면을 벗어나는지 판단할 수 있다(S1362). 프로세서(270)는, 스티어링 데이터에 기초하여, AR 화살표의 이동 속도를 계산할 수 있다(S1363). 프로세서(270)는, AR 화살표 위치를 계산할 수 있다(S1364). 프로세서(270)는, AR 화살표 이미지를 이동 표시할 수 있다(S1365).
도 13g를 참조하면, 프로세서(270)는, 교차로에서의 진행 방향(예를 들면, 우회전, 좌회전)을 판단하고, 화살표 시작점 및 끝점을 계산할 수 있다(S1371). 프로세서(270)는, 화살표의 시작점 및 끝점 중 적어도 어느 하나가 디스플레이(251)의 표시 화면을 벗어나는지 판단할 수 있다(S1372). 벗어나는 것으로 판단되는 경우, 프로세서(270)는, AR 화살표 위치를 계산할 수 있다(S1373). 프로세서(270)는, AR 화살표를 지시하는 그래픽을 구성할 수 있다(S1374). 구성된 그래픽은, 연결선(도 11a 내지 도11b의 1120, 1130)으로 표시될 수 있다. 프로세서(270)는, AR 화살표 지시 그래픽을 표시할 수 있다(S1375). 만약, S1372 단계에서, 벗어나지 않는 것으로 판단되는 경우, 프로세서(270)는, AR 화살표 위치를 계산할 수 있다(S1376). 프로세서(270)는, AR 화살표 이미지를 이동 표시할 수 있다(S1377).
도 14a 내지 도 14c는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 동작을 설명하는데 참조되는 도면이다.
프로세서(270)는, AR 시스템을 시작할 수 있다(S1401). 프로세서(270)는, AR 엔진을 시작할 수 있다(S1402). AR 엔진은, 차량 전방 영상을 획득하고, AR 그래픽 객체를 생성하여, AR 그래픽 객체를 차량 전방 영상 중 특정된 제1 지점에 매칭하는 역할을 수행할 수 있다. 프로세서(270)는, 내비게이션 목적지를 설정하고, 경로 가이드를 시작할 수 있다(S1403). 차량 주행이 시작될 수 있다(S1404). 프로세서(270)는, 목적지 표시 이벤트 정보를 획득할 수 있다(S1404-1). 프로세서(270)는, GPS 데이터 오차가 발생하는지 판단할 수 있다(S1405). 프로세서(270)는, 주행 도로가 직선 도로인지 판단할 수 있다(S1406). 프로세서(270)는, 오브젝트 검출 장치(120)에 의해 차로가 인식되는지 판단할 수 있다(S1407). S1405 단계, S1406 단계, S1407 단계의 조건이 만족되는 경우, 프로세서(270)는, 목적지 아이콘(1410)을 이동 표시(1420)할 수 있다(S1408). S1405 단계, S1406 단계, S1407 단계 중 어느 하나라도 조건이 만족되지 않는 경우, 프로세서(270)는, 목적지 아이콘(1410)을 목적지에 대응되도록 표시할 수 있다(S1409).
도 15는 본 발명의 실시예에 따른 차량용 사용자 인터페이스 장치의 플로우 차트이다.
도 15를 참조하면, 프로세서(270)는, AR 시스템을 시작할 수 있다(S1501). 프로세서(270)는, AR 엔진을 시작할 수 있다(S1502). 프로세서(270)는, AR 렌더 API(Application Programming Interface)를 호출할 수 있다(S1503). 프로세서(270)는, AR 그래픽 지오메트리를 계산할 수 있다(S1504). 프로세서(270)는, AR 카메라가 전기적으로 연결되었는지 판단할 수 있다(S1505). AR 카메라가 연결된 것으로 판단된 경우, 프로세서(270)는, ADAS-AR 변환 매트릭스를 적용할 수 있다(S1506). 프로세서(270)는, AR 카메라의 좌표계와 오브젝트 검출 장치(210)의 카메라의 좌표계를 일치시킬 수 있다. 프로세서(270)는, AR 카메라의 프레임을 표시할 수 있다(S1507). 프로세서(270)는, AR 카메라 프레임에 AR 그래픽을 표시할 수 있다(S1509). 만약, S1505 단계에서 AR 카메라가 연결되지 않는 것으로 판단된 경우, 프로세서(270)는, ADAS 카메라 프레임을 표시할 수 있다(S1508). 프로세서(270)는, 오브젝트 검출 장치(210) 카메라의 프레임을 표시할 수 있다(S1508). 프로세서(270)는, 오브젝트 검출 장치(210) 카메라의 프레임에 AR 그래픽을 표시할 수 있다(S1509).
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
[부호의 설명]
200 : 차량용 사용자 인터페이스 장치

Claims (17)

  1. 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 디스플레이; 및
    차량과 제1 지점에 사이의 거리 데이터를 획득하고,
    상기 거리 데이터에 기초하여, 상기 제1 AR 그래픽 객체를 변화시키는 적어도 하나의 프로세서;를 포함하는 차량용 사용자 인터페이스 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1 AR 그래픽 객체의 상기 표시 영역 상에서의 위치, 이동 거리, 이동 속도, 크기 및 표시 높이 중 적어도 어느 하나를 변화시키는 차량용 사용자 인터페이스 장치.
  3. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1 지점에 대한 정확도에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도 및 상기 제1 AR 그래픽 객체의 변화의 종류 중 적어도 어느 하나를 결정하는 차량용 사용자 인터페이스 장치.
  4. 제 3항에 있어서,
    상기 프로세서는,
    GPS 데이터에 기초하여 상기 제1 지점을 특정하고, 상기 GPS 데이터의 에러율에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절하는 차량용 사용자 인터페이스 장치.
  5. 제 1항에 있어서,
    상기 프로세서는,
    소실선(vanishing line)에 대한 데이터, 주행 도로의 곡률에 대한 데이터 및 차량의 움직임 데이터 중 적어도 어느 하나에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절하는 차량용 사용자 인터페이스 장치.
  6. 제 1항에 있어서,
    상기 프로세서는,
    상기 표시 영역에 상기 제1 지점에 대응되는 지점이 없는 것으로 판단되는 경우, 상기 표시 영역 중 상기 제1 지점에 가장 근접한 지점에 상기 제1 AR 그래픽 객체를 표시하는 차량용 사용자 인터페이스 장치.
  7. 제 1항에 있어서,
    상기 프로세서는,
    차량의 스티어링 데이터에 기초하여 상기 제1 AR 그래픽 객체의 이동 방향 및 이동 속도를 결정하는 차량용 사용자 인터페이스 장치.
  8. 제 1항에 있어서,
    상기 프로세서는,
    영상 데이터에서 검출된 적어도 하나의 오브젝트에 대한 데이터에 기초하여 상기 제1 지점을 특정하는 차량용 사용자 인터페이스 장치.
  9. 적어도 하나의 프로세서가, 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 단계;
    상기 프로세서가, 차량과 제1 지점 사이의 거리 데이터를 획득하는 단계; 및
    상기 프로세서가, 상기 거리 데이터에 기초하여, 상기 제1 AR 그래픽 객체를 변화시키는 단계;를 포함하는 차량용 사용자 인터페이스 장치의 동작 방법.
  10. 제 9항에 있어서,
    상기 변화시키는 단계는,
    상기 프로세서가, 상기 제1 AR 그래픽 객체의 이동 거리, 이동 속도, 크기 및 표시 높이 중 적어도 어느 하나를 변화시키는 단계;를 포함하는 차량용 사용자 인터페이스 장치의 동작 장법.
  11. 제 9항에 있어서,
    상기 변화시키는 단계는,
    상기 프로세서가, 상기 제1 지점에 대한 정확도에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도 및 상기 제1 AR 그래픽 객체의 변화의 종류 중 적어도 어느 하나를 결정하는 단계;를 포함하는 차량용 사용자 인터페이스 장치의 동작 방법.
  12. 제 11항에 있어서,
    상기 프로세서가, GPS 데이터에 기초하여 상기 제1 지점을 특정하는 단계;를 더 포함하고,
    상기 변화시키는 단계는,
    상기 프로세서가, 상기 GPS 데이터의 에러율에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절하는 단계;를 포함하는 차량용 사용자 인터페이스 장치의 동작 방법.
  13. 제 11항에 있어서,
    상기 변화시키는 단계는,
    상기 프로세서가, 소실선(vanishing line)에 대한 데이터, 주행 도로의 곡률에 대한 데이터 및 차량의 움직임 데이터 중 적어도 어느 하나에 기초하여, 상기 제1 AR 그래픽 객체의 변화의 정도를 조절하는 단계;를 포함하는 차량용 사용자 인터페이스 장치의 동작 방법.
  14. 제 11항에 있어서,
    상기 변화시키는 단계는,
    상기 프로세서가, 상기 표시 영역에 상기 제1 지점에 대응되는 지점이 없는 것으로 판단되는 경우, 상기 표시 영역 중 상기 제1 지점에 가장 근접한 지점에 상기 제1 AR 그래픽 객체를 표시하는 단계;를 포함하는 차량용 사용자 인터페이스 장치의 동작 방법.
  15. 제 11항에 있어서,
    상기 변화시키는 단계는,
    상기 프로세서가, 차량의 스티어링 데이터에 기초하여 상기 제1 AR 그래픽 객체의 이동 방향 및 이동 속도를 결정하는 단계;를 포함하는 차량용 사용자 인터페이스 장치의 동작 방법.
  16. 제 11항에 있어서,
    상기 프로세서가, 영상 데이터에서 검출된 적어도 하나의 오브젝트 데이터에 기초하여 상기 제1 지점을 특정하는 단계;를 더 포함하는 차량용 사용자 인터페이스 장치의 동작 방법.
  17. 제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 디스플레이;
    적어도 하나의 프로세서; 및
    상기 프로세서에 의해 구동될 때, 복수의 단계들을 실행하는 된 컴퓨터 판독 가능 매체;를 포함하고,
    상기 복수의 단계는,
    제1 지점에 대응되는 표시 영역의 일 지점에 제1 AR(Augmented Reality) 그래픽 객체를 표시하는 단계;
    차량과 제1 지점에 사이의 거리 데이터를 수신하는 단계; 및
    상기 거리 데이터에 기초하여, 상기 제1 AR 그래픽 객체를 변화시키는 단계;를 포함하는 차량용 사용자 인터페이스 장치.
PCT/KR2018/011334 2018-09-21 2018-09-21 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법 WO2020059924A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/278,480 US11694369B2 (en) 2018-09-21 2018-09-21 Vehicle user interface device and operating method of vehicle user interface device
PCT/KR2018/011334 WO2020059924A1 (ko) 2018-09-21 2018-09-21 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법
US18/198,608 US20230290015A1 (en) 2018-09-21 2023-05-17 Vehicle user interface device and operating method of vehicle user interface device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/011334 WO2020059924A1 (ko) 2018-09-21 2018-09-21 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/278,480 A-371-Of-International US11694369B2 (en) 2018-09-21 2018-09-21 Vehicle user interface device and operating method of vehicle user interface device
US18/198,608 Continuation US20230290015A1 (en) 2018-09-21 2023-05-17 Vehicle user interface device and operating method of vehicle user interface device

Publications (1)

Publication Number Publication Date
WO2020059924A1 true WO2020059924A1 (ko) 2020-03-26

Family

ID=69887315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011334 WO2020059924A1 (ko) 2018-09-21 2018-09-21 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법

Country Status (2)

Country Link
US (2) US11694369B2 (ko)
WO (1) WO2020059924A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056323A (ko) * 2013-11-15 2015-05-26 현대오트론 주식회사 헤드업 디스플레이를 이용한 길 안내 정보 표시 장치 및 방법
KR20160050852A (ko) * 2014-10-31 2016-05-11 주식회사 티노스 Hud 시스템에서 전방 주시 가능한 제어장치
JP2016182891A (ja) * 2015-03-26 2016-10-20 修一 田山 車輌用画像表示システム及び方法
KR20170076395A (ko) * 2015-12-24 2017-07-04 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
US20180118224A1 (en) * 2015-07-21 2018-05-03 Mitsubishi Electric Corporation Display control device, display device, and display control method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8412108B2 (en) * 2008-04-10 2013-04-02 Nokia Corporation Apparatus, methods and computer programs
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
CN105103198A (zh) * 2013-04-04 2015-11-25 索尼公司 显示控制装置、显示控制方法以及程序
US10614308B2 (en) * 2017-05-30 2020-04-07 Edx Technologies, Inc. Augmentations based on positioning accuracy or confidence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056323A (ko) * 2013-11-15 2015-05-26 현대오트론 주식회사 헤드업 디스플레이를 이용한 길 안내 정보 표시 장치 및 방법
KR20160050852A (ko) * 2014-10-31 2016-05-11 주식회사 티노스 Hud 시스템에서 전방 주시 가능한 제어장치
JP2016182891A (ja) * 2015-03-26 2016-10-20 修一 田山 車輌用画像表示システム及び方法
US20180118224A1 (en) * 2015-07-21 2018-05-03 Mitsubishi Electric Corporation Display control device, display device, and display control method
KR20170076395A (ko) * 2015-12-24 2017-07-04 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법

Also Published As

Publication number Publication date
US20220036598A1 (en) 2022-02-03
US11694369B2 (en) 2023-07-04
US20230290015A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
KR101551215B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2017003013A1 (ko) 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량
CN109353279A (zh) 一种增强现实车载抬头显示系统
WO2018147599A1 (ko) 차량의 운전을 보조하는 전자 장치 및 방법
WO2017018844A1 (ko) 자율 주행 차량 및 그의 동작 방법
JP2017094882A (ja) 虚像生成システム、虚像生成方法及びコンピュータプログラム
CN101986101A (zh) Gps实时导航系统
WO2020096083A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2016076463A1 (ko) 플라잉 봇의 제어 장치 및 제어 방법
WO2018169164A1 (ko) 차량의 주행을 보조하는 장치 및 방법
WO2019117459A1 (ko) 컨텐츠를 표시하기 위한 장치 및 방법
WO2019112309A1 (ko) 차량 및 그 제어 방법
CN111267870A (zh) 信息显示方法及装置、计算机存储介质
WO2020059924A1 (ko) 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법
WO2020091119A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2021045246A1 (ko) 자동차에 확장된 기능을 제공하는 장치 및 그 방법
WO2020096081A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2019107730A1 (ko) 전자 장치 및 그의 텍스트 제공 방법
WO2020091113A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2021085691A1 (ko) 차량용 내비게이션의 영상 제공 방법
WO2020222317A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2021054492A1 (ko) 차량용 인포테인먼트 장치 및 그의 동작 방법
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
WO2020091114A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934419

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18934419

Country of ref document: EP

Kind code of ref document: A1