WO2019132078A1 - 차량에 구비된 디스플레이 장치 - Google Patents

차량에 구비된 디스플레이 장치 Download PDF

Info

Publication number
WO2019132078A1
WO2019132078A1 PCT/KR2017/015744 KR2017015744W WO2019132078A1 WO 2019132078 A1 WO2019132078 A1 WO 2019132078A1 KR 2017015744 W KR2017015744 W KR 2017015744W WO 2019132078 A1 WO2019132078 A1 WO 2019132078A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
hand
user
processor
vehicle
Prior art date
Application number
PCT/KR2017/015744
Other languages
English (en)
French (fr)
Inventor
오지원
박금화
조은정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/957,166 priority Critical patent/US20200346546A1/en
Publication of WO2019132078A1 publication Critical patent/WO2019132078A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/151—Instrument output devices for configurable output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/195—Blocking or enabling display functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection

Definitions

  • the present invention relates to a display device provided in a vehicle.
  • the vehicle is a device capable of moving in a desired direction by a boarding user.
  • automobiles are examples.
  • ADAS Advanced Driving Assist System
  • the present invention is directed to solving the above-mentioned problems and other problems.
  • Another object of the present invention is to provide a display device capable of determining whether or not to execute a predetermined function according to whether a sensed hand is hand of a main user of the display.
  • a sensor comprising: a sensor; display; And a processor for sensing a user's hand using the sensor and performing a predetermined function according to a gesture of the sensed hand to control the display so that corresponding information is displayed, And determines whether to execute the predetermined function according to whether the detected hand is the hand of the main user.
  • the processor can execute the predetermined function when a predetermined condition is satisfied.
  • functions executable through the display are classified into first and second groups, and the processor is configured to classify the functions into the first group when the detected hand is not the hand of the main user
  • the predetermined function can be executed.
  • the processor may execute the predetermined function when the detected state of the main user is detected when the detected hand is not the hand of the main user.
  • the processor may control the display such that, when the detected hand is not the hand of the main user, the object corresponding to the detected hand is output when the predetermined condition is satisfied.
  • the processor can control the display so that the output method of the object is changed according to the gesture of the sensed hand.
  • the processor is configured to perform a first function corresponding to the first gesture when a first gesture by a first user's hand and a second gesture by a second user's hand are input within a predetermined time Wherein the first user is the main user and the second user is a user other than the main user.
  • the processor may not execute the second function when the first and second functions conflict.
  • the processor can execute the second function after executing the first function when the first and second functions do not conflict.
  • the processor controls the display to output first and second objects corresponding respectively to the hands of the first and second users, wherein the first and second objects are different graphics Object.
  • the processor may set a user who rides in a predetermined seat corresponding to the display as a primary user.
  • the processor can determine whether the sensed hand is the hand of the user who has boarded the predetermined seat, from the image of the seat in the vehicle using the sensor.
  • the processor is configured to acquire an image of the main user's hand using the sensor, compare the obtained image with the sensed hand, It can be determined whether or not the hand is the main user's hand.
  • the processor can control the display so that photographing guide information for photographing the hand of the passenger on board the passenger is displayed on the predetermined seat.
  • a sensor comprising: a sensor; display; And a processor for sensing a user's hand using the sensor and performing a predetermined function according to a gesture of the sensed hand to control the display so that corresponding information is displayed,
  • the object may include a gesture guide area corresponding to a space within a predetermined range based on the detected position of the hand.
  • the processor may control the display to display corresponding information according to the gesture of the sensed hand in the space within the predetermined range.
  • the processor may control the display such that an icon is displayed in the gesture guide area to move along the position of the detected hand.
  • the processor may control the display to be divided into first and second regions when the passenger is seated in the first and second seats.
  • the processor may control the display such that when the passenger aboard the first seat falls, the first and second areas are merged to become one area again.
  • the display may be set to one of a plurality of modes previously set according to a predetermined condition, and the processor is configured to set, based on status information of a user sensed using the sensor, The mode of the display can be set to one of the plurality of modes.
  • whether to execute the function corresponding to the gesture in the display can be determined depending on the hand of the main user. Accordingly, it is possible to solve the problem that the output contents of the display are changed by the user other than the main user.
  • a function corresponding to the gesture can be executed in a limited manner in consideration of the function to be executed, the conflict with the function inputted by the main user, the state of the main user, and the like.
  • the user can easily apply the gesture input.
  • the display can be automatically split or merged depending on the passenger's aboard.
  • a limited area of display can be used efficiently, and power can also be saved.
  • the output state of the display can be automatically changed without unnecessary input.
  • FIG. 1 is a view showing an appearance of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles.
  • 3 to 4 are views showing an interior of a vehicle according to an embodiment of the present invention.
  • FIG. 7 is a block diagram of a vehicle according to an embodiment of the present invention.
  • FIG. 8 is a block diagram for explaining an embodiment of a display device according to the present invention.
  • FIG. 9 is a conceptual diagram for explaining an embodiment in which a predetermined function is executed according to whether the sensed hand is the main user's hand.
  • FIG. 10 is a conceptual diagram for explaining an embodiment in which an object corresponding to a sensed hand is output in the case of FIG.
  • 11 is a conceptual diagram for explaining an embodiment in which a predetermined function is executed when a gesture by a plurality of hands is detected.
  • FIG. 12 is a conceptual diagram for explaining an embodiment in which an object corresponding to a sensed hand is output in the case of FIG.
  • FIG. 13 is a conceptual diagram for explaining an embodiment in which photographing guide information for photographing a hand of a main user is outputted.
  • FIG. 14 is a conceptual diagram for explaining an embodiment in which a gesture guide area is outputted.
  • 15 is a conceptual diagram for explaining an embodiment in which the output direction of an image is changed by a gesture.
  • 16 is a conceptual diagram for explaining an embodiment in which an image is transmitted by a gesture.
  • 17 is a conceptual diagram for explaining an embodiment in which a menu is selected by a gesture
  • 18A is a conceptual diagram for explaining an embodiment in which the center console display operates as a touch pad.
  • 18B is a conceptual diagram for explaining an embodiment in which a screen is divided according to whether a passenger is boarded or not.
  • 19 is a conceptual diagram for explaining an embodiment in which a screen is divided by a gesture.
  • 20 is a conceptual diagram for explaining a specific embodiment in which the display of the center console operates as a touch pad.
  • FIG. 21 is a conceptual diagram for explaining an embodiment in which a display is divided according to whether or not a passenger is boarded.
  • 22 is a conceptual diagram for explaining an embodiment in which the mode of the display is changed according to the state of the user.
  • the vehicle described herein may be a concept including a car, a motorcycle.
  • the vehicle will be described mainly with respect to the vehicle.
  • the vehicle described in the present specification may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle means the left side in the running direction of the vehicle
  • the right side of the vehicle means the right side in the running direction of the vehicle
  • FIG. 1 is a view showing an appearance of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles.
  • 3 to 4 are views showing an interior of a vehicle according to an embodiment of the present invention.
  • FIG. 7 is a block diagram of a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include a wheel rotated by a power source, and a steering input device 510 for adjusting the traveling direction of the vehicle 100.
  • the vehicle 100 may be an autonomous vehicle.
  • the vehicle 100 can be switched to the autonomous running mode or the manual mode based on the user input.
  • the vehicle 100 can be switched from the manual mode to the autonomous mode, or switched from the autonomous mode to the manual mode, based on the received user input, via the user interface device 200.
  • the vehicle 100 can be switched to the autonomous running mode or the manual mode based on the running situation information.
  • the running situation information can be generated based on the object information provided by the object detecting apparatus 300.
  • the vehicle 100 can be switched from the manual mode to the autonomous mode or switched from the autonomous mode to the manual mode based on the running condition information generated by the object detection device 300.
  • the vehicle 100 can be switched from the manual mode to the autonomous mode or switched from the autonomous mode to the manual mode based on the running condition information received via the communication device 400.
  • the vehicle 100 can be switched from the manual mode to the autonomous mode based on information, data and signals provided from the external device, or can be switched from the autonomous mode to the manual mode.
  • the autonomous vehicle 100 can be operated on the basis of the running system 700.
  • the autonomous vehicle 100 may be operated based on information, data, or signals generated in the traveling system 710, the outbound system 740, and the parking system 750.
  • the autonomous vehicle 100 can receive a user input for driving through the driving operation device 500. [ Based on the user input received through the driving operation device 500, the vehicle 100 can be operated.
  • the overall length means the length from the front portion to the rear portion of the vehicle 100 and the width is the width of the vehicle 100 and the height means the length from the bottom of the wheel to the roof.
  • the total length direction L is a direction in which the full length direction of the vehicle 100 is measured
  • the full width direction W is a reference for the full width measurement of the vehicle 100, Which is a reference for the measurement of the height of the object 100.
  • the vehicle 100 includes a user interface device 200, an object detection device 300, a communication device 400, a driving operation device 500, a vehicle driving device 600, A navigation system 770, a sensing unit 120, an interface unit 130, a memory 140, a control unit 170, and a power supply unit 190.
  • the vehicle 100 may further include other components than the components described herein, or may not include some of the components described.
  • the user interface device 200 is a device for communicating between the vehicle 100 and a user.
  • the user interface device 200 may receive user input and provide information generated by the vehicle 100 to the user.
  • the vehicle 100 can implement UI (User Interfaces) or UX (User Experience) through the user interface device 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, a biological sensing unit 230, an output unit 250, and a processor 270.
  • the user interface device 200 may further include other components than the components described, or may not include some of the components described.
  • the input unit 210 is for receiving information from a user.
  • the data collected by the input unit 210 may be analyzed by the processor 270 and processed by a user's control command.
  • the input unit 210 may be disposed inside the vehicle.
  • the input unit 210 may include one area of a steering wheel, one area of an instrument panel, one area of a seat, one area of each pillar, one area of the head console, one area of the door, one area of the center console, one area of the head lining, one area of the sun visor, one area of the windshield, One area or the like.
  • the input unit 210 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 can switch the voice input of the user into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 can switch the user's gesture input to an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input 212 may sense a user's three-dimensional gesture input.
  • the gesture input unit 212 may include an optical output unit for outputting a plurality of infrared rays or a plurality of image sensors.
  • the gesture input unit 212 can sense a user's three-dimensional gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 can switch the touch input of the user into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170.
  • the touch input unit 213 may include a touch sensor for sensing a touch input of a user.
  • the touch input unit 213 is integrated with the display unit 251, thereby realizing a touch screen.
  • a touch screen may provide an input interface and an output interface between the vehicle 100 and a user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input 214 may be provided to the processor 270 or the controller 170.
  • the mechanical input unit 214 may be disposed on a steering wheel, a centepascia, a center console, a cockpit module, a door, or the like.
  • the internal camera 220 can acquire the in-vehicle image.
  • the processor 270 can sense the state of the user based on the in-vehicle image.
  • the processor 270 can obtain the user's gaze information from the in-vehicle image.
  • the processor 270 may sense the user's gesture in the in-vehicle video.
  • the biometric sensor 230 can acquire biometric information of the user.
  • the biometric sensor 230 includes a sensor capable of acquiring biometric information of a user, and can acquire fingerprint information, heartbeat information, etc. of a user using a sensor. Biometric information can be used for user authentication.
  • the output unit 250 is for generating an output related to a visual, auditory or tactile sense or the like.
  • the output unit 250 may include at least one of a display unit 251, an acoustic output unit 252, and a haptic output unit 253.
  • the display unit 251 may display graphic objects corresponding to various information.
  • the display unit 251 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED) display, a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • the display unit 251 may have a mutual layer structure with the touch input unit 213 or may be integrally formed to realize a touch screen.
  • the display unit 251 may be implemented as a Head Up Display (HUD).
  • HUD Head Up Display
  • the display unit 251 may include a projection module to output information through an image projected on a windshield or a window.
  • the display unit 251 may include a transparent display.
  • the transparent display may be attached to the windshield or window.
  • the transparent display can display a predetermined screen while having a predetermined transparency.
  • Transparent displays can be made of transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transmissive transparent display, transparent LED (Light Emitting Diode) Or the like. The transparency of the transparent display can be adjusted.
  • the user interface device 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 includes one area of the steering wheel, one area of the inspiration panel 521a, 251b and 251e, one area of the seat 251d, one area of each filler 251f, 251g), one area of the center console, one area of the head lining, one area of the sun visor, one area 251c of the windshield, and one area 251h of the window.
  • the audio output unit 252 converts an electric signal provided from the processor 270 or the control unit 170 into an audio signal and outputs the audio signal.
  • the sound output section 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output section 253 may operate to vibrate the steering wheel, the seat belt, the seat 110FL, 110FR, 110RL, and 110RR so that the user can recognize the output.
  • the processor 270 may control the overall operation of each unit of the user interface device 200.
  • the user interface device 200 may include a plurality of processors 270, or may not include a processor 270.
  • the user interface device 200 may be operated under the control of the processor or the control unit 170 of another apparatus in the vehicle 100.
  • the user interface device 200 may be referred to as a vehicle display device.
  • the user interface device 200 may be operated under the control of the control unit 170.
  • the object detecting apparatus 300 is an apparatus for detecting an object located outside the vehicle 100.
  • the object may be various objects related to the operation of the vehicle 100.
  • an object O is a vehicle that is a vehicle that has a lane OB10, another vehicle OB11, a pedestrian OB12, a two-wheeled vehicle OB13, traffic signals OB14 and OB15, Speed bumps, terrain, animals, and the like.
  • the lane OB10 may be a driving lane, a side lane of the driving lane, or a lane on which the opposed vehicle runs.
  • the lane OB10 may be a concept including left and right lines Line forming a lane.
  • the other vehicle OB11 may be a vehicle running in the vicinity of the vehicle 100.
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle preceding or following the vehicle 100.
  • the pedestrian OB12 may be a person located in the vicinity of the vehicle 100. [ The pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100. [ For example, the pedestrian OB12 may be a person who is located on the delivery or driveway.
  • the two-wheeled vehicle OB13 may mean a vehicle located around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB13 may be a rider having two wheels positioned within a predetermined distance from the vehicle 100.
  • the two-wheeled vehicle OB13 may be a motorcycle or a bicycle located on a sidewalk or a motorway.
  • the traffic signal may include a traffic light (OB15), a traffic sign (OB14), a pattern drawn on the road surface, or text.
  • the light may be light generated from a lamp provided in another vehicle, light generated from a street lamp, or solar light.
  • the road may include a slope such as a road surface, a curve, an uphill, a downhill, and the like.
  • the structure may be an object located around the road and fixed to the ground.
  • the structure may include street lamps, street lamps, buildings, electric poles, traffic lights, and bridges.
  • the terrain may include mountains, hills, and the like.
  • an object can be classified into a moving object and a fixed object.
  • the moving object may be a concept including an other vehicle, a pedestrian.
  • the fixed object may be a concept including a traffic signal, a road, and a structure.
  • the object detection apparatus 300 may include a camera 310, a radar 320, a LR 330, an ultrasonic sensor 340, an infrared sensor 350, and a processor 370.
  • the object detecting apparatus 300 may further include other elements other than the described elements, or may not include some of the described elements.
  • the camera 310 may be located at an appropriate location outside the vehicle to obtain the vehicle exterior image.
  • the camera 310 may be a mono camera, a stereo camera 310a, an AVM (Around View Monitoring) camera 310b, or a 360 degree camera.
  • the camera 310 may be disposed in the interior of the vehicle, close to the front windshield, to acquire an image of the front of the vehicle.
  • the camera 310 may be disposed around a front bumper or radiator grill.
  • the camera 310 can be disposed in the interior of the vehicle, close to the rear glass, to acquire images of the rear of the vehicle.
  • the camera 310 may be disposed around a rear bumper, trunk, or tailgate.
  • the camera 310 may be disposed close to at least one of the side windows in the interior of the vehicle to obtain the image of the side of the vehicle.
  • the camera 310 may be disposed around a side mirror, fender, or door.
  • the camera 310 may provide the acquired image to the processor 370.
  • the radar 320 may include an electromagnetic wave transmitting unit and a receiving unit.
  • the radar 320 may be implemented by a pulse radar system or a continuous wave radar system in terms of the radio wave emission principle.
  • the radar 320 may be implemented by a Frequency Modulated Continuous Wave (FMCW) scheme or a Frequency Shift Keying (FSK) scheme according to a signal waveform in a continuous wave radar scheme.
  • FMCW Frequency Modulated Continuous Wave
  • FSK Frequency Shift Keying
  • the radar 320 detects an object based on a time-of-flight (TOF) method or a phase-shift method through electromagnetic waves, and detects the position of the detected object, the distance to the detected object, Can be detected.
  • TOF time-of-flight
  • phase-shift method through electromagnetic waves
  • the radar 320 may be disposed at a suitable location outside the vehicle to sense objects located at the front, rear, or side of the vehicle.
  • the ladder 330 may include a laser transmitting unit and a receiving unit.
  • the LIDAR 330 may be implemented in a time of flight (TOF) scheme or a phase-shift scheme.
  • the lidar 330 may be implemented as a drive or an unshifted drive.
  • the LIDAR 330 When implemented in a driving manner, the LIDAR 330 is rotated by a motor and can detect an object in the vicinity of the vehicle 100.
  • the LIDAR 330 can detect an object located within a predetermined range with respect to the vehicle 100 by optical steering.
  • the vehicle 100 may include a plurality of non-driven RRs 330.
  • the lidar 330 detects an object based on a laser light medium, a time of flight (TOF) method, or a phase-shift method, and detects the position of the detected object, The relative speed can be detected.
  • TOF time of flight
  • the lidar 330 may be disposed at an appropriate location outside the vehicle to sense objects located at the front, rear, or side of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 can detect the object based on the ultrasonic wave, and can detect the position of the detected object, the distance to the detected object, and the relative speed.
  • the ultrasonic sensor 340 may be disposed at an appropriate position outside the vehicle for sensing an object located at the front, rear, or side of the vehicle.
  • the infrared sensor 350 may include an infrared ray transmitter and a receiver.
  • the infrared sensor 340 can detect the object based on the infrared light, and can detect the position of the detected object, the distance to the detected object, and the relative speed.
  • the infrared sensor 350 may be disposed at an appropriate position outside the vehicle for sensing an object located at the front, rear, or side of the vehicle.
  • the processor 370 can control the overall operation of each unit of the object detecting apparatus 300.
  • the processor 370 can detect and track the object based on the acquired image.
  • the processor 370 can perform operations such as calculating a distance to an object, calculating a relative speed with respect to the object, and the like through an image processing algorithm.
  • the processor 370 can detect and track the object based on the reflected electromagnetic waves that are reflected from the object by the transmitted electromagnetic waves.
  • the processor 370 can perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on electromagnetic waves.
  • the processor 370 can detect and track the object based on the reflected laser light reflected back from the object by the transmitted laser. Based on the laser light, the processor 370 can perform operations such as calculating the distance to the object and calculating the relative speed with respect to the object.
  • the processor 370 can detect and track the object on the basis of the reflected ultrasonic waves reflected by the object and transmitted back.
  • the processor 370 can perform operations such as calculating the distance to the object and calculating the relative speed with respect to the object based on the ultrasonic waves.
  • the processor 370 can detect and track the object based on the reflected infrared light that the transmitted infrared light reflects back to the object.
  • the processor 370 can perform operations such as calculating the distance to the object and calculating the relative speed with respect to the object based on the infrared light.
  • the object detecting apparatus 300 may include a plurality of processors 370 or may not include the processor 370.
  • processors 370 may individually include a processor.
  • the object detecting apparatus 300 can be operated under the control of the processor of the apparatus in the vehicle 100 or the controller 170 when the object detecting apparatus 300 does not include the processor 370.
  • the object detecting apparatus 400 can be operated under the control of the control unit 170.
  • the communication device 400 is a device for performing communication with an external device.
  • the external device may be another vehicle, a mobile terminal, or a server.
  • the communication device 400 may include at least one of a transmission antenna, a reception antenna, an RF (Radio Frequency) circuit capable of implementing various communication protocols, and an RF device to perform communication.
  • RF Radio Frequency
  • the communication device 400 may include a local communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transmission / reception unit 450, and a processor 470.
  • the communication device 400 may further include other components than the components described, or may not include some of the components described.
  • the short-range communication unit 410 is a unit for short-range communication.
  • the short-range communication unit 410 may be a wireless communication unit such as Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC) -Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technology.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • Wi-Fi Direct Wireless USB (Wireless Universal Serial Bus) technology.
  • the short-range communication unit 410 may form short-range wireless communication networks to perform short-range communication between the vehicle 100 and at least one external device.
  • the position information section 420 is a unit for acquiring the position information of the vehicle 100.
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing communication with the infrastructure (V2I), inter-vehicle communication (V2V), and communication with the pedestrian (V2P) protocol.
  • the optical communication unit 440 is a unit for performing communication with an external device via light.
  • the optical communication unit 440 may include a light emitting unit that converts an electric signal into an optical signal and transmits it to the outside, and a light receiving unit that converts the received optical signal into an electric signal.
  • the light emitting portion may be formed so as to be integrated with the lamp included in the vehicle 100.
  • the broadcast transmission / reception unit 450 is a unit for receiving a broadcast signal from an external broadcast management server through a broadcast channel or transmitting a broadcast signal to a broadcast management server.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal.
  • the processor 470 can control the overall operation of each unit of the communication device 400.
  • the communication device 400 may include a plurality of processors 470 or may not include a processor 470.
  • the communication device 400 can be operated under the control of the processor or the control unit 170 of another apparatus in the vehicle 100.
  • the communication device 400 can implement the vehicle display device together with the user interface device 200.
  • the vehicle display device can be named as a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the control unit 170.
  • the driving operation device 500 is a device for receiving a user input for operation.
  • the vehicle 100 can be operated on the basis of the signal provided by the driving operation device 500.
  • the driving operation device 500 may include a steering input device 510, an acceleration input device 530, and a brake input device 570.
  • the steering input device 510 may receive a forward direction input of the vehicle 100 from a user.
  • the steering input device 510 is preferably formed in a wheel shape so that steering input is possible by rotation.
  • the steering input device may be formed as a touch screen, a touch pad, or a button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from a user.
  • the brake input device 570 can receive an input for deceleration of the vehicle 100 from the user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in a pedal shape.
  • the acceleration input device or the brake input device may be formed as a touch screen, a touch pad, or a button.
  • the driving operation device 500 can be operated under the control of the control unit 170.
  • the vehicle driving device 600 is an apparatus for electrically controlling the driving of various devices in the vehicle 100.
  • the vehicle driving apparatus 600 includes a power train driving unit 610, a chassis driving unit 620, a door / window driving unit 630, a safety driving unit 640, a lamp driving unit 650 and an air conditioning driving unit 660 .
  • the vehicle drive system 600 may further include other elements other than the described elements, or may not include some of the elements described.
  • the vehicle drive apparatus 600 may include a processor. Each unit of the vehicle drive apparatus 600 may individually include a processor.
  • the power train driving unit 610 can control the operation of the power train apparatus.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612.
  • the power source drive unit 611 can perform control on the power source of the vehicle 100.
  • the power source drive unit 610 can perform electronic control of the engine.
  • the output torque of the engine and the like can be controlled.
  • the power source drive unit 611 can adjust the engine output torque under the control of the control unit 170.
  • the power source driving unit 610 can perform control on the motor.
  • the power source drive unit 610 can adjust the rotation speed, torque, and the like of the motor under the control of the control unit 170.
  • the transmission drive unit 612 can perform control on the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission to forward (D), reverse (R), neutral (N), or parking (P).
  • the transmission drive unit 612 can adjust the gear engagement state in the forward (D) state.
  • the chassis driving unit 620 can control the operation of the chassis apparatus.
  • the chassis driving unit 620 may include a steering driving unit 621, a brake driving unit 622, and a suspension driving unit 623.
  • the steering driver 621 may perform electronic control of the steering apparatus in the vehicle 100. [ The steering driver 621 can change the traveling direction of the vehicle.
  • the brake driver 622 can perform electronic control of the brake apparatus in the vehicle 100. [ For example, it is possible to reduce the speed of the vehicle 100 by controlling the operation of the brakes disposed on the wheels.
  • the brake driver 622 can individually control each of the plurality of brakes.
  • the brake driving unit 622 can control the braking forces applied to the plurality of wheels to be different from each other.
  • the suspension driving unit 623 can perform electronic control on a suspension apparatus in the vehicle 100. [ For example, when there is a curvature on the road surface, the suspension driving unit 623 can control the suspension device so as to reduce the vibration of the vehicle 100. [
  • the suspension driving unit 623 can individually control each of the plurality of suspensions.
  • the door / window driving unit 630 may perform electronic control of a door apparatus or a window apparatus in the vehicle 100.
  • the door / window driving unit 630 may include a door driving unit 631 and a window driving unit 632.
  • the door driving unit 631 can control the door device.
  • the door driving unit 631 can control the opening and closing of a plurality of doors included in the vehicle 100. [
  • the door driving unit 631 can control the opening or closing of a trunk or a tail gate.
  • the door driving unit 631 can control the opening or closing of the sunroof.
  • the window driving unit 632 may perform an electronic control on a window apparatus. It is possible to control the opening or closing of the plurality of windows included in the vehicle 100.
  • the safety device driving unit 640 can perform electronic control of various safety apparatuses in the vehicle 100.
  • the safety device driving unit 640 may include an airbag driving unit 641, a seat belt driving unit 642, and a pedestrian protection device driving unit 643. [
  • the airbag driver 641 may perform electronic control of the airbag apparatus in the vehicle 100. [ For example, the airbag driver 641 can control the deployment of the airbag when a danger is detected.
  • the seat belt driving portion 642 can perform electronic control on the seat belt appartus in the vehicle 100.
  • the seat belt driving portion 642 can control the passenger to be fixed to the seats 110FL, 110FR, 110RL, and 110RR using the seat belt when a danger is detected.
  • the pedestrian protection device driving section 643 can perform electronic control on the hood lift and the pedestrian airbag.
  • the pedestrian protection device driving section 643 can control the hood lift-up and the pedestrian airbag deployment when a collision with a pedestrian is detected.
  • the lamp driving unit 650 can perform electronic control of various lamp apparatuses in the vehicle 100.
  • the air conditioning driving unit 660 can perform electronic control on the air conditioner in the vehicle 100. [ For example, when the temperature inside the vehicle is high, the air conditioning driving unit 660 can control the air conditioner to operate so that the cool air is supplied to the inside of the vehicle.
  • the vehicle drive apparatus 600 may include a processor. Each unit of the vehicle drive apparatus 600 may individually include a processor.
  • the vehicle drive apparatus 600 can be operated under the control of the control section 170.
  • the operating system 700 is a system for controlling various operations of the vehicle 100. [ The travel system 700 can be operated in the autonomous mode.
  • the travel system 700 may include a travel system 710, an outbound system 740, and a parking system 750.
  • the travel system 700 may further include other components than the components described, or may not include some of the components described.
  • the travel system 700 may include a processor.
  • Each unit of the travel system 700 may each include a processor individually.
  • the driving system 700 when the driving system 700 is implemented in software, it may be a sub-concept of the control unit 170.
  • the operating system 700 includes at least one of the user interface device 200, the object detecting device 300, the communication device 400, the vehicle driving device 600, and the control unit 170 It can be a concept that includes.
  • the traveling system 710 can perform traveling of the vehicle 100.
  • the navigation system 710 can receive navigation information from the navigation system 770 and provide a control signal to the vehicle drive system 600 to perform the travel of the vehicle 100.
  • the traveling system 710 can receive the object information from the object detecting apparatus 300 and provide the vehicle driving apparatus 600 with a control signal to perform the traveling of the vehicle 100.
  • the traveling system 710 can receive the signal from the external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to perform the traveling of the vehicle 100.
  • the departure system 740 can perform the departure of the vehicle 100.
  • the outpost system 740 can receive navigation information from the navigation system 770 and provide control signals to the vehicle driving apparatus 600 to perform the departure of the vehicle 100.
  • the departure system 740 can receive object information from the object detecting apparatus 300 and provide a control signal to the vehicle driving apparatus 600 to carry out the departure of the vehicle 100.
  • the departure system 740 can receive a signal from the external device via the communication device 400 and provide a control signal to the vehicle driving device 600 to perform the departure of the vehicle 100.
  • the parking system 750 can perform parking of the vehicle 100.
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to perform parking of the vehicle 100.
  • the parking system 750 is capable of performing parking of the vehicle 100 by receiving object information from the object detecting apparatus 300 and providing a control signal to the vehicle driving apparatus 600.
  • the parking system 750 can receive the signal from the external device via the communication device 400 and provide a control signal to the vehicle driving device 600 to perform parking of the vehicle 100.
  • the navigation system 770 may provide navigation information.
  • the navigation information may include at least one of map information, set destination information, route information according to the destination setting, information about various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include a memory, a processor.
  • the memory can store navigation information.
  • the processor may control the operation of the navigation system 770.
  • the navigation system 770 can receive information from an external device via the communication device 400 and update the stored information.
  • the navigation system 770 may be classified as a subcomponent of the user interface device 200.
  • the sensing unit 120 can sense the state of the vehicle.
  • the sensing unit 120 may include a sensor such as a yaw sensor, a roll sensor, a pitch sensor, a collision sensor, a wheel sensor, a velocity sensor, A head sensor, a gyro sensor, a position module, a vehicle forward / backward sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle An internal temperature sensor, an in-vehicle humidity sensor, an ultrasonic sensor, an illuminance sensor, an accelerator pedal position sensor, a brake pedal position sensor, and the like.
  • the sensing unit 120 is configured to generate the sensing information based on the vehicle attitude information, the vehicle collision information, the vehicle direction information, the vehicle position information (GPS information), the vehicle angle information, the vehicle speed information, Obtain a sensing signal for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, can do.
  • the sensing unit 120 may further include an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor AFS, an intake air temperature sensor ATS, a water temperature sensor WTS, (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.
  • the interface unit 130 may serve as a pathway to various kinds of external devices connected to the vehicle 100.
  • the interface unit 130 may include a port that can be connected to the mobile terminal, and may be connected to the mobile terminal through the port. In this case, the interface unit 130 can exchange data with the mobile terminal.
  • the interface unit 130 may serve as a channel for supplying electrical energy to the connected mobile terminal.
  • the interface unit 130 may provide the mobile terminal with electric energy supplied from the power supply unit 190 under the control of the controller 170.
  • the memory 140 is electrically connected to the control unit 170.
  • the memory 140 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data.
  • the memory 140 may be, in hardware, various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, and the like.
  • the memory 140 may store various data for operation of the vehicle 100, such as a program for processing or controlling the controller 170.
  • the memory 140 may be formed integrally with the controller 170 or may be implemented as a subcomponent of the controller 170.
  • the control unit 170 can control the overall operation of each unit in the vehicle 100.
  • the control unit 170 may be referred to as an ECU (Electronic Control Unit).
  • the power supply unit 190 can supply power required for operation of the respective components under the control of the control unit 170. Particularly, the power supply unit 190 can receive power from a battery or the like inside the vehicle.
  • processors and controls 170 included in vehicle 100 may be implemented as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs) field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • the vehicle 100 related to the present invention may include a display device 800.
  • the display device 800 is capable of controlling at least one of the components described in Fig.
  • the display device 800 may be the control unit 170.
  • the present invention is not limited to this, and the display device 800 may be configured separately from the control unit 170.
  • the display device 800 may be provided in a part of the vehicle 100.
  • the display device 800 will be described as being separate from the controller 170 for convenience of explanation.
  • the function (operation) and the control method for explaining the display device 800 in this specification can be performed by the control unit 170 of the vehicle. That is, all the contents described in connection with the display device 800 can be similarly / analogously applied to the control unit 170 as well.
  • the display device 800 described in the present specification may include the components described in Fig. 7 and a part of various components provided in the vehicle.
  • the constituent elements described in FIG. 7 and the various constituent elements provided in the vehicle will be described with different names and reference numerals.
  • FIG. 8 is a block diagram for explaining an embodiment of a display device according to the present invention.
  • a display device 800 includes a sensor 810, a display 820, and a processor 830.
  • the sensor 810 may include a camera, an infrared sensor, and the like.
  • the camera may acquire a vehicle internal image, and based on this, the user's gesture, status, sight line information, and the like may be sensed. Also, the gesture of the user can be detected through the infrared sensor.
  • the display 820 can output time information, and can detect a touch input, a gesture input, and the like.
  • the display 820 may activate the gesture detection sensor if a predetermined condition is satisfied. For example, if the occupant is in a non-touchable situation, the gesture detection sensor can be activated.
  • the sensor when it is determined that the user's hand can not be reached by the angle of the seat back, the position of the seat, and the like, when the mode is changed to the self-running mode, The sensor can be activated.
  • the display 820 includes one region of the steering wheel, one region 251a, 251b, 251e of the instrument panel, one region 251d of the sheet, one region 251f of each filler, , One area of the door (251g), one area of the center console, one area of head lining, one area of the sun visor, one area 251c of the windshield, and one area 251h of the window .
  • it may be implemented as a Rear Center Console between both seats 110RL and 110RR of the rear seats.
  • the processor 830 senses the user's hand using the sensor 810 and controls the display 820 such that a predetermined function is executed according to the sensed hand gesture to display corresponding information .
  • the processor 830 sets a primary user of the display 820 and determines whether to execute the predetermined function according to whether the detected hand is the main user's hand.
  • one main user may be set on one display 820.
  • the function corresponding to the gesture input can be executed.
  • the function corresponding to the gesture input may not be performed.
  • the processor 830 can execute the predetermined function when a predetermined condition is satisfied.
  • functions executable through the display 820 are categorized into first and second groups, and the processor 830, if the sensed hand is not the hand of the primary user, Are classified into the first group, the predetermined function can be executed.
  • the processor 830 can execute the predetermined function when the detected state of the main user is detected when the detected hand is not the hand of the main user.
  • FIG. 9 is a conceptual diagram for explaining an embodiment in which a predetermined function is executed according to whether the sensed hand is the main user's hand.
  • the passenger on the first seat 110RL is set as the main user of the first display 910 and the passenger boarding the second seat 110RR is set as the main user of the second display 920 .
  • the first camera may sense the hand of the first user.
  • Information may then be displayed on the first display 910, in accordance with a gesture sensed by the first user, who is the primary user.
  • the second camera can sense the hand of the first user.
  • control commands such as pause, rewind, or fast forward can be executed for the content being reproduced, but execution of the control command for changing the content to be reproduced itself may be restricted.
  • information may be displayed on secondary display 920, depending on the gesture sensed by the primary user's hand have.
  • the information may be displayed on the second display 920.
  • the execution or not may be different depending on the type of function executed by the gesture.
  • the main user of the display is in a situation where it is difficult or impossible to apply the touch or gesture input, or when the main user is off the vehicle 100, the display is displayed on the display according to the gesture of the user, Information can be displayed.
  • the gesture for controlling the vehicle-related functions can be executed only by the main user.
  • the function by the gesture is not executed.
  • the processor 830 controls the display 820 to output the object corresponding to the detected hand if the predetermined condition is satisfied have.
  • the processor 830 may control the display 820 such that the output manner of the object is changed according to the sensed hand gesture.
  • FIG. 10 is a conceptual diagram for explaining an embodiment in which an object corresponding to a sensed hand is output in the case of FIG.
  • the objects 1010 and 1020 corresponding to the hands of the first user can be output to the first display 910 have.
  • a hand icon 1010 corresponding to the position of the first user's hand and a gesture guide area 1020 corresponding to a space within a predetermined range based on the detected hand position may be output.
  • the hand icon 1010 may be displayed in the center of the first display 910.
  • the gesture guide area 1020 can be output as a circle having a predetermined radius around the hand-shaped icon 1010.
  • the hand icon 1010 may be moved within the gesture guide area 1020 along with the movement of the first user's hand in the space within the predetermined range.
  • a first user may move his / her hand toward the second display 920. [ Accordingly, the objects 1010 and 1020 corresponding to the hands of the first user disappear from the first display 910.
  • the objects 1010 and 1020 corresponding to the hands of the first user may be output to the second display 920.
  • the objects 1010 and 1020 corresponding to the hands of the first user can be output to the second display 920 have.
  • the object 1010, 1020 corresponding to the first user's hand May be output to the second display (920).
  • objects 1010 and 1020 corresponding to the hands of a first user may be displayed on the second display 920 only for a short period of time, when the hands of the first user are directed toward the second display 920 Can be output.
  • the processor 830 sets the first function corresponding to the first gesture
  • the first user may be the main user, and the second user may be a user other than the main user.
  • the processor 830 may not execute the second function if the first and second functions conflict.
  • the processor 830 can execute the second function after executing the first function if the first and second functions do not conflict.
  • 11 is a conceptual diagram for explaining an embodiment in which a predetermined function is executed when a gesture by a plurality of hands is detected.
  • the first gesture by the first user 1110 which is the main user of the first display 910
  • the second gesture by the second user 1120 .
  • the first function corresponding to the first gesture may be preferentially executed over the second function corresponding to the second gesture. That is, the control command of the main user is preferentially executed.
  • the second function may not be executed.
  • the first gesture is a gesture for reproducing the image content
  • the second gesture is a gesture for ending the reproduction of the image content
  • the image content can be reproduced by the first gesture.
  • the second function when the first function corresponding to the first gesture does not conflict with the second function corresponding to the second gesture, the second function may be executed after the first function is executed.
  • the second video content can be played after the first video content is played back have.
  • the second image content may be reproduced together with the first image content.
  • the processor 830 controls the display 820 such that the first and second objects correspond to the hands of the first and second users, respectively, and the first and second objects are connected to each other It can be another graphic object.
  • FIG. 12 is a conceptual diagram for explaining an embodiment in which an object corresponding to a sensed hand is output in the case of FIG.
  • a hand icon 1010 corresponding to the position of the hand of the first user 1110 and a gesture guide area 1020 corresponding to a space within a predetermined range based on the detected hand position are output .
  • the hand icon 1010 may be displayed in the center of the first display 910.
  • the gesture guide area 1020 can be output as a circle having a predetermined radius around the hand-shaped icon 1010.
  • the second user 1120 may move his / her hand toward the first display 910. [ Accordingly, the objects 1210 and 1220 corresponding to the hands of the second user 1120 can be output to the first display 910. [
  • a hand-shaped icon 1210 corresponding to the position of the hand of the second user 1120 and a gesture guide area 1220 corresponding to a space within a predetermined range based on the detected position of the hand may be output .
  • the objects 1010 and 1020 corresponding to the hands of the first user 1110 and the objects 1210 and 1220 corresponding to the hands of the second user 1120 may have different shapes, , Transparency, and the like.
  • the gesture guide area 1220 for the second user 1120 is output to the edge area of the first display 910 at a size smaller than the gesture guide area 1020 for the first user 1110 .
  • the gesture guide area 1220 for the second user 1120 may be output in a different color from the gesture guide area 1020 for the first user 1110, or may be blurred with different transparency.
  • the second user 1120 corresponds to the hand of the second user 1120
  • Objects 1210 and 1220 may be terminated at the first display 910.
  • the processor 830 can set a user who has boarded a predetermined seat corresponding to the display 820 as a main user.
  • the processor 830 determines whether the detected hand is the hand of a user who has boarded the predetermined seat, from the image of the seat 100 in the vehicle 100 using the sensor 810 .
  • the processor 830 may acquire an image of the main user's hand using the sensor 810, and compare the obtained image with the captured image of the hand , And may determine whether the sensed hand is the main user's hand.
  • the processor 830 may control the display 820 to display photographing guide information for photographing the hand of the passenger when the passenger is seated in the predetermined seat.
  • the image of the main user's hand may be stored at the time of purchase of the vehicle or at the initial setting of the display 910.
  • FIG. 13 is a conceptual diagram for explaining an embodiment in which photographing guide information for photographing a hand of a main user is outputted.
  • the primary user of the first display 910 may be set as a passenger boarding the first seat.
  • guide information 1300 for photographing both hands of the first user can be output to the first display 910.
  • the first user can photograph both hands such that the palm of the hand faces the camera, and then the hand is directed to the camera again.
  • the image of the hand photographed according to the guide information 1300 is compared with the image of the hand photographed after the sensed hand, User) is determined.
  • FIG. 14 is controlled by the gesture
  • the processor 830 controls the display 820 to output an object corresponding to the sensed hand, and the object includes a gesture corresponding to a space within a predetermined range based on the detected position of the hand, And a guide area.
  • the processor 830 may control the display 820 to display corresponding information according to the sensed hand gesture in the space within the predetermined range.
  • the processor 830 may control the display 820 such that an icon is displayed in the gesture guide area to move along the detected position of the hand.
  • FIG. 14 is a conceptual diagram for explaining an embodiment in which a gesture guide area is outputted.
  • a predetermined visual effect such as a lighting effect, may be output to the display 1400.
  • Gesture guide information (1410, gesture guide area) for controlling the output screen may be output to one area of the display (1400).
  • a fist-shaped icon 1420 may be output to the middle area of the display 1400.
  • a circle-shaped gesture guide area 1430 having a predetermined radius around the fist-shaped icon 1420 can be output.
  • the gesture guide area 1430 may be a region corresponding to a space within a predetermined range based on the position of the detected hand (the position of the hand while being recognized, the position recognized by the camera).
  • the fist-shaped icon 1420 moves in the gesture guide area 1430 along with the movement of the hand.
  • the screen information being output to the display 1400 can also be changed.
  • the output angle of the 360 degree rotated image can be changed.
  • the moving picture may be paused. Then, when the hand holding the fist stops moving, the moving image can be reproduced again.
  • the gesture control mode may be terminated.
  • 15 is a conceptual diagram for explaining an embodiment in which the output direction of an image is changed by a gesture.
  • the output angle of the 360-degree rotated image can be continuously shifted to the right (rotated).
  • the rotational speed of the 360 degree rotated image can be increased.
  • a warning when a hand holding the fist moves out of the space within the predetermined range as the hand continues to move to the right, a warning (warning) indicating this may be output.
  • a particular visual effect 1500 such as a blinking effect, may be output to the portion of the gesture guide area 1430 that the fist-shaped icon 1420 is about to cross.
  • a border-like object surrounding a portion of the gesture guide region 1430 may be output in a different color and shape from the other portions.
  • the gesture control (gesture control mode) Can be terminated.
  • the screen movement may be stopped.
  • 16 is a conceptual diagram for explaining an embodiment in which an image is transmitted by a gesture.
  • the user's hand when the user hands the palm toward the display 1400, the user's hand can be recognized.
  • a predetermined visual effect such as a lighting effect, may be output to the display 1400.
  • Gesture guide information 1410 for controlling the output screen may be output to one area of the display 1400.
  • an icon 1600 corresponding to the gesture for screen sharing may be output to the right area of the display 1400 .
  • the content being output may be grabbed And the content can be output on other displays.
  • the corresponding content is transmitted, and an image screen being output to the left RSE can be output also in the right RSE.
  • 17 is a conceptual diagram for explaining an embodiment in which a menu is selected by a gesture
  • a hand icon 1700 may be displayed on the first menu, as described above.
  • the hand icon 1700 may be moved to the third menu displayed below the first menu.
  • the third menu may be selected.
  • the changed icon 1710 may be output along with the specific gesture.
  • the menu or the list page may be changed.
  • the processor 830 may control the display 820 to be divided into first and second areas when a passenger is seated in the first and second seats.
  • the processor 830 may control the display 820 such that when the passenger aboard the first seat is lowered, the first and second areas are merged to become one area again.
  • 18A is a conceptual diagram for explaining an embodiment in which the center console display operates as a touch pad.
  • center console display 1800 can operate as a left RSE and a right RSE touchpad.
  • the content that is output to the RSE may be changed by touch or gesture input to the center console display 1800.
  • a mouse pointer or the like may be output to the center console display 1800.
  • the power of the center console display 1800 may be in the OFF state before the passenger is boarded on the back. Thereafter, when the passenger is boarding at least one seat, the power of the center console display 1800 can be turned ON.
  • the center console display 1800 can be divided into two areas. Also, the power of the center console display 1800 area adjacent to the side on which the passenger is boarding can be switched to the ON state.
  • 18B is a conceptual diagram for explaining an embodiment in which a screen is divided according to whether a passenger is boarded or not.
  • the display 1800 of the barrel center console may include one entire area 1810 before the passenger boarding. At this time, the power of the entire area 1810 may be OFF.
  • the entire area 1810 can be divided into a first area 1820 adjacent the left seat 110RL and a second area 1830 adjacent the right seat 110RR have.
  • the power source of the first region 1820 can be switched to the ON state.
  • the passenger comes down from the left seat, it can be combined into one full area 1810 again.
  • whether or not the passenger is getting off can be detected by the camera that photographs the interior of the vehicle 100, and the power of the entire area 1810 can be set to the ON state.
  • 19 is a conceptual diagram for explaining an embodiment in which a screen is divided by a gesture.
  • the display 820 may be implemented as a Rear Center Console between both seats 110RL and 110RR of the rear seats.
  • the display 820 may include one entire area 1810.
  • a downward swipe input is applied to one touchable (gestureable) area 1810, it may be divided into two areas 1820, 1830. At this time, the predetermined animation effect can be output.
  • first region 1820 adjacent the left seat 110RL and a second region 1830 adjacent the right seat 110RR For example, a first region 1820 adjacent the left seat 110RL and a second region 1830 adjacent the right seat 110RR.
  • the display 820 may include power buttons corresponding to left and right RSEs.
  • a gesture touch
  • the lighting effect can be output to the power button.
  • the power can be divided into two areas 1820 and 1830. At this time, the power of the first area 1820 may be ON and the power of the second area 1830 may be OFF.
  • the power of the second area 1830 may be turned on.
  • the divided regions 1820 and 1830 can be combined into one whole region 1810 have.
  • 20 is a conceptual diagram for explaining a specific embodiment in which the display of the center console operates as a touch pad.
  • a cursor guide 2030 showing a screen movement direction may be output to the RSE display 2010.
  • an area corresponding to the cursor guide 2030 may be set on the display 2020 of the center console. For example, when a user applies a touch input to the display 2020 of the center console, an original area having a predetermined radius around the point where the touch input is applied may be set. At this time, an area corresponding to the cursor guide 2030 can be displayed on the display 2020 of the center console.
  • a touch input may be applied to an area of the center console display 2020 corresponding to the cursor guide 2030 to change the output direction of the image.
  • the screen may be moved to the right and a message 2040 may be output to inform the user.
  • the output of the cursor guide 2030 may be terminated.
  • the display 820 may be set to one of a plurality of modes previously set according to a predetermined condition, and the processor 830 may set the state of the user sensed using the sensor 810 Based on the information, the mode of the display 820 can be set to one of the plurality of modes.
  • FIG. 21 is a conceptual diagram for explaining an embodiment in which a display is divided according to whether or not a passenger is boarded.
  • a message 2130 indicating that the screen is turned off can be output to the first display 2110 because the first seat is empty and the first display 2110 can be turned off after a predetermined time elapses have.
  • the power of the first display 2110 can be turned ON.
  • the power of the first display 2110 is not switched to the OFF state, and can be returned to the original state again.
  • 22 is a conceptual diagram for explaining an embodiment in which the mode of the display is changed according to the state of the user.
  • the moving picture may be paused.
  • a message 2210 indicating that a specific mode (Reading Mode) has been set may be output.
  • the specific mode the moving picture being displayed on the screen is blurred, and only the message 2210 can be output.
  • the screen in which the moving picture is temporarily stopped can be displayed again.
  • the passenger takes a particular action while the content is being output on the display 2200, e.g., if the passenger does not stare at the display 2200 (the action of reading a book or newspaper is detected by the camera Can be detected.
  • a message 2210 indicating that a specific mode (Reading Mode) has been set may be output.
  • the specific mode the content being displayed on the screen is blurred and only the message 2210 can be output.
  • some functionality of the display may be limited. Specifically, the content that is being output is displayed blurred, and only a message indicating that it is a specific mode may be output. Alternatively, a notification message (message reception) may be output together with a sound effect, a haptic effect, or the like as a popup.
  • whether to execute the function corresponding to the gesture in the display can be determined depending on the hand of the main user. Accordingly, it is possible to solve the problem that the output contents of the display are changed by the user other than the main user.
  • a function corresponding to the gesture can be executed in a limited manner in consideration of the function to be executed, the conflict with the function inputted by the main user, the state of the main user, and the like.
  • the user can easily apply the gesture input.
  • the display can be automatically split or merged depending on the passenger's aboard.
  • a limited area of display can be used efficiently, and power can also be saved.
  • the output state of the display can be automatically changed without unnecessary input.
  • the present invention described above can be embodied as computer-readable codes on a medium on which a program is recorded.
  • the computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, , And may also be implemented in the form of a carrier wave (e.g., transmission over the Internet).
  • the computer may include a processor or a control unit. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량에 구비된 디스플레이 장치에 관한 것이다. 본 발명에 따른 차량에 구비된 디스플레이 장치는, 센서; 디스플레이; 및 상기 센서를 이용하여 사용자의 손을 감지하고, 상기 감지된 손의 제스처에 따라 소정 기능이 실행되어, 대응하는 정보가 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함하며, 상기 프로세서는, 상기 디스플레이의 주 사용자를 설정하고, 상기 감지된 손이 상기 주 사용자의 손인지 여부에 따라, 상기 소정 기능의 실행 여부를 결정할 수 있다.

Description

차량에 구비된 디스플레이 장치
본 발명은 차량에 구비된 디스플레이 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 것이 가능한 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
이와 같이, ADAS(Advanced Driving Assist System)에 대한 개발이 활발히 이루어짐에 따라, 차량 운행에 있어서 사용자 편의와 안전을 극대화할 수 있는 기술 개발의 필요성이 대두되고 있다.
이에 대한 일환으로, 다양한 V2X 정보, 차량 정보 등을 표시해 주기 위해, 차량 내 여러 위치에 디스플레이가 배치되고 있다. 또한, 자율주행으로 탑승자가 디스플레이를 통해 수행할 수 있는 기능들이 늘어남에 따라, 차량 내 디스플레이를 제어하기 위한 다양한 방법들이 논의되고 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 감지되는 손이 디스플레이의 주 사용자의 손인지에 따라 소정 기능의 실행여부를 결정할 수 있도록 하는 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 센서; 디스플레이; 및 상기 센서를 이용하여 사용자의 손을 감지하고, 상기 감지된 손의 제스처에 따라 소정 기능이 실행되어, 대응하는 정보가 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함하며, 상기 프로세서는, 상기 디스플레이의 주 사용자를 설정하고, 상기 감지된 손이 상기 주 사용자의 손인지 여부에 따라, 상기 소정 기능의 실행 여부를 결정하는 것을 특징으로 하는 디스플레이 장치를 제공한다.
실시 예에 있어서, 상기 프로세서는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 소정 조건이 만족되면, 상기 소정 기능을 실행할 수 있다.
구체적인 예로, 상기 디스플레이를 통해 실행 가능한 기능들은, 제1 및 제2 그룹으로 분류되고, 상기 프로세서는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 소정 기능이 상기 제1 그룹으로 분류되면, 상기 소정 기능을 실행할 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 주 사용자에게 특정 상황이 감지되면, 상기 소정 기능을 실행할 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 소정 조건이 만족되면, 상기 감지된 손에 대응되는 객체가 출력되도록 상기 디스플레이를 제어할 수 있다.
이때, 상기 프로세서는, 상기 감지된 손의 제스처에 따라 상기 객체의 출력 방식이 변경되도록, 상기 디스플레이를 제어할 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 제1 사용자의 손에 의한 제1 제스처와 제2 사용자의 손에 의한 제2 제스처가 소정 시간 이내에 입력되는 경우, 상기 제1 제스처에 대응하는 제1 기능을 상기 제2 제스처에 대응하는 제2 기능보다 우선적으로 실행하며, 상기 제1 사용자는 상기 주 사용자이고, 상기 제2 사용자는 상기 주 사용자 이외의 사용자인 것을 특징으로 한다.
이때, 상기 프로세서는, 상기 제1 및 제2 기능이 상충되는 경우, 상기 제2 기능을 실행하지 않을 수 있다.
반면, 상기 프로세서는, 상기 제1 및 제2 기능이 상충되지 않는 경우, 상기 제1 기능을 실행한 후 상기 제2 기능을 실행할 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 상기 제1 및 제2 사용자의 손에 각각 대응하여 제1 및 제2 객체가 출력되도록 상기 디스플레이를 제어하며, 상기 제1 및 제2 객체는, 서로 다른 그래픽 객체일 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 상기 디스플레이에 대응하는 소정 좌석에 탑승한 사용자를 주 사용자로 설정할 수 있다.
이에 따라, 상기 프로세서는, 상기 센서를 이용하여 차량 내 좌석을 촬영한 영상으로부터, 상기 감지된 손이 상기 소정 좌석에 탑승한 사용자의 손인지 여부를 판단할 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 상기 센서를 이용하여 상기 주 사용자의 손을 촬영한 영상을 획득하고, 상기 획득된 영상과 상기 감지된 손을 촬영한 영상을 비교하여, 상기 감지된 손이 상기 주 사용자의 손인지 여부를 판단할 수 있다.
이를 위해, 상기 프로세서는, 상기 소정 좌석에 승객이 탑승하는 경우, 상기 탑승한 승객의 손을 촬영하기 위한 촬영 가이드 정보가 표시되도록, 상기 디스플레이를 제어할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 센서; 디스플레이; 및 상기 센서를 이용하여 사용자의 손을 감지하고, 상기 감지된 손의 제스처에 따라 소정 기능이 실행되어, 대응하는 정보가 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함하며, 상기 프로세서는, 상기 감지된 손에 대응되는 객체가 출력되도록 상기 디스플레이를 제어하며, 상기 객체는, 상기 감지된 손의 위치를 기준으로 소정 범위 내의 공간에 대응하는 제스처 가이드 영역을 포함할 수 있다.
실시 예로서, 상기 프로세서는, 상기 소정 범위 내의 공간에서 이루어지는 상기 감지된 손의 제스처에 따라, 대응하는 정보가 표시되도록 상기 디스플레이를 제어할 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 상기 제스처 가이드 영역에, 상기 감지된 손의 위치를 따라 이동하는 아이콘이 출력되도록 상기 디스플레이를 제어할 수 있다.
또 다른 실시 예로서, 상기 프로세서는, 제1 및 제2 좌석에 승객이 탑승한 경우, 제1 및 제2 영역으로 분할되도록 상기 디스플레이를 제어할 수 있다.
이후, 상기 프로세서는, 상기 제1 좌석에 탑승한 승객이 내리는 경우, 상기 제1 및 제2 영역이 합쳐져 다시 하나의 영역이 되도록 상기 디스플레이를 제어할 수 있다.
또 다른 실시 예로서, 상기 디스플레이는, 소정 조건에 따라 기 설정되어 있는 복수의 모드 중 하나의 모드로 설정될 수 있으며, 상기 프로세서는, 상기 센서를 이용하여 감지되는 사용자의 상태 정보에 근거하여, 상기 복수의 모드 중 하나로 상기 디스플레이의 모드를 설정할 수 있다.
본 발명에 따른 차량에 구비된 디스플레이 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 주 사용자의 손인지에 따라, 해당 디스플레이에서 제스처에 대응되는 기능의 실행 여부가 결정될 수 있다. 이에 따라, 주 사용자가 아닌 사용자에 의해 디스플레이의 출력 내용이 변경되는 문제점을 해결할 수 있다.
또한, 주 사용자가 아닌 경우에도, 실행되는 기능, 주 사용자가 입력한 기능과의 상충 여부, 주 사용자의 상태 등을 고려하여, 제한적으로 제스처에 대응되는 기능이 실행될 수 있다.
또 다른 예로, 제스처 가이드 영역이 출력 됨으로써, 사용자가 손쉽게 제스처 입력을 가할 수 있다.
또 다른 예로, 승객의 탑승여부에 따라 디스플레이가 자동 분할되거나 합쳐질 수 있다. 이에 따라, 제한된 영역의 디스플레이가 효율적을 사용될 수 있으며, 전력 또한 절약될 수 있다.
또 다른 예로, 탑승자의 현재 상태에 따라 디스플레이의 모드를 설정함으로써, 불필요한 입력 없이 디스플레이의 출력 상태가 자동으로 변경될 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블록도이다.
도 8은 본 발명에 따른 디스플레이 장치의 실시 예를 설명하기 위한 블록도이다.
도 9는 감지된 손이 주 사용자의 손인지에 따라, 소정 기능이 실행되는 실시 예를 설명하기 위한 개념도이다.
도 10은 도 9의 경우 감지된 손에 대응되는 객체가 출력되는 실시 예를 설명하기 위한 개념도이다.
도 11은 복수의 손에 의한 제스처가 감지되는 경우, 소정 기능이 실행되는 실시 예를 설명하기 위한 개념도이다.
도 12는 도 11의 경우 감지된 손에 대응되는 객체가 출력되는 실시 예를 설명하기 위한 개념도이다.
도 13은 주 사용자의 손을 촬영하기 위한 촬영 가이드 정보가 출력되는 실시 예를 설명하기 위한 개념도이다.
도 14는 제스처 가이드 영역이 출력되는 실시 예를 설명하기 위한 개념도이다.
도 15는 제스처에 의해 영상의 출력 방향이 변경되는 실시 예를 설명하기 위한 개념도이다.
도 16은 제스처에 의해 영상이 전송되는 실시 예를 설명하기 위한 개념도이다.
도 17은 제스처에 의해 메뉴가 선택되는 실시 예를 설명하기 위한 개념도이다.
도 18a는 센터 콘솔 디스플레이가 터치 패드로 동작하는 실시 예를 설명하기 위한 개념도이다.
도 18b는 승객의 탑승 여부에 따라 화면이 분할되는 실시 예를 설명하기 위한 개념도이다.
도 19는 제스처에 의해 화면이 분할되는 실시 예를 설명하기 위한 개념도이다.
도 20은 센터 콘솔의 디스플레이가 터치 패드로 동작하는 구체적인 실시 예를 설명하기 위한 개념도이다.
도 21은 승객 탑승 여부에 따라 디스플레이가 분할되는 실시 예를 설명하기 위한 개념도이다.
도 22는 사용자의 상태에 따라 디스플레이의 모드가 변경되는 실시 예를 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블록도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(210)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(210)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(210)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(210)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(210)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일 영역(251c), 윈도우의 일 영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시 예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100) 내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB13)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB13)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛, 가로등에서 생성된 빛, 또는 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시 예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시 예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I: Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시 예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시 예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100) 내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시 예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시 예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지 시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지 시, 시트 벨트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지 시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750)을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명과 관련된 차량(100)은 디스플레이 장치(800)를 포함할 수 있다.
디스플레이 장치(800)는, 도 7에서 설명한 구성요소들 중 적어도 하나를 제어하는 것이 가능하다. 이러한 관점에서 봤을 때, 상기 디스플레이 장치(800)는 제어부(170)일 수 있다.
이에 한정되지 않고, 디스플레이 장치(800)는, 제어부(170)와 독립된 별도의 구성일 수 있다. 디스플레이 장치(800)가 제어부(170)와 독립된 구성요소로 구현되는 경우, 상기 디스플레이 장치(800)는 차량(100)의 일부분에 구비될 수 있다.
이하에서는, 설명의 편의를 위해 디스플레이 장치(800)를 제어부(170)와 독립된 별도의 구성인 것으로 설명하기로 한다. 본 명세서에서 디스플레이 장치(800)에 대하여 설명하는 기능(동작) 및 제어방법은, 차량의 제어부(170)에 의해 수행될 수 있다. 즉, 디스플레이 장치(800)와 관련하여 설명한 모든 내용은, 제어부(170)에도 동일/유사하게 유추적용 될 수 있다.
또한, 본 명세서에서 설명하는 디스플레이 장치(800)는, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들 중 일부분이 포함될 수 있다. 본 명세서에서는, 설명의 편의를 위해, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들을 별도의 명칭과 도면부호를 부여하여 설명하기로 한다.
이하에서는, 첨부된 도면을 참조하여 본 발명에 따른 디스플레이 장치를 보다 구체적으로 살펴보고자 한다.
도 8은 본 발명에 따른 디스플레이 장치의 실시 예를 설명하기 위한 블록도이다.
도 8을 참조하면, 본 발명에 따른 디스플레이 장치(800)는, 센서(810), 디스플레이(820) 및 프로세서(830)를 포함한다.
상기 센서(810)는, 카메라, 적외선 센서 등을 포함할 수 있다.
실시 예로서, 상기 카메라는 차량 내부 영상을 획득할 수 있으며, 이를 기초로 사용자의 제스처, 상태, 시선 정보 등이 감지될 수 있다. 또한, 적외선 센서를 통해서도, 사용자의 제스처가 감지될 수 있다.
상기 디스플레이(820)는, 시각정보를 출력할 수 있으며, 터치 입력, 제스처 입력 등을 감지할 수 있다.
실시 예로서, 상기 디스플레이(820)는, 소정 조건이 만족되는 경우, 제스처 감지 센서를 활성화 시킬 수 있다. 예를 들면, 탑승객이 터치 불가능한 상황인 경우, 제스처 감지 센서를 활성화 시킬 수 있다.
구체적인 예로, 좌석 등받이의 각도, 좌석의 위치 등에 따라 사용자의 손이 닿을 수 없다고 판단되는 경우, 자율주행 모드로 변경되는 경우, 좌석에 대응되는 디스플레이가 아닌 디스플레이에 손을 가져가는 경우 등에, 제스처 감지 센서가 활성화될 수 있다.
또 다른 실시 예로서, 상기 디스플레이(820)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(251a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일 영역(251c), 윈도우의 일 영역(251h)에 구현될 수 있다.
또 다른 실시 예로서, 후석의 양쪽 시트(110RL, 110RR) 사이에 후석 센터 콘솔(Rear Center Console)로 구현될 수 있다.
상기 프로세서(830)는, 상기 센서(810)를 이용하여 사용자의 손을 감지하고, 상기 감지된 손의 제스처에 따라 소정 기능이 실행되어, 대응하는 정보가 표시되도록 상기 디스플레이(820)를 제어한다.
실시 예로서, 상기 프로세서(830)는, 상기 디스플레이(820)의 주 사용자를 설정하고, 상기 감지된 손이 상기 주 사용자의 손인지 여부에 따라, 상기 소정 기능의 실행 여부를 결정한다.
구체적으로, 하나의 디스플레이(820)에 한 명의 주 사용자가 설정될 수 있다. 해당 디스플레이(820)에 주 사용자가 제스처 입력을 가하는 경우, 제스처 입력에 대응되는 기능이 실행될 수 있다. 이와 달리, 해당 디스플레이(820)에 주 사용자 이외의 사용자가 제스처 입력을 가하는 경우, 제스처 입력에 대응되는 기능이 실행되지 않을 수 있다.
이하, 도면을 참조하여, 본 발명에 따른 디스플레이 장치(800)를 보다 상세하게 설명하고자 한다.
한편, 상기 프로세서(830)는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 소정 조건이 만족되면, 상기 소정 기능을 실행할 수 있다.
실시 예로서, 상기 디스플레이(820)를 통해 실행 가능한 기능들은, 제1 및 제2 그룹으로 분류되고, 상기 프로세서(830)는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 소정 기능이 상기 제1 그룹으로 분류되면, 상기 소정 기능을 실행할 수 있다.
또 다른 실시 예로서, 상기 프로세서(830)는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 주 사용자에게 특정 상황이 감지되면, 상기 소정 기능을 실행할 수 있다.
도 9는 감지된 손이 주 사용자의 손인지에 따라, 소정 기능이 실행되는 실시 예를 설명하기 위한 개념도이다.
도 9를 참조하면, 제1 좌석(110RL)에 탑승하는 승객은 제1 디스플레이(910)의 주 사용자로, 제2 좌석(110RR)에 탑승하는 승객은 제2 디스플레이(920)의 주 사용자로 설정될 수 있다.
실시 예로서, 제1 좌석(110RL)에 탑승한 제1 사용자가 제1 디스플레이(910)를 향하여 손을 드는 경우, 제1 카메라는 제1 사용자의 손을 감지할 수 있다.
그리고, 주 사용자인 제1 사용자의 손에 의해 감지되는 제스처에 따라, 제1 디스플레이(910)에 정보가 표시될 수 있다.
또 다른 실시 예로서, 제1 사용자가 제2 디스플레이(920) 쪽으로 손을 이동시키는 경우, 제2 카메라는 제1 사용자의 손을 감지할 수 있다.
이 경우, 제1 사용자는 제2 디스플레이(920)의 주 사용자가 아니므로, 제2 디스플레이(920)에서 제한된 기능만이 실행될 수 있다.
예를 들면, 제1 사용자의 제스처에 대응하는 제어 명령(기능) 중 화면 비율을 확대 또는 축소하는 기능 만이 실행될 수 있다. 또는, 재생 중인 콘텐츠에 대하여 일시정지, 되감기 또는 빨리 감기 등의 제어 명령은 실행할 수 있으나, 재생할 콘텐츠 자체를 변경하는 제어 명령은 실행이 제한될 수 있다.
또 다른 예로, 제2 디스플레이(920)의 주 사용자인 제2 사용자에게 특정 상황이 감지되는 경우, 제1 사용자의 손에 의해 감지되는 제스처에 따라, 제2 디스플레이(920)에 정보가 표시될 수 있다.
구체적인 예로, 제2 사용자가 졸고 있거나 차량(100)에서 내리는 경우, 터치 또는 제스처 입력을 가하기 어렵거나 불가능한 상황인 경우, 제2 디스플레이(920)의 주 사용자가 아닌 제1 사용자의 손에 의해 감지되는 제스처에 따라, 제2 디스플레이(920)에 정보가 표시될 수 있다.
즉, 해당 디스플레이의 주 사용자가 아닌 경우, 제스처에 의해 실행되는 기능의 종류에 따라 실행 여부가 달라질 수 있다. 또는, 해당 디스플레이의 주 사용자가 터치 또는 제스처 입력을 가하기 어렵거나 불가능한 상황인 경우, 주 사용자가 차량(100)에서 내린 경우 등에는, 해당 디스플레이의 주 사용자가 아닌 사용자의 제스처에 따라, 해당 디스플레이에 정보가 표시될 수 있다.
또 다른 실시 예로서, 소정 디스플레이에 대응하여 주 사용자가 운전자인 경우, 차량 관련 기능을 제어하기 위한 제스처는 주 사용자의 입력만이 실행될 수 있다.
예를 들어, 운전자 이외의 탑승자가 네비게이션을 조작하기 위한 제스처를 가한 경우, 상기 제스처에 의한 기능은 실행되지 않게 된다.
한편, 상기 프로세서(830)는, 상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 소정 조건이 만족되면, 상기 감지된 손에 대응되는 객체가 출력되도록 상기 디스플레이(820)를 제어할 수 있다.
실시 예로서, 상기 프로세서(830)는, 상기 감지된 손의 제스처에 따라 상기 객체의 출력 방식이 변경되도록, 상기 디스플레이(820)를 제어할 수 있다.
도 10은 도 9의 경우 감지된 손에 대응되는 객체가 출력되는 실시 예를 설명하기 위한 개념도이다.
도 10을 참조하면, 제1 디스플레이(910)의 주 사용자인 제1 사용자의 손이 감지되면, 제1 사용자의 손에 대응되는 객체(1010, 1020)가 제1 디스플레이(910)에 출력될 수 있다.
실시 예로서, 제1 사용자의 손의 위치에 대응하는 손 모양의 아이콘(1010)과, 감지된 손의 위치를 기준으로 소정 범위 내의 공간에 대응하는 제스처 가이드 영역(1020)이 출력될 수 있다.
이때, 손 모양의 아이콘(1010)은 제1 디스플레이(910)의 가운데에 출력될 수 있다. 그리고, 제스처 가이드 영역(1020)은 손 모양의 아이콘(1010)을 중심으로 소정 반경을 갖는 원으로 출력될 수 있다.
또 다른 실시 예로서, 상기 소정 범위 내의 공간에서 제1 사용자의 손의 이동을 따라, 손 모양의 아이콘(1010)이 제스처 가이드 영역(1020) 내에서 이동될 수 있다.
또 다른 실시 예로서, 제1 사용자가 제2 디스플레이(920) 쪽으로 손을 이동시킬 수 있다. 이에 따라, 제1 사용자의 손에 대응되는 객체(1010, 1020)는 제1 디스플레이(910)에서 사라지게 된다.
또한, 소정 조건이 만족되는 경우, 제1 사용자의 손에 대응되는 객체(1010, 1020)가 제2 디스플레이(920)에 출력될 수 있다.
실시 예로서, 도 9에서 설명한 것과 같이, 제1 사용자 손의 제스처에 의해 기능이 실행되는 경우, 제1 사용자의 손에 대응되는 객체(1010, 1020)가 제2 디스플레이(920)에 출력될 수 있다.
또 다른 실시 예로서, 제2 사용자가 터치 또는 제스처 입력을 가하기 어렵거나 불가능한 상황인 경우, 제2 사용자가 차량(100)에서 내린 경우 등에, 제1 사용자의 손에 대응되는 객체(1010, 1020)가 제2 디스플레이(920)에 출력될 수 있다.
또 다른 실시 예로서, 제1 사용자의 손이 제2 디스플레이(920) 쪽으로 넘어가는 순간인 짧은 시간 동안만, 제1 사용자의 손에 대응되는 객체(1010, 1020)가 제2 디스플레이(920)에 출력될 수 있다.
한편, 상기 프로세서(830)는, 제1 사용자의 손에 의한 제1 제스처와 제2 사용자의 손에 의한 제2 제스처가 소정 시간 이내에 입력되는 경우, 상기 제1 제스처에 대응하는 제1 기능을 상기 제2 제스처에 대응하는 제2 기능보다 우선적으로 실행하며, 상기 제1 사용자는 상기 주 사용자이고, 상기 제2 사용자는 상기 주 사용자 이외의 사용자일 수 있다.
실시 예로서, 상기 프로세서(830)는, 상기 제1 및 제2 기능이 상충되는 경우, 상기 제2 기능을 실행하지 않을 수 있다.
반면, 상기 프로세서(830)는, 상기 제1 및 제2 기능이 상충되지 않는 경우, 상기 제1 기능을 실행한 후 상기 제2 기능을 실행할 수 있다.
도 11은 복수의 손에 의한 제스처가 감지되는 경우, 소정 기능이 실행되는 실시 예를 설명하기 위한 개념도이다.
도 11을 참조하면, 제1 디스플레이(910)의 주 사용자인 제1 사용자(1110)의 손에 의한 제1 제스처와, 제2 사용자(1120)의 손에 의한 제2 제스처가, 소정 시간 이내에 입력될 수 있다.
이때, 제1 제스처에 대응하는 제1 기능이 제2 제스처에 대응하는 제2 기능보다 우선적으로 실행될 수 있다. 즉, 주 사용자의 제어 명령을 우선적으로 실행하게 된다.
실시 예로서, 제1 제스처에 대응하는 제1 기능과 제2 제스처에 대응하는 제2 기능이 상충되는 경우, 제2 기능은 실행되지 않을 수 있다. 구체적인 예로, 제1 제스처는 영상 콘텐츠를 재생하기 위한 제스처이고, 제2 제스처는 해당 영상 콘텐츠의 재생을 종료하기 위한 제스처인 경우, 해당 영상 콘텐츠는 제1 제스처에 의해 재생될 수 있다.
또 다른 실시 예로서, 제1 제스처에 대응하는 제1 기능과 제2 제스처에 대응하는 제2 기능이 상충되지 않는 경우, 제1 기능이 실행된 후 제2 기능이 실행될 수 있다.
구체적인 예로, 제1 제스처는 제1 영상 콘텐츠를 재생하기 위한 제스처이고, 제2 제스처는 제2 영상 콘텐츠를 재생하기 위한 제스처인 경우, 제1 영상 콘텐츠가 재생된 후 제2 영상 콘텐츠가 재생될 수 있다. 또는, 제1 영상 콘텐츠와 함께 제2 영상 콘텐츠가 재생될 수 있다.
한편, 상기 프로세서(830)는, 상기 제1 및 제2 사용자의 손에 각각 대응하여 제1 및 제2 객체가 출력되도록 상기 디스플레이(820)를 제어하며, 상기 제1 및 제2 객체는, 서로 다른 그래픽 객체일 수 있다.
도 12는 도 11의 경우 감지된 손에 대응되는 객체가 출력되는 실시 예를 설명하기 위한 개념도이다.
도 12를 참조하면, 제1 디스플레이(910)의 주 사용자인 제1 사용자(1110)의 손이 감지되면, 제1 사용자의 손에 대응되는 객체(1010, 1020)가 제1 디스플레이(910)에 출력될 수 있다.
실시 예로서, 제1 사용자(1110)의 손의 위치에 대응하는 손 모양의 아이콘(1010)과, 감지된 손의 위치를 기준으로 소정 범위 내의 공간에 대응하는 제스처 가이드 영역(1020)이 출력될 수 있다.
이때, 손 모양의 아이콘(1010)은 제1 디스플레이(910)의 가운데에 출력될 수 있다. 그리고, 제스처 가이드 영역(1020)은 손 모양의 아이콘(1010)을 중심으로 소정 반경을 갖는 원으로 출력될 수 있다.
이어지는 실시 예로서, 제2 사용자(1120)가 제1 디스플레이(910) 쪽으로 손을 이동시킬 수 있다. 이에 따라, 제2 사용자(1120)의 손에 대응되는 객체(1210, 1220)가 제1 디스플레이(910)에 출력될 수 있다.
마찬가지로, 제2 사용자(1120)의 손의 위치에 대응하는 손 모양의 아이콘(1210)과, 감지된 손의 위치를 기준으로 소정 범위 내의 공간에 대응하는 제스처 가이드 영역(1220)이 출력될 수 있다.
또 다른 실시 예로서, 제1 사용자(1110)의 손에 대응되는 객체(1010, 1020)와 제2 사용자(1120)의 손에 대응되는 객체(1210, 1220)는, 서로 다른 모양, 크기, 색상, 투명도 등을 갖는 방식으로 구분되어 출력될 수 있다.
구체적인 예로, 제2 사용자(1120)에 대한 제스처 가이드 영역(1220)은, 제1 디스플레이(910)의 가장자리 영역에, 제1 사용자(1110)에 대한 제스처 가이드 영역(1020)보다 작은 크기로 출력될 수 있다.
또는, 제2 사용자(1120)에 대한 제스처 가이드 영역(1220)은, 제1 사용자(1110)에 대한 제스처 가이드 영역(1020)과 상이한 색상으로 출력되거나, 투명도를 달리하여 흐릿하게 출력될 수 있다.
또 다른 실시 예로서, 앞서 설명한 것과 같이, 제1 사용자(1110)의 제스처에 의한 기능과, 제2 사용자(1120)의 제스처에 의한 기능이 상충되는 경우, 제2 사용자(1120)의 손에 대응되는 객체(1210, 1220)는 제1 디스플레이(910)에서 출력이 종료될 수 있다.
한편, 상기 프로세서(830)는, 상기 디스플레이(820)에 대응하는 소정 좌석에 탑승한 사용자를 주 사용자로 설정할 수 있다.
실시 예로서, 상기 프로세서(830)는, 상기 센서(810)를 이용하여 차량(100) 내 좌석을 촬영한 영상으로부터, 상기 감지된 손이 상기 소정 좌석에 탑승한 사용자의 손인지 여부를 판단할 수 있다.
구체적인 예로, 차량(100) 내 후석을 촬영한 영상으로부터, 상기 감지된 손이 후석의 왼쪽 또는 오른쪽 좌석에 탑승한 사용자 중 누구의 손인지 여부를 확인할 수 있다.
또 다른 실시 예로서, 상기 프로세서(830)는, 상기 센서(810)를 이용하여 상기 주 사용자의 손을 촬영한 영상을 획득하고, 상기 획득된 영상과 상기 감지된 손을 촬영한 영상을 비교하여, 상기 감지된 손이 상기 주 사용자의 손인지 여부를 판단할 수 있다.
이를 위해, 상기 프로세서(830)는, 상기 소정 좌석에 승객이 탑승하는 경우, 상기 탑승한 승객의 손을 촬영하기 위한 촬영 가이드 정보가 표시되도록, 상기 디스플레이(820)를 제어할 수 있다.
또 다른 실시 예로서, 상기 주 사용자의 손을 촬영한 영상은, 차량 구입시 또는 디스플레이(910)의 최초 설정 시 저장될 수 있다.
도 13은 주 사용자의 손을 촬영하기 위한 촬영 가이드 정보가 출력되는 실시 예를 설명하기 위한 개념도이다.
도 13을 참조하면, 제1 디스플레이(910)의 주 사용자는 제1 좌석에 탑승하는 승객으로 설정될 수 있다.
이에 따라, 제1 좌석에 제1 사용자가 탑승하는 경우, 제1 사용자의 양 손을 촬영하기 위한 가이드 정보(1300)가 제1 디스플레이(910)에 출력될 수 있다.
실시 예로서, 상기 가이드 정보(1300)에 따라, 제1 사용자는 손바닥이 카메라를 향하도록 양손을 촬영한 후, 다시 손등이 카메라를 향하도록 양손을 촬영할 수 있다.
상기 가이드 정보(1300)에 따라 양 손이 촬영되면, 이후 감지되는 손을 촬영한 영상과, 상기 가이드 정보(1300)에 따라 촬영한 손의 영상을 비교하여, 감지되는 손이 제1 사용자(주 사용자)의 손인지 여부를 판단하게 된다.
이하, 도 14 내지 도 22에서는, 제스처에 의해 디스플레이가 제어되는 실시 예에 대하여 구체적으로 설명하고자 한다.
한편, 상기 프로세서(830)는, 상기 감지된 손에 대응되는 객체가 출력되도록 상기 디스플레이(820)를 제어하며, 상기 객체는, 상기 감지된 손의 위치를 기준으로 소정 범위 내의 공간에 대응하는 제스처 가이드 영역을 포함할 수 있다.
실시 예로서, 상기 프로세서(830)는, 상기 소정 범위 내의 공간에서 이루어지는 상기 감지된 손의 제스처에 따라, 대응하는 정보가 표시되도록 상기 디스플레이(820)를 제어할 수 있다.
또 다른 실시 예로서, 상기 프로세서(830)는, 상기 제스처 가이드 영역에, 상기 감지된 손의 위치를 따라 이동하는 아이콘이 출력되도록 상기 디스플레이(820)를 제어할 수 있다.
도 14는 제스처 가이드 영역이 출력되는 실시 예를 설명하기 위한 개념도이다.
도 14를 참조하면, 사용자가 손바닥이 디스플레이(1400) 쪽을 향하도록 손을 드는 경우, 사용자의 손이 인식될 수 있다. 실시 예로서, 사용자의 손이 인식되는 동안, 라이팅 효과와 같은 기 설정된 시각 효과가 디스플레이(1400)에 출력될 수 있다.
소정 시간이 지나 사용자 손의 인식이 완료되면, 이를 알려주는 사운드 피드백이 출력되고, 제스처 제어가 시작(제스처 제어 모드 시작)될 수 있다. 그리고, 출력 화면을 제어하기 위한 제스처 가이드 정보(1410, 제스처 가이드 영역)가 디스플레이(1400)의 일 영역에 출력될 수 있다.
실시 예로서, 사용자가 디스플레이(1400) 쪽을 향해 들고 있던 손의 주먹을 쥐면, 주먹 모양의 아이콘(1420)이 디스플레이(1400)의 가운데 영역에 출력될 수 있다.
또한, 주먹 모양의 아이콘(1420)을 중심으로 소정 반경을 갖는 원 모양의 제스처 가이드 영역(1430)이 출력될 수 있다. 이때, 제스처 가이드 영역(1430)은 감지된 손의 위치(인식되는 동안의 손의 위치, 카메라로 인식된 위치)를 기준으로 소정 범위 내의 공간에 대응하는 영역일 수 있다.
이어서, 사용자가 주먹을 쥔 상태로 상기 소정 범위 내의 공간에서 손을 움직이는 경우, 손의 움직임을 따라 주먹 모양의 아이콘(1420)이 제스처 가이드 영역(1430) 내에서 움직이게 된다.
이와 함께, 디스플레이(1400)에 출력 중이던 화면 정보도 변경될 수 있다. 실시 예로서, 주먹을 쥔 손의 움직임을 따라, 360도 회전 영상의 출력 각도가 변경될 수 있다.
또 다른 예로, 주먹을 쥔 손의 움직임을 따라, 360도 회전 동영상의 출력 각도가 변경되는 경우, 동영상은 일시 정지될 수 있다. 이어서, 주먹을 쥔 손이 움직임을 멈추면, 동영상은 다시 재생될 수 있다.
또 다른 실시 예로서, 상기 제스처 가이드 정보(1410)가 출력된 후 소정 시간 동안 제스처 입력이 없는 경우, 제스처 제어 모드가 종료될 수 있다.
도 15는 제스처에 의해 영상의 출력 방향이 변경되는 실시 예를 설명하기 위한 개념도이다.
도 15를 참조하면, 도 14에 이어지는 실시 예로서, 주먹을 쥔 손이 상기 소정 범위 내의 공간에서 오른쪽으로 이동하다 멈추는 경우, 주먹 모양의 아이콘(1420)은 오른쪽으로 이동하다 제스처 가이드 영역(1430) 내의 오른쪽 경계선 가까이에서 홀딩될 수 있다.
이 경우, 360도 회전 영상의 출력 각도는 지속적으로 오른쪽으로 이동(회전)될 수 있다.
또 다른 예로, 주먹 모양의 아이콘(1420)이 경계선 가까이로 이동할수록, 즉, 주먹을 쥔 손이 상기 소정 범위 내의 공간에서 오른쪽으로 이동할 수록, 360도 회전 영상의 회전 속도가 증가될 수 있다.
또 다른 실시 예로서, 주먹을 쥔 손이 오른쪽으로 계속 이동함에 따라 상기 소정 범위 내의 공간을 벗어나는 경우, 이를 알려주는 알림(경고)이 출력될 수 있다.
구체적인 예로, 주먹 모양의 아이콘(1420)이 넘어가려 하는 제스처 가이드 영역(1430)의 부분에, 점멸하는 효과와 같은 특정 시각 효과(1500)가 출력될 수 있다. 또 다른 예로, 상기 제스처 가이드 영역(1430)의 부분을 둘러싸는 테두리 모양의 객체가, 다른 부분과는 상이한 색상과 모양으로 출력될 수 있다.
만약, 주먹 모양의 아이콘(1420)이 제스처 가이드 영역(1430)을 넘어가는 경우, 즉, 주먹을 쥔 손이 오른쪽으로 계속 이동함에 따라 상기 소정 범위 내의 공간을 벗어나는 경우, 제스처 제어(제스처 제어 모드)가 종료될 수 있다.
또 다른 실시 예로서, 주먹을 쥔 손이 다시 안쪽으로 이동하는 경우(오른쪽으로 이동하던 손이 왼쪽으로 이동), 화면이동이 정지될 수 있다.
도 16은 제스처에 의해 영상이 전송되는 실시 예를 설명하기 위한 개념도이다.
도 16을 참조하면, 도 14에서 설명한 것과 같이, 사용자가 손바닥이 디스플레이(1400) 쪽을 향하도록 손을 드는 경우, 사용자의 손이 인식될 수 있다. 실시 예로서, 사용자의 손이 인식되는 동안, 라이팅 효과와 같은 기 설정된 시각 효과가 디스플레이(1400)에 출력될 수 있다.
소정 시간이 지나 사용자 손의 인식이 완료되면, 이를 알려주는 사운드 피드백이 출력되고, 제스처 제어가 시작(제스처 제어 모드 시작)될 수 있다. 그리고, 출력 화면을 제어하기 위한 제스처 가이드 정보(1410)가 디스플레이(1400)의 일 영역에 출력될 수 있다.
실시 예로서, 사용자가 손바닥이 디스플레이(1400) 쪽을 향하게 들고 있던 손을 오른쪽으로 이동시키는 경우, 화면 공유를 위한 제스처에 대응되는 아이콘(1600)이 디스플레이(1400)의 오른쪽 영역에 출력될 수 있다.
이에 따라, 사용자가 공유 제스처를 인식할 수 있는 디스플레이(1400)의 오른쪽 영역에 대응되는 공간(공유 제스처 인식 범위)에 손을 가져간 후 오른쪽으로 흔드는 경우, 출력 중이던 콘텐츠가 인식(content grab)될 수 있으며, 해당 콘텐츠는 다른 디스플레이에서도 출력될 수 있다.
예를 들면, 해당 콘텐츠가 전송되어, 좌측 RSE에 출력 중인 영상 화면이 우측 RSE 에서도 출력될 수 있다.
도 17은 제스처에 의해 메뉴가 선택되는 실시 예를 설명하기 위한 개념도이다.
도 17을 참조하면, 앞서 설명한 것과 같이, 제스처 모드가 활성화된 상태에서 디스플레이(1400)에 선택 가능한 메뉴 항목들이 출력되는 경우, 제1 메뉴 위에 손 모양의 아이콘(1700)이 출력될 수 있다.
실시 예로서, 사용자가 감지된 손을 제스처 인식 가능한 가상의 범위 내에서 아래로 내리는 경우, 제1 메뉴의 아래쪽에 출력되어 있는 제3 메뉴로 손 모양의 아이콘(1700)이 이동될 수 있다.
이어서, 사용자가 감지된 손으로 특정 제스처를 취하는 경우, 제3 메뉴가 선택될 수 있다. 이 경우, 상기 특정 제스처를 따라, 변경된 아이콘(1710)이 출력될 수 있다.
또 다른 실시 예로서, 사용자가 상기 가상의 범위 경계 영역에서 소정 제스처를 취하는 경우, 메뉴나 리스트 페이지가 변경될 수 있다.
한편, 상기 프로세서(830)는, 제1 및 제2 좌석에 승객이 탑승한 경우, 제1 및 제2 영역으로 분할되도록 상기 디스플레이(820)를 제어할 수 있다.
실시 예로서, 상기 프로세서(830)는, 상기 제1 좌석에 탑승한 승객이 내리는 경우, 상기 제1 및 제2 영역이 합쳐져 다시 하나의 영역이 되도록 상기 디스플레이(820)를 제어할 수 있다.
도 18a는 센터 콘솔 디스플레이가 터치 패드로 동작하는 실시 예를 설명하기 위한 개념도이다.
도 18a를 참조하면, 후석의 센터 콘솔 디스플레이(1800)는 왼쪽 RSE와 오른쪽 RSE의 터치 패드로 동작할 수 있다.
실시 예로서, 센터 콘솔 디스플레이(1800)에 가해지는 터치 또는 제스처 입력에 의해, RSE에 출력되는 내용이 변경될 수 있다. 또 다른 예로, 센터 콘솔 디스플레이(1800)에는 마우스 포인터 등이 출력될 수 있다.
또 다른 실시 예로서, 후석에 승객이 탑승하기 전, 센터 콘솔 디스플레이(1800)의 전원은 OFF 상태일 수 있다. 이후, 적어도 하나의 후석에 승객이 탑승하는 경우, 센터 콘솔 디스플레이(1800)의 전원이 ON 상태로 전환될 수 있다.
또 다른 실시 예로서, 하나의 후석에 승객이 탑승하는 경우, 센터 콘솔 디스플레이(1800)는 두 개의 영역으로 분할될 수 있다. 또한, 승객이 탑승한 쪽에 인접한 센터 콘솔 디스플레이(1800) 영역의 전원이, ON 상태로 전환될 수 있다.
이하, 센터 콘솔 디스플레이(1800)와 관련된 구체적인 예를 후술하고자 한다.
도 18b는 승객의 탑승 여부에 따라 화면이 분할되는 실시 예를 설명하기 위한 개념도이다.
도 18b를 참조하면, 후석 센터 콘솔의 디스플레이(1800)는, 승객이 탑승하기 전 하나의 전체 영역(1810)을 포함할 수 있다. 이때, 전체 영역(1810)의 전원은 OFF 상태일 수 있다.
실시 예로서, 왼쪽 좌석에 승객이 탑승하는 경우, 전체 영역(1810)이 왼쪽 시트(110RL)에 인접한 제1 영역(1820)과 오른쪽 시트(110RR)에 인접한 제2 영역(1830)으로 분할될 수 있다.
이때, 왼쪽 좌석에 승객이 탑승하였는지 여부는, 차량(100) 내부를 촬영하는 카메라로 감지할 수 있다. 또한, 제1 영역(1820)의 전원은 ON 상태로 전환될 수 있다.
이어서, 왼쪽 좌석에서 승객이 내리는 경우, 다시 하나의 전체 영역(1810)으로 합쳐질 수 있다. 이때, 승객의 하차 여부도 차량(100) 내부를 촬영하는 카메라로 감지할 수 있으며, 전체 영역(1810)의 전원은 ON 상태로 설정될 수 있다.
도 19는 제스처에 의해 화면이 분할되는 실시 예를 설명하기 위한 개념도이다.
도 19를 참조하면, 앞서 설명한 것과 같이, 디스플레이(820)는 후석의 양쪽 시트(110RL, 110RR) 사이에 후석 센터 콘솔(Rear Center Console)로 구현될 수 있다. 이 경우, 상기 디스플레이(820)는 하나의 전체 영역(1810)을 포함할 수 있다.
실시 예로서, 하나의 터치(제스처) 가능한 영역(1810)에 아래쪽으로의 스와이프 입력이 가해지면, 두 개의 영역(1820, 1830)으로 분할될 수 있다. 이때, 기 설정된 애니메이션 효과가 출력될 수 있다.
예를 들면, 왼쪽 시트(110RL)에 인접한 제1 영역(1820)과 오른쪽 시트(110RR)에 인접한 제2 영역(1830)으로 분할될 수 있다.
또 다른 예로, 상기 디스플레이(820)는 왼쪽 및 오른쪽 RSE에 대응되는 전원버튼을 포함할 수 있다. 전원이 ON 상태인 경우에, 각각의 영역에 가해지는 제스처(터치)가 감지될 수 있다. 또한, 전원이 ON 상태인 경우, 전원버튼에 라이팅 효과가 출력될 수 있다.
실시 예로서, 왼쪽 영역의 전원이 ON 상태에서 아래쪽으로의 스와이프 입력이 가해지는 경우, 두 개의 영역(1820, 1830)으로 분할될 수 있다. 이때, 제1 영역(1820)의 전원은 ON 상태이고, 제2 영역(1830)의 전원은 OFF 상태일 수 있다.
이어서, 제2 영역(1830)의 전원버튼에 터치입력이 가해지는 경우, 제2 영역(1830)의 전원이 ON 상태로 전환될 수 있다.
또 다른 실시 예로서, 두 개의 영역(1820, 1830)으로 분할된 상태에서 다시 위쪽으로의 스와이프 입력이 가해지는 경우, 분할된 영역(1820, 1830)이 하나의 전체 영역(1810)으로 합쳐질 수 있다.
도 20은 센터 콘솔의 디스플레이가 터치 패드로 동작하는 구체적인 실시 예를 설명하기 위한 개념도이다.
도 20을 참조하면, 후석 센터 콘솔의 디스플레이(2020)에 터치입력(탭)을 가하면, 화면 이동 방향을 보여주는 커서 가이드(2030)가 RSE 디스플레이(2010)에 출력될 수 있다.
실시 예로서, 센터 콘솔의 디스플레이(2020)에는 커서 가이드(2030)에 대응되는 영역이 설정될 수 있다. 예를 들어, 사용자가 센터 콘솔의 디스플레이(2020)에 터치입력을 가하면, 터치입력이 가해진 지점을 중심으로 소정 반경을 갖는 원 영역이 설정될 수 있다. 이때, 커서 가이드(2030)에 대응되는 영역이 센터 콘솔의 디스플레이(2020)에 표시될 수 있다.
또한, 커서 가이드(2030)에 대응되는 센터 콘솔 디스플레이(2020) 영역에 터치입력(클릭)을 가해, 영상의 출력 방향을 변경시킬 수 있다.
예를 들어, 커서 가이드(2030)의 오른쪽 커서를 선택하는 입력이 센터 콘솔 디스플레이(2020) 영역에 가해지면, 화면이 오른쪽으로 이동될 수 있으며 이를 알려주는 메시지(2040)가 출력될 수 있다.
또 다른 실시 예로서, 소정 시간 동안 센터 콘솔 디스플레이(2020) 영역에 입력이 없는 경우, 커서 가이드(2030)의 출력이 종료될 수 있다.
한편, 상기 디스플레이(820)는, 소정 조건에 따라 기 설정되어 있는 복수의 모드 중 하나의 모드로 설정될 수 있으며, 상기 프로세서(830)는, 상기 센서(810)를 이용하여 감지되는 사용자의 상태 정보에 근거하여, 상기 복수의 모드 중 하나로 상기 디스플레이(820)의 모드를 설정할 수 있다.
도 21은 승객 탑승 여부에 따라 디스플레이가 분할되는 실시 예를 설명하기 위한 개념도이다.
도 21을 참조하면, 제1 좌석에 대응되는 제1 디스플레이(2110)와 제2 좌석에 대응되는 제2 디스플레이(2120)에서 콘텐츠가 출력되고 있는 중에, 제1 좌석에 탑승한 승객이 하차할 수 있다. 이때, 승객의 하차 여부는 차량(100) 내부를 촬영하는 카메라로 인식할 수 있다.
이에 따라, 제1 좌석이 비었기에 화면을 OFF 상태로 전환한다는 메시지(2130)가 제1 디스플레이(2110)에 출력될 수 있으며, 소정 시간 경과 후 제1 디스플레이(2110)가 OFF 상태로 전환될 수 있다.
실시 예로서, 제1 좌석에 다시 승객이 탑승하는 경우, 제1 디스플레이(2110)의 전원이 ON 상태로 전환될 수 있다.
또 다른 실시 예로서, 상기 소정 시간 내에 제1 좌석에 승객이 다시 탑승하는 경우, 제1 디스플레이(2110)의 전원이 OFF 상태로 전환되지 않으며, 다시 원래의 상태로 복귀될 수 있다.
도 22는 사용자의 상태에 따라 디스플레이의 모드가 변경되는 실시 예를 설명하기 위한 개념도이다.
도 22를 참조하면, 디스플레이(2200)에서 동영상 재생 중 승객이 특정 동작을 취하는 경우, 예를 들면, 승객이 디스플레이(2200)를 응시하지 않는 경우(책이나 신문을 읽는 동작이 카메라에 의해 감지), 동영상이 일시 정지 될 수 있다.
이어지는 실시 예로서, 소정 시간 경과 후, 특정 모드(Reading Mode)가 설정되었음을 알려주는 메시지(2210)가 출력될 수 있다. 상기 특정 모드에서는, 화면에 출력 중이던 동영상이 흐릿하게 표시되며, 상기 메시지(2210) 만이 출력될 수 있다.
이후, 승객이 다시 동영상을 응시하는 경우(책이나 신문을 내려놓는 동작이 카메라에 의해 감지), 동영상이 일시 정지된 화면이 다시 출력될 수 있다.
또 다른 실시 예로서, 디스플레이(2200)에서 콘텐츠가 출력 중 승객이 특정 동작을 취하는 경우, 예를 들면, 승객이 디스플레이(2200)를 응시하지 않는 경우(책이나 신문을 읽는 동작이 카메라에 의해 감지)가 감지될 수 있다.
이에 따라, 소정 시간 경과 후, 특정 모드(Reading Mode)가 설정되었음을 알려주는 메시지(2210)가 출력될 수 있다. 상기 특정 모드에서는, 화면에 출력 중이던 콘텐츠가 흐릿하게 표시되며, 상기 메시지(2210) 만이 출력될 수 있다.
이후, 승객이 다시 화면을 응시하는 경우(책이나 신문을 내려놓는 동작이 카메라에 의해 감지), 콘텐츠가 다시 출력될 수 있다.
이와 관련된 실시 예로서, 승객이 화면을 응시하지 않음에 따라 설정될 수 있는 특정 모드에서는, 디스플레이의 일부 기능이 제한될 수 있다. 구체적으로, 출력 중이던 콘텐츠가 흐릿하게 표시되고, 특정 모드임을 알려주는 메시지 만이 출력될 수 있다. 또는, 알림 메시지(메시지 수신) 등이 팝업으로 음향 효과, 햅틱 효과 등과 함께 출력될 수 있다.
본 발명에 따른 차량에 구비된 디스플레이 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 주 사용자의 손인지에 따라, 해당 디스플레이에서 제스처에 대응되는 기능의 실행 여부가 결정될 수 있다. 이에 따라, 주 사용자가 아닌 사용자에 의해 디스플레이의 출력 내용이 변경되는 문제점을 해결할 수 있다.
또한, 주 사용자가 아닌 경우에도, 실행되는 기능, 주 사용자가 입력한 기능과의 상충 여부, 주 사용자의 상태 등을 고려하여, 제한적으로 제스처에 대응되는 기능이 실행될 수 있다.
또 다른 예로, 제스처 가이드 영역이 출력 됨으로써, 사용자가 손쉽게 제스처 입력을 가할 수 있다.
또 다른 예로, 승객의 탑승여부에 따라 디스플레이가 자동 분할되거나 합쳐질 수 있다. 이에 따라, 제한된 영역의 디스플레이가 효율적을 사용될 수 있으며, 전력 또한 절약될 수 있다.
또 다른 예로, 탑승자의 현재 상태에 따라 디스플레이의 모드를 설정함으로써, 불필요한 입력 없이 디스플레이의 출력 상태가 자동으로 변경될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 센서;
    디스플레이; 및
    상기 센서를 이용하여 사용자의 손을 감지하고, 상기 감지된 손의 제스처에 따라 소정 기능이 실행되어, 대응하는 정보가 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 디스플레이의 주 사용자를 설정하고, 상기 감지된 손이 상기 주 사용자의 손인지 여부에 따라, 상기 소정 기능의 실행 여부를 결정하는 것을 특징으로 하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 소정 조건이 만족되면, 상기 소정 기능을 실행하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 디스플레이를 통해 실행 가능한 기능들은, 제1 및 제2 그룹으로 분류되고,
    상기 프로세서는,
    상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 소정 기능이 상기 제1 그룹으로 분류되면, 상기 소정 기능을 실행하는 것을 특징으로 하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 주 사용자에게 특정 상황이 감지되면, 상기 소정 기능을 실행하는 것을 특징으로 하는 디스플레이 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 감지된 손이 상기 주 사용자의 손이 아닌 경우, 상기 소정 조건이 만족되면, 상기 감지된 손에 대응되는 객체가 출력되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 감지된 손의 제스처에 따라 상기 객체의 출력 방식이 변경되도록, 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    제1 사용자의 손에 의한 제1 제스처와 제2 사용자의 손에 의한 제2 제스처가 소정 시간 이내에 입력되는 경우, 상기 제1 제스처에 대응하는 제1 기능을 상기 제2 제스처에 대응하는 제2 기능보다 우선적으로 실행하며,
    상기 제1 사용자는 상기 주 사용자이고, 상기 제2 사용자는 상기 주 사용자 이외의 사용자인 것을 특징으로 하는 디스플레이 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 및 제2 기능이 상충되는 경우, 상기 제2 기능을 실행하지 않는 것을 특징으로 하는 디스플레이 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 및 제2 기능이 상충되지 않는 경우, 상기 제1 기능을 실행한 후 상기 제2 기능을 실행하는 것을 특징으로 하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 및 제2 사용자의 손에 각각 대응하여 제1 및 제2 객체가 출력되도록 상기 디스플레이를 제어하며,
    상기 제1 및 제2 객체는, 서로 다른 그래픽 객체인 것을 특징으로 하는 디스플레이 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 대응하는 소정 좌석에 탑승한 사용자를 주 사용자로 설정하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 센서를 이용하여 차량 내 좌석을 촬영한 영상으로부터, 상기 감지된 손이 상기 소정 좌석에 탑승한 사용자의 손인지 여부를 판단하는 것을 특징으로 하는 디스플레이 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 센서를 이용하여 상기 주 사용자의 손을 촬영한 영상을 획득하고, 상기 획득된 영상과 상기 감지된 손을 촬영한 영상을 비교하여, 상기 감지된 손이 상기 주 사용자의 손인지 여부를 판단하는 것을 특징으로 하는 디스플레이 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 소정 좌석에 승객이 탑승하는 경우, 상기 탑승한 승객의 손을 촬영하기 위한 촬영 가이드 정보가 표시되도록, 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  15. 센서;
    디스플레이; 및
    상기 센서를 이용하여 사용자의 손을 감지하고, 상기 감지된 손의 제스처에 따라 소정 기능이 실행되어, 대응하는 정보가 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 감지된 손에 대응되는 객체가 출력되도록 상기 디스플레이를 제어하며,
    상기 객체는, 상기 감지된 손의 위치를 기준으로 소정 범위 내의 공간에 대응하는 제스처 가이드 영역을 포함하는 것을 특징으로 하는 디스플레이 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 소정 범위 내의 공간에서 이루어지는 상기 감지된 손의 제스처에 따라, 대응하는 정보가 표시되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 제스처 가이드 영역에, 상기 감지된 손의 위치를 따라 이동하는 아이콘이 출력되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    제1 및 제2 좌석에 승객이 탑승한 경우, 제1 및 제2 영역으로 분할되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 제1 좌석에 탑승한 승객이 내리는 경우, 상기 제1 및 제2 영역이 합쳐져 다시 하나의 영역이 되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  20. 제15항에 있어서,
    상기 디스플레이는,
    소정 조건에 따라 기 설정되어 있는 복수의 모드 중 하나의 모드로 설정될 수 있으며,
    상기 프로세서는,
    상기 센서를 이용하여 감지되는 사용자의 상태 정보에 근거하여, 상기 복수의 모드 중 하나로 상기 디스플레이의 모드를 설정하는 것을 특징으로 하는 디스플레이 장치.
PCT/KR2017/015744 2017-12-26 2017-12-29 차량에 구비된 디스플레이 장치 WO2019132078A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/957,166 US20200346546A1 (en) 2017-12-26 2017-12-29 In-vehicle display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0179968 2017-12-26
KR1020170179968A KR102041965B1 (ko) 2017-12-26 2017-12-26 차량에 구비된 디스플레이 장치

Publications (1)

Publication Number Publication Date
WO2019132078A1 true WO2019132078A1 (ko) 2019-07-04

Family

ID=67063853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/015744 WO2019132078A1 (ko) 2017-12-26 2017-12-29 차량에 구비된 디스플레이 장치

Country Status (3)

Country Link
US (1) US20200346546A1 (ko)
KR (1) KR102041965B1 (ko)
WO (1) WO2019132078A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016218694A1 (de) * 2016-09-28 2018-03-29 Volkswagen Aktiengesellschaft Anordnung, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders eines Fortbewegungsmittels
DE102019205097A1 (de) * 2019-04-09 2020-10-15 Volkswagen Aktiengesellschaft Verfahren zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs, System zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs
US11014506B2 (en) * 2019-06-13 2021-05-25 Ford Global Technologies, Llc Vehicle having a track assembly and a carriage assembly
US10960826B2 (en) * 2019-06-13 2021-03-30 Ford Global Technologies, Llc Vehicle having a track assembly and a carriage assembly
KR102246498B1 (ko) * 2019-08-22 2021-05-03 주식회사 이에스피 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법
KR20210089823A (ko) 2020-01-08 2021-07-19 엘지전자 주식회사 차량용 디스플레이 장치
KR102343244B1 (ko) 2020-01-08 2021-12-23 엘지전자 주식회사 차량용 디스플레이 장치
KR102344644B1 (ko) 2020-01-08 2021-12-28 엘지전자 주식회사 차량용 디스플레이 장치
CN116867664A (zh) * 2021-02-19 2023-10-10 华为技术有限公司 车辆信息娱乐系统
CN114296582B (zh) * 2021-12-23 2024-01-30 浙江极氪智能科技有限公司 一种3d车模的控制方法、系统、设备及存储介质
CN117111727A (zh) * 2023-02-22 2023-11-24 荣耀终端有限公司 手方向的检测方法、电子设备及可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519290B1 (ko) * 2014-04-09 2015-05-11 현대자동차주식회사 차량용 헤드 업 디스플레이 제어방법
KR20150072074A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 차량 제스처 인식 시스템 및 그 제어 방법
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20170041418A (ko) * 2015-10-07 2017-04-17 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
KR20170135183A (ko) * 2016-05-30 2017-12-08 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
DE10100617A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Steuerbare Anordnung mit Benutzerauthentisierung
DE10100616A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Authentisierung einer Person mittels Handerkennung
US20060034492A1 (en) * 2002-10-30 2006-02-16 Roy Siegel Hand recognition system
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9042606B2 (en) * 2006-06-16 2015-05-26 Board Of Regents Of The Nevada System Of Higher Education Hand-based biometric analysis
US8031402B2 (en) * 2007-06-14 2011-10-04 Tripp David M Split screen discrete viewing method
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
US8892299B2 (en) * 2009-10-05 2014-11-18 Tesla Motors, Inc. Vehicle user interface with proximity activation
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
KR20120054739A (ko) * 2010-11-22 2012-05-31 현대자동차주식회사 사용자 인식을 통한 차량 유저인터페이스 제공 시스템
US20120260287A1 (en) * 2011-04-07 2012-10-11 Sony Corporation Personalized user interface for audio video display device such as tv
WO2013036632A1 (en) * 2011-09-09 2013-03-14 Thales Avionics, Inc. Eye tracking control of vehicle entertainment systems
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
DE102012206030A1 (de) * 2012-04-13 2013-10-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern zumindest einer Funktion zumindest eines Anzeigegerätes für einen Innenraum eines Fahrzeugs
KR20140063272A (ko) * 2012-11-16 2014-05-27 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US20150081133A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Gesture-based system enabling children to control some vehicle functions in a vehicle
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9725098B2 (en) * 2014-08-11 2017-08-08 Ford Global Technologies, Llc Vehicle driver identification
US20160085958A1 (en) * 2014-09-22 2016-03-24 Intel Corporation Methods and apparatus for multi-factor user authentication with two dimensional cameras
US9550406B2 (en) * 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US10315566B2 (en) * 2016-03-07 2019-06-11 Lg Electronics Inc. Vehicle control device mounted on vehicle and method for controlling the vehicle
DE102017216837A1 (de) * 2017-09-22 2019-03-28 Audi Ag Gestik- und Mimiksteuerung für ein Fahrzeug
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
US20190251884A1 (en) * 2018-02-14 2019-08-15 Microsoft Technology Licensing, Llc Shared content display with concurrent views

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20150072074A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 차량 제스처 인식 시스템 및 그 제어 방법
KR101519290B1 (ko) * 2014-04-09 2015-05-11 현대자동차주식회사 차량용 헤드 업 디스플레이 제어방법
KR20170041418A (ko) * 2015-10-07 2017-04-17 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
KR20170135183A (ko) * 2016-05-30 2017-12-08 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량

Also Published As

Publication number Publication date
US20200346546A1 (en) 2020-11-05
KR102041965B1 (ko) 2019-11-27
KR20190088090A (ko) 2019-07-26

Similar Documents

Publication Publication Date Title
WO2019132078A1 (ko) 차량에 구비된 디스플레이 장치
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2019117333A1 (ko) 차량에 구비된 디스플레이 장치 및 디스플레이 장치의 제어방법
WO2018056536A1 (ko) 계기판 디스플레이 및 그것을 포함하는 차량
WO2019221390A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2017155219A1 (en) Vehicle control device mounted in vehicle and control method thereof
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2017030240A1 (ko) 차량 보조 장치 및 차량
WO2018110789A1 (en) Vehicle controlling technology
WO2018079919A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018110762A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018097423A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2022154299A1 (ko) 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
WO2019054719A1 (ko) 차량 운전 보조 장치 및 차량
WO2018199380A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2019066477A1 (en) AUTONOMOUS VEHICLE AND ITS CONTROL METHOD
WO2017155199A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2021141145A1 (ko) 영상 출력 장치 및 그것의 제어 방법
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2018097424A1 (ko) 차량용 통신 장치 및 차량
WO2020017677A1 (ko) 영상 출력 장치
WO2018235979A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2021002487A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936095

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17936095

Country of ref document: EP

Kind code of ref document: A1