WO2016085198A1 - 전자기기 및 그것의 제어방법 - Google Patents

전자기기 및 그것의 제어방법 Download PDF

Info

Publication number
WO2016085198A1
WO2016085198A1 PCT/KR2015/012479 KR2015012479W WO2016085198A1 WO 2016085198 A1 WO2016085198 A1 WO 2016085198A1 KR 2015012479 W KR2015012479 W KR 2015012479W WO 2016085198 A1 WO2016085198 A1 WO 2016085198A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch screen
driver
gaze
touch
electronic device
Prior art date
Application number
PCT/KR2015/012479
Other languages
English (en)
French (fr)
Inventor
장수형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/105,822 priority Critical patent/US10168824B2/en
Priority to EP15863722.3A priority patent/EP3226105A4/en
Publication of WO2016085198A1 publication Critical patent/WO2016085198A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/168—Target or limit values
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/197—Blocking or enabling of input functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/199—Information management for avoiding maloperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to an electronic device having a touch screen and a control method thereof.
  • Electronic devices that can have such a function can be divided into portable electronic devices such as a terminal and fixed electronic devices such as an image display device and a refrigerator.
  • the electronic device is implemented in the form of a multimedia player having complex functions such as taking a picture or a video, playing a music or a video file, playing a game, or receiving a broadcast.
  • a multimedia player having complex functions such as taking a picture or a video, playing a music or a video file, playing a game, or receiving a broadcast.
  • such electronic devices use GPS radio signals to provide information and a movement route about a place where a user wants to go.
  • an electronic device capable of performing various functions as described above is provided in a vehicle, and a driver can use various functions using the electronic device provided in the vehicle.
  • the functions of the electronic device are diversified, the forward attention rate at which the driver's eyes are looking forward is lowered, thereby increasing the accident rate.
  • An object of the present invention is to provide an electronic device capable of controlling the touch screen based on the driver's eyes and a control method thereof.
  • Another object of the present invention is to provide an electronic device and a control method thereof capable of providing various information using a touch screen so that the driver's gaze faces forward.
  • An electronic device provided in a vehicle detects the driver's gaze by using a touch screen, a camera formed to photograph the driver, and an image received through the camera, and the driver's gaze And a controller configured to control the touch screen to perform a preset function on the touch screen based on a deviation from a preset range for a predetermined time or more.
  • the preset function may be performed under the premise that the vehicle is in a driving state.
  • the time at which the gaze deviates from the preset range is measured from a time point at which a touch is applied to the touch screen.
  • the control unit may limit an input function to the touch screen when the driver's gaze deviates from a preset range for a predetermined time or more.
  • information to induce the use of a voice or a user input unit is output to the touch screen.
  • control unit may perform different functions according to a time when the gaze is out of a preset range.
  • the controller may be further configured to convert first screen information output on the touch screen into second screen information different from the first screen information when the gaze is out of the preset range for a first time period.
  • the input function for the touch screen is limited.
  • the second screen information may be screen information with limited selection of at least some of selectable information included in the first screen information.
  • the control unit may output notification information indicating that the input function for the touch screen is limited when the gaze is out of the preset range for the second time.
  • the control unit may turn off the touch screen when the gaze is out of the preset range for a third time longer than the second time.
  • the display device may further include a camera configured to face the front of the vehicle, wherein the controller is configured to turn off the touch screen when the gaze is out of the preset range for the third time.
  • the image received through the camera formed to face forward is characterized in that for outputting to the touch screen.
  • the display device may further include a display unit formed at a position different from the position where the touch screen is disposed, and the controller may include a screen output on the touch screen when the driver's gaze deviates from a preset range for a predetermined time or more. And outputting information to the display unit.
  • the controller may be configured to turn off the touch screen when it is determined that the driver's gaze faces the touch screen for the predetermined time while the vehicle is running.
  • a method of controlling an electronic device provided in a vehicle may include detecting a driver's gaze using an image received through a camera and having the driver's gaze deviate from a preset range for a predetermined time or more. And controlling the touch screen to perform a predetermined function on the touch screen.
  • the preset function may be performed under the premise that the vehicle is in a driving state.
  • the time at which the gaze deviates from the preset range is measured from a time point at which a touch is applied to the touch screen.
  • the controlling may include limiting an input function to the touch screen when the driver's gaze deviates from a preset range for a predetermined time or more.
  • the touch screen may include a plurality of touch screens, and the controller may be configured to display screen information being output to the plurality of touch screens based on the driver's gaze being out of the predetermined range for a predetermined time or more.
  • the screen information being output to the plurality of touch screens is disappeared based on the passage of time.
  • the plurality of touch screens include a first touch screen and a second touch screen different from the first touch screen, and the distance between the first touch screen and the driver is: And a distance closer to a distance between the second touch screen and the driver, and the controller may cause the screen information being output to the second touch screen to disappear when the driver's gaze deviates from the preset range for more than a first time. And maintains screen information being output to the first touch screen, and the screen information being output to the first touch screen is based on the driver's gaze deviating from the preset range by more than a second time longer than the first time. Characterized by disappearing.
  • the camera may be configured to further photograph the driver and another user, and the controller may be configured to allow the user who is not the driver to touch the plurality of touch screens based on an image received through the camera.
  • the output information is maintained instead of disappearing the screen information being output to the one of the touch screens.
  • the input function for any one of the touch screens is maintained without being limited, when it is determined that the user, who is not the driver, applies a touch to the one of the touch screens.
  • the camera may be configured to further photograph the driver and another user, and the controller may further detect the gaze of the user by using an image received through the camera, When it is determined that the gaze and the gaze of the user are directed toward the touch screen together for a predetermined time or more, the touch screen is controlled to perform a specific function.
  • the controller may provide notification information for inducing the driver to stare at the preset range. It characterized in that the output to.
  • the operation of the touch screen is performed by the user instead of the driver. And changing an output form of screen information which is already output on the touch screen.
  • a plurality of selectable menu items may be output to the touch screen, and each of the plurality of menu items may have a predetermined depth, and the controller may control a range in which the driver's gaze is preset. The longer the departure time is characterized by limiting the selection sequentially from the menu item having a lot of depth.
  • the control unit may output notification information for counting down the time remaining until the input function of the touch screen is limited when the driver's gaze is out of a preset range for a predetermined time or more.
  • the input function for the touch screen is limited based on the elapse of the remaining time.
  • the present invention detects a driver's gaze while driving a vehicle, and when the driver's gaze deviates from a preset range for a predetermined time or more as the driver applies a touch on the touch screen, the screen information output on the touch screen is switched or the touch screen is touched. It is possible to limit the touch input function for. In this way, the present invention may guide the driver's gaze to the front while maintaining at least some of the screen information output to the electronic device.
  • the present invention when the driver's gaze deviates from the preset range for a predetermined time or more (looking at the touch screen for a predetermined time or more), the image received through the camera formed to turn off (OFF) or forward the touch screen Can be output on the touch screen. Therefore, the present invention can lower the accident rate by inducing the driver to look forward.
  • FIG. 1 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a telematics terminal system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a telematics terminal according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating a system inside a vehicle according to an exemplary embodiment.
  • FIG. 5 is a flowchart representatively showing a control method of the present invention.
  • FIG. 6 is a conceptual diagram illustrating the control method described with reference to FIG. 5.
  • FIG. 7 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present invention in detail.
  • FIG. 8 is a conceptual view illustrating conversion of first screen information output on a touch screen of an electronic device to second screen information according to an embodiment of the present disclosure.
  • FIG. 9 is a conceptual view illustrating that an input function for a touch screen is limited in an electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is a conceptual view illustrating that an image received through a camera formed to turn off or face the touch screen in an electronic device according to an embodiment of the present disclosure is output to the touch screen.
  • 11A, 11B, and 11C are conceptual views illustrating a control method when a plurality of touch screens are provided in an electronic device according to an embodiment of the present disclosure.
  • 12A, 12B, and 12C are conceptual views illustrating a method of performing a specific function based on a gaze stared by a plurality of users in an electronic device according to an embodiment of the present disclosure.
  • FIG. 13 is a conceptual view illustrating a method of limiting selection of menu items having different depths in an electronic device according to an embodiment of the present disclosure.
  • FIG. 14 is a conceptual view illustrating that an input function for a touch screen is limited according to another embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • Electronic devices described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants, portable multimedia players, navigation, slate PCs.
  • the tablet PC may include a tablet PC, an ultrabook, a telematics terminal, and the like.
  • Various embodiments of the present invention described below are based on a mobile terminal such as a mobile phone or a smart phone, but the functions applied to the mobile terminal are portable electronic devices that do not use a communication network such as PMP, navigation, telematics terminal, It can also be applied to fixed electronic devices such as digital TVs, desktop computers, refrigerators, projectors, and the like.
  • the electronic device 100 includes a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, and an output unit 150. , A memory 160, an interface unit 170, a controller 180, a power supply unit 190, and the like. Not all components of the electronic device 100 shown in FIG. 1 are essential components, and the electronic device 100 may be implemented by more components than those shown in FIG. 1, and fewer components. Electronic device 100 may also be implemented by.
  • the wireless communication unit 110 may include one or more components for performing wireless communication between the electronic device 100 and the wireless communication system or wireless communication between the electronic device 100 and the network in which the electronic device 100 is located.
  • the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless internet module 113, a short range communication module 114, a location information module 115, and the like. .
  • the broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a pre-generated broadcast signal and / or broadcast related information and transmits the same to the electronic device 100.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may be provided through a mobile communication network, and in this case, may be received by the mobile communication module 112.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVD-H Digital Video Broadcast-Handheld
  • the broadcast receiving module 111 receives broadcast signals using various broadcasting systems, and in particular, digital multimedia broadcasting-terrestrial (DMB-T), digital multimedia broadcasting-satellite (DMB-S), and media forward link (MediaFLO). Digital broadcast signals can be received using digital broadcasting systems such as only), digital video broadcast-handheld (DVB-H), integrated services digital broadcast-terrestrial (ISDB-T), and the like. Of course, the broadcast receiving module 111 is configured to be suitable for all broadcast systems providing broadcast signals as well as the digital broadcast system described above. The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.
  • DMB-T digital multimedia broadcasting-terrestrial
  • DMB-S digital multimedia broadcasting-satellite
  • MediaFLO media forward link
  • Digital broadcast signals can be received using digital broadcasting systems such as only), digital video broadcast-handheld (DVB-H), integrated services digital broadcast-terrestrial (ISDB-T), and the like.
  • the broadcast receiving module 111 is configured
  • the mobile communication module 112 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call signal, and / or a text / multimedia message.
  • the wireless internet module 113 refers to a module for wireless internet access, and the wireless internet module 113 may be embedded or external to the electronic device 100.
  • the wireless Internet technologies include wireless LAN (WLAN), Wi-Fi, wireless broadband (Wibro), WiMAX (World Interoperability for Microwave Access; Wimax), HSDPA (High Speed Downlink Packet Access), and the like. Can be used.
  • the short range communication module 114 means a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, Wireless LAN (Bluetooth, 802.11n, etc. protocol) may be used. .
  • RFID Radio Frequency Identification
  • IrDA infrared data association
  • UWB Ultra Wideband
  • ZigBee Wireless LAN (Bluetooth, 802.11n, etc. protocol) may be used. .
  • the position information module 115 is a module for checking or obtaining the position of the mobile terminal (possible to check the position of the vehicle when the navigation or telematics terminal or the mobile terminal is mounted on the vehicle).
  • One example is the Global Position System (GPS) module.
  • GPS Global Position System
  • the GPS module receives location information from a plurality of satellites.
  • the location information may include coordinate information represented by latitude and longitude.
  • the GPS module can measure the exact time and distance from three or more satellites and accurately calculate the current position by triangulating three different distances. A method of obtaining distance and time information from three satellites and correcting the error with one satellite may be used.
  • the GPS module can obtain not only the location of latitude, longitude, and altitude but also accurate time together with three-dimensional speed information from the location information received from the satellite.
  • a Wi-Fi Positioning System and / or a Hybrid Positioning System may be applied as the location information module 115.
  • the A / V input unit 120 is for inputting an audio signal or a video signal, and the A / V input unit 120 includes a camera 121 and a microphone 122. May be included.
  • the camera 121 processes an image frame such as a still image or a video obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 151.
  • the image frame processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. Two or more cameras 121 may be configured according to the configuration of the mobile terminal.
  • the microphone 122 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 112 and output.
  • the microphone 122 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input unit 130 generates input data for the user to control the operation of the mobile terminal.
  • the user input unit 130 may include a key pad dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like.
  • a touch pad static pressure / capacitance
  • a jog wheel a jog switch
  • a touch screen a touch screen
  • the sensing unit 140 may be an electronic device such as an open / closed state of the electronic device 100, a position of the electronic device 100, a user contact, an orientation of the electronic device 100, an acceleration / deceleration of the electronic device 100, or the like.
  • the sensing state of the electronic device 100 generates a sensing signal for controlling the operation of the electronic device 100. For example, when the electronic device 100 is in the form of a slide phone, whether the slide phone is opened or closed may be sensed.
  • the sensing unit 140 may be responsible for sensing functions related to whether the power supply unit 190 supplies power or whether the interface unit 170 is coupled to an external device.
  • the sensing unit 140 may include a proximity sensor 141, a pressure sensor 143, a motion sensor 145, and the like.
  • the proximity sensor 141 may detect the presence of an object approaching the electronic device 100 or the presence of an object in the vicinity of the electronic device 100 without mechanical contact.
  • the proximity sensor 141 may detect a proximity object by using a change in an alternating magnetic field or a change in a static magnetic field, or by using a change rate of capacitance.
  • the proximity sensor 141 may be provided with two or more according to the configuration aspect.
  • the pressure sensor 143 may detect whether pressure is applied to the electronic device 100 and the magnitude of the pressure.
  • the pressure sensor 143 may be installed at a portion requiring the detection of pressure in the electronic device 100 according to the use environment. If the pressure sensor 143 is installed in the display unit 151, according to the signal output from the pressure sensor 143, a touch input through the display unit 151 and a pressure greater than the touch input may be applied. The pressure touch input applied can be identified. In addition, according to the signal output from the pressure sensor 143, it is also possible to know the magnitude of the pressure applied to the display unit 151 when the pressure touch input.
  • the motion sensor 145 detects the position or movement of the electronic device 100 using an acceleration sensor, a gyro sensor, or the like.
  • the acceleration sensor that can be used in the motion sensor 145 is an element that converts an acceleration signal in one direction into an electrical signal, and is widely used with the development of micro-electromechanical systems (MEMS) technology.
  • MEMS micro-electromechanical systems
  • Accelerometers measure the acceleration of a large value embedded in an airbag system of a car and used to detect a collision, and to measure the acceleration of a minute value used as an input means such as a game by recognizing a minute motion of a human hand.
  • Accelerometers are usually configured by mounting two or three axes in one package. Depending on the environment, only one axis may be needed. Therefore, if for some reason it is necessary to use the acceleration sensor in the X-axis or Y-axis direction instead of the Z-axis direction, the acceleration sensor may be mounted on the main substrate using a separate engraving
  • the gyro sensor is a sensor for measuring the angular velocity, and may sense a direction returned to the reference direction.
  • the output unit 150 is for outputting an audio signal, a video signal, or an alarm signal.
  • the output unit 150 includes a display unit 151, an audio output module 152, an alarm unit 153, and the like. This may be included.
  • the display unit 151 displays and outputs information processed by the electronic device 100.
  • the display unit 151 displays a user interface (UI) or a graphical user interface (GUI) related to a call when the electronic device 100 is in a call mode.
  • UI user interface
  • GUI graphical user interface
  • the electronic device 100 displays a photographed and / or received image, a UI, or a GUI.
  • the display unit 151 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, or a three-dimensional display. It may include at least one of (3D display). In addition, two or more display units 151 may exist according to the implementation form of the electronic device 100. For example, an external display unit (not shown) and an internal display unit (not shown) may be simultaneously provided in the electronic device 100.
  • the display unit 151 and a sensor for detecting a touch operation form a mutual layer structure (hereinafter referred to as a touch screen)
  • the display unit 151 outputs the touch screen.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 151 or capacitance generated at a specific portion of the display unit 151 into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch.
  • the corresponding signal (s) is sent to a touch controller (not shown).
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 180. As a result, the controller 180 can determine which area of the display unit 151 is touched.
  • the proximity sensor 141 may be disposed in an inner region of the electronic device 100 surrounded by the touch screen or near the touch screen.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using mechanical force by using an electromagnetic force or infrared rays.
  • the proximity sensor 141 has a longer life and higher utilization than a contact sensor.
  • Examples of the proximity sensor 141 include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by a change in an electric field according to the proximity of the pointer.
  • the touch screen may be classified as a proximity sensor.
  • the act of allowing the pointer to be recognized without being in contact with the touch screen so that the pointer is located on the touch screen is referred to as "Proximity Touch", and the touch The act of actually touching the pointer on the screen is called “Contact Touch”.
  • the position of the proximity touch with the pointer on the touch screen means a position where the pointer is perpendicular to the touch screen when the pointer is in proximity touch.
  • the proximity sensor 141 detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). do. Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.
  • a proximity touch and a proximity touch pattern for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state.
  • the sound output module 152 outputs audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like. In addition, the sound output module 152 outputs a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed by the electronic device 100.
  • the sound output module 152 may include a speaker, a buzzer, and the like.
  • the alarm unit 153 outputs a signal for notifying occurrence of an event of the electronic device 100.
  • Examples of events occurring in the mobile terminal include call signal reception, message reception, and key signal input.
  • the alarm unit 153 may output a signal for notifying occurrence of an event in a form other than an audio signal or a video signal.
  • the signal may be output in the form of vibration.
  • the alarm unit 153 may vibrate the mobile terminal through a vibration means.
  • the key signal is input, the alarm unit 153 may vibrate the electronic device 100 through the vibration means in response to the key signal input.
  • the user can recognize the occurrence of the event through the vibration as described above.
  • the signal for notification of event occurrence may be output through the display unit 151 or the voice output module 152.
  • the haptic module 154 generates various haptic effects that a user can feel. Vibration is a representative example of the haptic effect generated by the haptic module 154.
  • the intensity and pattern of vibration generated by the haptic module 154 can be controlled. For example, different vibrations may be synthesized and output or may be sequentially output.
  • the haptic module 154 in addition to the vibration, the pin arrangement to move vertically with respect to the contact skin surface, the blowing force or suction force of the air through the injection or inlet, the grazing to the skin surface, the contact of the electrode (eletrode), electrostatic force and the like
  • Various tactile effects can be produced, such as the effects of the heat-absorbing effect and the effect of reproducing a sense of cold using the elements capable of absorbing heat or generating heat.
  • the haptic module 154 may not only deliver the haptic effect through direct contact, but may also be implemented to allow the user to feel the haptic effect through a muscle sense such as a finger or an arm.
  • the haptic module 154 may be provided with two or more according to the configuration aspect of the telematics terminal.
  • the haptic module 154 may be provided where the contact with the user is frequent in the vehicle. For example, it may be provided in a steering wheel, a shift gear lever, a seat seat, and the like.
  • the memory 160 may store a program for processing and controlling the controller 180 and temporarily stores input / output data (for example, map data, phonebook, message, still image, video, etc.). It can also perform a function for.
  • input / output data for example, map data, phonebook, message, still image, video, etc.
  • the memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory).
  • the electronic device 100 may operate a web storage that performs a storage function of the memory 150 on the Internet.
  • the interface unit 170 serves as an interface with all external devices connected to the mobile terminal 100.
  • the interface unit 170 may include a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device equipped with an identification module, An audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port may be configured.
  • the identification module is a chip that stores various information for authenticating the use authority of the mobile terminal 100, and includes a user identification module (UIM), a subscriber identify module (SIM), and universal user authentication. Module (Universal Subscriber Identity Module, USIM) and the like.
  • the device equipped with the identification module (hereinafter referred to as an identification device) may be manufactured in the form of a smart card. Therefore, the identification module may be connected to the mobile terminal 100 through a port.
  • the interface unit 170 may receive data from an external device or receive power and transmit the data to each component inside the mobile terminal 100 or transmit data within the mobile terminal 100 to an external device.
  • the interface unit 170 may be a passage through which power from the cradle is supplied to the mobile terminal 100 when the mobile terminal 100 is connected to an external cradle, or various commands input by the user from the cradle. It may be a passage through which a signal is transmitted to the mobile terminal 100. Various command signals or power input from the cradle may be operated as signals for recognizing that the mobile terminal 100 is correctly mounted on the cradle.
  • the controller 180 typically controls the overall operation of the electronic device 100.
  • the controller 180 performs related control and processing for voice call, data communication, video call, and the like.
  • the controller 180 may include a multimedia module 181 for multimedia playback.
  • the multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 180.
  • the controller 180 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on a touch screen as text and an image, respectively.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • Functions of the components applied to the electronic device 100 may be implemented in a computer-readable recording medium using software, hardware, or a combination thereof.
  • Hardware implementations include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPCs), and controllers (FPGAs). It may be implemented using at least one of controllers, micro-controllers, microprocessors, electrical units for performing functions, etc. In some cases such embodiments are implemented by the controller 180.
  • embodiments such as a procedure or function may be implemented with a separate software module that performs at least one function or operation
  • Software code may be written in a software application written in a suitable programming language. Software code is also stored in the memory 160 and controlled. It may be executed by the unit 180.
  • the voice recognition module 182 recognizes the voice spoken by the user and performs a corresponding function according to the recognized voice signal.
  • the navigation session 300 applied to the electronic device 100 displays a driving route on map data.
  • the electronic device 100 the eye of the driver using the touch screen 151, the camera 121 is formed to photograph the driver and the image received through the camera.
  • the controller 180 may detect and control the touch screen 151 to perform a preset function on the touch screen 151 based on a deviation of the driver's gaze from the preset range for a predetermined time or more.
  • the electronic device 100 may further include a camera 121 formed to face the front of the vehicle.
  • the controller 180 may output an image received through the camera 121 formed to face the vehicle to the touch screen 151 when the driver's gaze deviates from the preset range for a predetermined time or more.
  • the electronic device 100 may further include a display unit 151a formed at a position different from a position disposed on the touch screen 151.
  • the controller 180 may output the screen information output on the touch screen 151 to the display unit 151a when the driver's gaze deviates from a preset range for a predetermined time or more.
  • the screen information displayed on the touch screen 151 may be stored in the memory 160 or received from an external network through the wireless communication unit 110.
  • the communication unit is configured to include at least one of the wireless communication unit 110 and the interface unit 170 described above, it should be understood that the communication with the other terminal through a wireless or wired.
  • reference numerals are omitted for the communication unit.
  • controller 180 When the controller 180 is implemented in software, embodiments such as a procedure or a function may be implemented with a separate software module for performing at least one function or operation. Such software code may be implemented by a software application written in a suitable programming language. In addition, the software code may be executed by the controller 180.
  • the electronic device 100 may be mounted in a vehicle and included in one configuration of the vehicle terminal 700.
  • the vehicle terminal 700 is a device for performing control on the vehicle equipped with the vehicle terminal 700 or transmitting information about the vehicle.
  • the vehicle terminal 700 provides information about the vehicle, such as the speed and gear state of the vehicle, controls the emergency light of the vehicle on / off, controls the headlight on / off, or the like.
  • the vehicle terminal 700 may include a head-up display (HUD) 751 or a projector 751.
  • HUD head-up display
  • the vehicle terminal 700 may include an input button 730 for receiving a user input
  • the input button 730 is a vehicle steering wheel, the dashboard of the vehicle, the gearshift of the vehicle It may be provided in the vicinity and the armrest of the vehicle, which may serve as a user input unit 130 of the electronic device 100.
  • the controller 180 of the electronic device 100 may provide the touch screen 151 through screen information, and further, communicate with the vehicle terminal 700.
  • the screen information may be provided to the HUD 751 or the projector 751.
  • the screen information may include all kinds of screen information that can be output from an electronic device such as map information, route information, music, and video.
  • the controller 180 displays the screen information on the dashboard of the vehicle through the vehicle terminal 700 or the head-up display 751 or the HUD through the vehicle terminal 700.
  • the projector 751 may be used to control the display on the windshield of the vehicle.
  • the head-up display (HUD) may be mounted on a dashboard of a vehicle, and since the HUD and the projector may be generally known, a detailed description thereof will be omitted.
  • the electronic device 100 may be mounted in a vehicle and included as one component of the vehicle terminal 700.
  • the vehicle terminal 700 may include the electronic device 100 as one configuration.
  • the vehicle terminal 700 may be understood as an embodiment of the electronic device 100. That is, when the electronic device 100 is provided in the vehicle, the vehicle terminal 700 may mean only the name of the electronic device 100. In this case, the electronic device 100 provided in the vehicle may include all the configurations and functions described with respect to the vehicle terminal 700.
  • the telematics terminal 200 which is an embodiment of the electronic device 100 of the present invention will be described in more detail.
  • FIG. 2 is a block diagram illustrating a telematics terminal system according to an exemplary embodiment disclosed herein.
  • the vehicle telematics terminal system includes an information providing center 40 for providing traffic information and various data (e.g., a program, an executable file, etc.); A telematics terminal mounted in a vehicle and receiving traffic information through a long range wireless communication network 30 and / or a short range wireless communication network, and providing a road guidance service based on the GPS signal received through the satellite 20 and the traffic information. It consists of 200.
  • the communication network may further include a wired / wireless communication network such as a local area network (LAN) and a wide area network (WAN).
  • LAN local area network
  • WAN wide area network
  • various traffic information including traffic light information is collected, and the collected information is transport protocol expert group (TPEG) in the information providing center 40 (eg, a server). It is processed according to the standard and transmitted to the broadcasting station. Accordingly, the broadcasting station inserts traffic information including traffic light information into the broadcast signal and broadcasts the information to the telematics terminal 200.
  • the traffic light information may be received from a server (not shown) installed in the traffic light when the vehicle is adjacent to the traffic light.
  • the server may be collected from various paths connected to a communication network, for example, operator input, wired or wireless Internet, TDC (Transparent Data Channel), digital broadcasting service such as a multimedia object transport (MOC), another server or a probe car.
  • TDC Transmission Data Channel
  • MOC multimedia object transport
  • Various traffic information is reconstructed into a traffic information format such as a format according to the TPEG (Transport Protocol Expert Group) standard, which is a standard for a traffic information service, and transmitted to a broadcasting station.
  • TPEG Transport Protocol Expert Group
  • the server may generate a traffic information format of TPEG standard including traffic light information and transmit it to a broadcasting station.
  • the broadcasting station transmits wirelessly the traffic information including the traffic light information received from the server to be received by the telematics terminal 200, for example, the navigation apparatus, mounted on a vehicle serving as the traffic information receiving terminal, in a broadcast signal.
  • the traffic information includes traffic light information and other information on various traffic conditions necessary for road, ocean and air operations such as accidents, road conditions, traffic congestion, road construction, road closures, public transportation network delays, and flight delays. It may include.
  • the broadcasting station receives traffic information including traffic light information processed from a server, and transmits the traffic information to the telematics terminal 200 through digital signals according to various digital broadcasting standards.
  • the broadcasting standards include the European Digital Audio Broadcasting (DAB) standard based on Eureka-147 [ETSI EN 300 401], terrestrial or satellite digital multimedia broadcasting (DMB), and terrestrial digital video broadcasting.
  • DMB European Digital Audio Broadcasting
  • DMB digital multimedia broadcasting
  • Various digital broadcasting standards such as Digital Video Broadcasting (DVB-T) standard, Digital Video Broadcasting-Handheld (DVB-H) standard, and Media Forward Link Only (MFLO) standard are included.
  • the broadcasting station may transmit traffic information including traffic light information through a wired or wireless network such as wired or wireless Internet.
  • the vehicle equipped with the telematics terminal 200 refers to all possible vehicles implemented using a machine or an electronic device for the purpose of moving a person or an object such as a general passenger car, bus, train, ship, or aircraft.
  • the vehicle is equipped with a traffic information receiving terminal, receives the traffic light information from a broadcasting station using the mounted traffic information receiving terminal, processes the traffic light information, and processes the processed traffic light information to the user through graphics, text, and / or audio. To pass.
  • the telematics terminal 200 may include a mobile communication module.
  • the mobile communication module transmits and receives a radio signal with at least one of the base station 10, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call signal, and / or a text / multimedia message.
  • the telematics terminal 200 communicates with the vehicle terminal 700 by a wired or wireless communication method.
  • the vehicle terminal 700 performs general vehicle control, provides information on a vehicle such as a speed and a gear state of the vehicle, controls an emergency light of the vehicle on / off, or controls a headlight.
  • the on / off control the detection sensor installed in the seat of the vehicle determines whether the passenger is seated, or the on / off of the horn is controlled.
  • the vehicle terminal may include a head-up display (HUD) or a projector.
  • HUD head-up display
  • FIG. 3 is a block diagram showing the configuration of a telematics terminal 200 according to an embodiment of the present invention.
  • the telematics terminal 200 includes a control unit (eg, a central processing unit, a CPU) 212 for controlling the telematics terminal 200 as a whole, a memory 213 for storing various kinds of information, and
  • the main board 210 includes a key controller 211 for controlling various key signals and an LCD controller 214 for controlling a liquid crystal display (LCD).
  • LCD liquid crystal display
  • the memory 213 stores map information (map data) for displaying road guidance information on a digital map.
  • the memory 213 stores a traffic information collection control algorithm for inputting traffic information according to a road situation in which the vehicle is currently driving, and information for controlling the algorithm.
  • the main board 210 may include a wireless communication module 206 for performing wireless communication between the telematics terminal 200 and a wireless communication system or wireless communication between the telematics terminal 200 and a network in which the telematics terminal 200 is located; A location information module 207 for receiving a GPS signal for locating a vehicle, tracking a driving route from a starting point to a destination, or transmitting traffic information collected by a user as a GPS (Global Positioning System) signal; A CD deck 208 for reproducing a signal recorded on a compact disk (CD); A gyro sensor 209 or the like.
  • the wireless communication module 206 and the location information module 207 transmit / receive signals via antennas 204 and 205 for the respective modules.
  • the wireless communication module 206 is a mobile electronic device to which a unique device number is assigned, and a mobile communication module 206a for transmitting and receiving wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network;
  • Wireless Internet access can be achieved in such ways as Wireless LAN, Wi-Fi, Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), and High Speed Downlink Packet Access (HSDPA).
  • Wireless internet module 206b Short-range communication that performs communication in such a manner as Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Wireless LAN (Bluetooth, 802.11n, etc. protocol) Module 206c and the like.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • Wireless LAN Bluetooth, 802.11n, etc. protocol
  • the broadcast receiving module 222 is connected to the main board 210 and receives a broadcast signal through the antenna 223.
  • the main board 210 includes a display unit (201) under the control of the LCD control unit 214 through the interface board 203, a front board 202 under the control of the key control unit 211, and a vehicle.
  • the camera 227 for capturing the inside and / or the outside is connected.
  • the display unit 201 displays various video signals and text signals, and the front board 202 is provided with buttons for inputting various key signals, and the main board 210 provides a key signal corresponding to a user-selected button.
  • the display unit 201 includes a proximity sensor and a touch sensor (touch screen) of FIG. 2.
  • the front board 202 may include a menu key for directly inputting traffic information, and the menu key may be configured to be controlled by the key controller 211.
  • the audio board 217 is connected to the main board 210 and processes various audio signals.
  • the audio board 217 includes a microcomputer 219 for controlling the audio board 217, a tuner 218 for receiving a radio signal, a power supply unit 216 for supplying power to the microcomputer 219, and various voices. It consists of a signal processor 215 for processing a signal.
  • the audio board 217 is composed of a radio antenna 220 for receiving a radio signal, and a tape deck 221 for reproducing an audio tape.
  • the audio board 217 may further configure a voice output unit (for example, an amplifier) 226 for outputting a voice signal processed by the audio board 217.
  • the voice output unit (amplifier) 226 is connected to the vehicle interface 224. That is, the audio board 217 and the main board 210 are connected to the vehicle interface 224.
  • the vehicle interface 224 may be connected to a hands-free 225a for inputting a voice signal, an airbag 225b for occupant safety, a speed sensor 225c for detecting the speed of the vehicle, and the like.
  • the speed sensor 225c calculates a vehicle speed and provides the calculated vehicle speed information to the central processing unit 212.
  • the navigation session 300 applied to the telematics terminal 200 generates road guidance information based on the map data and the vehicle current location information, and notifies the user of the generated road guidance information.
  • the display unit 201 detects a proximity touch in the display window through a proximity sensor. For example, the display unit 201 detects the position of the proximity touch when the pointer (for example, a finger or a stylus pen) is in close proximity, and displays the position information corresponding to the detected position. Output to the control unit 212.
  • the pointer for example, a finger or a stylus pen
  • the voice recognition device (or voice recognition module) 301 recognizes a voice spoken by the user and performs a corresponding function according to the recognized voice signal.
  • the navigation session 300 applied to the telematics terminal 200 displays a driving route on map data.
  • the telematics terminal 200 to which the electronic device according to the embodiment disclosed herein is applied using the touch screen 201, a camera 227 formed to photograph a driver, and an image received through the camera.
  • the controller 212 detects the driver's gaze and controls the touch screen 201 to perform a predetermined function on the touch screen 201 based on the driver's gaze deviating from the preset range for a predetermined time or more. It includes.
  • the telematics terminal 200 may further include a camera 227 formed to face the front of the vehicle.
  • the controller 212 may output an image received through the camera 227 formed to face the vehicle to the touch screen 201 when the driver's gaze deviates from the preset range for a predetermined time or more.
  • the telematics terminal 200 may further include a display unit 201a which is formed at a position different from the position disposed on the touch screen 201.
  • the controller 212 may output the screen information output on the touch screen 201 to the display unit 201a when the driver's gaze deviates from a preset range for a predetermined time or more.
  • the screen information displayed on the touch screen 201 may be stored in the memory 231 or received from an external network through a communication unit.
  • the communication unit is configured to include at least one of the above-described wireless communication module 206 and the interface board 203, and it should be understood that communication with other terminals is possible through wireless or wired.
  • reference numerals are omitted for the communication unit.
  • controller 180 When the controller 180 is implemented in software, embodiments such as a procedure or a function may be implemented with a separate software module for performing at least one function or operation. Such software code may be implemented by a software application written in a suitable programming language. In addition, the software code may be executed by the controller 180.
  • the telematics terminal 200 may be mounted in a vehicle and included in one configuration of the vehicle terminal 700.
  • the vehicle terminal 700 is a device for performing control on the vehicle equipped with the vehicle terminal 700 or transmitting information about the vehicle.
  • the vehicle terminal 700 provides information about the vehicle, such as the speed and gear state of the vehicle, controls the emergency light of the vehicle on / off, controls the headlight on / off, or the like.
  • the vehicle terminal 700 may include a head-up display (HUD) 751 or a projector 751.
  • HUD head-up display
  • the vehicle terminal 700 may include an input button 730 for receiving a user input
  • the input button 730 is a vehicle steering wheel, the dashboard of the vehicle, the gearshift of the vehicle It may be provided in the surroundings and the armrest of the vehicle, etc., which may serve as the front board 202 of the telematics terminal 200.
  • the controller 212 of the telematics terminal 200 may provide the touch screen 201 through screen information, and further, communicate with the vehicle terminal 700.
  • the screen information may be provided to the HUD 751 or the projector 751.
  • the screen information may include all kinds of screen information that can be output from an electronic device such as map information, route information, music, and video.
  • the controller 180 displays the screen information on the dashboard of the vehicle through the vehicle terminal 700 or the head-up display 751 or the HUD through the vehicle terminal 700.
  • the projector 751 may be used to control the display on the windshield of the vehicle.
  • the head-up display (HUD) may be mounted on a dashboard of a vehicle, and since the HUD and the projector may be generally known, a detailed description thereof will be omitted.
  • the electronic device 100 that may include at least one of the configurations of the telematics terminal 200 and the vehicle terminal 700 described above will be described.
  • the vehicle according to the present invention may be provided with the electronic device 100.
  • the electronic device 100 may include at least one of the telematics terminal 200 and the vehicle terminal 700 described with reference to FIGS. 2 and 3.
  • a method of controlling the touch screen based on the driver's eyes will be described with reference to the configuration of the electronic device described with reference to FIG. 1.
  • the content, configuration, and technical features of the electronic device 100 may be analogously applied to the telematics terminal 200 disclosed in FIGS. 2 and 3.
  • the vehicle may be provided with a touch screen 151.
  • the touch screen 151 may be formed at a position where a driver can operate (select, touch).
  • the touch screen 151 may be formed around the steering wheel of the vehicle, as shown in FIG. 4.
  • the touch screen 151 may output various screen information provided by the electronic device 100. For example, map data (map information), route information (driving information) may be output, or a photo, video, DMB or the like.
  • An interface for outputting music may be output.
  • the controller 180 may execute a function associated with a point where the touch is applied. For example, when a first menu is output on the touch screen 151, when a touch is applied to the first menu, the controller 180 may perform a function associated with the first menu.
  • the user input unit 130 may be provided in the vehicle.
  • the user input unit 130 may be formed in the form of an input button, and the input button 730 may be disposed anywhere in the components constituting the vehicle.
  • the user input unit 130 may be provided in a steering wheel of a vehicle, a dashboard of the vehicle, a gear shift of the vehicle, and an armrest of the vehicle.
  • the vehicle may include a HUD 751.
  • the HUD 751 may be formed on the windshield of the vehicle and may display at least some of the screen information output on the display unit 151 of the electronic device 100.
  • the user input unit 130 input button
  • the user can press the input button while maintaining the hand holding the steering wheel while driving, thereby maintaining the safety of driving.
  • the controller 180 may control an operation of the touch screen 151 of the electronic device 100 by using an input signal input through the user input unit 130.
  • the electronic device 100 may control the electronic device through an input to the user input unit 130 in addition to a method of directly inputting through the touch screen 151.
  • the electronic device 100 may control the configuration of the electronic device by using a voice input through the microphone 122.
  • the vehicle may be provided with at least one camera 121 of the electronic device 100.
  • the camera 121 may be formed to face the driver, that is, to photograph the driver.
  • the camera 121 formed to photograph the driver may be referred to as a driver-monitoring camera.
  • the camera 121 may be formed to face the front of the vehicle.
  • the controller 180 may store an image received through a camera formed to face the front of the vehicle as a video. That is, the camera 121 formed to face the front of the vehicle may be, for example, a black box.
  • the electronic device 100 may output an image received through the camera 121 formed to face the front of the vehicle to the touch screen 151.
  • FIG. 5 is a flowchart representatively showing a control method of the present invention
  • FIG. 6 is a conceptual diagram for explaining the control method described with reference to FIG. 5.
  • the step of detecting the driver's eyes using the image received through the camera is performed (S510).
  • the camera 121 may be formed to face the driver. That is, the camera 121 is formed to photograph the driver, and may be the driver monitoring camera described above.
  • the controller 180 may detect (detect, detect, and determine) the driver's gaze by using the image received through the camera 121.
  • the driver's gaze may mean a road that the driver's eyes gaze (going, watching, looking) or the direction of the driver's eyes.
  • the controller 180 may receive an image through the camera 121 configured to photograph the driver, and detect the driver's gaze 500 by using (analyzing) the received image. Detection of the driver's gaze using the image may be a general known method, and thus a detailed description thereof will be omitted.
  • the controller 180 may determine whether the detected driver's gaze 500 is out of a preset range 600.
  • the preset range 600 may refer to a range (area, portion) which is preset by the user or under the control of the controller to determine that the driver's gaze is toward the front of the vehicle.
  • the preset range 600 may be set in a portion (area) of the image received through the camera.
  • the controller 180 may determine whether the driver's gaze 500 detected through the image received through the camera is included in the preset range 600.
  • the controller 180 may perform a preset function when the detected driver's gaze 500 is out of a preset range 600.
  • the controller 180 controls the touch screen 151 to perform a preset function on the touch screen 151 based on the detected driver's gaze 500 being out of the preset range 600 for a predetermined time or more. ) Can be controlled.
  • the preset function may be related to the functions of inducing the driver's gaze 500 to face forward. That is, the preset function may be understood as a function of inducing the driver's gaze 500 to be included in the preset range 600.
  • the preset function performed on the touch screen 151 may include various functions that can be performed on the touch screen 151.
  • the preset function may be limited to an input function of the touch screen. Limiting an input function for the touch screen may be understood as deactivating a touch sensor included in the touch screen. That is, when the input function for the touch screen is limited, the controller 180 may not respond even if a touch is applied to the touch screen.
  • the preset function performed in the touch screen 151 may include turning off the touch screen or outputting notification information or warning information for inducing the user to watch the front of the touch screen.
  • the preset function performed by the touch screen 151 may include outputting an image received through a camera formed to face the front of the vehicle to the touch screen 151.
  • the controller 180 limits the selection of at least some of the screen information output to the touch screen 151.
  • the screen information may be changed (changed).
  • the controller 180 is based on the detected driver's gaze 500 being out of the preset range 600 for a predetermined time or more.
  • the screen information output on the touch screen 151 may be moved to the display unit 151a and output. In this case, the screen information may not be output to the touch screen 151.
  • the display unit 151a may be formed at a position different from where the touch screen 151 is disposed. That is, the electronic device 100 of the present invention may further include a display unit 151 formed at a position different from the position where the touch screen 151 is disposed.
  • the position at which the display unit 151a is disposed may be, for example, a position operable in the passenger seat or a position operable in the rear seat. That is, when the detected driver's gaze 500 deviates from the preset range 600 for a predetermined time or more, the controller 180 displays the screen output on the touch screen so that a passenger other than the driver controls the electronic device. You can move it.
  • control unit 180 by using the sensors disposed in each seat, to determine the location of the occupants other than the driver, and to move the screen information to the display unit 151a located where the occupant can operate. Can be.
  • the display unit 151a may include a HUD 751.
  • the electronic device 100 outputs screen information output from the touch screen 151 to the HUD 751, and is input through a voice command or a user input unit 130 received through the microphone 122. A function corresponding to the control command may be performed.
  • the screen information output from the touch screen 151 is output from the HUD 751
  • information for inducing the use of a voice or a user input unit may be output to the HUD 751.
  • the preset function may be performed on the premise that the vehicle is in a driving state.
  • the controller 180 may perform the preset function when the driver's gaze 500 is outside the preset range 600 for a predetermined time or more while the vehicle is driving. That is, the controller 180 may not perform the preset function even when the driver's gaze deviates from the preset range for a predetermined time or more while the vehicle is stopped.
  • not performing the preset function may mean that the electronic device 100 (or the touch screen 151) may be operated (controlled) in a state before the preset function is performed.
  • the electronic device 100 of the present invention performs the preset function even when the vehicle 500 is out of the preset range for a predetermined time or more when the running speed of the vehicle is less than or equal to a preset speed. You can't.
  • the predetermined time may be measured based on a time point when the driver's gaze 500 first leaves the preset range 600 or may be measured from a time when a touch is applied to the touch screen.
  • the controller 180 measures the time when the gaze is out of the preset range 600 from the time when the gaze is out of the preset range. can do. Thereafter, the controller 180 may perform the preset function when the deviation time is longer than a predetermined time.
  • the controller 180 may perform the preset function.
  • the controller 180 may determine that the driver operates the touch screen when the driver's gaze 500 is out of the preset range 500 and a touch is applied to the touch screen 151.
  • the control unit 180 may keep the driver's line of sight 500 in advance for a predetermined time or more from the time when the touch is applied to the touch screen 151 while the driver's line of sight 500 is out of a preset range. If it is maintained out of the set range, the preset function may be performed.
  • the electronic device 100 may include a camera 121 formed to photograph a driver.
  • the image received through the camera 121 may be the same as the second drawings from the top of FIG. 6.
  • the controller 180 may detect the driver's gaze 500 through the image.
  • the controller 180 may control the touch screen 151 to perform a preset function on the touch screen based on the driver's gaze 500 being out of the preset range 600 for a predetermined time or more.
  • the controller 180 restricts an input function of the touch screen 151. can do.
  • the controller 180 may maintain an input function for the touch screen 151. .
  • the electronic device of the present invention may perform different functions according to the time that the driver's gaze is out of the preset range.
  • the electronic device of the present invention may perform different functions according to the time that the driver's gaze is out of the preset range.
  • FIG. 7 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present invention in detail.
  • the controller 180 of the electronic device 100 may determine whether the vehicle is driving. If the vehicle is not driving, the controller 180 may not perform a preset function on the touch screen 151.
  • a state in which the preset function is not performed in the touch screen 151 may be referred to as an enable state, which means that at least one function provided in the touch screen 151 (electronic device 100) is normally operated. It means a state that can be.
  • the controller 180 may maintain an input function for the touch screen 151 when the vehicle is not driving.
  • the controller 180 may activate the camera 121 formed to face (photograph) the driver.
  • the controller 180 may activate the camera 121 formed to face the driver and detect the driver's gaze 500 by using an image received through the camera 121.
  • the controller 180 may determine whether the detected gaze 500 is out of a preset range 600. When the gaze 500 is included in the preset range 600, the controller 180 may maintain the touch screen in an enable state.
  • the controller 180 differs from the first screen information by outputting the first screen information output on the touch screen 151. It may be switched (changed) to the second screen information.
  • the first time may be a time measured from a time point at which a touch is applied while the driver's gaze 500 is out of a preset range 600.
  • the controller 180 outputs the touch screen 151 when the driver's gaze 500 is out of the preset range 600 while the first time elapses from the time when the touch is applied. Converted first screen information into second screen information different from the first screen information.
  • the second screen information may be screen information with limited selection on at least some of selectable information included in the first screen information.
  • FIG. 8 is a conceptual view illustrating conversion of first screen information output on a touch screen of an electronic device to second screen information according to an embodiment of the present disclosure.
  • the first screen information 300a may be output to the touch screen 151 of the electronic device 100.
  • the first screen information 300a may include a menu for selecting functions executable in the electronic device 100. When any one of the menus is selected (touched), the electronic device 100 may execute a function corresponding to the selected menu.
  • the controller 180 selects the selection included in the first screen information 300a.
  • the second screen information 300b having limited selection of at least some of the available information may be output.
  • the controller 180 displays the first screen information 300a. At least a portion 310b of the selectable information 310a and 310b output to the at least one portion may be deactivated.
  • the at least part 310b of which the selection is limited may be information (menu) for executing a function that is determined that an operation time is longer than a reference time among functions executable in the electronic device 100a. Functions determined to take more than the reference time may be determined by user selection or may be determined by control of the controller.
  • the controller 180 is touched when the driver's gaze 500 is out of the preset range 600 for a predetermined time or more, or when the driver's gaze 500 is out of the preset range 600. If the first time elapses from the viewpoint, the warning information (or warning message) 510 may be output to the touch screen 151. As shown in the second drawing of FIG. 8, the warning information 510 may be included in the second screen information 300b.
  • the controller 180 disables an input function for the touch screen 151. You can limit it. Specifically, the controller 180 is touched when the state of the driver's gaze 500 is out of a preset range 600 while the second time longer than the first time elapses from the time when the touch is applied.
  • the input function for the screen 151 may be limited.
  • the controller 180 restricts an input function of the touch screen 151 and limits an input function of the touch screen.
  • the notification information 520 may be output to the touch screen 151.
  • the controller 180 may output information to guide the use of a voice or a user input unit to the touch screen 151.
  • FIG. 9 is a conceptual view illustrating that an input function for a touch screen is limited in an electronic device according to an embodiment of the present disclosure.
  • the touch screen 151 selects at least some of the first screen information based on a deviation of the driver's gaze 500 from the time when the touch is applied to the touch screen for a first time or more.
  • This limited second screen information 510 may be output.
  • the touch screen 151 It is possible to limit the touch input to.
  • the controller 180 may output notification information 520 indicating that the touch input for the touch screen is limited to the touch screen 151.
  • the controller 180 may output information 530 for inducing the use of a voice or a user input unit.
  • the controller 180 outputs information 530 for inducing the use of a voice or a user input unit, and electronically based on a voice command received from the microphone 122 or a control command received through the user input unit 130. At least one of the functions executable in the device may be executed.
  • the indicator 540 may be output to the touch screen 151.
  • the position at which the indicator 540 is displayed may vary depending on a user manipulation applied to the user input unit 130.
  • the controller 180 turns off the touch screen 151 when the driver's gaze 500 is out of the preset range 600 for a third time longer than the second time. can do. Specifically, the control unit 180, the control unit 180, the third time longer than the second time elapsed from the time when the touch is applied, the state that the driver's gaze 500 is out of the preset range 600 is elapsed
  • the touch screen 151 may be turned off when the display screen is maintained while the display device is turned on.
  • the controller 180 using the camera 121 formed to face the front of the vehicle, the driver's gaze 500 is out of the preset range 600 for a third time longer than the second time.
  • an image received through a camera formed to face the front of the vehicle may be output to the touch screen 151.
  • FIG. 10 is a conceptual view illustrating an output of an image received through a camera configured to turn off or face the touch screen in an electronic device according to an embodiment of the present disclosure.
  • the controller 180 may turn off the touch screen 151 as shown in the second drawing of FIG. 10.
  • the electronic device of the present invention may further include a camera 121 formed to face the front of the vehicle.
  • the controller 180 may output an image 600 received through a camera formed to face the front of the vehicle to the touch screen 151.
  • the present invention may output the front image 600 on the touch screen to help the driver grasp the forward situation.
  • warning information (warning message) 510 may be output to the front image 600 to induce forward attention.
  • the electronic device of the present invention may further include a display unit 151a formed at a position different from the position where the touch screen 151 is disposed.
  • the controller 180 may determine that the detected driver's gaze 500 is outside the preset range 600 for a predetermined time or more. Based on this, the screen information output on the touch screen 151 may be moved to the display unit 151a and output. In this case, the screen information may not be output to the touch screen 151.
  • the display unit 151a may be formed at a position different from where the touch screen 151 is disposed. That is, the electronic device 100 of the present invention may further include a display unit 151 formed at a position different from the position where the touch screen 151 is disposed.
  • the position at which the display unit 151a is disposed may be, for example, a position operable in the passenger seat or a position operable in the rear seat. That is, when the detected driver's gaze 500 deviates from the preset range 600 for a predetermined time or more, the controller 180 displays the screen output on the touch screen so that a passenger other than the driver controls the electronic device. You can move it.
  • control unit 180 by using the sensors disposed in each seat, to determine the location of the occupants other than the driver, and to move the screen information to the display unit 151a located where the occupant can operate. Can be. If it is determined that there is no passenger other than the driver, the controller 180 may turn off the touch screen 151 or output the front image 600 to the touch screen 151.
  • the present invention when there is a passenger other than the driver, induces the operation of the electronic device to the passenger, and at the same time can induce the driver to watch the front, to increase the driver's forward looking rate, accident rate Can be reduced.
  • the present invention when the driver's gaze is out of the front (out of the preset range), by performing a different function according to the time the gaze is out of the front, inducing the driver to look forward more gradually or aggressively can do.
  • the controller 180 changes the screen information, restricts an input function for the touch screen, turns off the touch screen, or outputs a front image when the driver's gaze deviates from the preset range for a predetermined time or more.
  • the screen information output on the touch screen may be moved to another display and output.
  • the electronic device of the present invention may perform at least one of the functions described with reference to FIGS. 4 to 10 when the driver's gaze deviates from the preset range for a predetermined time or more.
  • the controller 180 may turn off the touch screen when the driver's gaze 500 is out of a preset range 600 while the vehicle is driving.
  • the controller 180 may determine whether the driver is staring at the touch screen 151 by using an image received through a camera configured to photograph the driver. In detail, the controller 180 may determine whether the driver's gaze is directed to the place where the touch screen 151 is disposed by using the driver's gaze detected through the image received through the camera. .
  • the controller 180 may turn off the touch screen 151.
  • the controller 180 receives an image received through a camera formed to face the front of the vehicle. May be output to the touch screen 151 or output warning information (warning message) to induce forward attention.
  • the warning information may be output not only on the touch screen 151 but also in the form of an alarm output through the speaker or in the form of vibration applied to the seat or the handle seated by the driver.
  • 11A, 11B, and 11C are conceptual views illustrating a control method when a plurality of touch screens are provided in an electronic device according to an embodiment of the present disclosure.
  • the electronic device according to the present invention may include a plurality of touch screens.
  • an electronic device according to the present invention may include a plurality of touch screens in a vehicle, for example, a first touch screen 151a and a second touch screen different from the first touch screen. 151b may be provided.
  • Substantially the same screen information based on the same data may be displayed on the first and second touch screens 151a and 151b, or different screen information may be displayed.
  • controller 180 of the electronic device may control the plurality of touch screens in various ways based on the driver's gaze.
  • the controller 180 detects the driver's gaze using the camera 121 and based on the driver's gaze 500 being out of a preset range 600 for a predetermined time or more, the plurality of touches. You can make the screen information displayed on the screen disappear.
  • the screen information output to the plurality of touch screens may disappear based on the passage of time.
  • the controller 180 may cause screen information output on the plurality of touch screens to disappear at different times according to a time when the driver's gaze 500 is out of the preset range 600.
  • the plurality of touch screens may include a first touch screen 151a and a second touch screen 151b different from the first touch screen 151a (in the present specification, For convenience, a plurality of touch screens (two first and second touch screens) will be described as an example, but are not limited thereto.
  • the distance between the first touch screen 151a and the driver is The distance between the second touch screen 151b and the driver (eg, the distance between the second touch screen 151b and the driver (or driver's seat)) may be closer. That is, the first touch screen 151a may be a touch screen disposed closer to the driver than the second touch screen 151b.
  • the controller 180 can detect the driver's gaze 500 using an image received through the camera 121. have. At this time, the controller 180 may be configured to disappear from the screen information being output on the touch screen disposed far from the driver among the plurality of touch screens as the time for which the driver's gaze 500 deviates from the preset range 600 becomes longer. Can be.
  • the controller 180 when the driver's gaze 500 deviates from the preset range 600 for a first time or more, the controller 180 is outputting the screen to the second touch screen 151b. It can make information disappear. At this time, the controller 180 can maintain the output of the screen information being output to the first touch screen 151a.
  • the first time may be the same time as the above-described constant time or may be a longer time than the predetermined time.
  • the controller 180 the screen information being output to the first touch screen 151a when the driver's gaze 500 is out of the preset range 600 by a second time longer than the first time. You can make it disappear. That is, the screen information being output to the first touch screen 151a may disappear based on the driver's gaze 500 moving beyond the preset range 600 for a second time longer than the first time. .
  • the first time and the second time may be determined (designated) by a user setting.
  • the present invention is not limited thereto, and the controller 180 of the electronic device according to the present invention outputs the touch screen disposed closer to the driver as the driver's gaze 500 becomes longer than the preset range 600. You can make it disappear from the current screen information.
  • the controller 180 when screen information is output to the first and second touch screens 151a and 151b, when the driver's gaze 500 deviates from the preset range 600 for the first time or more, the controller 180 ) May cause the screen information output on the first touch screen 151a disposed close to the driver among the first and second touch screens to disappear first. Thereafter, the controller 180 outputs the screen to the second touch screen 151b based on the driver's gaze 500 moving out of the preset range 600 by a second time longer than the first time. It can make information disappear.
  • the controller 180 may gaze (or manipulate or touch) the second touch screen by a driver and another user (for example, a passenger who rides beside the driver) on the image received through the camera 121. If it is determined that the screen information being output to the first touch screen 151a disposed close to the driver among the first and second touch screens 151a and 151b may be first disappeared.
  • the longer the time that the driver's gaze is out of the preset range the more the screen information displayed on the touch screen disposed away from the driver disappears or is located closer to the driver. Whether to disappear from the screen information displayed on the arranged touch screen may be determined by user setting or based on whether a preset condition is satisfied.
  • the screen is output to the touch screen which is determined to be the operation. You can prevent the output of information from disappearing.
  • the driver to be described below is a person who drives the vehicle, and the user may mean a passenger who sits in the side seat (passenger seat) of the driver's seat where the driver sits.
  • the camera 121 of the electronic device according to the present invention may be formed to further photograph the driver and another user, as illustrated in FIG. 11C.
  • the camera 121 may be arranged to allow the driver and the user to be photographed together as one camera, or may be formed to have a wide angle of view so as to photograph the driver and the user together.
  • the electronic device according to the present invention may be provided with a plurality of cameras to photograph the driver and the other user.
  • the first camera may be disposed in front of the driver's seat and the second camera may be disposed in front of the passenger seat.
  • the controller 180 may determine whether the driver and / or the user (passenger) apply a touch to the touch screen by using the image received through the camera 121.
  • the controller 180 may classify the driver 1200a and the user 1200b by using an image received through the camera 121, or the driver's gaze 500a, the user's gaze 500b, and the driver. Based on at least one of the movement of the user and the user's movement, it may be determined whether a touch (or manipulation) is applied to the touch screen and which one of the plurality of touch screens is touched.
  • the controller 180 may determine that a user who is not the driver applies a touch to the touch screen.
  • Such classification and determination may be performed through image analysis and a predetermined algorithm, and since the related information corresponds to general content, a detailed description thereof will be omitted.
  • the controller 180 of the electronic device according to the present invention may have any one touch. Instead of making the screen information displayed on the screen disappear, you can keep the output.
  • the gaze 500a of the driver 1200a and the gaze 500b of the user 1200b may set a predetermined time (for example, the first range) in the preset ranges 600a and 600b. Screen information being output to at least one of the plurality of touch screens may disappear.
  • the controller 180 may allow the user 1200b to touch any one of the plurality of touch screens (for example, the first touch screen) even if the driver's and the user's gaze deviate from the preset range for a predetermined time or more. If it is determined that the touch is applied to the touch screen (151a), the touch screen may be controlled so that the screen information displayed on the touch screen (for example, the first touch screen 151a) does not disappear. .
  • the output of the screen information being output to any one of the touch screen can be maintained. If the screen information output to the one of the touch screens disappears (or the one of the touch screens is turned off), a touch is applied to the touch screen by a user other than the driver. If determined, the controller 180 may output the disappeared screen information to the one touch screen again (or may turn on any one touch screen).
  • the controller 180 may maintain the input function for any one of the touch screens without limiting it. Specifically, as shown in FIG. 11C, when it is determined that the user 1200b, not the driver 1200a, is applying a touch (manipulation) to any one of the touch screens 151a, the driver 180 may determine the driver. Even if the gaze of the eye is outside the preset range for a predetermined time or more, the input function can be maintained without limiting.
  • the controller 180 outputs notification information for inducing the driver to look forward on one of the touch screens, or is received through a camera disposed to face forward (front image). Can be output to any one of the touch screen.
  • the controller 180 May maintain screen information output on the plurality of touch screens and may not limit the touch input function.
  • the present invention can provide a user interface that can induce the driver to look forward without disturbing the touch manipulation.
  • 12A, 12B, and 12C are conceptual views illustrating a method of performing a specific function based on a gaze stared by a plurality of users in an electronic device according to an embodiment of the present disclosure.
  • the electronic device may include a camera configured to capture a driver and a user (passenger) different from the driver.
  • the controller 180 may detect the driver's gaze 500a and the user's gaze 500b based on the image received through the camera. Specifically, the controller 180 further detects not only the driver's gaze 500a but also the user's gaze 500b by using the image received through the camera, and the driver's gaze 500a and the user's gaze 500b. If it is determined that toward the touch screen 151 together for a predetermined time or more, the touch screen 151 may be controlled to perform a specific function.
  • the driver's gaze 500a and the user's gaze 500b are directed toward the touch screen 151 together for a predetermined time or more, such that the driver's gaze 500a and the user's gaze 500b are respectively set in a range 600a, 600b) (for example, the range corresponding to the front side) may include a meaning that the vehicle deviates together for a predetermined time or more.
  • the specific function may include various functions.
  • the specific function may include various functions of inducing the driver's eyes to face forward and inducing a manipulation of the touch screen by the user.
  • Notification information 1210 may be output to the touch screen 151 to induce staring (for example, facing) 600.
  • the touch screen 151 it is possible to change the output form of the screen information which is already output on the touch screen so that the operation is performed by the user instead of the driver.
  • certain screen information 1220 may be output on the touch screen 151.
  • the touch screen 151 is divided into at least two areas 1222a and 1222b.
  • the output form of the screen information 1220 may be changed such that the screen information 1220 being output is output to any one of the at least two areas.
  • the one area may be, for example, an area close to the passenger seat where the user sits (for example, when the passenger seat is on the right side, the right area 1222b of the left / right areas).
  • notification information for inducing the driver to stare ahead may be displayed in the remaining area 1222a of the at least two areas, or an image received through a camera disposed to face forward may be output.
  • controller 180 may apply an input function (for example, a touch) to an area (the one area 1222b) in which the output form of the screen information 1220 being output is changed among the at least two areas. Input function), and the input function for the remaining area 1222a may be limited.
  • an input function for example, a touch
  • the controller 180 may apply an input function (for example, a touch) to an area (the one area 1222b) in which the output form of the screen information 1220 being output is changed among the at least two areas. Input function), and the input function for the remaining area 1222a may be limited.
  • the controller 180 restores the screen information 1220 in which the output form is changed to the original form and outputs it to the touch screen 151. can do.
  • the image 1230 received through the camera configured to face forward may be output to the touch screen 151, or warning information (warning message) for inducing forward attention may be output.
  • the image 1230 received through the camera formed to face the front of the vehicle may be output on a portion of the touch screen so as not to disturb the viewing of a user who is not a driver.
  • warning information may be output not only to the touch screen 151 but also in the form of an alarm output through the speaker or in the form of vibration applied to the seat (driver's seat) or the handle seated by the driver.
  • the present invention provides a user interface capable of guiding the driver's gaze forward without disturbing the viewing of the user, thereby ensuring the convenience of the user and the safety of driving the vehicle.
  • FIG. 13 is a conceptual view illustrating a method of limiting selection of menu items having different depths in an electronic device according to an embodiment of the present disclosure.
  • the selectable menu items 1300a, 1300b, and 1300b may be output to the touch screen 151 provided in the electronic device according to the present invention.
  • Each of the plurality of menu items may be formed to have a predetermined depth.
  • the depth may be taken as a concept corresponding to the number of times of applying a touch to execute a function associated with a corresponding menu item.
  • a menu item having one depth has one touch input for executing a function associated with the item or outputting screen information for controlling a function associated with the item on the touch screen. It may be an item requiring.
  • a menu item having two depths may require at least two touch inputs to execute a specific function (or to output screen information for executing a specific function on a touch screen). May be an item.
  • a menu item having two or more depths may have a lower menu item.
  • This depth may be defined based on the number of hierarchies of menu items linked to the lower part of the menu items.
  • the higher the menu item having a depth the more touch input is required to execute a function desired by the user. Accordingly, the longer the driving driver wants to execute a desired function through a menu item having a higher depth, the longer the time for not looking forward.
  • the controller 180 may restrict the selection sequentially from a menu item having many depths as the driver's gaze is longer than the preset range (the range corresponding to the front side). .
  • the plurality of menu items displayed on the touch screen 151 may include a menu item 1300a having one depth, a menu item 1300b having two depths, and a menu having three depths. It may include item 1300c.
  • the controller 180 may limit the selection so that the menu item having many depths cannot be sequentially selected as the driver's gaze is longer than the preset range (front, front range).
  • limiting the selection may include deactivating a corresponding menu item so that the selection is impossible.
  • the controller 180 may have a menu item 1300c having a third depth having the most depth among the menu items having the first to third depths. ) Can be limited. Thereafter, the controller 180 may limit the selection of the menu item 1300b having the two depths when the driver's gaze deviates from the preset range by more than a second time longer than the first time. In addition, the controller 180 may limit the selection of the menu item 1300a having the first depth when the driver's gaze deviates from the preset range for more than a third time longer than the second time.
  • the controller 180 may provide at least a portion of the touch screen with notification information for inducing the user to stare ahead based on the elapse of at least one of the first to third times. Can be output to
  • the controller 180 if it is determined that the driver's gaze continues to be out of the preset range even after the selection of the menu item having the lowest depth is limited (for example, the driver for a time longer than the third time) If the eye of the eye is out of the preset range), the touch screen can be turned off, the screen information being output to the touch screen disappears, or the image received through the camera configured to face the front can be output to the touch screen 151. have.
  • the present invention can provide a control method that can limit the selection (touch input) to stare at the front more quickly when the driver wants to execute a specific function through a menu while driving.
  • FIG. 14 is a conceptual view illustrating that an input function for a touch screen is limited according to another embodiment of the present invention.
  • the controller 180 of the electronic device may limit the input function to the touch screen when the driver's gaze deviates from the preset range (front and front ranges) for a predetermined time or more.
  • the controller 180 may limit an input function for the touch screen in various ways.
  • the controller 180 may immediately limit an input function to the touch screen in response to the driver's gaze moving out of a preset range for a predetermined time or more.
  • the controller 180 when the driver's gaze 500 deviates from the preset range 600 for a predetermined time or more, the controller 180 does not immediately limit an input function for the touch screen. Notification information 1400 for counting down the time remaining until the input function for the touch screen is limited may be output to the touch screen 151. Thereafter, the controller 180 may limit an input function of the touch screen 151 based on the elapse of the remaining time. That is, the input function for the touch screen 151 may be limited based on the elapse of the remaining time for counting down. During the countdown, input to the touch screen 151 may be possible.
  • the counting notification information 1400 may be output to a part of the touch screen 151 to enable a touch (selection) on screen information being output.
  • the controller 180 is configured to face forward and notification information 1410 indicating that the input function has been restricted. At least one of the images 1420 received through the camera may be output to the touch screen 151.
  • the controller 180 may output warning information (warning message) for guiding forward attention when the driver's gaze remains outside the preset range even after the touch input is limited (continuous staring at the touch screen).
  • the warning information may be output not only on the touch screen 151 but also in the form of an alarm output through a speaker or in the form of vibration applied to a seat (driver's seat) or a handle seated by a driver.
  • the present invention allows a user to quickly select a menu item having a small depth (for example, a one-depth menu item, etc.) and guide the driver's gaze forward until the touch input is limited. It can provide an interface.
  • the present invention detects the driver's gaze while driving the vehicle, and when the driver's gaze deviates from a preset range for a predetermined time or more as the driver applies a touch on the touch screen, the screen information output on the touch screen To switch or limit the touch input function for the touch screen. In this way, the present invention may guide the driver's gaze to the front while maintaining at least some of the screen information output to the electronic device.
  • the present invention when the driver's gaze deviates from the preset range for a predetermined time or more (looking at the touch screen for a predetermined time or more), the image received through the camera formed to turn off (OFF) or forward the touch screen Can be output on the touch screen. Therefore, the present invention can lower the accident rate by inducing the driver to look forward.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include the controller 180 of the terminal. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 터치 스크린을 구비한 전자기기 및 그것의 제어방법에 관한 것이다. 본 발명의 일 실시 예에 따른 전자기기는, 터치 스크린, 운전자를 촬영하도록 형성되는 카메라 및 상기 카메라를 통해 수신되는 영상을 이용하여 상기 운전자의 시선을 탐지하고, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린에서 기 설정된 기능이 수행되도록 상기 터치 스크린을 제어하는 제어부를 포함하고, 상기 제어부는, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 대한 입력 기능을 제한하는 것을 특징으로 한다.

Description

전자기기 및 그것의 제어방법
본 발명은 터치 스크린을 구비한 전자기기 및 그것의 제어방법에 관한 것이다.
정보화시대가 급속히 발전함에 따라 전자기기에서 정보를 입·출력하는 기능 및 데이터를 저장할 수 있는 기능의 중요성이 강조되고 있다. 이러한 기능을 구비할 수 있는 전자기기는 단말기 등의 휴대 전자기기와, 영상표시기기 및 냉장고 등의 고정 전자기기로 나뉠 수 있다.
한편, 이러한 전자기기는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복잡한 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가, 이러한 전자기기는 GPS 무선신호를 이용하여, 사용자가 가고자 하는 장소에 대한 정보 및 이동 경로를 제공하고 있다.
최근에는, 위와 같이 다양한 기능을 수행할 수 있는 전자기기가 차량에 구비되고, 운전자는 차량에 구비된 전자기기를 이용하여 다양한 기능을 이용할 수 있게 되었다. 반면, 전자기기의 기능이 다양해짐에 따라 운전자의 시선이 전방을 주시하는 전방주시율이 낮아지게 되고, 이에 따라 사고율이 증가하는 문제점이 있다.
본 발명의 일 목적은 운전자의 시선에 근거하여 터치 스크린을 제어하는 것이 가능한 전자기기 및 그것의 제어방법을 제공하는 데에 있다.
본 발명의 다른 목적은 운전자의 시선이 전방을 향하도록 터치 스크린을 이용하여 다양한 정보를 제공하는 것이 가능한 전자기기 및 그것의 제어방법을 제공하는 데에 있다.
본 발명의 일 실시 예에 따른 차량에 구비된 전자기기는, 터치 스크린, 운전자를 촬영하도록 형성되는 카메라 및 상기 카메라를 통해 수신되는 영상을 이용하여 상기 운전자의 시선을 탐지하고, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린에서 기 설정된 기능이 수행되도록 상기 터치 스크린을 제어하는 제어부를 포함한다.
실시 예에 있어서, 상기 기 설정된 기능은, 상기 차량이 주행 상태인 것을 전제로 수행되는 것을 특징으로 한다.
실시 예에 있어서, 상기 시선이 상기 기 설정된 범위를 벗어나는 시간은, 상기 터치 스크린에 터치가 가해진 시점으로부터 측정되는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 대한 입력 기능을 제한하는 것을 특징으로 한다.
실시 예에 있어서, 상기 터치 스크린에는, 상기 터치 스크린에 대한 입력 기능이 제한된 경우, 음성 또는 사용자 입력부의 이용을 유도하는 정보가 출력되는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 시선이 기 설정된 범위를 벗어나는 시간에 따라 서로 다른 기능을 수행하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 시선이 제1 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린에 출력된 제1 화면정보를 상기 제1 화면정보와 다른 제2 화면정보로 전환하고, 상기 시선이 상기 제1 시간보다 긴 제2 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린에 대한 입력 기능을 제한하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제2 화면정보는, 상기 제1 화면정보에 포함된 선택 가능한 정보 중 적어도 일부에 대한 선택이 제한된 화면정보인 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 시선이 상기 제2 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린에 대한 입력 기능이 제한되었음을 알리는 알림정보를 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 시선이 상기 제2 시간보다 긴 제3 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린을 오프(off)시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 차량의 전방을 향하도록 형성된 카메라를 더 포함하고, 상기 제어부는, 상기 시선이 상기 제3 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린을 오프시키는 대신, 상기 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 상기 터치 스크린에 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 터치 스크린이 배치된 위치와 다른 위치에 형성되는 디스플레이부를 더 포함하고, 상기 제어부는, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 출력된 화면정보를 상기 디스플레이부에 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 차량이 주행중인 상태에서, 상기 운전자의 시선이 상기 일정 시간동안 상기 터치 스크린을 향하는 것으로 판단되면, 상기 터치 스크린을 오프하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 차량에 구비된 전자기기의 제어방법은, 카메라를 통해 수신되는 영상을 이용하여 운전자의 시선을 탐지하는 단계 및 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 터치 스크린에서 기 설정된 기능이 수행되도록 상기 터치 스크린을 제어하는 단계를 포함한다.
실시 예에 있어서, 상기 기 설정된 기능은, 상기 차량이 주행 상태인 것을 전제로 수행되는 것을 특징으로 한다.
실시 예에 있어서, 상기 시선이 상기 기 설정된 범위를 벗어나는 시간은, 상기 터치 스크린에 터치가 가해진 시점으로부터 측정되는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어하는 단계는, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 대한 입력 기능을 제한하는 것을 특징으로 한다.
실시 예에 있어서, 상기 터치 스크린은, 복수의 터치 스크린을 포함하며, 상기 제어부는, 상기 운전자의 시선이 상기 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 상기 복수의 터치 스크린에 출력중인 화면정보를 사라지게 하는 것을 특징으로 하며, 상기 복수의 터치 스크린에 출력중인 화면정보는, 서로 다른 시간이 경과하는 것에 근거하여 사라지는 것을 특징으로 한다.
실시 예에 있어서, 제 16 항에 있어서, 상기 복수의 터치 스크린은 제1 터치 스크린 및 상기 제1 터치 스크린과 다른 제2 터치 스크린을 포함하고, 상기 제1 터치 스크린과 상기 운전자 사이의 거리는, 상기 제2 터치 스크린과 상기 운전자 사이의 거리보다 가까운 것을 특징으로 하며, 상기 제어부는, 상기 운전자의 시선이 상기 기 설정된 범위를 제1 시간 이상 벗어나면, 상기 제2 터치 스크린에 출력중인 화면정보를 사라지게 하고 상기 제1 터치 스크린에 출력중인 화면정보를 유지시키며, 상기 제1 터치 스크린에 출력중인 화면정보는, 상기 운전자의 시선이 상기 기 설정된 범위를 상기 제1 시간보다 긴 제2 시간 이상 벗어나는 것에 근거하여 사라지는 것을 특징으로 한다.
실시 예에 있어서, 상기 카메라는, 상기 운전자와 다른 사용자를 더 촬영하는 것이 가능하도록 형성되며, 상기 제어부는, 상기 카메라를 통해 수신되는 영상에 근거하여 상기 운전자가 아닌 상기 사용자가 상기 복수의 터치 스크린 중 어느 하나의 터치 스크린에 터치를 가하는 것으로 판단되면, 상기 어느 하나의 터치 스크린에 출력중인 화면정보를 사라지게 하는 대신 출력을 유지시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 어느 하나의 터치 스크린 대한 입력 기능은, 상기 운전자가 아닌 상기 사용자가 상기 어느 하나의 터치 스크린에 터치를 가하는 것으로 판단되는 경우, 제한되지 않고 유지되는 것을 특징으로 한다.
실시 예에 있어서, 상기 카메라는, 상기 운전자와 다른 사용자를 더 촬영하는 것이 가능하도록 형성되며, 상기 제어부는, 상기 카메라를 통해 수신되는 영상을 이용하여 상기 사용자의 시선을 더 탐지하고, 상기 운전자의 시선 및 상기 사용자의 시선이 일정 시간 이상 함께 상기 터치 스크린을 향하는 것으로 판단되면, 특정 기능이 수행되도록 상기 터치 스크린을 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 운전자의 시선 및 상기 사용자의 시선이 일정 시간 이상 함께 상기 터치 스크린을 향하는 것으로 판단되면, 상기 운전자가 상기 기 설정된 범위를 응시하도록 유도하는 알림정보를 상기 터치 스크린에 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 운전자의 시선 및 상기 사용자의 시선이 일정 시간 이상 함께 상기 터치 스크린을 향하는 것으로 판단되면, 상기 터치 스크린에 대한 조작이 상기 운전자가 아닌 상기 사용자에 의해 이루어지도록 상기 터치 스크린에 기 출력중인 화면정보의 출력형태를 변경하는 것을 특징으로 한다.
실시 예에 있어서, 상기 터치 스크린에는 선택 가능한 복수의 메뉴 항목이 출력되고, 상기 복수의 메뉴 항목 각각은 기 설정된 뎁스(depth)를 갖도록 형성되며, 상기 제어부는, 상기 운전자의 시선이 기 설정된 범위를 벗어나는 시간이 길어질수록 뎁스를 많이 갖는 메뉴 항목부터 순차적으로 선택을 제한하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 대한 입력 기능이 제한되기까지 남은 시간을 카운트다운(count-down)하는 알림정보를 출력하고, 상기 터치 스크린에 대한 입력 기능은, 상기 남은 시간이 경과하는 것에 근거하여 제한되는 것을 특징으로 한다.
본 발명은 차량 주행중 운전자의 시선을 탐지하고, 상기 운전자가 터치 스크린에 터치를 가함에 따라 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어난 경우, 터치 스크린에 출력된 화면정보를 전환하거나, 터치 스크린에 대한 터치 입력 기능을 제한할 수 있다. 이를 통해, 본 발명은 전자기기에 출력된 화면정보 중 적어도 일부를 유지시키면서, 운전자의 시선이 전방을 향하도록 유도할 수 있다.
또한, 본 발명은 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어난 경우(터치 스크린을 일정 시간 이상 주시하는 경우), 터치 스크린을 오프(OFF)하거나, 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 터치 스크린에 출력할 수 있다. 따라서, 본 발명은 운전자가 전방을 주시하도록 유도하여 사고율을 낮출 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자기기의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 텔레매틱스 단말기 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 텔레매틱스 단말기의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 차량 내부의 시스템을 설명하기 위한 개념도이다.
도 5는 본 발명의 제어방법을 대표적으로 나타내는 흐름도이다.
도 6은 도 5에서 살펴본 제어방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시 예에 따른 전자기기의 제어방법을 구체적으로 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 전자기기의 터치 스크린에 출력된 제1 화면정보가 제2 화면정보로 전환되는 것을 설명하기 위한 개념도이다.
도 9는 본 발명의 일 실시 예에 따른 전자기기에서 터치 스크린에 대한 입력 기능이 제한되는 것을 설명하기 위한 개념도이다.
도 10은 본 발명의 일 실시 예에 따른 전자기기에서 터치 스크린이 오프되거나 전방을 향하도록 형성된 카메라를 통해 수신된 영상이 터치 스크린에 출력되는 것을 설명하기 위한 개념도이다.
도 11a, 도 11b 및 도 11c는 본 발명의 일 실시 예에 따른 전자기기에 복수의 터치 스크린이 구비되는 경우의 제어방법을 설명하기 위한 개념도이다.
도 12a, 도 12b 및 도 12c는 본 발명의 일 실시 예에 따른 전자기기에서 복수의 사용자가 응시하는 시선에 근거하여 특정 기능이 수행되는 방법을 설명하기 위한 개념도이다.
도 13은 본 발명의 일 실시 예에 따른 전자기기에서 서로 다른 뎁스(depth)를 갖는 메뉴 항목의 선택을 제한하는 방법을 설명하기 위한 개념도이다.
도 14는 본 발명의 다른 실시 예에 따른 터치 스크린에 대한 입력 기능이 제한되는 것을 설명하기 위한 개념도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 명세서에서 설명되는 전자기기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 텔레매틱스 단말기 등이 포함될 수 있다. 이하, 설명되는 본 발명의 다양한 실시예들은 휴대폰이나 스마트 폰 등의 이동 단말기를 기준으로 하나, 상기 이동 단말기에 적용되는 기능은 PMP 등과 같이 통신망을 사용하지 않는 휴대 전자기기나, 네비게이션, 텔레매틱스 단말기, 디지털 TV, 데스크탑 컴퓨터, 냉장고, 프로젝터 등과 같은 고정 전자기기에도 적용될 수 있다.
도 1에 도시한 바와 같이, 전자기기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 전자기기(100)의 구성요소 모두가 필수 구성요소인 것은 아니며, 도 1에 도시된 구성요소보다 많은 구성요소에 의해 전자기기(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자기기(100)가 구현될 수도 있다.
상기 무선 통신부(110)는 전자기기(100)와 무선 통신 시스템 간의 무선 통신 또는 전자기기(100)와 그 전자기기(100)가 위치한 네트워크간의 무선 통신을 수행하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들면, 무선 통신부(110)는 방송 수신 모듈(111), 이동 통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치 정보 모듈(115) 등을 포함할 수 있다.
상기 방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 미리 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 전자기기(100)에 송신하는 서버를 의미할 수 있다. 상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
한편, 상기 방송 관련 정보는, 이동 통신망을 통하여도 제공될 수 있으며, 이러한 경우에는 상기 이동 통신 모듈(112)에 의해 수신될 수 있다. 상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들면, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성된다. 방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
상기 이동 통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 및/또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 의미하는 것으로, 상기 무선 인터넷 모듈(113)은 전자기기(100)에 내장되거나 외장 될 수 있다. 여기서, 무선 인터넷 기술로는 WLAN(Wireless LAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband; Wibro), 와이맥스(World Interoperability for Microwave Access; Wimax), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
상기 근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 의미한다. 근거리 통신 기술로서 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wireless LAN (Bluetooth, 802.11n 등등 프로토콜)등이 이용될 수 있다.
상기 위치 정보 모듈(115)은 이동 단말기의 위치(네비게이션 또는 텔레매틱스 단말기 또는 이동 단말기가 차량에 장착되었을 때 차량의 위치 확인 가능)를 확인하거나 얻기 위한 모듈이다. 일례로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수 개의 인공위성으로부터 위치 정보를 수신한다. 여기서, 위치 정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다. 예를 들면, GPS 모듈은, 3개 이상의 위성으로부터 정확한 시간과 거리를 측정하여 3개의 각각 다른 거리를 삼각 방법에 따라서 현 위치를 정확히 계산할 수 있다. 3개의 위성으로부터 거리와 시간 정보를 얻고 1개 위성으로 오차를 수정하는 방법이 사용될 수 있다. 특히, GPS 모듈은 위성으로부터 수신한 위치 정보로부터, 위도, 경도, 고도의 위치뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다. 상기 위치 정보 모듈(115)로서 와이 파이 위치추적 시스템(Wi-Fi Positioning System) 및/또는 하이브리드 위치추적 시스템(Hybrid Positioning System)이 적용될 수도 있다.
상기 A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호를 입력하기 위한 것으로서, 상기 A/V(Audio/Video) 입력부(120)에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 상기 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 상기 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
상기 카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 상기 카메라(121)는 이동 단말기의 구성 형태에 따라 2개 이상이 구성될 수도 있다.
상기 마이크(122)는 통화 모드 또는 녹음 모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 수신하여 전기적인 음성 데이터로 처리한다. 상기 통화 모드일 때, 상기 처리된 음성 데이터는 이동 통신 모듈(112)을 통하여 이동 통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 상기 마이크(122)는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
상기 사용자 입력부(130)는 사용자가 이동 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 상기 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.
상기 센싱부(140)는 전자기기(100)의 개폐 상태, 전자기기(100)의 위치, 사용자 접촉 유무, 전자기기(100)의 방위, 전자기기(100)의 가속/감속 등과 같이 전자기기(100)의 현 상태를 감지하여 전자기기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들면, 전자기기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 상기 센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.
상기 센싱부(140)는 근접센서(141), 압력센서(143) 및 모션 센서(145) 등을 포함할 수 있다. 상기 근접센서(141)는 전자기기(100)로 접근하는 물체나, 전자기기(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 상기 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 상기 근접센서(141)는 구성 태양에 따라 2개 이상이 구비될 수 있다.
상기 압력센서(143)는 전자기기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 상기 압력센서(143)는 사용환경에 따라 전자기기(100)에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(143)가 디스플레이부(151)에 설치되는 경우, 상기 압력센서(143)에서 출력되는 신호에 따라, 상기 디스플레이부(151)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 상기 압력센서(143)에서 출력되는 신호에 따라, 압력터치 입력시 상기 디스플레이부(151)에 가해지는 압력의 크기도 알 수 있다.
상기 모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 전자기기(100)의 위치나 움직임 등을 감지한다. 상기 모션 센서(145)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 가속도 센서에는, 자동차의 에어백 시스템에 내장되어 충돌을 감지하는데 사용하는 큰 값의 가속도를 측정하는 것부터, 사람 손의 미세한 동작을 인식하여 게임 등의 입력 수단으로 사용하는 미세한 값의 가속도를 측정하는 것까지 다양한 종류가 있다. 가속도 센서는 보통 2축이나 3축을 하나의 패키지에 실장하여 구성되며, 사용 환경에 따라서는 Z축 한 축만 필요한 경우도 있다. 따라서, 어떤 이유로 Z축 방향 대신 X축 또는 Y축 방향의 가속도 센서를 써야 할 경우에는 별도의 조각 기판을 사용하여 가속도 센서를 주 기판에 세워서 실장할 수도 있다.
또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
상기 출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로서, 상기 출력부(150)에는 디스플레이부(151)과 음향 출력 모듈(152), 알람부(153) 등이 포함될 수 있다.
상기 디스플레이부(151)는 전자기기(100)에서 처리되는 정보를 표시하여 출력한다. 예를 들면, 상기 디스플레이부(151)는 전자기기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface; UI) 또는 GUI(Graphical User Interface; GUI)를 표시한다. 그리고 전자기기(100)가 화상 통화 모드 또는 촬영 모드인 경우 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
상기 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자기기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들면, 전자기기(100)에 외부 디스플레이부(도시하지 않음)와 내부 디스플레이부(도시하지 않음)가 동시에 구비될 수 있다.
상기 디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 상기 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
또한, 상기 터치 센서는, 상기 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(도시하지 않음)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)에 전송한다. 이로써, 상기 제어부(180)는, 상기 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 터치 스크린에 의해 감싸지는 전자기기(100)의 내부 영역 또는 상기 터치 스크린의 근처에 상기 근접 센서(141)가 배치될 수 있다. 상기 근접 센서(141)는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서(141)는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(141)의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.
또한, 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린 상에 출력될 수 있다.
상기 음향 출력 모듈(152)은 호 신호 수신, 통화 모드 또는 녹음 모드, 음성 인식 모드, 방송 수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 모듈(152)은 전자기기(100)에서 수행되는 기능(예를 들면, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
상기 알람부(153)는 전자기기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 상기 알람부(153)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 호 신호가 수신되거나 메시지가 수신될 때, 이를 알리기 위해 알람부(153)는 진동 수단을 통해 이동 단말기를 진동시킬 수 있다. 또는, 상기 알람부(153)는, 키 신호가 입력된 경우, 그 키 신호 입력에 대한 피드백으로 진동 수단을 통해 전자기기(100)를 진동시킬 수 있다. 상기와 같은 진동을 통해 사용자는 이벤트 발생을 인지할 수 있다. 물론 이벤트 발생 알림을 위한 신호는 디스플레이부(151)이나 음성 출력 모듈(152)을 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
상기 햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
상기 햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 텔레매틱스 단말기의 구성 태양에 따라 2개 이상이 구비될 수 있다. 햅틱 모듈(154)은 차량에서 사용자와의 접촉이 빈번한 곳에 구비될 수 있다. 예를 들어, 조향 휠, 변속 기어 레버, 좌석 시트 등에 구비될 수 있다.
상기 메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 지도 데이터, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
상기 메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 전자기기(100)는 인터넷(internet)상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
상기 인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 한다. 예를 들면, 상기 인터페이스부(170)는 유/무선 헤드셋 포트(Headset Port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(Memory Card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등으로 구성될 수 있다. 여기서, 식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module; UIM), 가입자 인증 모듈(Subscriber Identify Module; SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module; USIM) 등을 포함할 수 있다. 또한, 상기 식별 모듈이 구비된 장치(이하 '식별 장치'라 한다)는, 스마트 카드(Smart Card) 형식으로 제작될 수 있다. 따라서, 상기 식별 모듈은 포트를 통하여 이동 단말기(100)와 연결될 수 있다. 이와 같은 인터페이스부(170)는 외부 기기로부터 데이터를 수신하거나 전원을 수신하여 이동 단말기(100) 내부의 각 구성 요소에 전달하거나 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다.
상기 인터페이스부(170)는 이동 단말기(100)가 외부 크래들(Cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
상기 제어부(180)는 통상적으로 전자기기(100)의 전반적인 동작을 제어한다. 예를 들면, 상기 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 상기 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 상기 멀티미디어 모듈(181)은 상기 제어부(180) 내에 구현될 수도 있고, 상기 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
상기 전원 공급부(190)는 상기 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 수신하여 각 구성요소들의 동작에 필요한 전원을 공급한다.
상기 전자기기(100)에 적용된 구성 요소의 기능은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터로 읽을 수 있는 기록매체 내에서 구현될 수도 있다. 하드웨어적인 구현에 의하면, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다. 소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수도 있다.
상기 음성 인식 모듈(182)은 사용자에 의해 발성된 음성을 인식하고, 그 인식된 음성 신호에 따라 해당 기능을 수행한다.
상기 전자기기(100)에 적용된 네비게이션 세션(session)(300)은 지도 데이터 상에 주행 경로를 표시한다.
한편, 본 명세서에 개시된 실시 예에 따른 상기 전자기기(100)는, 터치 스크린(151), 운전자를 촬영하도록 형성되는 카메라(121) 및 상기 카메라를 통해 수신되는 영상을 이용하여 상기 운전자의 시선을 탐지하고, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린(151)에서 기 설정된 기능이 수행되도록 상기 터치 스크린(151)을 제어하는 제어부(180)를 포함한다.
또한, 상기 전자기기(100)는 차량 전방을 향하도록 형성된 카메라(121)를 더 포함할 수 있다. 또한, 제어부(180)는 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 차량 전방을 향하도록 형성된 카메라(121)를 통해 수신되는 영상을 상기 터치 스크린(151)에 출력할 수 있다.
또한, 상기 전자기기(100)는 상기 터치 스크린(151)에 배치된 위치와 다른 위치에 형성되는 디스플레이부(151a)를 더 포함할 수 있다. 또한, 제어부(180)는 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린(151)에 출력된 화면정보를 상기 디스플레이부(151a)에 출력할 수 있다.
한편, 터치 스크린(151)에 표시되는 화면정보는 메모리(160)에 저장되거나, 무선 통신부(110)를 통해 외부 네트워크로부터 수신될 수 있다.
상기 통신부는 앞서 설명한 무선 통신부(110) 및 인터페이스부(170) 중 적어도 하나를 포함하는 구성으로, 타단말기와 무선 또는 유선을 통해 통신이 가능한 것으로 이해되어야 한다. 이하에서는 통신부에 대해 도면부호를 생략한다.
상기 제어부(180)가 소프트웨어적으로 구현되는 경우, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 이와 같은 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 제어부(180)에 의해 실행될 수도 있다.
본 명세서에 개시된 실시예에 따라서, 상기 전자기기(100)는 차량에 장착되어 차량 단말기(700)의 일 구성으로 포함될 수 있다. 상기 차량 단말기(700)는 상기 차량 단말기(700)가 장착된 차량에 대한 제어를 수행하거나, 그 차량에 대한 정보를 전송하는 장치이다. 예컨대, 상기 차량 단말기(700)는 차량의 속도 및 기어 상태 등 차량에 대한 정보를 제공하거나, 차량의 비상등을 온(On)/오프(Off) 제어하거나, 전조등(headlight)을 온/오프 제어하거나, 차량 내 좌석에 설치된 감지 센서를 통해 승객이 착석했는지를 판단하거나, 경적의 온/오프를 제어한다. 또한 상기 차량 단말기(700)는 HUD(Head-Up Display)(751) 또는 프로젝터(projector)(751)를 포함할 수 있다. 또한, 상기 차량 단말기(700)는 사용자 입력을 받을 수 있는 입력버튼(730)을 포함할 수 있고, 상기 입력버튼(730)은 차량 핸들, 차량의 계기판(dashboard), 차량의 기어쉬프트(gearshift)주변 및 차량의 팔걸이 등에 구비될 수 있으며, 이는 전자기기(100)의 사용자 입력부(130) 역할을 수행할 수 있다.
구체적으로, 본 명세서에 개시된 실시 예에 따라서, 상기 전자기기(100)의 제어부(180)는 터치 스크린(151)에 화면정보를 통해 제공할 수 있고, 나아가, 상기 차량 단말기(700)와의 통신을 통해 HUD(751) 또는 프로젝터(751)에 상기 화면정보를 제공할 수 있다. 여기서, 상기 화면정보는, 지도정보, 경로정보, 음악, 동영상 등 전자기기에서 출력 가능한 모든 종류의 화면정보를 포함할 수 있다.
따라서, 상기 제어부(180)는 상기 화면정보를 상기 차량 단말기(700)를 통해 상기 차량의 계기판(dashboard)에 표시하거나, 상기 차량 단말기(700)를 통해 HUD(Head-Up Display)(751) 또는 프로젝터(751)를 이용하여 상기 차량의 앞 유리에 표시하도록 제어할 수 있다. 상기 HUD(Head-Up Display)는 차량의 대쉬보드(Dashboard)에 장착될 수 있으며, 상기 HUD 및 상기 프로젝터는 일반적으로 알려진 방식이 사용될 수 있으므로 이에 대한 구체적인 설명은 생략한다.
상기 전자기기(100)는 차량에 장착되어 차량 단말기(700)의 일 구성으로 포함될 수 있다. 구체적으로, 차량 단말기(700)는 전자기기(100)를 하나의 구성으로 포함할 수 있다.
그러나, 차량 단말기(700)는 전자기기(100)의 일 실시 예로 이해될 수도 있다. 즉, 상기 차량 단말기(700)는 전자기기(100)가 차량에 구비되었을 경우 명칭만 다를 뿐, 실질적으로는 전자기기(100)를 의미할 수 있다. 이 경우, 차량에 구비된 전자기기(100)는 상기 차량 단말기(700)에 대하여 설명한 구성 및 기능들을 모두 포함할 수 있다.
이하에서는, 본 발명의 전자기기(100)의 일 실시 예인 텔레매틱스 단말기(200)에 대해 첨부된 도면을 참조하여 보다 구체적으로 살펴본다.
도 2는 본 명세서에 개시된 실시 예에 따른 텔레매틱스 단말기 시스템을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 차량 텔레매틱스 단말기 시스템은, 교통 정보 및 각종 데이터(예를 들면, 프로그램, 실행 파일 등)를 제공하는 정보 제공 센터(40)와; 차량 내에 장착되고, 원거리 무선 통신망(30) 및/또는 근거리 무선 통신망을 통해 교통 정보를 수신하고, 인공위성(20)을 통해 수신된 GPS 신호 및 상기 교통 정보를 근거로 길 안내 서비스를 제공하는 텔레매틱스 단말기(200)로 구성된다. 여기서, 상기 통신망은 LAN(Local Area Network), WAN(Wide Area Network)과 같은 유무선 통신 네트워크를 더 포함할 수도 있다.
상기 통신망을 통해서는 신호등 정보를 비롯한 각종 교통정보(예컨대, 도로 교통 정보 또는 관심지역 정보)가 수집되며, 수집된 정보는 정보 제공 센터(40)(예컨대, 서버)에서 TPEG(Transport Protocol Expert Group) 규격에 따라 처리되어 방송국으로 전송된다. 이에 따라 방송국에서는 신호등 정보를 포함하는 교통정보를 방송신호에 삽입하여 상기 텔레매틱스 단말기(200)으로 방송한다. 여기서, 상기 신호등 정보는 차량이 신호등에 인접할 때 신호등에 설치된 서버(도시하지 않음)로부터 수신될 수도 있다.
상기 서버는 통신망에 연결된 여러 가지 경로, 예를 들어 운영자 입력, 유무선 인터넷, TDC(Transparent Data Channel), MOC(Multimedia Object Transport)와 같은 디지털 방송 서비스, 타 서버 또는 검증 카(probe car)로부터 수집되는 각종 교통정보를, 예를 들면 교통정보 서비스를 위한 규격인 TPEG(Transport Protocol Expert Group) 규격에 따른 포맷과 같은 교통정보 포맷으로 재구성하여 방송국으로 전송한다.
상기 서버는 신호등 정보를 포함하는 TPEG 규격의 교통정보 포맷을 생성하여 방송국으로 전송할 수 있다.
방송국은 교통정보 수신 단말기 역할을 수행하는 차량 등에 탑재된 텔레매틱스 단말기(200), 예를 들어 네비게이션 장치가 수신할 수 있도록 서버로부터 수신한 신호등 정보를 포함하는 교통 정보를 방송신호에 실어 무선으로 송출한다. 상기 교통정보는 신호등 정보를 포함하며, 그 밖에 사고, 도로 상황, 교통 혼잡, 도로 건설, 도로 폐쇄, 공공 교통망 지연, 항공 운항 지연과 같은 도로, 해양, 항공 운항을 위해 필요한 각종 교통 조건에 대한 정보를 포함할 수 있다.
상기 방송국은 서버로부터 처리된 신호등 정보를 포함하는 교통정보를 수신하여, 다양한 디지털 방송 규격에 따른 디지털 신호를 통해 상기 텔레매틱스 단말기(200)에 전송한다. 이 경우, 방송 규격으로는 유레카-147[ETSI EN 300 401]에 기반한 유럽향 디지털 오디오 방송 (Digital Audio Broadcasting; DAB) 규격, 지상파 또는 위성 디지털 멀티미디어 방송(Digital Multimedia Broadcasting; DMB), 지상파 디지털 비디오 방송(Digital Video Broadcasting; DVB-T) 규격, 휴대용 디지털 비디오 방송(Digital Video Broadcasting-Handheld; DVB-H) 규격, MFLO(Media Forward Link Only) 규격과 같은 각종 디지털 방송 규격을 포함한다.
또한, 상기 방송국은 신호등 정보를 포함하는 교통정보를 유무선 인터넷과 같은 유무선 네트워크를 통해 전송할 수 있다.
상기 텔레매틱스 단말기(200)를 탑재한 상기 차량은 일반적인 승용차, 버스, 기차, 선박, 항공기 등 사람이나 물건의 이동을 목적으로 기계, 전자 장치를 이용하여 구현된 가능한 모든 운반체를 의미한다.
상기 차량은 교통정보 수신 단말기를 탑재하며, 탑재된 교통정보 수신 단말기를 이용하여 방송국으로부터 신호등 정보를 수신하고, 신호등 정보를 처리하여, 처리된 신호등 정보를 그래픽, 텍스트 및/또는 오디오를 통해 사용자에게 전달한다.
한편, 상기 텔레매틱스 단말기(200)는 이동 통신 모듈을 포함할 수 있다. 상기 이동 통신 모듈은, 이동 통신망 상에서 기지국(10), 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 및/또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
또한, 상기 텔레매틱스 단말기(200)는 유무선 통신 방식에 의하여 차량 단말기(700)와 통신을 수행한다. 상기 차량 단말기(700)는 일반적인 차량 제어를 수행하거나, 차량의 속도 및 기어 상태 등 차량에 대한 정보를 제공하거나, 차량의 비상등을 온(On)/오프(Off) 제어하거나, 전조등(headlight)을 온/오프 제어하거나, 차량 내 좌석에 설치된 감지 센서를 통해 승객이 착석했는지를 판단하거나, 경적의 온/오프를 제어한다. 상기 차량 단말기는 HUD(Head-Up Display) 또는 프로젝터(projector)를 포함할 수 있다.
이하에서는, 본 발명의 일 실시 예에 따른 텔레매틱스 단말기(200)의 구성을 도 3을 참조하여 설명한다.
도 3은 본 발명의 일 실시 예에 따른 텔레매틱스 단말기(200)의 구성을 나타낸 블록도이다.
도 3에 도시한 바와 같이, 텔레매틱스 단말기(200)는 텔레매틱스 단말기(200)를 전체적으로 제어하는 제어부(예를 들면, 중앙 처리 장치, CPU)(212)와, 각종 정보를 저장하는 메모리(213)와, 각종 키 신호를 제어하는 키 제어부(211)와, LCD(liquid crystal display)를 제어하는 LCD 제어부(214)를 내장한 메인 보드(210)로 구성된다.
상기 메모리(213)는 길 안내 정보를 디지털 지도상에 표시하기 위한 지도 정보(지도 데이터)를 저장한다. 또한, 상기 메모리(213)는 차량이 현재 주행하는 도로 상황에 따른 교통 정보를 입력할 수 있도록 하는 교통 정보 수집 제어 알고리즘 및 상기 알고리즘의 제어를 위한 정보를 저장한다.
상기 메인 보드(210)는 텔레매틱스 단말기(200)와 무선 통신 시스템 간의 무선 통신 또는 텔레매틱스 단말기(200)와 그 텔레매틱스 단말기(200)가 위치한 네트워크 간의 무선 통신을 수행하게 하는 무선 통신 모듈(206); 차량의 위치 안내, 출발지부터 목적지까지의 주행 경로 추적 등을 위한 GPS 신호를 수신하거나 사용자에 의해서 수집된 교통정보를 GPS(Global Positioning System) 신호로 송신하는 위치 정보 모듈(207); CD(compact disk)에 기록된 신호를 재생하기 위한 CD 데크(CD deck)(208); 자이로 센서(gyro sensor)(209) 등으로 구성된다. 상기 무선 통신 모듈(206) 및 위치 정보 모듈(207)은 각 모듈들을 위한 안테나(204, 205)를 통하여 신호를 송신/수신한다.
상기 무선 통신 모듈(206)은 고유의 기기번호가 부여된 이동 전자기기로서 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신하기 위한 이동 통신 모듈(206a); WLAN(Wireless LAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband; Wibro), 와이맥스(World Interoperability for Microwave Access; Wimax), HSDPA(High Speed Downlink Packet Access) 등과 같은 방식으로 무선 인터넷을 접속할 수 있는 무선 인터넷 모듈(206b); 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wireless LAN (Bluetooth, 802.11n 등등 프로토콜)등과 같은 방식으로 통신을 수행하는 근거리 통신 모듈(206c) 등을 포함할 수 있다.
또한, 방송 수신 모듈(222)은 상기 메인 보드(210)에 연결되고, 안테나(223)를 통해서 방송 신호를 수신한다. 상기 메인보드(210)에는 인터페이스 보드(203)를 통해서 상기 LCD 제어부(214)의 제어를 받는 표시부(LCD)(201)와, 키 제어부(211)의 제어를 받는 프론트 보드(202)와 차량의 내부 및/또는 외부를 촬영하는 카메라(227)가 연결된다. 상기 표시부(201)는, 각종 비디오 신호, 문자 신호를 표시하고, 상기 프론트 보드(202)는 각종 키 신호 입력을 위한 버튼을 구비하고, 사용자 선택이 이루어진 버튼에 해당하는 키 신호를 메인 보드(210)에 제공한다. 또한, 상기 표시부(201)는 도2의 근접 센서 및 터치 센서(터치 스크린)을 포함한다.
상기 프론트 보드(202)는 교통정보를 직접 입력하기 위한 메뉴 키를 구비하며, 상기 메뉴 키는 키 제어부(211)의 제어를 받도록 구성될 수 있다.
상기 오디오 보드(217)는 상기 메인 보드(210)와 연결되고, 각종 오디오 신호를 처리한다. 상기 오디오 보드(217)는 오디오 보드(217)의 제어를 위한 마이크로컴퓨터(219), 라디오 신호를 수신하는 튜너(218), 상기 마이크로컴퓨터(219)에 전원을 공급하는 전원부(216), 각종 음성 신호를 처리하는 신호 처리부(215)로 구성된다.
또한, 상기 오디오 보드(217)는 라디오 신호를 수신하기 위한 라디오 안테나(220)와, 오디오 테이프를 재생하기 위한 테이프 데크(221)로 구성된다. 상기 오디오 보드(217)는 상기 오디오 보드(217)에서 신호 처리된 음성 신호를 출력하기 위한 음성 출력부(예를 들면, 앰프)(226)를 더 구성할 수도 있다.
상기 음성 출력부(앰프)(226)는 차량 인터페이스(224)에 연결된다. 즉, 상기 오디오 보드(217)와 메인 보드(210)는 상기 차량 인터페이스(224)에 연결된다. 상기 차량 인터페이스(224)는 음성 신호를 입력하는 핸즈프리(225a), 탑승자 안전을 위한 에어백(225b), 차량의 속도를 검출하기 위한 속도 센서(225c) 등이 연결될 수도 있다. 상기 속도 센서(225c)는 차량 속도를 산출하고, 그 산출된 차량 속도 정보를 상기 중앙 처리 장치(212)에 제공한다.
상기 텔레매틱스 단말기(200)에 적용된 네비게이션 세션(300)은, 지도 데이터 및 차량 현재 위치 정보를 근거로 길 안내 정보를 발생하고, 그 발생된 길 안내 정보를 사용자에게 통지한다.
상기 표시부(201)는 근접 센서를 통해 표시창 내에서 근접 터치를 감지한다. 예를 들면, 상기 표시부(201)는 포인터(예를 들면, 손가락 또는 스타일러스 팬(stylus pen))가 근접 터치될 때 그 근접 터치의 위치를 검출하고, 그 검출된 위치에 대응하는 위치 정보를 상기 제어부(212)에 출력한다.
음성 인식 장치(또는 음성 인식 모듈)(301)는 사용자에 의해 발성된 음성을 인식하고, 그 인식된 음성 신호에 따라 해당 기능을 수행한다.
상기 텔레매틱스 단말기(200)에 적용된 네비게이션 세션(session)(300)은, 지도 데이터 상에 주행 경로를 표시한다.
한편, 본 명세서에 개시된 실시예를 따르는 전자기기가 적용된 상기 텔레매틱스 단말기(200)는, 터치 스크린(201), 운전자를 촬영하도록 형성되는 카메라(227) 및 상기 카메라를 통해 수신되는 영상을 이용하여 상기 운전자의 시선을 탐지하고, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린(201)에서 기 설정된 기능이 수행되도록 상기 터치 스크린(201)을 제어하는 제어부(212)를 포함한다.
또한, 상기 텔레매틱스 단말기(200)는 차량 전방을 향하도록 형성된 카메라(227)를 더 포함할 수 있다. 또한, 제어부(212)는 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 차량 전방을 향하도록 형성된 카메라(227)를 통해 수신되는 영상을 상기 터치 스크린(201)에 출력할 수 있다.
또한, 상기 텔레매틱스 단말기(200)는 상기 터치 스크린(201)에 배치된 위치와 다른 위치에 형성되는 디스플레이부(201a)를 더 포함할 수 있다. 또한, 제어부(212)는 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린(201)에 출력된 화면정보를 상기 디스플레이부(201a)에 출력할 수 있다.
한편, 터치 스크린(201)에 표시되는 화면정보는 메모리(231)에 저장되거나, 통신부를 통해 외부 네트워크로부터 수신될 수 있다.
상기 통신부는 앞서 설명한 무선 통신 모듈(206) 및 인터페이스 보드(203) 중 적어도 하나를 포함하는 구성으로, 타단말기와 무선 또는 유선을 통해 통신이 가능한 것으로 이해되어야 한다. 이하에서는 통신부에 대해 도면부호를 생략한다.
상기 제어부(180)가 소프트웨어적으로 구현되는 경우, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 이와 같은 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 제어부(180)에 의해 실행될 수도 있다.
본 명세서에 개시된 실시예에 따라서, 상기 텔레매틱스 단말기(200)는 차량에 장착되어 차량 단말기(700)의 일 구성으로 포함될 수 있다. 상기 차량 단말기(700)는 상기 차량 단말기(700)가 장착된 차량에 대한 제어를 수행하거나, 그 차량에 대한 정보를 전송하는 장치이다. 예컨대, 상기 차량 단말기(700)는 차량의 속도 및 기어 상태 등 차량에 대한 정보를 제공하거나, 차량의 비상등을 온(On)/오프(Off) 제어하거나, 전조등(headlight)을 온/오프 제어하거나, 차량 내 좌석에 설치된 감지 센서를 통해 승객이 착석했는지를 판단하거나, 경적의 온/오프를 제어한다. 또한 상기 차량 단말기(700)는 HUD(Head-Up Display)(751) 또는 프로젝터(projector)(751)를 포함할 수 있다. 또한, 상기 차량 단말기(700)는 사용자 입력을 받을 수 있는 입력버튼(730)을 포함할 수 있고, 상기 입력버튼(730)은 차량 핸들, 차량의 계기판(dashboard), 차량의 기어쉬프트(gearshift)주변 및 차량의 팔걸이 등에 구비될 수 있으며, 이는 텔레매틱스 단말기(200)의 프론트 보드(202) 역할을 수행할 수 있다.
구체적으로, 본 명세서에 개시된 실시 예에 따라서, 상기 텔레매틱스 단말기(200)의 제어부(212)는 터치 스크린(201)에 화면정보를 통해 제공할 수 있고, 나아가, 상기 차량 단말기(700)와의 통신을 통해 HUD(751) 또는 프로젝터(751)에 상기 화면정보를 제공할 수 있다. 여기서, 상기 화면정보는, 지도정보, 경로정보, 음악, 동영상 등 전자기기에서 출력 가능한 모든 종류의 화면정보를 포함할 수 있다.
따라서, 상기 제어부(180)는 상기 화면정보를 상기 차량 단말기(700)를 통해 상기 차량의 계기판(dashboard)에 표시하거나, 상기 차량 단말기(700)를 통해 HUD(Head-Up Display)(751) 또는 프로젝터(751)를 이용하여 상기 차량의 앞 유리에 표시하도록 제어할 수 있다. 상기 HUD(Head-Up Display)는 차량의 대쉬보드(Dashboard)에 장착될 수 있으며, 상기 HUD 및 상기 프로젝터는 일반적으로 알려진 방식이 사용될 수 있으므로 이에 대한 구체적인 설명은 생략한다.
이하에서는, 위에서 살펴본 텔레매틱스 단말기(200) 및 차량 단말기(700)의 구성들 중 적어도 하나를 포함하는 것이 가능한 전자기기(100)를 기준으로 설명한다.
도 4는 본 발명의 일 실시 예에 따른 차량 내부의 시스템을 설명하기 위한 개념도이다. 본 발명에 따른 차량에는 전자기기(100)가 구비될 수 있다. 상기 전자기기(100)는 도 2 및 도 3에서 살펴본 텔레매틱스 단말기(200) 및 차량 단말기(700) 중 적어도 하나를 포함할 수 있다. 이하에서는 설명의 편의를 위해 도 1에서 살펴본 전자기기의 구성을 참조하여, 운전자의 시선에 근거하여 터치 스크린을 제어하는 방법에 대해 설명한다. 여기서, 전자기기(100)에 대해 설명하는 내용, 구성 및 기술적 특징은 도 2 및 도 3에 개시된 텔레매틱스 단말기(200)에 동일/유사하게 유추 적용할 수 있다.
도 4를 참조하면, 차량에는 터치 스크린(151)이 구비될 수 있다. 상기 터치 스크린(151)은 운전자가 조작(선택, 터치)할 수 있는 위치에 형성될 수 있다. 예를 들어, 상기 터치 스크린(151)은, 도 4에 도시된 것과 같이, 차량의 핸들 주변에 형성될 수 있다. 상기 터치 스크린(151)에는 전자기기(100)에서 제공 가능한 다양한 화면정보가 출력될 수 있으며, 일 예로, 지도 데이터(지도 정보), 경로정보(주행정보)가 출력되거나, 사진, 동영상, DMB 또는 음악을 출력하기 위한 인터페이스(Interface)가 출력될 수 있다.
제어부(180)는 상기 터치 스크린(151)에 터치가 가해지면, 상기 터치가 가해지는 지점에 연계된 기능을 실행할 수 있다. 예를 들어, 상기 터치 스크린(151)에 제1 메뉴가 출력된 상태에서, 상기 제1 메뉴에 터치가 가해지면, 제어부(180)는 상기 제1 메뉴에 연계된 기능을 수행할 수 있다.
한편, 차량에는 사용자 입력부(130)가 구비될 수 있다. 상기 사용자 입력부(130)는 입력버튼의 형태로 형성될 수 있으며, 상기 입력버튼(730)은 차량을 구성하는 구성요소 중 어느 곳에든 배치될 수 있다. 일 예로, 상기 사용자 입력부(130)는 차량의 핸들, 차량의 계기판(dashboard), 차량의 기어쉬프트(gearshift)주변 및 차량의 팔걸이 등에 구비될 수 있다.
또한, 상기 차량에는 HUD(751)가 포함될 수 있다. 상기 HUD(751)는 차량의 앞 유리에 형성될 수 있으며, 전자기기(100)의 디스플레이부(151)에 출력되는 화면정보 중 적어도 일부를 표시할 수 있다.
상기 사용자 입력부(130)(입력버튼)이 차량의 핸들에 구비된 경우, 사용자는 운전을 하는 도중에 핸들을 잡은 손을 유지한 채로 입력버튼을 누를 수 있으므로, 운행의 안전성을 유지할 수 있다.
제어부(180)는 상기 사용자 입력부(130)를 통해 입력되는 입력신호를 이용하여 전자기기(100)의 터치 스크린(151)의 동작을 제어할 수 있다.
즉, 전자기기(100)는 터치 스크린(151)을 통해 직접 입력을 하는 방법 외에도, 상기 사용자 입력부(130)에 대한 입력을 통해 전자기기를 제어할 수 있다.
또한, 전자기기(100)는 마이크(122)를 통해 입력되는 음성을 이용하여 전자기기의 구성을 제어할 수도 있다.
한편, 차량에는 전자기기(100)의 카메라(121)가 적어도 하나 구비될 수 있다. 상기 카메라(121)는 운전자를 향하도록, 즉 운전자를 촬영하도록 형성될 수 있다. 이하에서는, 운전자를 촬영하도록 형성되는 카메라(121)를 드라이버 모니터링 카메라(Driver-monitoring camera)라고 명명할 수 있다.
또한, 상기 카메라(121)는 차량의 전방을 향하도록 형성될 수 있다. 제어부(180)는 상기 차량의 전방을 향하도록 형성되는 카메라를 통해 수신되는 영상을 동영상으로 저장할 수 있다. 즉, 상기 차량의 전방을 향하도록 형성되는 카메라(121)는, 일 예로, 블랙박스(blackbox)일 수 있다.
한편, 전자기기(100)는 상기 차량의 전방을 향하도록 형성되는 카메라(121)를 통해 수신되는 영상을 터치 스크린(151)에 출력할 수 있다.
이하에서는, 본 발명의 일 실시 예에 따른 운전자의 시선에 근거하여 터치 스크린을 제어하는 방법에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴본다.
도 5는 본 발명의 제어방법을 대표적으로 나타내는 흐름도이고, 도 6은 도 5에서 살펴본 제어방법을 설명하기 위한 개념도이다.
우선, 본 발명에서는, 카메라를 통해 수신되는 영상을 이용하여 운전자의 시선을 탐지하는 단계가 진행된다(S510). 상기 카메라(121)는 운전자를 향하도록 형성될 수 있다. 즉, 상기 카메라(121)는 운전자를 촬영하도록 형성되며, 위에서 설명한 드라이버 모니터링 카메라일 수 있다.
제어부(180)는 상기 카메라(121)를 통해 수신되는 영상을 이용하여 운전자의 시선을 탐지(감지, 검출, 판단)할 수 있다. 여기서, 상기 운전자의 시선은 운전자의 눈이 응시하는(가는, 주시하는, 바라보는) 길 또는 운전자의 눈의 방향을 의미할 수 있다.
구체적으로, 제어부(180)는 운전자를 촬영하도록 형성된 카메라(121)를 통해 영상을 수신하고, 상기 수신된 영상을 이용(분석)하여 운전자의 시선(500)을 탐지할 수 있다. 상기 영상을 이용하여 운전자의 시선을 탐지하는 것은, 일반적으로 알려진 방식이 사용될 수 있으므로 이에 대한 구체적인 설명은 생략한다.
이후, 본 발명에서는, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 터치 스크린에서 기 설정된 기능이 수행되도록 상기 터치 스크린을 제어하는 단계가 진행된다(S520).
구체적으로, 제어부(180)는 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 벗어나는지 여부를 판단할 수 있다. 상기 기 설정된 범위(600)는 운전자의 시선이 차량의 전방을 향하는 것으로 판단하기 위해 사용자에 의해 또는 제어부의 제어에 따라 미리 설정되어 있는 범위(영역, 부분)을 의미할 수 있다.
예를 들어, 상기 기 설정된 범위(600)는 상기 카메라를 통해 수신되는 영상의 일 부분(영역)에 설정될 수 있다. 제어부(180)는 상기 카메라를 통해 수신되는 영상을 통해 탐지된 운전자의 시선(500)이 기 설정된 범위(600) 내에 포함되는지 여부를 판단할 수 있다.
제어부(180)는 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 벗어나는 경우, 기 설정된 기능을 수행할 수 있다. 구체적으로, 제어부(180)는 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나는 것에 근거하여, 터치 스크린(151)에서 기 설정된 기능이 수행되도록 상기 터치 스크린(151)을 제어할 수 있다.
여기서, 상기 기 설정된 기능은 운전자의 시선(500)이 전방을 향하도록 유도하는 기능들과 관련이 있을 수 있다. 즉, 상기 기 설정된 기능은 운전자의 시선(500)이 기 설정된 범위(600)에 포함되도록 유도하는 기능들로 이해될 수 있다.
예를 들어, 상기 터치 스크린(151)에서 수행되는 기 설정된 기능은, 터치 스크린(151)에서 수행가능한 다양한 기능을 포함할 수 있으며, 일 예로 상기 터치 스크린에 대한 입력 기능을 제한하는 것일 수 있다. 상기 터치 스크린에 대한 입력 기능을 제한하는 것은 터치 스크린에 포함된 터치 센서를 비활성화시키는 것으로 이해될 수 있다. 즉, 제어부(180)는, 상기 터치 스크린에 대한 입력 기능이 제한되면, 상기 터치 스크린에 터치가 가해지더라도 이에 응답하지 않을 수 있다.
다른 예로, 상기 터치 스크린(151)에서 수행되는 기 설정된 기능은, 터치 스크린을 오프(OFF)시키거나, 상기 터치 스크린에 전방을 주시하도록 유도하는 알림정보 또는 경고정보를 출력하는 것을 포함할 수 있다.
또 다른 예로, 상기 터치 스크린(151)에서 수행되는 기 설정된 기능은, 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 상기 터치 스크린(151)에 출력하는 것을 포함할 수 있다.
또한, 제어부(180)는, 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나면, 상기 터치 스크린(151)에 출력되는 화면정보 중 적어도 일부에 대한 선택을 제한하도록, 상기 화면정보를 변경(전환)할 수 있다.
또한, 차량에 상기 터치 스크린(151)과 다른 디스플레이부(151a)가 형성된 경우, 제어부(180)는, 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린(151)에 출력된 화면정보를 상기 디스플레이부(151a)로 이동시켜 출력할 수 있다. 이 때, 상기 터치 스크린(151)에는 상기 화면정보가 출력되지 않을 수 있다.
상기 디스플레이부(151a)는, 상기 터치 스크린(151)이 배치된 곳과 다른 위치에 형성될 수 있다. 즉, 본 발명의 전자기기(100)는 터치 스크린(151)이 배치된 위치와 다른 위치에 형성되는 디스플레이부(151)를 더 포함할 수 있다.
상기 디스플레이부(151a)가 배치되는 위치는, 일 예로, 조수석에서 조작 가능한 위치 또는 뒷자석에서 조작 가능한 위치일 수 있다. 즉, 제어부(180)는 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나면, 운전자 이외의 탑승자가 전자기기를 제어하도록 상기 터치 스크린에 출력된 화면을 디스플레이부로 이동시킬 수 있다.
이 때, 제어부(180)는, 각 좌석에 배치된 센서들을 이용하여, 운전자 이외의 탑승자가 탑승한 위치를 파악하고, 상기 탑승자가 조작 가능한 곳에 위치한 디스플레이부(151a)로 상기 화면정보를 이동시킬 수 있다.
또한, 상기 디스플레이부(151a)는 HUD(751)를 포함할 수 있다. 이 경우, 전자기기(100)는 상기 HUD(751)에 상기 터치 스크린(151)에서 출력되던 화면정보를 출력하고, 마이크(122)를 통해 수신되는 음성명령 또는 사용자 입력부(130)를 통해 입력되는 제어명령에 대응되는 기능을 수행할 수 있다.
이 때, 상기 터치 스크린(151)에서 출력되던 화면정보가 HUD(751)에서 출력되는 경우, 상기 HUD(751)에는 음성 또는 사용자 입력부의 이용을 유도하는 정보가 출력될 수 있다.
한편, 상기 기 설정된 기능은 차량이 주행 상태인 것을 전제로 수행될 수 있다. 구체적으로, 제어부(180)는 차량이 주행중인 상태에서, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나는 경우, 상기 기 설정된 기능을 수행할 수 있다. 즉, 제어부(180)는 차량이 정지해 있는 상태에서는 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나더라도, 상기 기 설정된 기능을 수행하지 않을 수 있다. 여기서 상기 기 설정된 기능을 수행하지 않는다는 것은, 전자기기(100)(또는, 터치 스크린(151))를 상기 기 설정된 기능이 수행되기 전 상태로 동작(제어) 가능하다는 것을 의미할 수 있다.
한편, 본 발명의 전자기기(100)는, 상기 차량이 주행중이더라도, 차량의 주행속도가 기 설정된 속도 이하인 경우에는 상기 시선(500)이 기 설정된 범위를 일정 시간 이상 벗어나더라도 상기 기 설정된 기능을 수행하지 않을 수 있다.
또한, 상기 일정 시간은, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 처음 벗어나는 시점을 기준으로 측정되거나, 상기 터치 스크린에 터치가 가해진 시점부터 측정될 수 있다.
구체적으로, 제어부(180)는 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어나면, 상기 시선이 기 설정된 범위(600)를 벗어난 시간을 상기 시선이 기 설정된 범위를 벗어난 시점부터 측정할 수 있다. 이후, 제어부(180)는 상기 벗어난 시간이 일정 시간 이상이면, 상기 기 설정된 기능을 수행할 수 있다.
한편, 제어부(180)는 운전자가 차량 주행 상태에서 터치 스크린을 조작한다고 판단되는 경우, 상기 기 설정된 기능을 수행할 수 있다. 구체적으로, 제어부(180)는 상기 운전자의 시선(500)이 기 설정된 범위(500)를 벗어나는 것과 함께 터치 스크린(151)에 터치가 가해지면, 운전자가 터치 스크린을 조작하는 것으로 판단할 수 있다. 이 경우, 제어부(180)는, 상기 운전자의 시선(500)이 기 설정된 범위를 벗어난 상태에서, 상기 터치 스크린(151)에 터치가 가해진 시점으로부터 일정 시간 이상동안 상기 운전자의 시선(500)이 기 설정된 범위를 벗어나는 것이 유지되면, 상기 기 설정된 기능을 수행할 수 있다.
이상에서 설명한 내용은 도 6을 참조하면 보다 명확하게 이해될 것이다.
도 6의 맨 윗 도면을 참조하면, 본 발명에 따른 전자기기(100)는 운전자를 촬영하도록 형성되는 카메라(121)를 포함할 수 있다. 상기 카메라(121)를 통해 수신되는 영상은 도 6의 위에서 두 번째 도면들과 같을 수 있다. 제어부(180)는 상기 영상을 통해 운전자의 시선(500)을 탐지할 수 있다.
제어부(180)는 상기 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린에서 기 설정된 기능이 수행되도록 상기 터치 스크린(151)을 제어할 수 있다.
예를 들어, 도 6의 왼쪽 화살표를 따라가면, 제어부(180)는 상기 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나면, 터치 스크린(151)에 대한 입력 기능을 제한할 수 있다.
반면, 도 6의 오른쪽 화살표를 따라가면, 제어부(180)는 상기 운전자의 시선(500)이 기 설정된 범위(600)에 포함되는 경우, 상기 터치 스크린(151)에 대한 입력 기능을 유지시킬 수 있다.
한편, 본 발명의 전자기기는 운전자의 시선이 기 설정된 범위를 벗어나는 시간에 따라 서로 다른 기능을 수행할 수 있다. 이하에서는, 본 발명의 전자기기에서 운전자의 시선이 기 설정된 범위를 벗어나는 시간에 따라 실행되는 기능들에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴본다.
도 7은 본 발명의 일 실시 예에 따른 전자기기의 제어방법을 구체적으로 설명하기 위한 흐름도이다.
우선, 본 발명의 일 실시 예에 따른 전자기기(100)의 제어부(180)는 차량이 주행중인지 여부를 판단할 수 있다. 차량이 주행중이지 않은 상태라면, 제어부(180)는 터치 스크린(151)에서 기 설정된 기능을 수행하지 않을 수 있다. 여기서, 상기 터치 스크린(151)에서 기 설정된 기능이 수행되지 않는 상태는 enable 상태로 명명할 수 있으며, 이는 터치 스크린(151)(전자기기(100))에 구비된 적어도 하나의 기능이 정상적으로 작동될 수 있는 상태를 의미한다.
예를 들어, 제어부(180)는 차량이 주행중이지 않으면, 터치 스크린(151)에 대한 입력 기능을 유지시킬 수 있다.
차량이 주행중인 상태라면, 제어부(180)는 운전자를 향하도록(촬영하도록) 형성된 카메라(121)를 활성화 시킬 수 있다. 구체적으로, 제어부(180)는 상기 운전자를 향하도록 형성된 카메라(121)를 활성화시키고, 상기 카메라(121)를 통해 수신되는 영상을 이용하여 운전자의 시선(500)을 탐지할 수 있다.
제어부(180)는 상기 탐지된 시선(500)기 기 설정된 범위(600)를 벗어났는지 여부를 판단할 수 있다. 상기 시선(500)이 기 설정된 범위(600)에 포함되는 경우, 제어부(180)는 상기 터치 스크린을 enable상태로 유지시킬 수 있다.
반면, 제어부(180)는, 상기 시선(500)이 제1 시간동안 상기 기 설정된 범위(600)를 벗어나면, 상기 터치 스크린(151)에 출력된 제1 화면정보를 상기 제1 화면정보와 다른 제2 화면정보로 전환(변경)할 수 있다.
상기 제1 시간은, 위에서 설명한 일정 시간의 일 예로, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어난 상태에서, 터치가 가해진 시점으로부터 측정된 시간일 수 있다.
즉, 제어부(180)는, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어난 상태가, 터치가 가해진 시점으로부터 제1 시간이 경과되는 동안 유지되면, 상기 터치 스크린(151)에 출력된 제1 화면정보를 상기 제1 화면정보와 다른 제2 화면정보로 전환할 수 있다.
상기 제2 화면정보는 제1 화면정보에 포함된 선택 가능한 정보 중 적어도 일부에 대한 선택이 제한된 화면정보일 수 있다.
상기 제2 화면정보에 대해서는 도 8을 참조하여 보다 구체적으로 살펴본다. 도 8은 본 발명의 일 실시 예에 따른 전자기기의 터치 스크린에 출력된 제1 화면정보가 제2 화면정보로 전환되는 것을 설명하기 위한 개념도이다.
도 8의 첫번째 도면에 도시된 것과 같이, 전자기기(100)의 터치 스크린(151)에는 제1 화면정보(300a)가 출력될 수 있다. 상기 제1 화면정보(300a)에는 전자기기(100)에서 실행 가능한 기능들을 선택하기 위한 메뉴가 포함될 수 있다. 전자기기(100)는 상기 메뉴 중 어느 하나가 선택(터치)되면, 상기 선택된 메뉴에 해당하는 기능을 실행할 수 있다.
이후, 도 8의 두번째 도면에 도시된 것과 같이, 제어부(180)는 상기 운전자의 시선(500)이 기 설정된 범위(600)를 일정시간 이상 벗어나면, 제1 화면정보(300a)에 포함된 선택 가능한 정보 중 적어도 일부에 대한 선택이 제한된 제2 화면정보(300b)를 출력할 수 있다.
구체적으로, 제어부(180)는, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어난 상태가, 터치가 가해진 시점으로부터 제1 시간이 경과되는 동안 유지되면, 제1 화면정보(300a)에 출력된 선택 가능한 정보(310a, 310b) 중 적어도 일부(310b)가 선택되지 않도록 비활성화시킬 수 있다.
상기 선택이 제한된 적어도 일부(310b)는 전자기기(100a)에서 실행 가능한 기능들 중 조작 시간이 기준시간 이상 소요된다고 판단되는 기능을 실행시키는 정보(메뉴)일 수 있다. 상기 조작 시간이 기준시간 이상 소요된다고 판단되는 기능들은 사용자 선택에 의해 결정되거나, 제어부의 제어에 따라 결정될 수 있다.
한편, 제어부(180)는 운전자의 시선(500)이 기 설정된 범위(600)를 일정시간 이상 벗어나면, 또는 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어난 상태가, 터치가 가해진 시점으로부터 제1 시간이 경과되는 동안 유지되면, 경고 정보(또는 경고 메시지)(510)를 터치 스크린(151)에 출력할 수 있다. 도 8의 두번째 도면에 도시된 것과 같이, 상기 경고 정보(510)는 제2 화면정보(300b)에 포함될 수 있다.
다시 도 7로 돌아와, 제어부(180)는 상기 운전자의 시선(500)이 상기 제1 시간보다 긴 제2 시간동안 상기 기 설정된 범위(600)를 벗어나면, 터치 스크린(151)에 대한 입력 기능을 제한할 수 있다. 구체적으로, 제어부(180)는, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어난 상태가, 터치가 가해진 시점으로부터 상기 제1 시간보다 긴 제2 시간이 경과되는 동안 유지되면, 터치 스크린(151)에 대한 입력 기능을 제한할 수 있다.
제어부(180)는 운전자의 시선(500)이 상기 제2 시간동안 기 설정된 범위(600)를 벗어나면, 터치 스크린(151)에 대한 입력 기능을 제한하고, 상기 터치 스크린에 대한 입력 기능이 제한되었음을 알리는 알림정보(520)를 터치 스크린(151)에 출력할 수 있다.
또한, 제어부(180)는, 상기 터치 스크린에 대한 입력 기능이 제한된 경우, 음성 또는 사용자 입력부의 이용을 유도하는 정보를 터치 스크린(151)에 출력할 수 있다.
터치 스크린에 대한 입력 기능이 제한된 경우 터치 스크린(151)에 출력되는 화면의 일 예는 도 9와 같을 수 있다. 도 9는 본 발명의 일 실시 예에 따른 전자기기에서 터치 스크린에 대한 입력 기능이 제한되는 것을 설명하기 위한 개념도이다.
도 9의 첫번째 도면에 도시된 것과 같이, 터치 스크린(151)에는 운전자의 시선(500)이 터치 스크린에 터치가 가해진 시점으로부터 제1 시간 이상 벗어난 것에 근거하여, 제1 화면정보 중 적어도 일부의 선택이 제한된 제2 화면정보(510)가 출력될 수 있다.
이후, 도 9의 두번째 도면에 도시된 것과 같이, 제어부(180)는 운전자의 시선(500)기 상기 제1 시간보다 긴 제2 시간 이상 기 설정된 범위(600)를 벗어나면, 터치 스크린(151)에 대한 터치 입력을 제한할 수 있다. 또한, 제어부(180)는 상기 터치 스크린(151)에 터치 스크린에 대한 터치 입력이 제한되었음을 알리는 알림정보(520)를 출력할 수 있다.
또한, 제어부(180)는, 도 9의 세번째 도면에 도시된 것과 같이, 상기 터치 스크린에 대한 입력 기능이 제한된 경우, 음성 또는 사용자 입력부의 이용을 유도하는 정보(530)가 출력될 수 있다.
즉, 제어부(180)는, 음성 또는 사용자 입력부의 이용을 유도하는 정보(530)를 출력하고, 마이크(122)로부터 수신되는 음성명령 또는 사용자 입력부(130)를 통해 수신되는 제어명령에 근거하여 전자기기에서 실행 가능한 기능 중 적어도 하나를 실행할 수 있다. 여기서, 사용자 입력부(130)를 통해 제어명령이 수신되면, 터치 스크린(151)에는 인디케이터(540)가 출력될 수 있다.
상기 인디케이터(540)가 표시되는 위치는, 상기 사용자 입력부(130)에 가해지는 사용자 조작에 따라 달라질 수 있다.
다시 도 7로 돌아와, 제어부(180)는 상기 운전자의 시선(500)이 상기 제2 시간보다 긴 제3 시간동안 상기 기 설정된 범위(600)를 벗어나면, 터치 스크린(151)을 오프(OFF)할 수 있다. 구체적으로, 제어부(180)는, 제어부(180)는, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어난 상태가, 터치가 가해진 시점으로부터 상기 제2 시간보다 긴 제3 시간이 경과되는 동안 유지되면, 터치 스크린(151)을 오프(OFF)할 수 있다.
한편, 제어부(180)는, 차량의 전방을 향하도록 형성된 카메라(121)를 이용하여, 상기 운전자의 시선(500)이 상기 제2 시간보다 긴 제3 시간동안 상기 기 설정된 범위(600)를 벗어나면, 터치 스크린(151)을 오프(OFF)시키는 대신 상기 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 상기 터치 스크린(151)에 출력할 수 있다.
도 10을 참조하면, 도 10은 본 발명의 일 실시 예에 따른 전자기기에서 터치 스크린이 오프되거나 전방을 향하도록 형성된 카메라를 통해 수신된 영상이 터치 스크린에 출력되는 것을 설명하기 위한 개념도이다.
도 10의 첫번째 도면에 도시된 것과 같이, 터치 스크린(151)에 대한 입력 기능이 제한된 상태에서, 운전자의 시선(500)이 기 설정된 범위를 상기 제2 시간보다 긴 제3 시간 이상 벗어나면, 제어부(180)는, 도 10의 두번째 도면에 도시된 것과 같이, 터치 스크린(151)을 오프(OFF)할 수 있다.
반면, 본 발명의 전자기기에는 차량의 전방을 향하도록 형성된 카메라(121)를 더 포함할 수 있다. 이 경우, 제어부(180)는 상기 터치 스크린(151)을 오프하는 대신, 상기 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상(600)을 터치 스크린(151)에 출력할 수 있다. 이를 통해, 본 발명은 운전자의 시선이 계속 터치 스크린을 향하는 것으로 판단되면, 터치 스크린에 전방 영상(600)을 출력하여, 운전자가 전방 상황을 파악하도록 도움을 줄 수 있다. 이 때, 상기 전방 영상(600)에는 전방 주시를 유도하는 경고 정보(경고 메시지)(510)가 출력될 수 있다.
도시되진 않았지만, 본 발명의 전자기기는 터치 스크린(151)이 배치된 위치와 다른 위치에 형성되는 디스플레이부(151a)를 더 포함할 수 있다. 구체적으로, 차량에 상기 터치 스크린(151)과 다른 디스플레이부(151a)가 형성된 경우, 제어부(180)는, 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린(151)에 출력된 화면정보를 상기 디스플레이부(151a)로 이동시켜 출력할 수 있다. 이 때, 상기 터치 스크린(151)에는 상기 화면정보가 출력되지 않을 수 있다.
상기 디스플레이부(151a)는, 상기 터치 스크린(151)이 배치된 곳과 다른 위치에 형성될 수 있다. 즉, 본 발명의 전자기기(100)는 터치 스크린(151)이 배치된 위치와 다른 위치에 형성되는 디스플레이부(151)를 더 포함할 수 있다.
상기 디스플레이부(151a)가 배치되는 위치는, 일 예로, 조수석에서 조작 가능한 위치 또는 뒷자석에서 조작 가능한 위치일 수 있다. 즉, 제어부(180)는 상기 탐지된 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나면, 운전자 이외의 탑승자가 전자기기를 제어하도록 상기 터치 스크린에 출력된 화면을 디스플레이부로 이동시킬 수 있다.
이 때, 제어부(180)는, 각 좌석에 배치된 센서들을 이용하여, 운전자 이외의 탑승자가 탑승한 위치를 파악하고, 상기 탑승자가 조작 가능한 곳에 위치한 디스플레이부(151a)로 상기 화면정보를 이동시킬 수 있다. 만약, 상기 운전자 이외의 탑승자가 없는 것으로 판단되면, 제어부(180)는, 터치 스크린(151)을 오프하거나, 전방 영상(600)을 터치 스크린(151)에 출력할 수 있다.
이러한 구성을 통해, 본 발명은 운전자 이외의 탑승자가 존재하는 경우, 상기 탑승자에게 전자기기의 조작을 유도함과 동시에, 운전자가 전방을 주시하도록 유도할 수 있어, 운전자의 전방주시율을 높이고, 사고율을 감소시킬 수 있다.
또한, 본 발명은 운전자의 시선이 전방을 벗어난 경우(기 설정된 범위를 벗어난 경우), 상기 시선이 전방을 벗어난 시간에 따라 서로 다른 기능을 수행함으로써, 운전자에게 보다 점진적 또는 적극적으로 전방을 주시하도록 유도할 수 있다.
한편, 본 발명은 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 위에서 제1 내지 제3 시간이 경과함에 따라 수행되는 기능들 중 적어도 하나가 실행되도록 제어할 수 있다. 구체적으로, 제어부(180)는, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 화면정보를 변경하거나, 터치 스크린에 대한 입력 기능을 제한하거나, 터치 스크린을 오프하거나, 전방 영상을 출력하거나, 터치 스크린에 출력된 화면정보를 다른 디스플레이부로 이동시켜 출력할 수 있다.
또한, 본 발명의 전자기기는, 터치 스크린에 터치가 가해지지 않더라도, 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 도 4 내지 10에서 설명한 기능들 중 적어도 하나를 수행할 수 있다.
예를 들어, 제어부(180)는, 차량이 주행중인 상태에서, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 벗어나면, 상기 터치 스크린을 오프시킬 수 있다.
여기서, 제어부(180)는, 운전자를 촬영하도록 형성된 카메라를 통해 수신되는 영상을 이용하여, 운전자가 터치 스크린(151)을 응시하고 있는지 여부를 판단할 수 있다. 구체적으로, 제어부(180)는, 상기 카메라를 통해 수신된 영상을 통해 탐지된 운전자의 시선을 이용하여, 상기 운전자의 시선이 터치 스크린(151)이 배치된 곳을 향하고 있는지 여부를 판단할 수 있다.
즉, 제어부(180)는, 차량이 주행중인 상태에서, 운전자의 시선(500)이 일정 시간동안 상기 터치 스크린(151)을 향하는 것으로 판단되면, 터치 스크린(151)을 오프시킬 수 있다.
다른 예로, 제어부(180)는, 차량이 주행중인 상태에서, 운전자의 시선(500)이 일정 시간동안 터치 스크린(151)을 향하는 것으로 판단되면, 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 상기 터치 스크린(151)에 출력하거나, 전방 주시를 유도하는 경고 정보(경고 메시지)를 출력할 수 있다.
여기서, 상기 경고 정보는 터치 스크린(151)에 출력되는 것 뿐만 아니라, 스피커를 통해 출력되는 알람의 형태 또는 운전자가 착석한 시트 또는 핸들에 가해지는 진동의 형태로 출력될 수도 있다.
이하에서는 본 발명과 관련된 전자기기의 더욱 다양한 실시 예에 대하여 첨부된 도면을 참조하여 보다 구체적으로 설명하기로 한다. 이하에서 설명하는 내용은, 차량이 주행중인 상태를 전제로 수행될 수도 있고, 차량이 일정 속도 이상으로 주행중인 상태를 전제로 수행될 수도 있다. 또한, 이하에서 설명하는 내용은 차량이 주행중인 경우 뿐만 아니라 정차하거나, 일정속도 이하로 서행중인 경우에도 동일/유사하게 유추적용될 수 있다.
도 11a, 도 11b 및 도 11c는 본 발명의 일 실시 예에 따른 전자기기에 복수의 터치 스크린이 구비되는 경우의 제어방법을 설명하기 위한 개념도이다.
본 발명과 관련된 전자기기는 복수의 터치 스크린을 구비할 수 있다. 예를 들어, 도 11a에 도시된 것과 같이, 본 발명과 관련된 전자기기는, 차량에 복수의 터치 스크린, 예를 들어, 제1 터치 스크린(151a) 및 상기 제1 터치 스크린과 다른 제2 터치 스크린(151b)이 구비될 수 있다.
상기 제1 및 제2 터치 스크린(151a, 151b)에는, 서로 동일한 데이터를 기반으로 한 실질적으로 동일한 화면정보가 표시될 수도 있고, 서로 다른 화면정보가 표시될 수도 있다.
한편, 본 발명과 관련된 전자기기의 제어부(180)는, 운전자의 시선에 근거하여, 상기 복수의 터치 스크린을 다양한 방식으로 제어할 수 있다.
일 예로, 제어부(180)는, 카메라(121)를 이용하여 운전자의 시선을 탐지하고, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나는 것에 근거하여, 상기 복수의 터치 스크린에 출력중인 화면정보를 사라지게 할 수 있다.
여기서, 터치 스크린에 출력중인 화면정보를 사라지게 한다는 것은, 터치 스크린을 오프(OFF)시키거나, 화면정보가 출력되지 않도록 대기모드로 진입하거나, 기 출력중인 화면정보 대신 다른 화면정보를 출력하는 것(또는, 기 출력중인 화면정보를 다른 화면정보로 전환(변경)하는 것) 등을 포함할 수 있다.
이 때, 상기 복수의 터치 스크린에 출력중인 화면정보는 서로 다른 시간이 경과하는 것에 근거하여 사라질 수 있다. 구체적으로, 제어부(180)는, 운전자의 시선(500)이 기 설정된 범위(600)를 벗어난 시간에 따라 복수의 터치 스크린에 출력중인 화면정보를 서로 다른 시간에 사라지게 할 수 있다.
도 11b를 참조하면, 상기 복수의 터치 스크린은, 제1 터치 스크린(151a) 및 상기 제1 터치 스크린(151a)과 다른 제2 터치 스크린(151b)을 포함할 수 있다(본 명세서에서는, 설명의 편의를 위해 복수의 터치 스크린이 두 개(제1 및 제2 터치 스크린)인 것을 예로 설명하지만, 이에 한정되지 않는다).
여기서, 도 11b에 도시된 것과 같이, 상기 제1 터치 스크린(151a)과 운전자 사이의 거리(예를 들어, 차량에서 제1 터치 스크린(151a)과 운전자(또는 운전석) 사이의 거리)는, 상기 제2 터치 스크린(151b)과 운전자 사이의 거리(예를 들어, 제2 터치 스크린(151b)과 운전자(또는 운전석) 사이의 거리)보다 가까울 수 있다. 즉, 제1 터치 스크린(151a)은 제2 터치 스크린(151b)보다 운전자에 가깝게 배치된 터치 스크린일 수 있다.
제1 및 제2 터치 스크린(151a, 151b)에 어느 화면정보들이 출력중인 상태에서, 제어부(180)는, 카메라(121)를 통해 수신되는 영상을 이용하여 운전자의 시선(500)을 감지할 수 있다. 이 때, 제어부(180)는, 운전자의 시선(500)이 기 설정된 범위(600)를 벗어나는 시간이 길어질수록, 복수의 터치 스크린 중 운전자로부터 먼 곳에 배치된 터치 스크린에 출력중인 화면정보부터 사라지게 할 수 있다.
예를 들어, 제어부(180)는, 도 11b에 도시된 것과 같이, 운전자의 시선(500)이 기 설정된 범위(600)를 제1 시간 이상 벗어나면, 제2 터치 스크린(151b)에 출력중인 화면정보를 사라지게 할 수 있다. 이 때, 제어부(180)는, 상기 제1 터치 스크린(151a)에 출력중인 화면정보의 출력을 유지시킬 수 있다. 여기서, 상기 제1 시간은, 앞서 설명한 일정 시간과 동일한 시간일 수도 있고, 상기 일정 시간보다 더 긴 시간일 수도 있다.
한편, 제어부(180)는, 상기 운전자의 시선(500)이 상기 기 설정된 범위(600)를 상기 제1 시간보다 긴 제2 시간만큼 벗어나면, 상기 제1 터치 스크린(151a)에 출력중인 화면정보도 사라지게 할 수 있다. 즉, 상기 제1 터치 스크린(151a)에 출력중인 화면정보는, 상기 운전자의 시선(500)이 상기 기 설정된 범위(600)를 상기 제1 시간보다 긴 제2 시간 이상 벗어나는 것에 근거하여 사라질 수 있다. 상기 제1 시간 및 상기 제2 시간은, 사용자 설정에 의해 결정(지정)될 수 있다. 이러한 구성을 통해, 본 발명은 운전자가 복수의 터치 스크린 중 운전자로부터 먼 곳에 배치된 터치 스크린을 응시하는 시간을 감축시킴으로써, 보다 운전에 집중할 수 있도록 유도할 수 있는 제어방법을 제공할 수 있다.
다만, 이에 한정되지 않고, 본 발명과 관련된 전자기기의 제어부(180)는, 운전자의 시선(500)이 기 설정된 범위(600)를 벗어나는 시간이 길어질수록, 운전자로부터 가까운 곳에 배치된 터치 스크린에 출력중인 화면정보부터 사라지게 할 수도 있다.
예를 들어, 제1 및 제2 터치 스크린(151a, 151b)에 화면정보가 출력된 상태에서, 운전자의 시선(500)이 기 설정된 범위(600)를 상기 제1 시간 이상 벗어나면, 제어부(180)는, 제1 및 제2 터치 스크린 중 운전자와 가까운 곳에 배치된 제1 터치 스크린(151a)에 출력된 화면정보를 먼저 사라지게 할 수 있다. 이후, 제어부(180)는, 상기 운전자의 시선(500)이 기 설정된 범위(600)를 상기 제1 시간보다 긴 제2 시간만큼 벗어나는 것에 근거하여, 상기 제2 터치 스크린(151b)에 출력중인 화면정보를 사라지게 할 수 있다.
일 예로, 제어부(180)는, 카메라(121)를 통해 수신되는 영상에 운전자와 다른 사용자(예를 들어, 운전자 옆에 동승한 동승자)가 상기 제2 터치 스크린을 응시(또는 조작, 터치)하고 있다고 판단되는 경우, 상기 제1 및 제2 터치 스크린(151a, 151b) 중 운전자로부터 가까운 곳에 배치된 제1 터치 스크린(151a)에 출력중인 화면정보를 먼저 사라지게 할 수 있다.
또한, 본 발명에서, 복수의 터치 스크린이 구비된 경우, 운전자의 시선이 기 설정된 범위를 벗어나는 시간이 길어질수록, 운전자로부터 먼 곳에 배치된 터치 스크린에 표시된 화면정보부터 사라지게 할지, 또는 운전자로부터 가까운 곳에 배치된 터치 스크린에 표시된 화면정보부터 사라지게 할지 여부는 사용자 설정에 의해 결정되거나, 미리 설정된 조건을 만족하는지 여부에 근거하여 결정될 수 있다.
한편, 본 발명과 관련된 전자기기는, 운전자와 다른 사용자(예를 들어, 운전자 옆에 동승한 동승자)의 조작이 가해지고 있다고 판단되는 경우에는, 조작이 가해지고 있다고 판단되는 터치 스크린에 출력되는 화면정보의 출력을 사라지지 않게 할 수 있다. 이하에서 설명하는 운전자는 차량을 운전하는 사람이고, 사용자는 운전자가 앉은 운전석의 옆좌석(조수석)에 앉은 동승자를 의미할 수 있다.
구체적으로, 본 발명과 관련된 전자기기의 카메라(121)는, 도 11c에 도시된 것과 같이, 상기 운전자와 다른 사용자를 더 촬영하는 것이 가능하도록 형성될 수 있다. 이 때, 상기 카메라(121)는 하나의 카메라로서 운전자 및 사용자를 함께 촬영하는 것이 가능하도록 배치되거나, 운전자 및 사용자를 함께 촬영하는 것이 가능하도록 넓은 화각을 갖도록 형성될 수 있다. 또한, 본 발명과 관련된 전자기기는 상기 운전자 및 상기 운전자와 다른 사용자를 촬영하도록 복수의 카메라가 구비될 수 있다. 복수의 카메라가 구비되는 경우, 일 예로, 제1 카메라는 운전석 전면에 배치되고, 제2 카메라는 조수석 전면에 배치될 수 있다.
제어부(180)는, 도 11c에 도시된 것과 같이, 카메라(121)를 통해 수신되는 영상을 이용하여 운전자 및/또는 사용자(동승자)가 터치 스크린에 터치를 가하는지 여부를 판단할 수 있다. 구체적으로, 제어부(180)는, 카메라(121)를 통해 수신되는 영상을 이용하여, 운전자(1200a) 및 사용자(1200b)를 구분하거나, 운전자의 시선(500a), 사용자의 시선(500b), 운전자의 움직임 및 사용자의 움직임 중 적어도 하나에 근거하여 터치 스크린에 터치(또는 조작)을 가하는지 여부 및 복수의 터치 스크린 중 어느 터치 스크린에 터치를 가하는지 여부를 판단할 수 있다.
예를 들어, 카메라를 통해 수신되는 영상에서, 운전자가 아닌 사용자의 시선이 어느 터치 스크린을 향하는 것으로 판단되며, 상기 사용자의 움직임이 기 설정된 움직임(예를 들어, 터치를 가하기 위해 몸을 숙이거나, 팔을 뻗는 움직임 등)이 가지되면, 제어부(180)는, 상기 어느 터치 스크린에 상기 운전자가 아닌 사용자가 터치를 가하는 것으로 판단할 수 있다.
이러한 구분 및 판단은, 영상분석 및 기 설정된 알고리즘을 통해 수행 가능하며, 이와 관련된 내용은 일반적인 내용에 해당하므로 보다 구체적인 설명을 생략하기로 한다.
본 발명과 관련된 전자기기의 제어부(180)는, 카메라를 통해 수신되는 영상에 근거하여 운전자가 아닌 사용자가 복수의 터치 스크린 중 어느 하나의 터치 스크린에 터치를 가하는 것으로 판단되면, 상기 어느 하나의 터치 스크린에 출력중인 화면정보를 사라지게 하는 대신 출력을 유지시킬 수 있다.
예를 들어, 도 11c에 도시된 것과 같이, 운전자(1200a)의 시선(500a) 및 사용자(1200b)의 시선(500b)이 기 설정된 범위(600a, 600b)를 일정 시간(예를 들어, 제1 시간 또는 제2 시간) 벗어나는 것에 근거하여, 복수의 터치 스크린 중 적어도 하나의 터치 스크린에 출력중인 화면정보가 사라질 수 있다. 이 때, 제어부(180)는, 상기 운전자 및 사용자의 시선이 기 설정된 범위를 일정시간 이상 벗어나더라도, 사용자(1200b)가 복수의 터치 스크린 중 어느 하나의 터치 스크린(예를 들어, 제1 터치 스크린(151a))에 터치를 가하는 것으로 판단되면, 상기 어느 하나의 터치 스크린(예를 들어, 제1 터치 스크린(151a))에 표시된 화면정보가 사라지지 않도록 상기 어느 하나의 터치 스크린을 제어할 수 있다. 이 때, 상기 어느 하나의 터치 스크린에 출력중인 화면정보는 출력이 유지될 수 있다. 만약, 상기 어느 하나의 터치 스크린에 출력중인 화면정보가 사라진 상태에서(또는, 상기 어느 하나의 터치 스크린이 오프된 상태에서), 상기 운전자가 아닌 사용자에 의해 상기 어느 터치 스크린에 터치가 가해지는 것으로 판단되면, 제어부(180)는, 상기 사라진 화면정보를 다시 상기 어느 하나의 터치 스크린에 출력시킬 수 있다(또는, 상기 어느 하나의 터치 스크린을 온 시킬 수 있다).
또한, 제어부(180)는, 상기 어느 하나의 터치 스크린에 대한 입력 기능을 제한하지 않고 유지시킬 수 있다. 구체적으로, 제어부(180)는, 도 11c에 도시된 것과 같이, 운전자(1200a)가 아닌 사용자(1200b)가 상기 어느 하나의 터치 스크린(151a)에 터치(조작)를 가하고 있다고 판단되는 경우, 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나더라도, 입력 기능을 제한하지 않고 유지시킬 수 있다.
이 때, 제어부(180)는, 도시되진 않았지만, 운전자가 전방을 바라보도록 유도하는 알림정보를 상기 어느 하나의 터치 스크린에 출력하거나, 전방을 향하도록 배치된 카메라를 통해 수신되는 영상(전방 영상)을 상기 어느 하나의 터치 스크린에 출력할 수 있다.
한편, 동승자의 시선(500b)이 기 설정된 범위(600b)를 벗어나더라도, 운전자의 시선(500b)이 기 설정된 범위(600a)를 벗어나지 않으면(즉, 운전자가 전방을 주시하고 있으면), 제어부(180)는, 복수의 터치 스크린에 출력된 화면정보를 유지시키고, 터치 입력 기능을 제한하지 않을 수 있다.
이로 인해, 본 발명은 운전자가 아닌 사용자에 의한 터치 조작이 있다고 판단되는 경우, 터치 조작을 방해하지 않으면서, 운전자가 전방을 바라보도록 유도할 수 있는 사용자 인터페이스를 제공할 수 있다.
도 12a, 도 12b 및 도 12c는 본 발명의 일 실시 예에 따른 전자기기에서 복수의 사용자가 응시하는 시선에 근거하여 특정 기능이 수행되는 방법을 설명하기 위한 개념도이다.
본 발명과 관련된 전자기기는, 앞서 설명한 것과 같이, 운전자 및 상기 운전자와 다른 사용자(동승자)를 촬영하는 것이 가능하도록 형성된 카메라를 포함할 수 있다.
제어부(180)는, 상기 카메라를 통해 수신되는 영상에 근거하여, 운전자의 시선(500a) 및 사용자의 시선(500b)을 탐지할 수 있다. 구체적으로, 제어부(180)는, 카메라를 통해 수신되는 영상을 이용하여 운전자의 시선(500a) 뿐만 아니라 사용자의 시선(500b)을 더 탐지하고, 상기 운전자의 시선(500a) 및 사용자의 시선(500b)이 일정 시간 이상 함께 터치 스크린(151)을 향하는 것으로 판단되면, 특정 기능이 수행되도록 상기 터치 스크린(151)을 제어할 수 있다.
상기 운전자의 시선(500a) 및 사용자의 시선(500b)이 일정 시간 이상 함께 터치 스크린(151)을 향한다는 것은, 운전자의 시선(500a) 및 사용자의 시선(500b)이 각각 기 설정된 범위(600a, 600b)(예를 들어, 전방에 해당하는 범위)를 일정 시간 이상 함께 벗어났다는 의미를 포함할 수 있다.
상기 특정 기능은 다양한 기능을 포함할 수 있다. 예를 들어, 상기 특정 기능은, 운전자의 시선이 전방을 향하도록 유도하고, 사용자에 의해 터치 스크린의 조작이 이루어지도록 유도하는 다양한 기능을 포함할 수 있다.
예를 들어, 도 12a에 도시된 것과 같이, 운전자의 시선(500a) 및 사용자의 시선(500b)이 일정 시간 이상 함께 상기 터치 스크린(151)을 향하는 것으로 판단되면, 상기 운전자가 상기 기 설정된 범위(600)(예를 들어, 전방)를 응시하도록(향하도록) 유도하는 알림정보(1210)를 상기 터치 스크린(151)에 출력할 수 있다.
다른 예로, 도 12b에 도시된 것과 같이, 제어부(180)는, 운전자의 시선(500a) 및 사용자의 시선(500b)이 일정 시간 이상 함께 상기 터치 스크린을 향하는 것으로 판단되면, 상기 터치 스크린(151)에 대한 조작이 상기 운전자가 아닌 상기 사용자에 의해 이루어지도록 상기 터치 스크린에 기 출력중인 화면정보의 출력형태를 변경할 수 있다.
예를 들어, 도 12b에 도시된 것과 같이, 터치 스크린(151)에는 어느 화면정보(1220)가 기 출력중일 수 있다. 이 때, 운전자의 시선(500a) 및 사용자의 시선(500b)이 일정 시간 이상 함께 상기 터치 스크린(151)을 향하는 것으로 판단되면, 터치 스크린(151)을 적어도 두 개의 영역(1222a, 1222b)으로 구획하고, 상기 기 출력중인 화면정보(1220)가 상기 적어도 두 개의 영역 중 어느 하나의 영역에 출력되도록, 상기 화면정보(1220)의 출력 형태를 변경할 수 있다.
여기서, 상기 어느 하나의 영역은, 일 예로, 사용자가 앉아있는 조수석에 가까운 영역(예를 들어, 조수석이 오른쪽인 경우, 좌/우 영역 중 우 영역(1222b))일 수 있다. 이 때, 상기 적어도 두 개의 영역 중 나머지 영역(1222a)에는 운전자가 전방을 응시하도록 유도하는 알림정보가 표시되거나, 전방을 향하도록 배치되는 카메라를 통해 수신되는 영상이 출력될 수 있다.
또한, 제어부(180)는, 상기 적어도 두 개의 영역 중 기 출력중인 화면정보(1220)의 출력 형태가 변경되어 출력되는 영역(상기 어느 하나의 영역(1222b))에는 입력 기능(예를 들어, 터치 입력 기능)은 유지시키며, 나머지 영역(1222a)에 대한 입력 기능은 제한할 수 있다.
제어부(180)는, 운전자의 시선(500a)이 기 설정된 범위(500a)를 응시하는 것으로 판단되면, 상기 출력형태가 변경된 화면정보(1220)를 원래의 형태로 복원하여 터치 스크린(151)에 출력할 수 있다.
또 다른 예로, 제어부(180)는, 도 12c에 도시된 것과 같이, 운전자의 시선(500a) 및 사용자의 시선(500b)이 일정 시간 이상 함께 상기 터치 스크린(151)을 향하는 것으로 판단되면, 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상(1230)을 상기 터치 스크린(151)에 출력하거나, 전방 주시를 유도하는 경고 정보(경고 메시지)를 출력할 수 있다. 이 때, 상기 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상(1230)은, 도시되진 않았지만, 운전자가 아닌 사용자의 시청을 방해하지 않도록, 터치 스크린의 일부분에 출력될 수 있다.
또한, 상기 경고 정보는 터치 스크린(151)에 출력되는 것 뿐만 아니라, 스피커를 통해 출력되는 알람의 형태 또는 운전자가 착석한 시트(운전석) 또는 핸들에 가해지는 진동의 형태로 출력될 수도 있다.
이러한 구성을 통해, 본 발명은 사용자의 시청을 방해하지 않으면서 운전자의 시선을 전방으로 유도할 수 있는 사용자 인터페이스를 제공함으로써, 사용자의 편의성 뿐만 아니라 차량 운전의 안전성을 확보할 수 있는 효과가 있다.
도 13은 본 발명의 일 실시 예에 따른 전자기기에서 서로 다른 뎁스(depth)를 갖는 메뉴 항목의 선택을 제한하는 방법을 설명하기 위한 개념도이다.
본 발명과 관련된 전자기기에 구비된 터치 스크린(151)에는, 선택 가능한 복수의 메뉴 항목(1300a, 1300b, 1300b)(그래픽 객체, 아이콘, 버튼, 이미지 등)이 출력될 수 있다. 상기 복수의 메뉴 항목 각각은, 기 설정된 뎁스(depth)를 갖도록 형성될 수 있다.
여기서, 뎁스(depth)란, 해당 메뉴 항목에 연계된 기능을 실행하기 위해 터치를 가하는 횟수에 대응하는 개념으로 받아들여질 수 있다. 예를 들어, 1 뎁스를 갖는 메뉴 항목(1뎁스 메뉴)는, 해당 항목에 연계된 기능을 실행하거나, 해당 항목에 연계된 기능을 제어하기 위한 화면정보를 터치 스크린에 출력하기 위해 한번의 터치 입력을 필요로 하는 항목일 수 있다. 다른 예로, 2 뎁스를 갖는 메뉴 항목(2뎁스 메뉴)는, 특정 기능을 실행하기 위해(또는, 특정 기능을 실행하기 위한 화면정보를 터치 스크린에 출력하기 위해) 최소 두 번의 터치 입력을 필요로 하는 항목일 수 있다. 2 뎁스 이상을 갖는 메뉴 항목은, 하위 메뉴 항목을 가질 수 있다.
이러한 뎁스는, 메뉴 항목의 하위에 연계된 메뉴 항목의 계층 수에 근거하여 정의될 수도 있다.
여기서, 높은 뎁스를 갖는 메뉴 항목일 수록, 사용자가 원하는 기능을 실행하기 위해서는 더 많은 터치 입력을 필요로 하게 된다. 이에 따라, 운전중인 운전자가 높은 뎁스를 갖는 메뉴 항목을 통해 원하는 기능을 실행하려면 할수록, 전방을 주시하지 않는 시간이 길어질 수 있다.
제어부(180)는, 도 13에 도시된 것과 같이, 운전자의 시선이 기 설정된 범위(전방에 대응하는 범위)를 벗어나는 시간이 길어질수록, 뎁스를 많이 갖는 메뉴 항목부터 순차적으로 선택을 제한할 수 있다.
예를 들어, 도 13에 도시된 것과 같이, 터치 스크린(151)에 표시된 복수의 메뉴 항목은, 1 뎁스를 갖는 메뉴 항목(1300a), 2 뎁스를 갖는 메뉴 항목(1300b) 및 3 뎁스를 갖는 메뉴 항목(1300c)을 포함할 수 있다.
여기서, 제어부(180)는, 운전자의 시선이 기 설정된 범위(전방, 전방 범위)를 벗어나는 시간이 길어질수록, 많은 뎁스를 갖는 메뉴 항목부터 순차적으로 선택이 불가능하도록 선택을 제한할 수 있다. 여기서 선택을 제한한다는 것은, 선택이 불가능하도록 해당 메뉴 항목을 비활성화 한다는 의미를 포함할 수 있다.
예를 들어, 제어부(180)는, 운전자의 시선이 기 설정된 범위를 제1 시간이상 벗어나면, 상기 1 내지 3뎁스를 갖는 메뉴 항목들 중 가장 많은 뎁스를 갖는 제3 뎁스를 갖는 메뉴 항목(1300c)의 선택을 제한할 수 있다. 이후, 제어부(180)는, 상기 운전자의 시선이 상기 기 설정된 범위를 상기 제1 시간보다 긴 제2 시간 이상 벗어나면, 상기 2뎁스를 갖는 메뉴 항목(1300b)의 선택을 제한할 수 있다. 더 나아가, 제어부(180)는, 상기 운전자의 시선이 상기 기 설정된 범위를 상기 제2 시간 보다 긴 제3 시간 이상 벗어나면, 상기 1 뎁스를 갖는 메뉴 항목(1300a)의 선택을 제한할 수 있다.
이 때, 제어부(180)는, 운전자의 시선이 기 설정된 범위를 상기 제1 내지 제3 시간 중 적어도 하나의 시간이 경과하는 것에 근거하여, 전방을 응시하도록 유도하는 알림정보를 터치 스크린 중 적어도 일부분에 출력할 수 있다.
또한, 제어부(180)는, 도시되진 않았지만, 가장 낮은 뎁스를 갖는 메뉴 항목의 선택이 제한된 이후에도 계속 운전자의 시선이 기 설정된 범위를 벗어난 것으로 판단되면(예를 들어, 제3 시간보다 긴 시간동안 운전자의 시선이 기 설정된 범위를 벗어나면), 터치 스크린을 오프시키거나, 터치 스크린에 출력중인 화면정보를 사라지게 하거나, 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 터치 스크린(151)에 출력할 수 있다.
이러한 구성을 통해, 본 발명은 운전자가 운전 중에 메뉴를 통해 특정 기능을 실행하고자 할 때, 보다 빠르게 전방을 응시하도록 선택(터치 입력)을 제한할 수 있는 제어방법을 제공할 수 있다.
도 14는 본 발명의 다른 실시 예에 따른 터치 스크린에 대한 입력 기능이 제한되는 것을 설명하기 위한 개념도이다.
본 발명과 관련된 전자기기의 제어부(180)는, 앞서 설명한 것과 같이, 운전자의 시선이 기 설정된 범위(전방, 전방 범위)를 일정 시간 이상 벗어나면, 터치 스크린에 대한 입력 기능을 제한할 수 있다. 이 때, 제어부(180)는, 다양한 방식으로 터치 스크린에 대한 입력 기능을 제한할 수 있다.
예를 들어, 제어부(180)는, 앞서 설명한 것과 같이, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 응답하여 바로 터치 스크린에 대한 입력 기능을 제한할 수 있다.
다른 예로, 도 14에 도시된 것과 같이, 제어부(180)는, 운전자의 시선(500)이 기 설정된 범위(600)를 일정 시간 이상 벗어나면, 바로 터치 스크린에 대한 입력 기능을 제한하는 것이 아닌, 상기 터치 스크린에 대한 입력 기능이 제한되기까지 남은 시간을 카운트다운(count-down)하는 알림정보(1400)를 터치 스크린(151)에 출력할 수 있다. 이후, 제어부(180)는, 상기 남은 시간이 경과하는 것에 근거하여 터치 스크린(151)에 대한 입력 기능을 제한할 수 있다. 즉, 상기 터치 스크린(151)에 대한 입력 기능은, 상기 카운트다운하는 남은 시간이 경과하는 것에 근거하여 제한될 수 있다. 상기 카운트다운하는 동안에는, 터치 스크린(151)에 대한 입력이 가능할 수 있다.
이 때, 상기 카운트다운하는 알림정보(1400)는, 기 출력중인 화면정보에 대한 터치(선택)이 가능하도록, 터치 스크린(151)의 일부분에 출력될 수 있다.
터치 입력이 제한된 이후에도 운전자의 시선이 기 설정된 범위를 벗어난 상태로 유지되면(터치 스크린을 계속 응시하면), 제어부(180)는, 입력 기능이 제한되었음을 알리는 알림정보(1410) 및 전방을 향하도록 형성된 카메라를 통해 수신되는 영상(1420) 중 적어도 하나를 터치 스크린(151)에 출력할 수 있다.
또한, 제어부(180)는, 터치 입력이 제한된 이후에도 운전자의 시선이 기 설정된 범위를 벗어난 상태로 유지되면(터치 스크린을 계속 응시하면), 전방 주시를 유도하는 경고 정보(경고 메시지)를 출력할 수 있다. 상기 경고 정보는 터치 스크린(151)에 출력되는 것 뿐만 아니라, 스피커를 통해 출력되는 알람의 형태 또는 운전자가 착석한 시트(운전석) 또는 핸들에 가해지는 진동의 형태로 출력될 수도 있다.
이러한 구성을 통해, 본 발명은 터치 입력이 제한되기 전까지, 적은 뎁스를 갖는 메뉴 항목(예를 들어, 1뎁스 메뉴 항목 등)을 빠르게 선택하는 동시에 운전자의 시선이 전방을 향하도록 유도하는 것이 가능한 사용자 인터페이스를 제공할 수 있다.
이상에서 살펴본 것과 같이, 본 발명은 차량 주행중 운전자의 시선을 탐지하고, 상기 운전자가 터치 스크린에 터치를 가함에 따라 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어난 경우, 터치 스크린에 출력된 화면정보를 전환하거나, 터치 스크린에 대한 터치 입력 기능을 제한할 수 있다. 이를 통해, 본 발명은 전자기기에 출력된 화면정보 중 적어도 일부를 유지시키면서, 운전자의 시선이 전방을 향하도록 유도할 수 있다.
또한, 본 발명은 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어난 경우(터치 스크린을 일정 시간 이상 주시하는 경우), 터치 스크린을 오프(OFF)하거나, 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 터치 스크린에 출력할 수 있다. 따라서, 본 발명은 운전자가 전방을 주시하도록 유도하여 사고율을 낮출 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (24)

  1. 차량에 구비된 전자기기에 있어서,
    터치 스크린;
    운전자를 촬영하도록 형성되는 카메라; 및
    상기 카메라를 통해 수신되는 영상을 이용하여 상기 운전자의 시선을 탐지하고, 상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 상기 터치 스크린에서 기 설정된 기능이 수행되도록 상기 터치 스크린을 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 대한 입력 기능을 제한하는 것을 특징으로 하는 전자기기.
  2. 제 1 항에 있어서,
    상기 기 설정된 기능은, 상기 차량이 주행 상태인 것을 전제로 수행되는 것을 특징으로 하는 전자기기.
  3. 제 2 항에 있어서,
    상기 시선이 상기 기 설정된 범위를 벗어나는 시간은,
    상기 터치 스크린에 터치가 가해진 시점으로부터 측정되는 것을 특징으로 하는 전자기기.
  4. 제 1 항에 있어서,
    상기 터치 스크린에는, 상기 터치 스크린에 대한 입력 기능이 제한된 경우, 음성 또는 사용자 입력부의 이용을 유도하는 정보가 출력되는 것을 특징으로 하는 전자기기.
  5. 제 3 항에 있어서,
    상기 제어부는,
    상기 시선이 기 설정된 범위를 벗어나는 시간에 따라 서로 다른 기능을 수행하는 것을 특징으로 하는 전자기기.
  6. 제 5 항에 있어서,
    상기 제어부는,
    상기 시선이 제1 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린에 출력된 제1 화면정보를 상기 제1 화면정보와 다른 제2 화면정보로 전환하고,
    상기 시선이 상기 제1 시간보다 긴 제2 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린에 대한 입력 기능을 제한하는 것을 특징으로 하는 전자기기.
  7. 제 6 항에 있어서,
    상기 제2 화면정보는,
    상기 제1 화면정보에 포함된 선택 가능한 정보 중 적어도 일부에 대한 선택이 제한된 화면정보인 것을 특징으로 하는 전자기기.
  8. 제 6 항에 있어서,
    상기 제어부는,
    상기 시선이 상기 제2 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린에 대한 입력 기능이 제한되었음을 알리는 알림정보를 출력하는 것을 특징으로 하는 전자기기.
  9. 제 6 항에 있어서,
    상기 제어부는,
    상기 시선이 상기 제2 시간보다 긴 제3 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린을 오프(off)시키는 것을 특징으로 하는 전자기기.
  10. 제 9 항에 있어서,
    상기 차량의 전방을 향하도록 형성된 카메라를 더 포함하고,
    상기 제어부는,
    상기 시선이 상기 제3 시간동안 상기 기 설정된 범위를 벗어나면, 상기 터치 스크린을 오프시키는 대신, 상기 차량의 전방을 향하도록 형성된 카메라를 통해 수신되는 영상을 상기 터치 스크린에 출력하는 것을 특징으로 하는 전자기기.
  11. 제 3 항에 있어서,
    상기 터치 스크린이 배치된 위치와 다른 위치에 형성되는 디스플레이부를 더 포함하고,
    상기 제어부는,
    상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 출력된 화면정보를 상기 디스플레이부에 출력하는 것을 특징으로 하는 전자기기.
  12. 제 1 항에 있어서,
    상기 제어부는,
    상기 차량이 주행중인 상태에서, 상기 운전자의 시선이 상기 일정 시간동안 상기 터치 스크린을 향하는 것으로 판단되면, 상기 터치 스크린을 오프하는 것을 특징으로 하는 전자기기.
  13. 차량에 구비된 전자기기의 제어방법에 있어서,
    카메라를 통해 수신되는 영상을 이용하여 운전자의 시선을 탐지하는 단계; 및
    상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 터치 스크린에서 기 설정된 기능이 수행되도록 상기 터치 스크린을 제어하는 단계를 포함하고,
    상기 제어하는 단계는,
    상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 대한 입력 기능을 제한하는 것을 특징으로 하는 전자기기의 제어방법.
  14. 제 13 항에 있어서,
    상기 기 설정된 기능은, 상기 차량이 주행 상태인 것을 전제로 수행되는 것을 특징으로 하는 전자기기의 제어방법.
  15. 제 14 항에 있어서,
    상기 시선이 상기 기 설정된 범위를 벗어나는 시간은,
    상기 터치 스크린에 터치가 가해진 시점으로부터 측정되는 것을 특징으로 하는 전자기기의 제어방법.
  16. 제 1 항에 있어서,
    상기 터치 스크린은, 복수의 터치 스크린을 포함하며,
    상기 제어부는,
    상기 운전자의 시선이 상기 기 설정된 범위를 일정 시간 이상 벗어나는 것에 근거하여, 상기 복수의 터치 스크린에 출력중인 화면정보를 사라지게 하는 것을 특징으로 하며,
    상기 복수의 터치 스크린에 출력중인 화면정보는, 서로 다른 시간이 경과하는 것에 근거하여 사라지는 것을 특징으로 하는 전자기기.
  17. 제 16 항에 있어서,
    상기 복수의 터치 스크린은 제1 터치 스크린 및 상기 제1 터치 스크린과 다른 제2 터치 스크린을 포함하고,
    상기 제1 터치 스크린과 상기 운전자 사이의 거리는, 상기 제2 터치 스크린과 상기 운전자 사이의 거리보다 가까운 것을 특징으로 하며,
    상기 제어부는,
    상기 운전자의 시선이 상기 기 설정된 범위를 제1 시간 이상 벗어나면, 상기 제2 터치 스크린에 출력중인 화면정보를 사라지게 하고 상기 제1 터치 스크린에 출력중인 화면정보를 유지시키며,
    상기 제1 터치 스크린에 출력중인 화면정보는,
    상기 운전자의 시선이 상기 기 설정된 범위를 상기 제1 시간보다 긴 제2 시간 이상 벗어나는 것에 근거하여 사라지는 것을 특징으로 하는 전자기기.
  18. 제 17 항에 있어서,
    상기 카메라는, 상기 운전자와 다른 사용자를 더 촬영하는 것이 가능하도록 형성되며,
    상기 제어부는,
    상기 카메라를 통해 수신되는 영상에 근거하여 상기 운전자가 아닌 상기 사용자가 상기 복수의 터치 스크린 중 어느 하나의 터치 스크린에 터치를 가하는 것으로 판단되면, 상기 어느 하나의 터치 스크린에 출력중인 화면정보를 사라지게 하는 대신 출력을 유지시키는 것을 특징으로 하는 전자기기.
  19. 제 18 항에 있어서,
    상기 어느 하나의 터치 스크린 대한 입력 기능은, 상기 운전자가 아닌 상기 사용자가 상기 어느 하나의 터치 스크린에 터치를 가하는 것으로 판단되는 경우, 제한되지 않고 유지되는 것을 특징으로 하는 전자기기.
  20. 제 1 항에 있어서,
    상기 카메라는, 상기 운전자와 다른 사용자를 더 촬영하는 것이 가능하도록 형성되며,
    상기 제어부는,
    상기 카메라를 통해 수신되는 영상을 이용하여 상기 사용자의 시선을 더 탐지하고, 상기 운전자의 시선 및 상기 사용자의 시선이 일정 시간 이상 함께 상기 터치 스크린을 향하는 것으로 판단되면, 특정 기능이 수행되도록 상기 터치 스크린을 제어하는 것을 특징으로 하는 전자기기.
  21. 제 20 항에 있어서,
    상기 제어부는,
    상기 운전자의 시선 및 상기 사용자의 시선이 일정 시간 이상 함께 상기 터치 스크린을 향하는 것으로 판단되면, 상기 운전자가 상기 기 설정된 범위를 응시하도록 유도하는 알림정보를 상기 터치 스크린에 출력하는 것을 특징으로 하는 전자기기.
  22. 제 20 항에 있어서,
    상기 제어부는,
    상기 운전자의 시선 및 상기 사용자의 시선이 일정 시간 이상 함께 상기 터치 스크린을 향하는 것으로 판단되면, 상기 터치 스크린에 대한 조작이 상기 운전자가 아닌 상기 사용자에 의해 이루어지도록 상기 터치 스크린에 기 출력중인 화면정보의 출력형태를 변경하는 것을 특징으로 하는 전자기기.
  23. 제 1 항에 있어서,
    상기 터치 스크린에는 선택 가능한 복수의 메뉴 항목이 출력되고,
    상기 복수의 메뉴 항목 각각은 기 설정된 뎁스(depth)를 갖도록 형성되며,
    상기 제어부는,
    상기 운전자의 시선이 기 설정된 범위를 벗어나는 시간이 길어질수록 뎁스를 많이 갖는 메뉴 항목부터 순차적으로 선택을 제한하는 것을 특징으로 하는 전자기기.
  24. 제 1 항에 있어서,
    상기 제어부는,
    상기 운전자의 시선이 기 설정된 범위를 일정 시간 이상 벗어나면, 상기 터치 스크린에 대한 입력 기능이 제한되기까지 남은 시간을 카운트다운(count-down)하는 알림정보를 출력하고,
    상기 터치 스크린에 대한 입력 기능은, 상기 남은 시간이 경과하는 것에 근거하여 제한되는 것을 특징으로 하는 전자기기.
PCT/KR2015/012479 2014-11-26 2015-11-19 전자기기 및 그것의 제어방법 WO2016085198A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/105,822 US10168824B2 (en) 2014-11-26 2015-11-19 Electronic device and control method for the electronic device
EP15863722.3A EP3226105A4 (en) 2014-11-26 2015-11-19 Electronic device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0166699 2014-11-26
KR1020140166699A KR101632009B1 (ko) 2014-11-26 2014-11-26 전자기기 및 그것의 제어방법

Publications (1)

Publication Number Publication Date
WO2016085198A1 true WO2016085198A1 (ko) 2016-06-02

Family

ID=56074667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012479 WO2016085198A1 (ko) 2014-11-26 2015-11-19 전자기기 및 그것의 제어방법

Country Status (4)

Country Link
US (1) US10168824B2 (ko)
EP (1) EP3226105A4 (ko)
KR (1) KR101632009B1 (ko)
WO (1) WO2016085198A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669019B2 (ja) * 2016-09-08 2020-03-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2018089852A1 (en) * 2016-11-10 2018-05-17 Neurotrack Technologies, Inc. Method and system for correlating an image capturing device to a human user for analysis of cognitive performance
CA3008728A1 (en) * 2017-06-21 2018-12-21 Pavel Vinogradov Vehicle center console that automatically rotates toward driver and console positioning method thereof
US10572107B1 (en) * 2017-06-23 2020-02-25 Amazon Technologies, Inc. Voice communication targeting user interface
EP3466761B1 (en) * 2017-10-05 2020-09-09 Ningbo Geely Automobile Research & Development Co. Ltd. A display system and method for a vehicle
US10783648B2 (en) 2018-03-05 2020-09-22 Hanwha Techwin Co., Ltd. Apparatus and method for processing image
US10810966B1 (en) * 2019-01-15 2020-10-20 Ambarella International Lp Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety
US20210331587A1 (en) * 2019-07-05 2021-10-28 Lg Electronics Inc. Method of displaying driving situation of vehicle by sensing driver's gaze and apparatus for same
US11188161B2 (en) * 2019-08-20 2021-11-30 Synaptics Incorporated Automative knob sensing device
CN111071015A (zh) * 2019-12-26 2020-04-28 的卢技术有限公司 一种视觉同步车窗控制方法及系统
DE102020105499A1 (de) * 2020-03-02 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zur Steuerung eines Bedienelements
USD947229S1 (en) * 2020-03-27 2022-03-29 Guangzhou Weride Technology Limited Company Display screen with animated graphical user interface for vehicle status
JP2022129153A (ja) * 2021-02-24 2022-09-05 株式会社Subaru 車両の乗員監視装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009227246A (ja) * 2008-03-25 2009-10-08 Denso Corp 車両用操作入力装置
JP2013020334A (ja) * 2011-07-08 2013-01-31 Alpine Electronics Inc 車載システム
US20130190044A1 (en) * 2012-01-24 2013-07-25 Charles J. Kulas Portable device including control actions dependent on a user looking at a touchscreen
JP2013541915A (ja) * 2010-12-30 2013-11-14 ワイズ オートモーティブ コーポレーション 死角地帯の表示装置および方法
US20130307771A1 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3614346B2 (ja) * 2000-04-24 2005-01-26 株式会社ケンウッド 車載用ナビゲーション装置及び表示装置
JP2005256631A (ja) * 2004-03-09 2005-09-22 Keihin Corp エンジン停止報知装置
US20050280524A1 (en) * 2004-06-18 2005-12-22 Applied Digital, Inc. Vehicle entertainment and accessory control system
US9678573B2 (en) * 2012-07-30 2017-06-13 Microsoft Technology Licensing, Llc Interaction with devices based on user state
US9262924B2 (en) * 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009227246A (ja) * 2008-03-25 2009-10-08 Denso Corp 車両用操作入力装置
JP2013541915A (ja) * 2010-12-30 2013-11-14 ワイズ オートモーティブ コーポレーション 死角地帯の表示装置および方法
JP2013020334A (ja) * 2011-07-08 2013-01-31 Alpine Electronics Inc 車載システム
US20130190044A1 (en) * 2012-01-24 2013-07-25 Charles J. Kulas Portable device including control actions dependent on a user looking at a touchscreen
US20130307771A1 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3226105A4 *

Also Published As

Publication number Publication date
KR101632009B1 (ko) 2016-06-21
EP3226105A1 (en) 2017-10-04
KR20160063109A (ko) 2016-06-03
US20170300162A1 (en) 2017-10-19
EP3226105A4 (en) 2018-07-04
US10168824B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
WO2016085198A1 (ko) 전자기기 및 그것의 제어방법
WO2014189200A1 (ko) 영상표시장치 및 영상표시장치의 동작방법
WO2014038809A1 (ko) 전자기기 및 그것의 제어방법
WO2017078209A1 (ko) 영상을 공유하는 전자 기기 및 방법
WO2017034287A1 (en) Pedestrial crash prevention system and operation method thereof
WO2012043932A1 (ko) 키보드 제어 장치 및 그 방법
WO2016018044A1 (en) Wearable device and method of controlling the same
WO2017030223A1 (ko) 카드유닛을 구비하는 이동 단말기 및 이의 제어방법
WO2014171734A2 (ko) 이동 단말기 및 그 제어 방법
WO2012020863A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2017018583A1 (ko) 이동 단말기 및 그 제어방법
WO2011093560A1 (en) Information display apparatus and method thereof
WO2012020864A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2017003053A1 (ko) 차량용 디스플레이 장치 및 차량
WO2015020284A1 (ko) 이동 단말기 및 그것의 제어방법
WO2016047887A1 (ko) 이동단말기의 운용 체제 전환장치 및 방법, 차량 및 그 차량의 운용 체제 전송장치 및 방법
WO2016186355A1 (ko) 디스플레이장치 및 이의 동작 방법
WO2017073811A1 (ko) 이동 단말기 및 그의 동작 방법
WO2017003018A1 (ko) 이동 단말기 및 그 제어 방법
WO2014051389A1 (en) Method and apparatus for controlling screen brightness corresponding to variation of illumination
WO2013129799A1 (en) Electronic device and method for controlling electronic device
WO2012036323A1 (ko) 통신 단말기 및 그 제어 방법
WO2017007045A1 (ko) 무인 항공기, 이동 단말기 및 그것들의 제어방법
WO2019132078A1 (ko) 차량에 구비된 디스플레이 장치
WO2016047837A1 (ko) 와치 타입의 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15105822

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15863722

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015863722

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE