WO2018117560A1 - 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 - Google Patents

사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 Download PDF

Info

Publication number
WO2018117560A1
WO2018117560A1 PCT/KR2017/014912 KR2017014912W WO2018117560A1 WO 2018117560 A1 WO2018117560 A1 WO 2018117560A1 KR 2017014912 W KR2017014912 W KR 2017014912W WO 2018117560 A1 WO2018117560 A1 WO 2018117560A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
processor
electronic device
camera
display
Prior art date
Application number
PCT/KR2017/014912
Other languages
English (en)
French (fr)
Inventor
황상웅
성영아
장세이
최승환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/465,239 priority Critical patent/US10962785B2/en
Publication of WO2018117560A1 publication Critical patent/WO2018117560A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • Embodiments disclosed herein relate to an electronic device, a mobile electronic device, and a display device technology that is controlled based on a user's gaze and input.
  • the embodiments disclosed in the present document more effectively utilize the user's gaze, voice input, and gesture input by determining the input method according to the type of the object of the UI.
  • An electronic device is provided.
  • An electronic device may include a first camera and a second camera; MIC; display; And a processor electrically connected to the first camera, the second camera, the microphone, and the display, wherein the processor displays a user interface (UI) including a plurality of objects on the display, and the first camera.
  • UI user interface
  • Determining at least one input method corresponding to the type of one object, and if the input of the determined method is an input applicable to the first object, the function corresponding to the input while the activation state of the first object is maintained May be set to execute on the first object.
  • a mobile electronic device may be coupled to a head mounted display (HMD) including a first camera and a microphone, and includes a second camera; display; And a processor operatively connected to the first camera and the microphone and electrically connected to the second camera and the display, wherein the processor displays a UI including a plurality of objects on the display, Acquire a user's gaze information from a first camera, activate a first object corresponding to the gaze information among the plurality of objects, and activate the gesture input obtained from the second camera and the voice input obtained by the microphone.
  • Determine at least one input method corresponding to the type of the first object and if the input of the determined method is an input applicable to the first object, correspond to the input while the activation state of the first object is maintained May be set to execute on the first object.
  • the display device comprises a camera; MIC; display; And a processor electrically connected to the camera, the microphone, and the display, wherein the processor displays a UI including a plurality of objects on the display, obtains eye gaze information from the camera, Activate a first object corresponding to the gaze information among objects, and determine at least one input method corresponding to the activated first object type among a gesture input obtained from the camera and a voice input obtained by the microphone. And, if the input of the determined method is an input applicable to the first object, it may be set to execute a function corresponding to the input to the first object while the activation state of the first object is maintained.
  • the electronic device may be efficiently and conveniently controlled with the eyes and gestures of the user.
  • FIG. 1 is a block diagram of an electronic device controlled based on a line of sight and an input of a user, according to an exemplary embodiment.
  • FIG. 2 is an exemplary flowchart of an operation of a processor of an electronic device to execute a function corresponding to a gaze and an input of a user, according to an exemplary embodiment.
  • 3A is a diagram illustrating a UI including a plurality of objects on a display, according to an exemplary embodiment.
  • 3B is a diagram illustrating a location to which a user's eyes are directed according to an exemplary embodiment.
  • 3C is a diagram illustrating an activation of an object corresponding to gaze information according to an exemplary embodiment.
  • 3D is a diagram illustrating that a function corresponding to a voice input is executed on an activated object according to one embodiment.
  • 3E is a diagram illustrating that a function corresponding to a voice input is executed on an activated object according to one embodiment.
  • 4A is a diagram illustrating a screen displaying a plurality of objects on a display, according to an exemplary embodiment.
  • 4B is a diagram illustrating that text is input to a text input window while a gaze is directed to a second object by voice input according to an exemplary embodiment.
  • 4C illustrates that another object is activated according to a voice input and a function according to the voice input is executed according to an embodiment.
  • 5A through 5C are diagrams illustrating exemplary UIs in which a function corresponding to a gesture input is performed according to an exemplary embodiment.
  • 6A through 6C are diagrams illustrating exemplary UIs in which a function corresponding to a voice input is performed according to an exemplary embodiment.
  • HMD 7A is a diagram illustrating a rear surface of a head mounted diplay (HMD) and an electronic device coupled to the HMD according to an embodiment of the present disclosure.
  • HMD head mounted diplay
  • FIG. 7B is a diagram illustrating a front surface of an electronic device coupled to an HMD according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a display device according to an exemplary embodiment.
  • FIG 9 illustrates an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 10 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 11 is a block diagram of a program module according to various embodiments of the present disclosure.
  • expressions such as “have”, “may have”, “include”, or “may contain” include the presence of a corresponding feature (e.g., numerical, functional, operational, or component such as a component). Does not exclude the presence of additional features.
  • expressions such as “A or B”, “at least one of A or / and B”, or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” as used herein may modify various components, regardless of order and / or importance, and may modify one component to another. It is used to distinguish a component and does not limit the components.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be called a second component, and similarly, the second component may be renamed to the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • the expression “configured to” used in this document is, for example, “suitable for”, “having the capacity to” depending on the situation. It may be used interchangeably with “designed to”, “adapted to”, “made to”, or “capable of”.
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or set up) to perform A, B, and C” may execute a dedicated processor (eg, an embedded processor) to perform the operation, or one or more software programs stored in a memory device. By doing so, it may mean a general-purpose processor (for example, a CPU or an application processor) capable of performing the corresponding operations.
  • the electronic device may be one or a combination of the aforementioned various devices.
  • An electronic device according to an embodiment may be a flexible electronic device.
  • the electronic device according to an embodiment of the present disclosure is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a block diagram of an electronic device controlled based on a line of sight and an input of a user, according to an exemplary embodiment.
  • an electronic device may include a camera 110, a microphone 120, a display 130, a memory 140, and a processor 150.
  • the electronic device may omit some of the above components or additionally include other components.
  • components such as various sensors, batteries or input / output interfaces may be additionally included in the electronic device.
  • the camera 110 may capture a user to acquire the gaze information and the gesture input of the user.
  • Two or more cameras 110 may be provided, and the first camera 111 may acquire a position where the eyes of the user are directed by photographing the eyes of the user.
  • the first camera 111 may correspond to an infrared camera 110.
  • the second camera 112 may acquire a gesture input by photographing a hand gesture or an arm gesture of the user.
  • the microphone 120 may acquire a sound signal such as a voice input of a user.
  • the display 130 may display a UI including a plurality of objects under the control of the processor 150.
  • Memory 140 may include volatile and / or nonvolatile memory 140.
  • the memory 140 may store commands or data related to components of the electronic device.
  • the memory 140 may store data such as an input method corresponding to the type of the object displayed on the display 130 or a function executed for the object of the user interface (UI) according to the input.
  • UI user interface
  • the processor 150 may control and perform operations on other components electrically or functionally connected to the processor 150 in the electronic device.
  • FIG. 2 is an exemplary flowchart of a step in which a processor 150 of an electronic device executes a function corresponding to a gaze and an input of a user, according to an exemplary embodiment.
  • FIG. 3A is a diagram illustrating a UI including a plurality of objects on a display 130, according to an embodiment.
  • FIG. 3B is a diagram illustrating a location where a user's eyes are directed, and FIG. 3C is an embodiment.
  • FIG. 3D is a diagram illustrating a function corresponding to a voice input to an activated object according to an embodiment of the present disclosure
  • FIG. 3E is activated according to an embodiment of the present disclosure. It is a figure which shows that the function corresponding to a voice input is performed on an object.
  • the display 310 of FIGS. 3A-3E corresponds to the display 130 of FIG. 1.
  • the processor 150 may display a UI including a plurality of objects on the display 130.
  • the processor 150 may display the UI 320 including the plurality of objects 321-324 on the display 130.
  • the item objects 322-324 among the plurality of objects may correspond to each item in the list included in the UI 320
  • the execution input receiving object 321 corresponds to the second object 322-324. It may be an object that receives a command input for displaying separate information.
  • the UI may be displayed according to at least one of a voice input and a gesture input.
  • the processor 150 may display a UI including each of the friend's names as an object.
  • the processor 150 may obtain the gaze information of the user from the first camera 111. For example, as shown in FIG. 3B, the processor 150 may obtain eye gaze information corresponding to a position of the user's gaze on the display 130.
  • the processor 150 may activate the first object corresponding to the gaze information among the plurality of objects.
  • the execution input receiving object 321 to which the user's gaze 330 is directed among the plurality of objects 321-324 may correspond to the first object, and the processor 150 may be used. May activate the execution input receiving object 321.
  • the activated object 321 may be a target on which a function corresponding to at least one of a gesture input and a voice input is executed, as described below.
  • the processor 150 may immediately activate the first object when the user's gaze points to the location where the first object is displayed.
  • This activation method may be used in a UI in which immediate responsiveness is important, such as a UI in which one object is selected from a list including a plurality of objects.
  • the processor 150 may activate the first object when the gaze of the user is maintained at a location where the first object is displayed for a predetermined time or more.
  • This activation method may be used in a UI in which accurate selection of the first object is more important than response to a line of sight, such as a UI including an object displayed small on the display 130.
  • the processor 150 may determine at least one input method corresponding to the type of the activated first object among the gesture input obtained from the second camera 112 and the voice input obtained by the microphone 120. .
  • the processor 150 may determine the input method as voice input. Since the processor 150 may receive a text input through a soft input panel or the like displayed on the display 130, when the first object is an object of a text input type, the processor 150 determines an input method. It can also be determined by gesture input.
  • the processor 150 may determine the input method as a gesture input.
  • the processor 150 may determine the input method as a gesture input.
  • the processor 150 may determine the input method as one of a voice input and a gesture input, as well as determine the input method. It can also be determined by both types of input.
  • the processor 150 may determine both a voice input and a gesture input as an input method.
  • the processor 150 may further determine an input method based on at least one of gesture input and voice input as well as gaze information.
  • the processor 150 may determine the input method as the gesture input when noise more than a reference value occurs in the voice input.
  • the input method may be determined as the gesture input.
  • the processor 150 may determine whether an input of the determined method is applicable to the first object. For example, if the determined input method is voice input and the voice input applicable to the first object is set to "OK" or "Do it", the processor 150 may determine that the voice input obtained by the microphone 120 is "OK”. It can be determined whether it corresponds to one of "and” Do it ". In an embodiment, when the determined input method is a gesture input and the gesture input applicable to the first object is set to a gesture of drawing O, the processor 150 may determine that the gesture input obtained from the second camera 112 draws O. It may be determined whether it corresponds to a gesture.
  • the processor 150 may perform operation 206 when the input in the determined manner is applicable to the first object.
  • the gesture input from the second camera 112 and the voice input from the microphone 120 may be continuously obtained, and thus the processor 150 may again determine whether the obtained new input is an input applicable to the first object.
  • the processor 150 may execute a function on the first object corresponding to the input in the determined manner while the activation state of the first object is maintained.
  • the user's gaze 330 is directed toward the execution input receiving object 321 so that the execution input receiving object 321 is maintained in an active state, and the processor 150 may perform a voice input ( In response to 340, a function of displaying additional information 350 corresponding to the second objects 322-324 may be performed on the first object.
  • the input of the method determined in FIG. 3D is a voice input or both a voice input and a gesture input, and the obtained voice input 340 is an input applicable to the execution input receiving object 321.
  • the user's gaze 330 faces the execution input receiving object 321 so that the execution input receiving object 321 remains active, and the processor 150 makes a gesture input.
  • the function of displaying the separate information 370 corresponding to the second objects 322-324 may be performed on the first object. (It is assumed that the input of the method determined in FIG. 3E is both a gesture input or a voice input and a gesture input, and the obtained gesture input is an input applicable to the execution input receiving object 321.)
  • the processor 150 may execute a function corresponding to the gesture input on the first object.
  • the processor 150 maintains the activated state of the first object based on the acquisition of the input of the determined manner as well as the gaze information.
  • the processor 150 maintains the activated state of the first object based on the acquisition of the input of the determined manner as well as the gaze information.
  • FIG. 4A is a diagram illustrating a screen displaying a plurality of objects on a display according to an exemplary embodiment.
  • FIG. 4B illustrates that text is input to a text input window while a gaze is directed to a second object by a voice input according to an exemplary embodiment.
  • 4C is a diagram illustrating that another object is activated according to a voice input and a function according to the voice input is executed according to an embodiment.
  • the processor 150 may immediately activate the first object when the gaze of the user is directed at the location where the first object is displayed. This activation method may cause inconvenience to a user when continuously inputting to a selected object. For example, when the text input window is activated as the first object and the user looks at a position other than the first object during voice input, a part of the text may not be input in the text input window.
  • the processor 150 may activate the first object when the user's gaze is directed to the location where the first object is displayed, and maintain the activated state of the first object while the input of the determined manner is obtained.
  • the gaze 440 of the user faces the text input window 421 of the first UI 420 displayed on the display 410, so that the processor 150 may input the text input window 421.
  • the processor 150 may maintain an activation state of the text input window 421.
  • the processor 150 when the gaze is directed to a second object different from the first object of the plurality of objects while the first object is maintained in an active state, the processor 150 is an input applicable to the second object. A function corresponding to the input may be executed on the second object.
  • the processor 150 may activate the second object 430 and execute a play function, which is a function corresponding to the voice input 450 (assuming that “Play” is an input applicable to the second object).
  • 5A through 5C are diagrams illustrating exemplary UIs in which a function corresponding to a gesture input is performed according to an exemplary embodiment.
  • the processor 150 may display a picture of the player corresponding to the object 520 of the UI on the display 510 as shown in FIG. 5A.
  • the processor 150 may obtain the gaze information of the user and activate a picture of the player, which is the first object 520 corresponding to the gaze information 530, as shown in FIG. 5B. In addition, the processor 150 may determine the input method as the gesture input based on the type of the first object.
  • the processor 150 may apply a function of the gesture input 540 for moving the object to the first object 520 to move the picture of the player who is the first object 520 as shown in FIG. 5C.
  • 6A through 6C are diagrams illustrating exemplary UIs in which a function corresponding to a voice input is performed according to an exemplary embodiment.
  • the processor 150 may display a picture of the message sender corresponding to the object 620 of the UI as shown in FIG. 6A on the display 610.
  • the processor 150 may obtain the gaze information of the user and activate a picture of the message sender which is the first object 620 corresponding to the gaze information 630 as shown in FIG. 6B. In addition, the processor 150 may determine the input method as the voice input based on the type of the first object 620.
  • the processor 150 may execute a function of the voice input 640 displaying the received message on the first object, and display the received message 650 as shown in FIG. 6C.
  • FIG. 7A is a diagram illustrating a head mounted diplay (HMD) and a rear surface of an electronic device coupled to an HMD
  • FIG. 7B is a diagram illustrating a front surface of an electronic device coupled to an HMD according to an embodiment.
  • HMD head mounted diplay
  • the present invention may be implemented as an electronic device 700 including both the HMD 720 and the mobile electronic device 710 of FIGS. 7A and 7B and implemented as a mobile electronic device 710 coupled to the HMD 720. Can be.
  • the HMD 720 may include a camera 721 and a connector 722, and the mobile electronic device 710 may include a camera 711, a microphone 712, a display 713, a connector 714, and a processor (not shown). May include).
  • the camera 110 of the HMD 720 may correspond to the first camera 111 of FIG. 1.
  • the camera 711, the microphone 712, the display 713, and the processor of the mobile electronic device 710 correspond to the second camera 112, the microphone 120, the display 130, and the processor 150 of FIG. 1. Can be.
  • the HMD 720 and the mobile electronic device 710 may be coupled, and through the connectors 714 and 722.
  • the HMD 720 and the mobile electronic device 710 may be functionally connected.
  • FIG. 8 is a diagram illustrating an apparatus for the display 130 according to an exemplary embodiment.
  • the display device may include a camera 810, a microphone 820, a display 830, and a processor (not shown).
  • the microphone 820, the display 830, and the processor of the display device may correspond to the microphone 120, the display 130, and the processor 150 of FIG. 1, respectively.
  • the camera 110 of the display device may capture both the gaze and the gesture of the user, the camera 110 may correspond to the camera 110 including the first camera 111 and the second camera 112 of FIG. 1.
  • the present invention may be implemented in devices other than the illustrated electronic device, the mobile electronic device coupled to the HMD, and the display device.
  • a head up display may correspond to a display, and a camera, a microphone, and a processor may be provided in the vehicle.
  • the mode change indicating the mileage, temperature or instantaneous fuel consumption of the HUD, the content control such as music, radio or video, the vehicle status problem occurrence notification and related information while keeping the steering wheel under operation Verification can be performed during operation.
  • FIG 9 illustrates an electronic device in a network environment according to various embodiments of the present disclosure.
  • an electronic device 901, a first electronic device 902, a second electronic device 904, or a server 906 may communicate with a network 962 or near field communication 964. Can be connected to each other.
  • the electronic device 901 may include a bus 910, a processor 920, a memory 930, an input / output interface 950, a display 960, and a communication interface 970. In some embodiments, the electronic device 901 may omit at least one of the components or additionally include other components.
  • the processor 920, the memory 930, and the display 960 may correspond to the processor 150, the memory 140, and the display 130 of FIG. 1, respectively.
  • the bus 910 may include, for example, circuitry that couples the components 910-970 to each other and conveys communication (eg, control messages and / or data) between the components.
  • the processor 920 may include one or more of a Central Processing Unit (CPU), an Application Processor (AP), or a Communication Processor (CP).
  • the processor 920 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 901.
  • the memory 930 may include volatile and / or nonvolatile memory.
  • the memory 930 may store, for example, commands or data related to at least one other element of the electronic device 901.
  • the memory 930 may store software and / or a program 940.
  • the program 940 may be, for example, a kernel 941, middleware 943, an application programming interface (API) 945, and / or an application program (or “application”) 947 or the like. It may include. At least a portion of the kernel 941, middleware 943, or API 945 may be referred to as an operating system (OS).
  • OS operating system
  • the kernel 941 is, for example, system resources (e.g., used to execute an action or function implemented in other programs, such as middleware 943, API 945, or application program 947).
  • the bus 910, the processor 920, or the memory 930 may be controlled or managed.
  • the kernel 941 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 901 from the middleware 943, the API 945, or the application program 947. Can be.
  • the middleware 943 may serve as an intermediary for allowing the API 945 or the application program 947 to communicate with the kernel 941 to exchange data.
  • the middleware 943 may process one or more work requests received from the application program 947 according to priority.
  • the middleware 943 may use system resources (eg, the bus 910, the processor 920, or the memory 930, etc.) of the electronic device 901 for at least one of the application programs 947. Priority can be given.
  • middleware 943 may perform scheduling or load balancing on the one or more work requests by processing the one or more work requests according to the priority given to the at least one.
  • the API 945 is, for example, an interface for the application 947 to control functions provided by the kernel 941 or the middleware 943, for example, file control, window control, image processing, or text. It may include at least one interface or function (eg, a command) for control.
  • the input / output interface 950 may serve as, for example, an interface capable of transferring a command or data input from a user or another external device to other component (s) of the electronic device 901.
  • the input / output interface 950 may output a command or data received from other component (s) of the electronic device 901 to a user or another external device.
  • the display 960 may be, for example, a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic LED (OLED) display, or a microelectromechanical. Microelectromechanical systems (MEMS) displays, or electronic paper displays.
  • the display 960 may display various contents (for example, text, an image, a video, an icon, a symbol, etc.) to the user.
  • the display 960 may include a touch screen, and may receive a touch, gesture, proximity, or hovering input using, for example, an electronic pen or a part of a user's body.
  • the communication interface 970 may establish communication between, for example, the electronic device 901 and an external device (eg, the first electronic device 902, the second electronic device 904, or the server 906).
  • the communication interface 970 may be connected to the network 962 through wireless or wired communication to communicate with an external device (eg, the second electronic device 904 or the server 906).
  • Wireless communication is, for example, a cellular communication protocol, for example, Long-Term Evolution (LTE), LTE-Advanced (LTE-A), Code Division Multiple Access (CDMA), Wideband CDMA (WCDMA), and Universal Mobile (UMTS). At least one of Telecommunications System, WiBro, or Global System for Mobile Communications (GSM) may be used. Wireless communication may also include short-range communication 964, for example.
  • the short range communication 964 may include, for example, at least one of wireless fidelity (Wi-Fi), Bluetooth, near field communication (NFC), magnetic stripe transmission (MST), or GNSS.
  • the MST generates a pulse according to the transmission data using an electromagnetic signal, and the pulse may generate a magnetic field signal.
  • the electronic device 901 transmits the magnetic field signal to a point of sales, and the POS detects the magnetic field signal using an MST reader and converts the detected magnetic field signal into an electrical signal. Can be restored.
  • GNSS may be, for example, global positioning system (GPS), global navigation satellite system (Glonass), beidou navigation satellite system (“Beidou”), or Galileo (the European global satellite-based navigation system), depending on the region of use or bandwidth. It may include at least one of.
  • GPS global positioning system
  • Glonass global navigation satellite system
  • Beidou beidou navigation satellite system
  • Galileo the European global satellite-based navigation system
  • the wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a reduced standard-232 (RS-232), a plain old telephone service (POTS), and the like.
  • the network 962 may include a telecommunications network, for example, at least one of a computer network (for example, a LAN or WAN), the Internet, and a telephone network.
  • the server 906 may include a group of one or more servers. According to various embodiments of the present disclosure, all or some of the operations performed by the electronic device 901 may be performed by one or more other electronic devices (eg, the first electronic device 902, the second electronic device 904, or the server 906). Can be run from According to an embodiment of the present disclosure, when the electronic device 901 needs to perform a function or service automatically or by request, the electronic device 901 may instead or additionally execute the function or service by itself. At least some associated functions may be requested from another electronic device (eg, the first electronic device 902, the second electronic device 904, or the server 906).
  • the other electronic device may execute the requested function or the additional function and transmit the result to the electronic device 901.
  • the electronic device 901 may process the received result as it is or additionally to provide the requested function or service.
  • cloud computing distributed computing, or client-server computing technology may be used.
  • FIG. 10 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 1001 may include, for example, all or part of the electronic device 901 illustrated in FIG. 9.
  • the electronic device 1001 may include one or more processors (eg, an AP) 1010, a communication module 1020, a subscriber identification module 1024, a memory 1030, a sensor module 1040, an input device 1050, and a display ( 1060, an interface 1070, an audio module 1080, a camera module 1091, a power management module 1095, a battery 1096, an indicator 1097, and a motor 1098.
  • processors eg, an AP
  • a communication module 1020 e.g., a communication module 1020, a subscriber identification module 1024, a memory 1030, a sensor module 1040, an input device 1050, and a display ( 1060, an interface 1070, an audio module 1080, a camera module 1091, a power management module 1095, a battery 1096, an indicator 1097, and a motor 1098.
  • the processor 1010, the memory 1030, the display 1060, the microphone 1088, and the camera module 1091 may each include the processor 150, the memory 140, the display 130, the microphone 120, and the processor 120 of FIG. 1. It may correspond to the camera 110.
  • the processor 1010 may, for example, run an operating system or an application program to control a plurality of hardware or software components connected to the processor 1010 and perform various data processing and operations.
  • the processor 1010 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 1010 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the processor 1010 may include at least some of the components illustrated in FIG. 10 (eg, the cellular module 1021).
  • the processor 1010 may load and process instructions or data received from at least one of the other components (eg, nonvolatile memory) into the volatile memory, and store various data in the nonvolatile memory. have.
  • the communication module 1020 may have a configuration that is the same as or similar to that of the communication interface 970 of FIG. 9.
  • the communication module 1020 may be, for example, a cellular module 1021, a Wi-Fi module 1022, a Bluetooth module 1023, a GNSS module 1024 (eg, a GPS module, a Glonass module, a Beidou module, or a Galileo). Module), NFC module 1025, MST module 1026, and RF (radio frequency) module 1027.
  • the cellular module 1021 may provide, for example, a voice call, a video call, a text service, an internet service, or the like through a communication network. According to an embodiment of the present disclosure, the cellular module 1021 may perform identification and authentication of the electronic device 1001 in a communication network by using a subscriber identification module (eg, a SIM card) 1029. According to an embodiment of the present disclosure, the cellular module 1021 may perform at least some of the functions that the processor 1010 may provide. According to an embodiment of the present disclosure, the cellular module 1021 may include a communication processor (CP).
  • CP communication processor
  • Each of the Wi-Fi module 1022, the Bluetooth module 1023, the GNSS module 1024, the NFC module 1025, or the MST module 1026 processes data transmitted and received through the corresponding module. It may include a processor for. According to some embodiments, at least some of the cellular module 1021, the Wi-Fi module 1022, the Bluetooth module 1023, the GNSS module 1024, the NFC module 1025, or the MST module 1026 (eg, Two or more) may be included in one integrated chip (IC) or IC package.
  • IC integrated chip
  • the RF module 1027 may transmit / receive a communication signal (for example, an RF signal), for example.
  • the RF module 1027 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • at least one of the cellular module 1021, the Wi-Fi module 1022, the Bluetooth module 1023, the GNSS module 1024, the NFC module 1025, and the MST module 1026 may be a separate RF.
  • the module can transmit and receive RF signals.
  • Subscriber identification module 1029 may include, for example, a card comprising a subscriber identification module and / or an embedded SIM, and may include unique identification information (eg, an integrated circuit card identifier (ICCID)) or It may include subscriber information (eg, international mobile subscriber identity).
  • ICCID integrated circuit card identifier
  • the memory 1030 may include, for example, an internal memory 1032 or an external memory 1034.
  • the internal memory 1032 may be, for example, volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.), non-volatile memory (eg, One time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EPEROM), mask ROM, flash ROM, flash memory (e.g., NAND flash) (NAND flash or NOR flash, etc.), a hard drive, or a solid state drive (SSD).
  • volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory eg, One time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically
  • the external memory 1034 may be a flash drive, for example, compact flash (CF), secure digital (SD), Micro-SD, Mini-SD, extreme digital (XD), MultiMediaCard (MMC), or memory. It may further include a stick (memory stick).
  • the external memory 1034 may be functionally and / or physically connected to the electronic device 1001 through various interfaces.
  • the security module 1036 is a module including a storage space having a relatively higher security level than the memory 1030, and may be a circuit that ensures safe data storage and a protected execution environment.
  • the security module 1036 may be implemented as a separate circuit and may include a separate processor.
  • the security module 1036 may include, for example, an embedded secure element (eSE) present in a removable smart chip, a secure digital (SD) card, or embedded in a fixed chip of the electronic device 1001. It may include.
  • eSE embedded secure element
  • SD secure digital
  • the security module 1036 may be driven by an operating system different from the operating system (OS) of the electronic device 1001.
  • OS operating system
  • the security module 1036 may operate based on a java card open platform (JCOP) operating system.
  • JCOP java card open platform
  • the sensor module 1040 may measure a physical quantity or detect an operation state of the electronic device 1001, and may convert the measured or detected information into an electrical signal.
  • the sensor module 1040 includes, for example, a gesture sensor 1040A, a gyro sensor 1040B, an air pressure sensor 1040C, a magnetic sensor 1040D, an acceleration sensor 1040E, a grip sensor 1040F, and a proximity sensor 1040G), color sensor 1040H (e.g., RGB sensor), biometric sensor 1040I, temperature / humidity sensor 1040J, illuminance sensor 1040K, or UV (ultra violet) sensor 1040M can do.
  • a gesture sensor 1040A e.g., a gyro sensor 1040B, an air pressure sensor 1040C, a magnetic sensor 1040D, an acceleration sensor 1040E, a grip sensor 1040F, and a proximity sensor 1040G
  • color sensor 1040H e.g., RGB sensor
  • biometric sensor 1040I e.g.
  • the sensor module 1040 may include, for example, an olfactory sensor, an electromyography sensor, an electroencephalogram sensor, an electrocardiogram sensor, an infrared sensor, an iris. Sensors and / or fingerprint sensors.
  • the sensor module 1040 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 1001 further includes a processor configured to control the sensor module 1040 as part of or separately from the processor 1010, while the processor 1010 is in a sleep state. The sensor module 1040 may be controlled.
  • the input device 1050 may be, for example, a touch panel 1052, a (digital) pen sensor 1054, a key 1056, or an ultrasonic input device ( 1058).
  • the touch panel 1052 may use, for example, at least one of capacitive, resistive, infrared, or ultrasonic methods.
  • the touch panel 1052 may further include a control circuit.
  • the touch panel 1052 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 1054 may be, for example, part of a touch panel or may include a separate sheet for recognition.
  • the key 1056 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 1058 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 1088) and check data corresponding to the detected ultrasonic waves.
  • Display 1060 may include panel 1062, hologram device 1064, or projector 1066.
  • the panel 1062 may include a configuration that is the same as or similar to the display 960 of FIG. 9.
  • the panel 1062 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 1062 may be configured as a single module with the touch panel 1052.
  • the hologram device 1064 may show a stereoscopic image in the air by using interference of light.
  • the projector 1066 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 1001.
  • the display 1060 may further include a control circuit for controlling the panel 1062, the hologram device 1064, or the projector 1066.
  • the interface 1070 may include, for example, an HDMI 1072, a USB 1074, an optical interface 1076, or a D-subminiature 1078.
  • the interface 1070 may be included in, for example, the communication interface 970 shown in FIG. 9. Additionally or alternatively, the interface 1070 may include, for example, a mobile high-definition link (MHL) interface, an SD card / MMC interface, or an infrared data association (IrDA) compliant interface.
  • MHL mobile high-definition link
  • IrDA infrared data association
  • the audio module 1080 may bilaterally convert, for example, a sound and an electrical signal. At least some components of the audio module 1080 may be included in, for example, the input / output interface 950 illustrated in FIG. 9. The audio module 1080 may process sound information input or output through, for example, a speaker 1082, a receiver 1084, an earphone 1086, a microphone 1088, or the like.
  • the camera module 1091 is, for example, a device capable of capturing still images and moving images.
  • at least one image sensor eg, a front sensor or a rear sensor
  • a lens e.g., a lens
  • ISP image signal processor
  • flash e.g., LEDs or xenon lamps
  • the power management module 1095 may manage power of the electronic device 1001, for example.
  • the power management module 1095 may include a power management integrated circuit (PMIC), a charger integrated circuit (ICC), or a battery or fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 1096, the voltage, the current, or the temperature during charging.
  • the battery 1096 may include, for example, a rechargeable battery and / or a solar battery.
  • the indicator 1097 may display a specific state of the electronic device 1001 or a part thereof (for example, the processor 1010), for example, a booting state, a message state, or a charging state.
  • the motor 1098 may convert an electrical signal into mechanical vibrations, and may generate a vibration or haptic effect.
  • the electronic device 1001 may include a processing device (eg, a GPU) for supporting mobile TV.
  • the processing apparatus for supporting mobile TV may process media data according to a standard such as Digital Multimedia Broadcasting (DMB), Digital Video Broadcasting (DVB), or MediaFLOTM.
  • DMB Digital Multimedia Broadcasting
  • DVD Digital Video Broadcasting
  • MediaFLOTM MediaFLOTM
  • each of the components described in this document may be composed of one or more components, and the name of the corresponding component may vary according to the type of electronic device.
  • the electronic device may be configured to include at least one of the components described in this document, and some components may be omitted or further include other additional components.
  • some of the components of the electronic device according to various embodiments of the present disclosure may be combined to form one entity, and thus may perform the same functions of the corresponding components before being combined.
  • FIG. 11 is a block diagram of a program module according to various embodiments of the present disclosure.
  • the program module 1110 (eg, the program 940) is operated on an operating system (OS) and / or operating system that controls resources related to the electronic device (eg, the electronic device 901).
  • OS operating system
  • applications eg, application program 947
  • the operating system may be, for example, Android, iOS, Windows, Symbian, Tizen, or the like.
  • the program module 1110 may include a kernel 1120, middleware 1130, API 1160, and / or an application 1170. At least a portion of the program module 1110 is preloaded on the electronic device or downloaded from an external electronic device (eg, the first electronic device 902, the second electronic device 904, the server 906, etc.). It is possible.
  • an external electronic device eg, the first electronic device 902, the second electronic device 904, the server 906, etc.
  • the kernel 1120 may include, for example, a system resource manager 1121 or a device driver 1123.
  • the system resource manager 1121 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 1121 may include a process manager, a memory manager, or a file system manager.
  • the device driver 1123 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a Wi-Fi driver, an audio driver, or an inter-process communication (IPC) driver. Can be.
  • IPC inter-process communication
  • the middleware 1130 may provide functions commonly required by the application 1170, or may be variously configured through the API 1160 to enable the application 1170 to efficiently use limited system resources inside the electronic device. Functions may be provided to the application 1170.
  • the middleware 1130 eg, the middleware 943 may include a runtime library 1135, an application manager 1141, a window manager 1142, and a multimedia manager. 1431, resource manager 1144, power manager 1145, database manager 1146, package manager 1147, connectivity manager 1482, notification manager 1149, location manager 1150, graphic manager 1151, security manager 1152, or payment manager 1154. It may include at least one of).
  • the runtime library 1135 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 1170 is running.
  • the runtime library 1135 may perform input / output management, memory management, or a function for an arithmetic function.
  • the application manager 1141 may manage a life cycle of at least one of the applications 1170, for example.
  • the window manager 1142 may manage GUI resources used on the screen.
  • the multimedia manager 1143 may grasp formats necessary for playing various media files, and may encode or decode media files by using a codec suitable for the corresponding format.
  • the resource manager 1144 may manage resources such as source code, memory, or storage space of at least one of the applications 1170.
  • the power manager 1145 may operate together with, for example, a basic input / output system (BIOS) to manage a battery or power and provide power information necessary for the operation of the electronic device.
  • the database manager 1146 may generate, search for, or change a database to be used by at least one of the applications 1170.
  • the package manager 1147 may manage installation or update of an application distributed in the form of a package file.
  • the connection manager 1148 may manage, for example, a wireless connection such as Wi-Fi or Bluetooth. Notification manager 1149 may display or notify events such as arrival messages, appointments, proximity notifications, and the like in a manner that does not disturb the user.
  • the location manager 1150 may manage location information of the electronic device.
  • the graphic manager 1151 may manage graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 1152 may provide various security functions required for system security or user authentication. According to an embodiment of the present disclosure, when the electronic device (for example, the electronic device 901) includes a telephone function, the middleware 1130 further includes a telephone manager for managing a voice or video call function of the electronic device. can do.
  • the middleware 1130 may include a middleware module that forms a combination of various functions of the above-described components.
  • the middleware 1130 may provide a module specialized for each type of OS in order to provide a differentiated function.
  • the middleware 1130 may dynamically delete some of the existing components or add new components.
  • the API 1160 (eg, the API 945) is, for example, a set of API programming functions, and may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • Application 1170 may be, for example, home 1171, dialer 1172, SMS / MMS 1171, instant message (IM) 1174, browser 1175, Camera 1176, Alarm 1177, Contact 1178, Voice Dial 1179, Email 1180, Calendar 1181, Media Player 1182, Album 1183, or Clock 1184, Healthcare or one or more applications capable of performing functions such as health care (eg, measuring exercise amount or blood sugar) or providing environmental information (eg, providing barometric pressure, humidity, or temperature information).
  • health care eg, measuring exercise amount or blood sugar
  • environmental information eg, providing barometric pressure, humidity, or temperature information
  • the application 1170 may exchange information between an electronic device (eg, the electronic device 901) and an external electronic device (eg, the first electronic device 902 and the second electronic device 904).
  • Supporting applications (hereinafter, for convenience of description, the "information exchange application") may be included.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to an external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may include a function of delivering notification information generated by another application of the electronic device (eg, an SMS / MMS application, an email application, a health care application, or an environmental information application) to an external electronic device.
  • another application of the electronic device eg, an SMS / MMS application, an email application, a health care application, or an environmental information application
  • the notification delivery application may receive notification information from an external electronic device and provide the notification information to a user, for example.
  • the device management application may be, for example, the turn-on / turn-off of the external electronic device itself (or some component) of the external electronic device in communication with the electronic device, or the brightness (or resolution) of the display. Control), and manage (eg, install, delete, or update) an application running on the external electronic device or a service (eg, a call service or a message service) provided by the external electronic device.
  • a service eg, a call service or a message service
  • the application 1170 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • the application 1170 may include an application received from an external electronic device (for example, the first electronic device 902, the second electronic device 904), and the server 906.
  • the application 1170 may include a preloaded application or a third party application downloadable from a server.
  • the names of the components of the program module 1110 according to the shown embodiment may vary depending on the type of operating system.
  • At least a part of the program module 1110 may be implemented in software, firmware, hardware, or a combination of two or more thereof. At least a part of the program module 1110 may be implemented (for example, executed) by, for example, a processor (for example, the processor 1010). At least a part of the program module 1110 may include, for example, a module, a program, a routine, sets of instructions, or a process for performing one or more functions.
  • module may refer to a unit that includes one or a combination of two or more of hardware, software, or firmware.
  • a “module” may be interchangeably used with terms such as, for example, unit, logic, logical block, component, or circuit.
  • the module may be a minimum unit or part of an integrally constructed part.
  • the module may be a minimum unit or part of performing one or more functions.
  • the “module” can be implemented mechanically or electronically.
  • a “module” is one of application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or programmable-logic devices that perform certain operations, known or developed in the future. It may include at least one.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • an apparatus eg, modules or functions thereof
  • a method eg, operations
  • computer-readable storage media in the form of a program module. It can be implemented as a command stored in.
  • the command is executed by a processor (eg, the processor 920)
  • the one or more processors may perform a function corresponding to the command.
  • the computer-readable storage medium may be the memory 930, for example.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tapes), optical media (e.g. CD-ROMs, digital versatile discs), magnetic- Optical media (eg floptical disks), hardware devices (eg ROM, RAM, flash memory, etc.), etc.
  • program instructions may be created by a compiler. It may include not only machine code, such as losing, but also high-level language code executable by a computer using an interpreter, etc.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of various embodiments. And vice versa.
  • Modules or program modules according to various embodiments of the present disclosure may include at least one or more of the above components, some of them may be omitted, or may further include other additional components.
  • Operations performed by a module, program module, or other component according to various embodiments of the present disclosure may be executed in a sequential, parallel, repetitive, or heuristic manner. In addition, some operations may be executed in a different order, may be omitted, or other operations may be added.

Abstract

전자 장치가 개시된다. 전자 장치는, 제1 카메라 및 제2 카메라; 마이크; 디스플레이; 및 상기 제1 카메라, 제2 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI(user interface)를 표시하고, 상기 제1 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고, 상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
본 문서에서 개시되는 실시 예들은, 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 기술과 관련된다.
웨어러블(wearable) 제품 등 새로운 지능형 디바이스들이 개발되면서, 장치에 대한 다양한 입력 방식 또한 개발되고 있다. 특히, 인공지능이 관심을 받기 시작하면서, 음성 입력은 터치 입력을 대신할 인터페이스로 각광받고 있으며, 인간의 시선을 활용하는 아이 게이징(eyegazing)과 제스처(gesture)를 인식하는 모션 검출을 활용한 입력 방식 또한 개발되고 있다.
최근에는 시선 정보, 음성 입력 또는 제스처 입력 등 2개 이상의 입력 방식을 조합하여 사용하는 전자 장치가 제안되었으나, 이러한 전자 장치는 단순히 여러 입력 방식을 동시에 사용하는 것에 불과하여 프로세서의 연산량이 많아지는 등 비효율적이라는 문제가 있다.
본 문서에서 개시되는 실시 예들은, 전술한 문제 및 본 문서에서 제기되는 과제들을 해결하기 위해, UI의 객체의 타입에 따라 입력 방식을 결정함으로써 사용자의 시선, 음성 입력 및 제스처 입력을 보다 효율적으로 이용하는 전자 장치를 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 제1 카메라 및 제2 카메라; 마이크; 디스플레이; 및 상기 제1 카메라, 제2 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI(user interface)를 표시하고, 상기 제1 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고, 상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 모바일 전자 장치는, 제1 카메라 및 마이크를 포함하는 HMD(head mounted display)에 결합되고, 제2 카메라; 디스플레이; 및 상기 제1 카메라 및 상기 마이크와 기능적으로 연결되고, 상기 제2 카메라 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI를 표시하고, 상기 제1 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고,상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 디스플레이 장치는 카메라; 마이크; 디스플레이; 및 상기 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이에 복수의 객체를 포함하는 UI를 표시하고, 상기 카메라로부터 사용자의 시선 정보를 획득하고, 상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고, 상기 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고, 상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정될 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자의 시선과 제스처로 전자 장치를 효율적이고 편리하게 제어할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치의 블록도이다.
도 2는 일 실시 예에 따라 전자 장치의 프로세서가 사용자의 시선 및 입력에 대응하는 기능을 실행하는 예시적인 흐름도이다.
도 3a는 일 실시 예에 따라 디스플레이에 복수의 객체를 포함하는 UI가 표시된 도면이다.
도 3b는 일 실시 예에 따라 사용자의 시선이 향하는 위치를 나타내는 도면이다.
도 3c는 일 실시 예에 따라 시선 정보에 대응하는 객체가 활성화된 도면이다.
도 3d는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이다.
도 3e는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이다.
도 4a는 일 실시 예에 따라 디스플레이에 복수의 객체가 표시된 화면을 나타내는 도면이다.
도 4b는 일 실시 예에 따라 음성 입력에 의해 시선이 제2 객체를 향하는 중에 텍스트 입력 창에 텍스트가 입력되는 것을 나타내는 도면이다.
도 4c는 일 실시 예에 따라 음성 입력에 따라 다른 객체가 활성화 되며 음성 입력에 따른 기능이 실행되는 것을 나타내는 도면이다.
도 5a 내지 도 5c는 일 실시 예에 따른 제스처 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
도 6a 내지 도 6c는 일 실시 예에 따른 음성 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
도 7a는 일 실시 예에 따른 HMD(head mounted diplay)와 HMD에 결합되는 전자 장치의 후면을 나타내는 도면이다.
도 7b는 일 실시 예에 따른 HMD에 결합되는 전자 장치의 전면을 나타내는 도면이다.
도 8은 일 실시 예에 따른 디스플레이 장치를 나타내는 도면이다.
도 9는 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도 10는 다양한 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도 11은 다양한 실시 예에 따른 프로그램 모듈의 블록도를 나타낸다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 일 실시 예에 따른 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치의 블록도이다.
도 1을 참조하면, 전자 장치는 카메라(110), 마이크(120), 디스플레이(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다. 다양한 실시 예에서 전자 장치는 위 구성 요소들 중 일부 구성을 생략하거나, 혹은 다른 구성 요소를 추가적으로 구비할 수 있다. 예를 들어, 각종 센서, 배터리나 입/출력 인터페이스와 같은 구성이 전자 장치에 추가적으로 포함될 수 있다.
카메라(110)는 사용자를 촬영하여 사용자의 시선 정보 및 제스처 입력을 획득할 수 있다. 카메라(110)는, 2개이상 구비될 수 있고, 제1 카메라(111)는 사용자의 눈을 촬영하여 사용자의 시선이 향하는 위치를 획득할 수 있다. 제1 카메라(111)는 적외선 카메라(110)(infra-red camera)에 해당할 수 있다. 제2 카메라(112)는 사용자의 손동작 또는 팔동작 등을 촬영하여 제스처 입력을 획득할 수 있다.
마이크(120)는 사용자의 음성 입력 등 소리 신호를 획득할 수 있다.
디스플레이(130)는 프로세서(150)의 제어에 의해 복수의 객체를 포함하는 UI를 표시할 수 있다.
메모리(140)는 휘발성 및/또는 비휘발성 메모리(140)를 포함할 수 있다. 메모리(140)는 전자 장치의 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(140)는 디스플레이(130)에 표시되는 객체의 타입에 대응하는 입력 방식 또는 입력에 따라 UI(user interface)의 객체에 대하여 실행되는 기능 등의 데이터를 저장할 수 있다.
프로세서(150)는 전자 장치에서 프로세서(150)에 전기적 또는 기능적으로 연결된 다른 구성 요소들을 제어하고 연산을 수행할 수 있다.
이하에서는 도 2 내지 도 4c를 참조하여, 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치의 프로세서(150)가 수행하는 동작들을 설명한다.
도 2는 일 실시 예에 따라 전자 장치의 프로세서(150)가 사용자의 시선 및 입력에 대응하는 기능을 실행하는 단계별 예시적인 흐름도이다.
도 3a는 일 실시 예에 따라 디스플레이(130)에 복수의 객체를 포함하는 UI가 표시된 도면이고, 도 3b는 일 실시 예에 따라 사용자의 시선이 향하는 위치를 나타내는 도면이고, 도 3c는 일 실시 예에 따라 시선 정보에 대응하는 객체가 활성화된 도면이고, 도 3d는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이고, 도 3e는 일 실시 예에 따라 활성화된 객체에 음성 입력에 대응하는 기능이 실행되는 것을 나타내는 도면이다. 도 3a 내지 도 3e의 디스플레이 (310)는 도 1의 디스플레이(130)에 대응된다.
도 2를 참조하면, 동작 201에서 프로세서(150)는 디스플레이(130)에 복수의 객체를 포함하는 UI를 표시할 수 있다. 예를 들어, 도 3a와 같이 프로세서(150)는 디스플레이(130)에 복수의 객체(321-324)를 포함하는 UI(320)를 표시할 수 있다. 도 3a에서 복수의 객체 중 항목 객체(322-324)는 UI(320)에 포함된 목록 내 각 항목에 해당할 수 있고, 실행 입력 수신 객체(321)는 제2 객체(322-324)에 대응하는 별도의 정보를 표시시키는 명령 입력을 수신하는 객체일 수 있다.
일 실시 예에 따라, 음성 입력 및 제스처 입력 중 적어도 하나에 따라 UI가 표시될 수 있다. 예를 들어, 사용자가 음성 입력으로 친구의 이름을 입력하면, 프로세서(150)는 친구의 이름 각각을 객체로 포함하는 UI를 표시할 수 있다.
동작 202에서 프로세서(150)는 제1 카메라(111)로부터 사용자의 시선 정보를 획득할 수 있다. 예를 들어, 프로세서(150)는 도 3b에 도시된 것과 같이 사용자의 시선이 디스플레이(130)에서 어떤 위치를 향하는지에 해당하는 시선 정보를 획득할 수 있다.
동작 203에서 프로세서(150)는 복수의 객체 중 시선 정보에 대응하는 제1 객체를 활성화할 수 있다. 예를 들어, 도 3c에 도시된 것과 같이, 복수의 객체(321-324) 중 사용자의 시선(330)이 향하는 실행 입력 수신 객체(321)가 제1 객체에 해당할 수 있고, 프로세서(150)는 실행 입력 수신 객체(321)를 활성화할 수 있다. 활성화된 객체(321)는 후술할 바와 같이 제스처 입력 및 음성 입력 중 적어도 하나의 입력에 대응하는 기능이 실행되는 대상일 수 있다.
일 실시 예에서, 프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 향하면, 제1 객체를 즉시 활성화할 수 있다. 이러한 활성화 방식은 복수의 객체를 포함하는 목록에서 하나의 객체가 선택되는 UI 등 즉각적인 반응성이 중요한 UI에서 사용될 수 있다.
일 실시 예에서, 프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 기 설정된 시간 이상 유지되면, 제1 객체를 활성화 할 수 있다. 이러한 활성화 방식은 디스플레이(130)에서 작게 표시되는 객체를 포함하는 UI 등 시선에 대한 반응성보다 제1 객체의 정확한 선택이 중요한 UI에서 사용될 수 있다.
동작 204에서 프로세서(150)는 제2 카메라(112)로부터 획득되는 제스처 입력 및 마이크(120)에 의해 획득되는 음성 입력 중 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정할 수 있다.
예를 들어, 제1 객체가 텍스트 창 또는 채팅 창 등과 같은 문자 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 음성 입력으로 결정할 수 있다. 프로세서(150)는 디스플레이(130)에 표시되는 소프트 입력 패널(soft input panel) 등을 통해 문자 입력을 받을 수 있으므로, 제1 객체가 문자 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 제스처 입력으로 결정할 수도 있다.
일 실시 예에서, 제1 객체가 리스트에 포함된 항목 또는 체크 박스 등과 같은 선택 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 제스처 입력으로 결정할 수 있다.
일 실시 예에서, 제1 객체가 스크롤바 또는 슬라이드바 등과 같은 조작 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 제스처 입력으로 결정할 수 있다.
일 실시 예에서, 제1 객체가 특정 기능을 실행 하는 실행 입력 타입의 객체인 경우, 프로세서(150)는 입력 방식을 음성 입력 및 제스처 입력 중 하나의 입력 방식으로 결정할 수 있을 뿐만 아니라, 입력 방식을 두 가지 방식의 입력 모두로 결정할 수도 있다.
도 3c에서 제1 객체(321)는 실행 입력 타입의 객체이므로, 프로세서(150)는 음성 입력 및 제스처 입력 모두를 입력 방식으로 결정할 수 있다.
일 실시 예에 따라 프로세서(150)는 시선 정보뿐만 아니라 제스처 입력 및 음성 입력 중 적어도 하나에 더 기반하여 입력 방식을 결정할 수 있다.
예를 들어, 프로세서(150)는 음성 입력에서 기준 값 이상의 노이즈가 발생하는 경우, 입력 방식을 제스처 입력으로 결정할 수 있다. 또한, 제스처 입력이 손을 흔드는 제스처 인 경우, 입력 방식을 제스처 입력으로 결정할 수 있다.
동작 205에서 프로세서(150)는 결정된 방식의 입력이 제1 객체에 적용 가능한지 판단할 수 있다. 예를 들어, 결정된 입력 방식이 음성 입력이고 제1 객체에 적용 가능한 음성 입력이 "OK" 또는 "Do it"으로 설정된 경우, 프로세서(150)는 마이크(120)에 의해 획득되는 음성 입력이 "OK" 및 "Do it" 중 하나에 해당하는지 판단할 수 있다. 일 실시 예에서, 결정된 입력 방식이 제스처 입력이고, 제1 객체에 적용 가능한 제스처 입력이 O를 그리는 제스처로 설정된 경우, 프로세서(150)는 제2 카메라(112)로부터 획득되는 제스처 입력이 O를 그리는 제스처에 해당하는지 판단할 수 있다.
프로세서(150)는 결정된 방식의 입력이 제1 객체에 적용 가능한 경우, 동작 206을 수행할 수 있다.
동작 205에서 결정된 방식의 입력이 제1 객체에 적용 불가한 입력인 것으로 판단된 경우, 제2 카메라(112)로부터의 제스처 입력 및 마이크(120)로부터의 음성 입력은 지속적으로 획득될 수 있으므로, 프로세서(150)는 획득되는 새로운 입력이 제1 객체에 적용 가능한 입력인지 다시 판단할 수 있다.
동작 206에서 프로세서(150)는 제1 객체의 활성화 상태가 유지되는 동안 결정된 방식의 입력에 대응하는 기능을 제1 객체에 대해 실행할 수 있다.
예를 들어, 도 3d에 도시된 것과 같이 사용자의 시선(330)은 실행 입력 수신 객체(321)를 향하고 있어 실행 입력 수신 객체(321)의 활성화 상태는 유지되고, 프로세서(150)는 음성 입력(340)에 대응하여 제2 객체(322-324)에 대응하는 별도의 정보(350)를 표시시키는 기능을 제1 객체에 대해 실행할 수 있다. (도 3d에서 결정된 방식의 입력은 음성 입력이 또는 음성 입력과 제스처 입력 모두이고, 획득되는 음성 입력(340)은 실행 입력 수신 객체(321)에 적용 가능한 입력임을 가정한다.)
일 실시 예에서, 도 3e에 도시된 것과 같이 사용자의 시선(330)은 실행 입력 수신 객체(321)를 향하고 있어 실행 입력 수신 객체(321)의 활성화 상태는 유지되고, 프로세서(150)는 제스처 입력(360)에 대응하여 제2 객체(322-324)에 대응하는 별도의 정보(370)를 표시시키는 기능을 제1 객체에 대해 실행할 수 있다. (도 3e에서 결정된 방식의 입력은 제스처 입력 또는 음성 입력과 제스처 입력 모두이고, 획득되는 제스처 입력은 실행 입력 수신 객체(321)에 적용 가능한 입력임을 가정한다.)
일 실시 예에 따라 프로세서(150)는 제스처 입력의 제스처가 시선을 지나는 경우에 제스처 입력에 대응하는 기능을 제1 객체에 대해 실행할 수 있다.
이하에서는 도 4a 내지 도 4c를 참조하여 일 실시 예에 따라, 동작 204 후, 프로세서(150)가 시선 정보뿐만 아니라, 결정된 방식의 입력의 획득에 더 기반하여 제1 객체의 활성화 상태를 유지하는 방법을 설명한다.
도 4a는 일 실시 예에 따라 디스플레이에 복수의 객체가 표시된 화면을 나타내는 도면이고, 도 4b는 일 실시 예에 따라 음성 입력에 의해 시선이 제2 객체를 향하는 중에 텍스트 입력 창에 텍스트가 입력되는 것을 나타내는 도면이고, 도 4c는 일 실시 예에 따라 음성 입력에 따라 다른 객체가 활성화 되며 음성 입력에 따른 기능이 실행되는 것을 나타내는 도면이다.
전술한 바와 같이 프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 향하면, 제1 객체를 즉시 활성화할 수 있다. 이러한 활성화 방식은 한번 선택된 객체에 지속적으로 입력을 하는 경우, 사용자에게 불편함을 초래할 수 있다. 예를 들어, 제1 객체로써 텍스트 입력창이 활성화 되고, 음성 입력 중 사용자가 시선을 제1 객체가 아닌 다른 위치를 향한다면, 텍스트 일부가 텍스트 입력창에 입력되지 않는 문제가 발생할 수 있다.
프로세서(150)는 제1 객체가 표시된 위치에 사용자의 시선이 향하면, 제1 객체를 활성화하고, 결정된 방식의 입력이 획득되는 동안 제1 객체의 활성화 상태를 유지할 수 있다.
예를 들어, 도 4a를 참조하면, 사용자의 시선(440)은 디스플레이(410)에 표시된 제1 UI(420)의 텍스트 입력창(421)을 향하므로, 프로세서(150)는 텍스트 입력창(421)을 제1 객체로써 활성화할 수 있다. 텍스트 입력창(421)이 활성화 된 후, 결정된 입력 방식인 음성 입력(450)이 획득되는 동안 도 4b와 같이 사용자의 시선(440)이 제1 객체인 텍스트 입력창(421)을 향하지 않는 경우에도, 프로세서(150)는 텍스트 입력창(421)의 활성화 상태를 유지할 수 있다.
일 실시 예에 따라 프로세서(150)는 제1 객체의 활성화 상태가 유지되는 동안, 시선이 복수의 객체 중 제1 객체와 다른 제2 객체를 향하고, 입력이 제2 객체에 적용 가능한 입력인 경우, 입력에 대응하는 기능을 제2 객체에 대해 실행할 수 있다.
예를 들어, 도 4c와 같이, 음성 입력에 의해 텍스트 입력창(421)에 텍스트가 입력되던 중, 사용자의 시선이 제2 객체(430)를 향하고 "Play"라는 음성 입력(450)이 획득된 경우, 프로세서(150)는 제2 객체(430)를 활성화하고, 음성 입력450)에 대응하는 기능인 재생 기능을 실행할 수 있다("Play"는 제2 객체에 적용 가능한 입력임을 가정한다.).
이하에서는, 도 5a 내지 도 6c를 참조하여, 제스처 입력에 대응하는 기능이 수행되는 예시 및 음성 입력에 대응하는 기능이 수행되는 예시를 설명한다.
도 5a 내지 도 5c는 일 실시 예에 따른 제스처 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
선수의 이름이 음성 입력으로 획득되면, 프로세서(150)는 도 5a와 같이 UI의 객체(520)에 해당하는 선수의 사진을 디스플레이(510)에 표시할 수 있다.
프로세서(150)는 사용자의 시선 정보를 획득하고, 도 5b와 같이 시선 정보(530)에 대응하는 제1 객체(520)인 선수의 사진을 활성화 할 수 있다. 또한, 프로세서(150)는 제1 객체의 타입에 기반하여 입력 방식을 제스처 입력으로 결정할 수 있다.
프로세서(150)는 객체를 이동시키는 제스처 입력(540)의 기능을 제1 객체(520)에 대해 적용하여, 도 5c와 같이 제1 객체(520)인 선수의 사진을 이동시킬 수 있다.
도 6a 내지 도 6c는 일 실시 예에 따른 음성 입력에 대응하는 기능이 수행되는 단계별 예시적인 UI를 나타내는 도면이다.
메시지가 수신되면, 프로세서(150)는 도 6a와 같이 UI의 객체(620)에 해당하는 메시지 발신자의 사진을 디스플레이(610)에 표시할 수 있다.
프로세서(150)는 사용자의 시선 정보를 획득하고, 도 6b와 같이 시선 정보(630)에 대응하는 제1 객체(620)인 메시지 발신자의 사진을 활성화 할 수 있다. 또한, 프로세서(150)는 제1 객체(620)의 타입에 기반하여 입력 방식을 음성 입력으로 결정할 수 있다.
프로세서(150)는 수신된 메시지를 표시하는 음성 입력(640)의 기능을 제1 객체에 대해 실행하여, 도 6c와 같이 수신된 메시지(650)를 표시할 수 있다.
이하에서는 도 7a 내지 도8을 참조하면 전술한 발명이 구현될 수 있는 장치에 대해 설명한다.
도 7a는 일 실시 예에 따른 HMD(head mounted diplay)와 HMD에 결합되는 전자 장치의 후면을 나타내는 도면이고, 도 7b는 일 실시 예에 따른 HMD에 결합되는 전자 장치의 전면을 나타내는 도면이다.
본 발명은 도 7a 및 도 7b의 HMD(720)와 모바일 전자 장치(710) 모두를 포함하는 전자 장치(700)로 구현될 수 있고, HMD(720)에 결합되는 모바일 전자 장치(710)로 구현될 수 있다.
HMD(720)는 카메라(721) 및 커넥터(722)를 포함할 수 있고, 모바일 전자 장치(710)는 카메라(711), 마이크(712), 디스플레이(713), 커넥터(714) 및 프로세서(미도시)를 포함할 수 있다.
HMD(720)의 카메라(110)는 도 1의 제1 카메라(111)에 대응될 수 있다.
모바일 전자 장치(710)의 카메라(711), 마이크(712), 디스플레이(713) 및 프로세서는 도 1의 제2 카메라(112), 마이크(120), 디스플레이(130) 및 프로세서(150)에 대응될 수 있다.
HMD(720)의 커넥터(722)가 모바일 전자 장치(710)의 커넥터(714)에 삽입됨으로써, HMD(720)와 모바일 전자 장치(710)가 결합될 수 있으며, 커넥터(714, 722)를 통해 HMD(720)와 모바일 전자 장치(710)가 기능적으로 연결될 수 있다.
도 8은 일 실시 예에 따른 디스플레이(130) 장치를 나타내는 도면이다.
도 8을 참조하면, 디스플레이 장치는 카메라(810), 마이크(820), 디스플레이(830) 및 프로세서(미도시)를 포함할 수 있다. 디스플레이 장치의 마이크(820), 디스플레이(830) 및 프로세서는 각각 도 1의 마이크(120), 디스플레이(130) 및 프로세서(150)에 대응될 수 있다.
그러나 디스플레이 장치의 카메라(110)는 사용자의 시선 및 제스처 모두를 촬영할 수 있으므로, 도 1의 제1 카메라(111) 및 제2 카메라(112)를 포함하는 카메라(110)에 대응될 수 있다.
한편, 본 발명은 예시한 전자 장치, HMD에 결합되는 모바일 전자 장치 및 디스플레이 장치 이외의 장치에서도 구현될 수 있다.
예를 들어, 본 발명이 차량에서 구현되면 HUD(head up display)가 디스플레이에 해당하고, 차량 내에 카메라, 마이크 및 프로세서가 구비될 수 있다. 본 발명이 차량에서 구현되면, 조작중인 핸들을 계속 잡고 있는 상태에서 HUD의 주행거리, 온도 또는 순간 연비 등을 나타내는 모드 전환, 음악, 라디오 또는 영상 등의 컨텐츠 제어, 차량 상태 문제발생 알림 및 관련 정보 확인을 운전 중에 수행할 수 있다.
도 9는 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도 9를 참조하면, 다양한 실시 예에서의 전자 장치(901), 제1 전자 장치(902), 제2 전자 장치(904) 또는 서버(906)가 네트워크(962) 또는 근거리 통신(964)을 통하여 서로 연결될 수 있다. 전자 장치(901)는 버스(910), 프로세서(920), 메모리(930), 입출력 인터페이스(950), 디스플레이(960), 및 통신 인터페이스(970)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(901)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.
프로세서(920), 메모리(930) 및 디스플레이(960)는 각각 도 1의 프로세서(150), 메모리(140) 및 디스플레이(130)에 해당할 수 있다.
버스(910)는, 예를 들면, 구성요소들(910-970)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(920)는, 중앙처리장치(Central Processing Unit (CPU)), 어플리케이션 프로세서(Application Processor (AP)), 또는 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(920)는, 예를 들면, 전자 장치(901)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(930)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(930)는, 예를 들면, 전자 장치(901)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(930)는 소프트웨어 및/또는 프로그램(940)을 저장할 수 있다. 프로그램(940)은, 예를 들면, 커널(941), 미들웨어(943), 어플리케이션 프로그래밍 인터페이스(Application Programming Interface (API))(945), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(947) 등을 포함할 수 있다. 커널(941), 미들웨어(943), 또는 API(945)의 적어도 일부는, 운영 시스템(Operating System (OS))으로 지칭될 수 있다.
커널(941)은, 예를 들면, 다른 프로그램들(예: 미들웨어(943), API(945), 또는 어플리케이션 프로그램(947))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(910), 프로세서(920), 또는 메모리(930) 등)을 제어 또는 관리할 수 있다. 또한, 커널(941)은 미들웨어(943), API(945), 또는 어플리케이션 프로그램(947)에서 전자 장치(901)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(943)는, 예를 들면, API(945) 또는 어플리케이션 프로그램(947)이 커널(941)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(943)는 어플리케이션 프로그램(947)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(943)는 어플리케이션 프로그램(947) 중 적어도 하나에 전자 장치(901)의 시스템 리소스(예: 버스(910), 프로세서(920), 또는 메모리(930) 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어(943)는 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링 또는 로드 밸런싱 등을 수행할 수 있다.
API(945)는, 예를 들면, 어플리케이션(947)이 커널(941) 또는 미들웨어(943)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(950)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(901)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(950)는 전자 장치(901)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(960)는, 예를 들면, 액정 디스플레이(Liquid Crystal Display (LCD)), 발광 다이오드(Light-Emitting Diode (LED)) 디스플레이, 유기 발광 다이오드(Organic LED (OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems, MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(960)는, 예를 들면, 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(960)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스(970)는, 예를 들면, 전자 장치(901)와 외부 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 또는 서버(906)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(970)는 무선 통신 또는 유선 통신을 통해서 네트워크(962)에 연결되어 외부 장치(예: 제2 전자 장치(904) 또는 서버(906))와 통신할 수 있다.
무선 통신은, 예를 들면 셀룰러 통신 프로토콜로서, 예를 들면 LTE(Long-Term Evolution), LTE-A(LTE-Advanced), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 중 적어도 하나를 사용할 수 있다. 또한 무선 통신은, 예를 들면, 근거리 통신(964)을 포함할 수 있다. 근거리 통신(964)는, 예를 들면, Wi-Fi(Wireless Fidelity), Bluetooth, NFC(Near Field Communication), MST(magnetic stripe transmission), 또는 GNSS 중 적어도 하나를 포함할 수 있다.
MST는 전자기 신호를 이용하여 전송 데이터에 따라 펄스를 생성하고, 상기 펄스는 자기장 신호를 발생시킬 수 있다. 전자 장치(901)는 상기 자기장 신호를 POS(point of sales)에 전송하고, POS는 MST 리더(MST reader)를 이용하여 상기 자기장 신호는 검출하고, 검출된 자기장 신호를 전기 신호로 변환함으로써 상기 데이터를 복원할 수 있다.
GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo(the European global satellite-based navigation system) 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard-232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(962)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 전자 장치(902) 및 제2 전자 장치(904) 각각은 전자 장치(901)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버(906)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 전자 장치(901)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 또는 서버(906))에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(901)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(901)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 또는 서버(906))에게 요청할 수 있다. 다른 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(901)로 전달할 수 있다. 전자 장치(901)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 10는 다양한 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도 10를 참조하면, 전자 장치(1001)는, 예를 들면, 도 9에 도시된 전자 장치(901)의 전체 또는 일부를 포함할 수 있다. 전자 장치(1001)는 하나 이상의 프로세서(예: AP)(1010), 통신 모듈(1020), 가입자 식별 모듈(1024), 메모리(1030), 센서 모듈(1040), 입력 장치(1050), 디스플레이(1060), 인터페이스(1070), 오디오 모듈(1080), 카메라 모듈(1091), 전력 관리 모듈(1095), 배터리(1096), 인디케이터(1097), 및 모터(1098)를 포함할 수 있다.
프로세서(1010), 메모리(1030), 디스플레이(1060), 마이크(1088) 및 카메라 모듈(1091)는 각각 도 1의 프로세서(150), 메모리(140), 디스플레이(130), 마이크(120) 및 카메라(110)에 해당할 수 있다.
프로세서(1010)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(1010)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1010)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(1010)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(1010)는 도 10에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(1021))를 포함할 수도 있다. 프로세서(1010)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(1020)은, 도 9의 통신 인터페이스(970)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(1020)은, 예를 들면, 셀룰러 모듈(1021), Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(1025), MST 모듈(1026), 및 RF(radio frequency) 모듈(1027)을 포함할 수 있다.
셀룰러 모듈(1021)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1021)은 가입자 식별 모듈(예: SIM 카드)(1029)를 이용하여 통신 네트워크 내에서 전자 장치(1001)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1021)은 프로세서(1010)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1021)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다.
Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024), NFC 모듈(1025), 또는 MST 모듈(1026) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(1021), Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024), NFC 모듈(1025), 또는 MST 모듈(1026) 중 적어도 일부(예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(1027)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(1027)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(1021), Wi-Fi 모듈(1022), 블루투스 모듈(1023), GNSS 모듈(1024), NFC 모듈(1025), MST 모듈(1026) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(1029)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID (integrated circuit card identifier)) 또는 가입자 정보(예: IMSI (international mobile subscriber identity))를 포함할 수 있다.
메모리(1030)(예: 메모리(930))는, 예를 들면, 내장 메모리(1032) 또는 외장 메모리(1034)를 포함할 수 있다. 내장 메모리(1032)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비-휘발성(non-volatile) 메모리 (예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), 마스크(mask) ROM, 플래시(flash) ROM, 플래시 메모리(예: 낸드플래시(NAND flash) 또는 노아플래시(NOR flash) 등), 하드 드라이브, 또는 SSD(solid state drive) 중 적어도 하나를 포함할 수 있다.
외장 메모리(1034)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(MultiMediaCard), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(1034)는 다양한 인터페이스를 통하여 전자 장치(1001)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
보안 모듈(1036)은 메모리(1030)보다 상대적으로 보안 레벨이 높은 저장 공간을 포함하는 모듈로써, 안전한 데이터 저장 및 보호된 실행 환경을 보장해주는 회로일 수 있다. 보안 모듈(1036)은 별도의 회로로 구현될 수 있으며, 별도의 프로세서를 포함할 수 있다. 보안 모듈(1036)은, 예를 들면, 탈착 가능한 스마트 칩, SD(secure digital) 카드 내에 존재하거나, 또는 전자 장치(1001)의 고정 칩 내에 내장된 내장형 보안 요소(embedded secure element(eSE))를 포함할 수 있다. 또한, 보안 모듈(1036)은 전자 장치(1001)의 운영 체제(OS)와 다른 운영 체제로 구동될 수 있다. 예를 들면, 보안 모듈(1036)은 JCOP(java card open platform) 운영 체제를 기반으로 동작할 수 있다.
센서 모듈(1040)은, 예를 들면, 물리량을 계측하거나 전자 장치(1001)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(1040)은, 예를 들면, 제스처 센서(1040A), 자이로 센서(1040B), 기압 센서(1040C), 마그네틱 센서(1040D), 가속도 센서(1040E), 그립 센서(1040F), 근접 센서(1040G), 컬러 센서(1040H)(예: RGB 센서), 생체 센서(1040I), 온/습도 센서(1040J), 조도 센서(1040K), 또는 UV(ultra violet) 센서(1040M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1040)은, 예를 들면, 후각 센서(E-nose sensor), EMG(electromyography) 센서, EEG(electroencephalogram) 센서, ECG(electrocardiogram) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(1040)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1001)는 프로세서(1010)의 일부로서 또는 별도로, 센서 모듈(1040)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(1010)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(1040)을 제어할 수 있다.
입력 장치(1050)는, 예를 들면, 터치 패널(touch panel)(1052), (디지털) 펜 센서(pen sensor)(1054), 키(key)(1056), 또는 초음파(ultrasonic) 입력 장치(1058)를 포함할 수 있다. 터치 패널(1052)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(1052)은 제어 회로를 더 포함할 수도 있다. 터치 패널(1052)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(1054)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 시트(sheet)를 포함할 수 있다. 키(1056)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(1058)는 마이크(예: 마이크(1088))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(1060)(예: 디스플레이(960))는 패널(1062), 홀로그램 장치(1064), 또는 프로젝터(1066)을 포함할 수 있다. 패널(1062)은, 도 9의 디스플레이(960)과 동일 또는 유사한 구성을 포함할 수 있다. 패널(1062)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(1062)은 터치 패널(1052)과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치(1064)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1066)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1001)의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이(1060)는 패널(1062), 홀로그램 장치(1064), 또는 프로젝터(1066)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(1070)는, 예를 들면, HDMI(1072), USB(1074), 광 인터페이스(optical interface)(1076), 또는 D-sub(D-subminiature)(1078)을 포함할 수 있다. 인터페이스(1070)는, 예를 들면, 도 9에 도시된 통신 인터페이스(970)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1070)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD 카드/MMC 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(1080)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1080)의 적어도 일부 구성요소는, 예를 들면, 도 9에 도시된 입출력 인터페이스(950)에 포함될 수 있다. 오디오 모듈(1080)은, 예를 들면, 스피커(1082), 리시버(1084), 이어폰(1086), 또는 마이크(1088) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(1091)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 제논 램프(xenon lamp))를 포함할 수 있다.
전력 관리 모듈(1095)은, 예를 들면, 전자 장치(1001)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(1095)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(1096)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(1096)은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(1097)는 전자 장치(1001) 혹은 그 일부(예: 프로세서(1010))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(1098)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치(1001)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(Digital Multimedia Broadcasting), DVB(Digital Video Broadcasting), 또는 미디어플로(MediaFLOTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 11은 다양한 실시 예에 따른 프로그램 모듈의 블록도를 나타낸다.
한 실시 예에 따르면, 프로그램 모듈(1110)(예: 프로그램(940))은 전자 장치(예: 전자 장치(901))에 관련된 자원을 제어하는 운영 체제(OS) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(947))을 포함할 수 있다. 운영 체제는, 예를 들면, Android, iOS, Windows, Symbian, 또는 Tizen 등이 될 수 있다.
프로그램 모듈(1110)은 커널(1120), 미들웨어(1130), API(1160), 및/또는 어플리케이션(1170)을 포함할 수 있다. 프로그램 모듈(1110)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904), 서버(906) 등)로부터 다운로드 가능하다.
커널(1120)(예: 커널(941))은, 예를 들면, 시스템 리소스 매니저(1121) 또는 디바이스 드라이버(1123)를 포함할 수 있다. 시스템 리소스 매니저(1121)는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(1121)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버(1123)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, Wi-Fi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어(1130)는, 예를 들면, 어플리케이션(1170)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(1170)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(1160)을 통해 다양한 기능들을 어플리케이션(1170)으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(1130)(예: 미들웨어(943))은 런타임 라이브러리(1135), 어플리케이션 매니저(application manager)(1141), 윈도우 매니저(window manager)(1142), 멀티미디어 매니저(multimedia manager)(1143), 리소스 매니저(resource manager)(1144), 파워 매니저(power manager)(1145), 데이터베이스 매니저(database manager)(1146), 패키지 매니저(package manager)(1147), 연결 매니저(connectivity manager)(1148), 통지 매니저(notification manager)(1149), 위치 매니저(location manager)(1150), 그래픽 매니저(graphic manager)(1151), 보안 매니저(security manager)(1152), 또는 결제 매니저(1154) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(1135)는, 예를 들면, 어플리케이션(1170)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(1135)는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저(1141)는, 예를 들면, 어플리케이션(1170) 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(1142)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1143)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(1144)는 어플리케이션(1170) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저(1145)는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(1146)은 어플리케이션(1170) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(1147)은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저(1148)은, 예를 들면, Wi-Fi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(1149)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(1150)은 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(1151)은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1152)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(예: 전자 장치(901))가 전화 기능을 포함한 경우, 미들웨어(1130)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
미들웨어(1130)는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어(1130)는 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(1130)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(1160)(예: API(945))은, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, Android 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(1170)(예: 어플리케이션 프로그램(947))은, 예를 들면, 홈(1171), 다이얼러(1172), SMS/MMS(1173), IM(instant message)(1174), 브라우저(1175), 카메라(1176), 알람(1177), 컨택트(1178), 음성 다이얼(1179), 이메일(1180), 달력(1181), 미디어 플레이어(1182), 앨범(1183), 또는 시계(1184), 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션(1170)은 전자 장치(예: 전자 장치(901))와 외부 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의상, "정보 교환 어플리케이션")을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스 등)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션(1170)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(1170)은 외부 전자 장치(예: 제1 전자 장치(902), 제2 전자 장치(904)), 및 서버(906)) 로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(1170)은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈(1110)의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예에 따르면, 프로그램 모듈(1110)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈(1110)의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서(1010))에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈(1110)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(920))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(930)이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 카메라 및 제2 카메라;
    마이크;
    디스플레이; 및
    상기 제1 카메라, 제2 카메라, 상기 마이크 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이에 복수의 객체를 포함하는 UI(user interface)를 표시하고,
    상기 제1 카메라로부터 사용자의 시선 정보를 획득하고,
    상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고,
    상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고,
    상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하도록 설정된, 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 기 설정된 시간 이상 유지되면, 상기 제1 객체를 활성화하도록 설정된, 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하고,
    상기 결정된 방식의 입력이 획득되는 동안 상기 제1 객체의 활성화 상태를 유지하도록 설정된, 전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 제1 객체의 활성화 상태가 유지되는 동안, 상기 시선이 상기 복수의 객체 중 상기 제1 객체와 다른 제2 객체를 향하고,
    상기 입력이 상기 제2 객체에 적용 가능한 입력인 경우, 상기 입력에 대응하는 기능을 상기 제2 객체에 대해 실행하도록 설정된, 전자 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 제스처 입력 및 상기 음성 입력 중 적어도 하나에 더 기반하여 상기 입력 방식을 결정하도록 설정된, 전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 결정된 방식의 입력이 상기 제스처 입력이고, 상기 제스처 입력의 제스처가 상기 시선을 지나는 경우, 상기 제스처 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 전자 장치.
  8. 제1 카메라 및 마이크를 포함하는 HMD(head mounted display)에 결합되는 모바일 전자 장치에 있어서,
    제2 카메라;
    디스플레이; 및
    상기 제1 카메라 및 상기 마이크와 기능적으로 연결되고, 상기 제2 카메라 및 상기 디스플레이와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이에 복수의 객체를 포함하는 UI를 표시하고,
    상기 제1 카메라로부터 사용자의 시선 정보를 획득하고,
    상기 복수의 객체 중 상기 시선 정보에 대응하는 제1 객체를 활성화하고,
    상기 제2 카메라로부터 획득되는 제스처 입력 및 상기 마이크에 의해 획득되는 음성 입력 중 상기 활성화된 제1 객체의 타입에 대응하는 적어도 하나의 입력 방식을 결정하고,
    상기 결정된 방식의 입력이 상기 제1 객체에 적용 가능한 입력인 경우, 상기 제1 객체의 활성화 상태가 유지되는 동안 상기 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 모바일 전자 장치.
  9. 제8 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하도록 설정된, 모바일 전자 장치.
  10. 제8 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 기 설정된 시간 이상 유지되면, 상기 제1 객체를 활성화하도록 설정된, 모바일 전자 장치.
  11. 제8 항에 있어서,
    상기 프로세서는,
    상기 제1 객체가 표시된 위치에 상기 사용자의 시선이 향하면, 상기 제1 객체를 활성화하고,
    상기 결정된 방식의 입력이 획득되는 동안 상기 제1 객체의 활성화 상태를 유지하도록 설정된, 모바일 전자 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 제1 객체의 활성화 상태가 유지되는 동안, 상기 시선이 상기 복수의 객체 중 상기 제1 객체와 다른 제2 객체를 향하고,
    상기 입력이 상기 제2 객체에 적용 가능한 입력인 경우, 상기 입력에 대응하는 기능을 상기 제2 객체에 대해 실행하도록 설정된, 모바일 전자 장치.
  13. 제8 항에 있어서,
    상기 프로세서는,
    상기 제스처 입력 및 상기 음성 입력 중 적어도 하나에 더 기반하여 상기 입력 방식을 결정하도록 설정된, 모바일 전자 장치.
  14. 제8 항에 있어서,
    상기 프로세서는,
    상기 음성 입력에서 기준 값 이상의 노이즈가 발생하는 경우, 상기 입력 방식을 상기 제스처 입력으로 결정하도록 설정된, 모바일 전자 장치.
  15. 제8 항에 있어서,
    상기 프로세서는,
    상기 결정된 방식의 입력이 상기 제스처 입력이고, 상기 제스처 입력의 제스처가 상기 시선을 지나는 경우, 상기 제스처 입력에 대응하는 기능을 상기 제1 객체에 대해 실행하도록 설정된, 모바일 전자 장치.
PCT/KR2017/014912 2016-12-19 2017-12-18 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치 WO2018117560A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/465,239 US10962785B2 (en) 2016-12-19 2017-12-18 Electronic device, mobile electronic device, and display device, which are controlled on basis of user gaze and input

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0173893 2016-12-19
KR1020160173893A KR20180071092A (ko) 2016-12-19 2016-12-19 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치

Publications (1)

Publication Number Publication Date
WO2018117560A1 true WO2018117560A1 (ko) 2018-06-28

Family

ID=62626810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014912 WO2018117560A1 (ko) 2016-12-19 2017-12-18 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치

Country Status (3)

Country Link
US (1) US10962785B2 (ko)
KR (1) KR20180071092A (ko)
WO (1) WO2018117560A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102628730B1 (ko) 2018-06-20 2024-01-23 주식회사 엘지화학 고체산화물 연료전지용 연결재, 이의 제조방법 및 이를 포함하는 고체산화물 연료전지
EP3648479B1 (en) * 2018-11-02 2023-09-27 Ningbo Geely Automobile Research & Development Co. Ltd. Audio communication in a vehicle
WO2020101048A1 (ko) * 2018-11-12 2020-05-22 엘지전자 주식회사 전자 제어 장치 및 그것을 포함하는 차량
KR20210020219A (ko) 2019-08-13 2021-02-24 삼성전자주식회사 대용어(Co-reference)를 이해하는 전자 장치 및 그 제어 방법
WO2021230048A1 (ja) * 2020-05-15 2021-11-18 株式会社Ｎｔｔドコモ 情報処理システム
EP4343516A4 (en) 2021-08-23 2024-04-24 Samsung Electronics Co Ltd PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME
WO2023027459A1 (ko) * 2021-08-23 2023-03-02 삼성전자 주식회사 증강현실 객체를 표시하는 웨어러블 전자 장치와 이의 동작 방법
CN115300897A (zh) * 2022-07-29 2022-11-08 小派科技（上海）有限责任公司 分离式虚拟系统的空间定位方法、虚拟系统
WO2024080709A1 (ko) * 2022-10-14 2024-04-18 삼성전자주식회사 음성 신호에 기반하여 실행가능한 객체를 제어하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150023151A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자 장치 및 이의 어플리케이션 실행 방법
US20160091967A1 (en) * 2014-09-25 2016-03-31 Microsoft Corporation Eye Gaze for Spoken Language Understanding in Multi-Modal Conversational Interactions
KR20160039499A (ko) * 2014-10-01 2016-04-11 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US20160162020A1 (en) * 2014-12-03 2016-06-09 Taylor Lehman Gaze target application launcher
KR101657947B1 (ko) * 2015-04-30 2016-09-26 해성옵틱스(주) 오디오 비디오 브리징 시스템이 적용된 차량의 메뉴 제어 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
KR102095765B1 (ko) 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20140073730A (ko) 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
KR20150087909A (ko) 2014-01-23 2015-07-31 한국전자통신연구원 멀티 모달리티 제어 방법 및 시스템
KR20160001465A (ko) 2014-06-27 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US10276158B2 (en) * 2014-10-31 2019-04-30 At&T Intellectual Property I, L.P. System and method for initiating multi-modal speech recognition using a long-touch gesture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150023151A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자 장치 및 이의 어플리케이션 실행 방법
US20160091967A1 (en) * 2014-09-25 2016-03-31 Microsoft Corporation Eye Gaze for Spoken Language Understanding in Multi-Modal Conversational Interactions
KR20160039499A (ko) * 2014-10-01 2016-04-11 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US20160162020A1 (en) * 2014-12-03 2016-06-09 Taylor Lehman Gaze target application launcher
KR101657947B1 (ko) * 2015-04-30 2016-09-26 해성옵틱스(주) 오디오 비디오 브리징 시스템이 적용된 차량의 메뉴 제어 장치 및 방법

Also Published As

Publication number Publication date
US20190324279A1 (en) 2019-10-24
KR20180071092A (ko) 2018-06-27
US10962785B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2018117560A1 (ko) 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
WO2017209528A1 (en) Electronic apparatus and operating method thereof
WO2017135599A1 (ko) 외부 전자 장치를 제어하기 위한 방법 및 전자 장치
WO2017209560A1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
WO2017179905A1 (ko) 플렉서블 디바이스 및 그 동작 방법
WO2016204551A1 (en) Device and method for providing notification on wireless charging state
WO2017116052A1 (ko) 컨텐트 인식 장치 및 그 동작 방법
WO2018155928A1 (ko) 복수의 생체 센서를 이용하여 인증을 수행하기 위한 전자 장치 및 그의 동작 방법
WO2018124706A1 (ko) 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치
WO2018106019A1 (ko) 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
WO2016209004A1 (ko) 전자 장치의 터치 센싱 모듈 제어 방법 및 전자 장치, 전자 장치에 구비된 터치 센싱 모듈의 동작 방법 및 터치 센싱 모듈
WO2017073941A1 (ko) 제스처 감지 방법 및 이를 지원하는 전자 장치
WO2018128509A1 (en) Electronic device and method for sensing fingerprints
WO2018066964A1 (ko) 양면 디스플레이를 갖는 전자 장치 및 어플리케이션 제어 방법
WO2018066840A1 (ko) 케이스 장치를 구비한 전자 장치
WO2017010772A1 (en) Apparatus and method for providing memo function
WO2018143643A1 (ko) 전자장치 및 이를 사용하여 디스플레이에 연동된 생체 센서의 제어 방법
WO2018034416A1 (ko) 전자 장치 및 전자 장치의 이미지 표시 방법
WO2018131841A1 (ko) 전자장치 및 이를 활용한 액츄에이터 제어 방법
WO2018021726A1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
WO2017146482A1 (ko) 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
WO2017126767A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2018124577A1 (ko) 디지털 디스플레이 간 정보를 연동/분리하는 전자 장치
WO2018155905A1 (ko) 식별 정보 관리 방법 및 이를 지원하는 전자 장치
WO2018131873A1 (ko) 전자 장치 및 이를 포함하는 차량

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884411

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17884411

Country of ref document: EP

Kind code of ref document: A1