WO2023003420A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023003420A1
WO2023003420A1 PCT/KR2022/010772 KR2022010772W WO2023003420A1 WO 2023003420 A1 WO2023003420 A1 WO 2023003420A1 KR 2022010772 W KR2022010772 W KR 2022010772W WO 2023003420 A1 WO2023003420 A1 WO 2023003420A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
electronic device
information
setting state
input
Prior art date
Application number
PCT/KR2022/010772
Other languages
English (en)
French (fr)
Inventor
황성준
김대웅
마지연
신동헌
김의준
이영아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2023003420A1 publication Critical patent/WO2023003420A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device and method for storing a custom gesture in an electronic device and changing settings of an electronic device and an external device using the custom gesture.
  • gestures In order to control increasingly diverse functions and contents in electronic devices such as TVs, manipulation using gestures and voices is increasingly being used beyond conventional remote controls. These gesture manipulations have intuitive and convenient features, and provide different usability and utilization compared to conventional manipulations.
  • Electronic devices usually use a camera to recognize a user's gesture. The electronic device uses a camera attached to the electronic device to obtain an image image of the user's body, recognizes the shape of the user's arm and hand, and uses the gesture for recognition.
  • Controlling an electronic device using gestures has a problem in that a user has to remember the shape of a gesture he/she wants to use. Since most of the gestures are preset gestures by manufacturers of electronic devices, users have the inconvenience of having to remember the preset gestures. In addition, since it is difficult to technically recognize the starting point of a gesture, separate gestures such as wake-up gestures exist, which causes inconvenience to users and prevents malfunctions in recognizing gestures by electronic devices even when the user does not intend to use the gesture. There is a problem that causes
  • the present invention provides an electronic device capable of controlling settings of an electronic device and an external device connected to the electronic device through a custom gesture defined by a user, and a control method thereof.
  • An electronic device for achieving the above object includes a camera, a display, a communication interface for communicating with an external device, a memory for storing at least one instruction, and a processor, wherein the processor By executing the at least one instruction, if the user's gesture photographed through the camera is a capture gesture that is a preset gesture, obtains information about a setting state of at least one of the electronic device and the external device, If the display is controlled to display a UI including information on the setting state, and a first gesture using a specific object is input while the UI is displayed, the input first gesture and information on the obtained setting state can be matched and stored in the memory as a custom gesture.
  • the processor executes the instruction so that, if the user's gesture photographed through the camera is the custom gesture, the electronic device and the external device are matched to the first gesture and stored based on the information about the setting state. You can change the settings of
  • the processor controls the display to display a UI for storing the custom gesture, and while the UI for storing the custom gesture is displayed, the first command for storing the custom gesture as the custom gesture is displayed.
  • the display is controlled to display a first UI element for indicating an input level of the first gesture until the first gesture is input, and the first UI element visually displays the first gesture. and changes the first UI element so that the shape of the first UI element becomes clear according to an input degree of the first gesture while the first gesture is input, and the first UI element is changed. If the first gesture is changed to a second gesture while the element is changed, the first UI element is changed to a second UI element, and the second UI element includes a second image visually representing the second gesture. can do.
  • the processor controls the camera to capture the user's body and line of sight by executing the instruction, and when the line of sight is directed toward the electronic device for more than a threshold time and the angle of the arm of the body is within a preset range, the electronic device
  • the display may be controlled to display a first UI notifying that the gesture is being recognized.
  • the processor may change the threshold time or the predetermined range based on whether the capture gesture or the custom gesture is recognized while a UI notifying that the electronic device is recognizing a gesture is displayed.
  • the processor detects an input for selecting at least one of the plurality of UI elements, Based on the input, the first gesture and information on a setting state corresponding to the selected UI element may be matched and stored in the memory.
  • the processor may change the range of the UI element selected based on the pointing direction of both hands of the user or the distance between both hands of the user.
  • the specific thing includes at least one of a game controller, a mouse, a remote controller, and a mobile phone, and the processor operates the electronic device and the external device based on information about a setting state corresponding to the specific thing among the stored setting state information. You can change the settings of the device.
  • a user's gesture photographed through a camera is a capture gesture that is a predetermined gesture
  • information about a setting state for at least one of an electronic device and an external device connected to the electronic device is determined. obtaining information; controlling the display to display a UI including information about the setting state; and if a first gesture using a specific object is input while the UI is displayed, matching the first gesture with information on the acquired setting state and storing the custom gesture in a memory.
  • the setting state of the electronic device and the external device connected to the electronic device is determined based on the information on the setting state matched with the first gesture and stored.
  • a step of changing may be further included.
  • displaying a UI for storing the custom gesture If the first gesture for saving the custom gesture is recognized while the UI for saving the custom gesture is displayed, a first UI element for indicating the input degree of the first gesture until the first gesture is input.
  • the first UI element includes a first image visually representing the first gesture; changing the first UI element so that the shape of the first UI element becomes clear according to an input degree of the first gesture while the first gesture is input; and when the first gesture is changed to a second gesture while the first UI element is changed, the first UI element is changed to a second UI element, and the second UI element visually expresses the second gesture.
  • a step of including a second image may be further included.
  • the method may further include changing the threshold time or the predetermined range based on whether the capture gesture or the custom gesture is recognized while a UI notifying that the electronic device is recognizing a gesture is displayed.
  • the UI including the information on the setting state includes a plurality of UI elements respectively corresponding to the information on the setting state, and when an input for selecting at least one of the plurality of UI elements is detected, based on the input
  • the method may further include matching the first gesture with information about a setting state corresponding to the selected UI element and storing the matching information in the memory.
  • the method may further include changing a range of UI elements selected based on a direction in which both hands of the user point or a distance between both hands of the user while the UI including information on the setting state is displayed. .
  • the specific thing includes at least one of a game controller, a mouse, a remote controller, and a mobile phone, and the electronic device and the external device are configured based on information about a setting state corresponding to the specific thing among the stored setting state information.
  • a step of changing the state may be further included.
  • the control method includes a user's gesture captured through a camera obtaining information about a setting state of at least one of an electronic device and an external device connected to the electronic device, if is a capture gesture that is a preset gesture; controlling the display to display a UI including information on a preset state; and if a first gesture is input while the UI is displayed, matching the first gesture with information on the acquired setting state and storing the custom gesture in a memory.
  • the electronic device can conveniently control setting states of the electronic device and external devices through a custom gesture defined by a user, and can improve gesture recognition malfunction.
  • FIG. 1 is a block diagram for explaining the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIGS. 2A and 2B are diagrams for explaining a method of displaying a first UI indicating that an electronic device is recognizing a gesture, according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating a method for changing a condition for displaying a first UI by an electronic device according to an embodiment of the present disclosure.
  • 4A to 4E are diagrams for explaining a method of displaying a second UI and selecting information on a setting state according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a process of storing a custom gesture according to an embodiment of the present disclosure.
  • 6A to 6D are views for explaining a process of storing a custom gesture according to an embodiment of the present disclosure.
  • FIG. 7A to 7D are views for explaining a process of storing a custom gesture according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining a method of inputting a gesture according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining a method of changing a setting state of the electronic device 100 and an external device connected to the electronic device using a custom gesture according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of matching and storing information on a setting state of at least one of an electronic device and an external device connected to the electronic device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that the certain component may be directly connected to the other component or connected through another component (eg, a third component).
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device.
  • a general-purpose processor eg, CPU or application processor
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented with hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • FIG. 1 is a block diagram for explaining the configuration of an electronic device 100 according to an embodiment of the present disclosure.
  • an electronic device 100 includes a camera 110, a display 120, a communication interface 130, an input/output interface 140, a user interface 150, a memory 160, and a processor 170.
  • the electronic device 100 may omit at least some of the components and may further include other components.
  • the electronic device 100 may be a TV, but this is merely an example and may be implemented with other devices such as a monitor and a set-top box.
  • the camera 110 may acquire an image of at least one object.
  • the camera 110 includes an image sensor, and the image sensor may convert light entering through a lens into an electrical image signal.
  • the camera 110 may obtain an image by photographing the user's body and gaze.
  • the processor 170 may obtain information about the user's hand motion and the user's arm angle by analyzing the user's hand region and the user's arm region included in the acquired image.
  • the display 120 may output image data under the control of the processor 170 . Specifically, the display 120 may output an image pre-stored in the memory 160 under the control of the processor 170 . Also, the display 120 may display a user interface (UI) stored in the memory 160 .
  • the display 160 may be implemented as a liquid crystal display panel (LCD), organic light emitting diodes (OLED), or the like, and the display 120 may also be implemented as a flexible display, a transparent display, or the like, depending on circumstances.
  • the display 150 according to the present disclosure is not limited to a specific type.
  • the display 120 includes a first UI notifying that a gesture is being recognized, a second UI including information about a setting state of at least one of the electronic device 100 and an external device connected to the electronic device 100, and custom A third UI for saving a gesture may be displayed.
  • the communication interface 130 includes circuitry and is a component capable of communicating with external devices and servers.
  • the communication interface 130 may perform communication with an external device and a server based on a wired or wireless communication method.
  • the communication interface 130 may perform communication with an external device and a server through wireless communication.
  • the communication interface 130 may include a Wi-Fi module (not shown), a Bluetooth module (not shown), an infrared (IR) module, a local area network (LAN) module, an Ethernet module, and the like.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the wireless communication module includes zigbee, USB (Universal Serial Bus), MIPI CSI (Mobile Industry Processor Interface Camera Serial Interface), 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), LTE-A (LTE Advanced), 4G (4th Generation), 5G (5th Generation), etc., may include at least one communication chip that performs communication according to various wireless communication standards.
  • the communication interface 130 may use at least one communication module among various communication modules.
  • a communication interface for communicating with an external device and a communication interface for communicating with a server may be implemented as different interfaces.
  • the communication interface 130 may receive setting information about a setting state of the external device.
  • the electronic device 100 may be directly connected to an external device through the communication interface 130, but this is only an example, and may be connected through various methods, such as through an access point (AP).
  • AP access point
  • the input/output interface 140 may be implemented as a port included in the electronic device 100 .
  • the input/output interface 140 is implemented as an HDMI port to communicate with an external device.
  • the external device may also have an HDMI port.
  • the electronic device 100 and the external device may perform communication through each HDMI port and a High Definition Multimedia Interface (HDMI) cable connecting them.
  • HDMI High Definition Multimedia Interface
  • LVDS Low Voltage Differential Signals
  • DVI Digital Visual Interface
  • D-SUB D-subminiature
  • VGA Video Graphics Array
  • V-by-One cable V-by-One cable
  • the communication interface 130 may communicate with an external device through an optical cable or the like.
  • the input/output interface 140 may receive information about the setting state of the external device.
  • the user interface 150 may be implemented as a device such as a button, a touch pad, a mouse, or a keyboard, or may be implemented as a touch screen capable of simultaneously performing the above-described display function and manipulation input function.
  • the buttons may be various types of buttons such as mechanical buttons, touch pads, wheels, etc. formed on an arbitrary area such as the front, side, or rear surface of the main body of the electronic device 100 .
  • At least one instruction related to the electronic device 100 may be stored in the memory 160 .
  • an operating system (O/S) for driving the electronic device 100 may be stored in the memory 160 .
  • various software programs or applications for operating the electronic device 100 may be stored in the memory 160 according to various embodiments of the present disclosure.
  • the memory 160 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.
  • various software modules for operating the electronic device 100 may be stored in the memory 160 according to various embodiments of the present disclosure, and the processor 170 executes various software modules stored in the memory 160.
  • the operation of the electronic device 100 may be controlled. That is, the memory 160 is accessed by the processor 170, and data can be read/written/modified/deleted/updated by the processor 170.
  • the term memory 160 refers to the memory 160, a ROM (not shown) in the processor 170, a RAM (not shown), or a memory card (not shown) mounted in the electronic device 100 (eg For example, micro SD card, memory stick) may be used as a meaning including.
  • the processor 170 may control overall operations and functions of the electronic device 100 .
  • the processor 170 controls overall operations of the electronic device 100 .
  • the processor 170 is connected to the configuration of the electronic device 100 including the memory 160, and by executing at least one instruction stored in the memory 160 as described above, the electronic device 100 You have full control over the action.
  • processor 170 can be implemented in a variety of ways.
  • the processor 170 may include an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), a digital signal processor Processor, DSP) may be implemented as at least one.
  • ASIC application specific integrated circuit
  • FSM hardware finite state machine
  • DSP digital signal processor Processor
  • the term processor 170 may be used to include a Central Processing Unit (CPU), a Graphic Processing Unit (GPU), and a Main Processing Unit (MPU).
  • CPU Central Processing Unit
  • GPU Graphic Processing Unit
  • MPU Main Processing Unit
  • the processor 170 may include a gesture recognition module 171, a setting acquisition module 172, a custom gesture storage module 173, and a setting change module 174.
  • a plurality of modules according to the present disclosure may be implemented as software modules or hardware modules, and when the plurality of modules are implemented as software modules, the processor 170 accesses the software modules by loading the software modules stored in the memory 160 can do.
  • the gesture recognition module 171 may recognize a user's gesture from the user's body photographed through the camera 110 .
  • the user's gesture type may be recognized from the user's hand motion photographed through the camera 110 .
  • Gesture (motion) recognition means recognizing a user's gesture based on dynamic image information obtained from the camera 110 .
  • the gesture recognition module 171 may not only recognize a user's gesture not using a specific object, but also recognize a user's gesture using a specific object.
  • a specific object may be an external device connected to the electronic device 100, but this is merely an example, and may be an object not connected to the electronic device 100.
  • a specific object may include at least one of a game controller, a mouse, a remote controller, and a mobile phone.
  • the gesture recognition module 171 may recognize a gesture of holding the game controller with both hands and pressing a specific button of the controller with the right hand.
  • the gesture recognition module 171 may directly recognize a user gesture from a captured image, but this is only an example and may separately recognize a user gesture and a specific object. For example, after dividing a captured image into an area including a gesture and an area including a specific object, the gesture and the specific object may be respectively recognized. At this time, the gesture recognition module 171 may recognize a specific object using an object recognition algorithm.
  • the gesture recognition module 171 may recognize a gesture using a gesture recognition algorithm stored in the memory 160 .
  • the gesture recognition algorithm aligns the recognized hand, compares the shape of the photographed hand with the gesture of the Pose data set, and selects the gesture corresponding to the pose data with the highest suitability among the pose data sets as the recognized gesture. can be judged by
  • the pose data set may be pre-stored in the memory 160 or may be stored in an external device or external server.
  • the gesture recognition module 171 may recognize a specific object by analyzing a captured image, but this is only an example, and the gesture recognition module 171 may recognize a specific object by receiving a signal from the specific object.
  • the gesture recognition module 171 may recognize a specific object by receiving a signal from a specific object, and recognize a user's gesture using a gesture recognition algorithm.
  • the gesture recognition module 171 may recognize a user's gesture using a specific object by using the recognized specific object and the recognized gesture. For example, when information that a specific button of the game controller is being pressed is received from a game controller, which is an external device connected to the electronic device 100, the gesture recognition module 171 determines that the user's gesture is pressing a button of a specific object with the right hand. A motion may be recognized, and accordingly, a gesture of pressing a specific button of the game controller with the right hand may be recognized.
  • the gesture recognition module 171 may determine whether the user has an intention to use the gesture, and if it is determined that there is an intention of the user, control the display 120 to display a first UI notifying that the gesture is being recognized. For example, the gesture recognition module 171 determines that the angle of the captured user's arm belongs to a certain range (eg, 40 degrees to 90 degrees), and the user's gaze is elapsed for more than a threshold time (eg, 1 second). When facing the device 100, the electronic device 100 may control the display 120 to display the first UI.
  • the first UI may be a UI that does not interfere with the viewing experience.
  • the first UI may be a UI displaying a visually subdued light on top of the display 120 .
  • the gesture recognition module 171 may recognize the user's gesture from the captured user's gesture. Accordingly, it is possible to prevent a problem in which a gesture is recognized when the user has no intention of using the gesture.
  • the gesture recognition module 171 While the first UI indicating that the electronic device 100 is recognizing a gesture is displayed, the gesture recognition module 171 changes a condition for displaying the first UI based on whether a capture gesture or a custom gesture is recognized, which is a predetermined gesture.
  • Conditions for displaying the first UI may be that the user's eyes are directed toward the electronic device for a critical period of time or more, and the angle of the user's arm is within a preset range.
  • the gesture recognition module 171 determines the conditions for displaying the first UI (eg, the angle of the arm, the user's gaze) time to the device, etc.) can be changed.
  • the setting acquisition module 172 determines a setting state for at least one of the electronic device 100 and an external device connected to the electronic device 100. information can be obtained. However, this is only an example, and the setting acquisition module 172 may obtain information on the setting state through various input methods including input through the user interface 150 in addition to the capture gesture.
  • the capture gesture may be a preset gesture for obtaining (or capturing) information on a current setting state, matching it with a user's gesture, and storing it as a custom gesture.
  • Information on the setting state may include information on a screen source, information on personalization information, and information on an external device. However, this is only an example, and the information on the setting state may include information on setting states of other electronic devices and external devices.
  • Information about the screen source may be information about the communication interface 130 and the input/output interface 140 that receive information displayed on the screen displayed on the display 120 of the electronic device 100 .
  • the information about the screen source may include information about the communication interface 130 and the input/output interface 140 that receive information displayed on the screen currently output to the display 120 .
  • information on the screen source may include information on HDMI 1.
  • the information on the screen source may include information on the currently running application.
  • the information on the screen source may include information on operations in which the electronic device 100 interacts with external devices, such as mirroring and remote access.
  • Information on personalization information may be a plurality of pieces of information set inside the electronic device 100 .
  • personalization information may include screen setting information, sound setting information, account information, and content viewing information.
  • the screen setting information may be information about brightness of the screen, contrast of the screen, and color temperature of the screen.
  • Sound setting information may be volume information.
  • the account information may be information about an account currently being accessed.
  • Content viewing information may be information about content currently being watched. For example, when a user is watching TV, the content viewing information may be information about a channel number currently being viewed and information about a drama currently being viewed.
  • Information about the external device may be setting information about the external device connected to the electronic device 100 .
  • the information on the external device may include information about a device connected to the electronic device 100 through the communication interface 130 or the input/output interface 140 .
  • the information on the external device may include information that the power of the air conditioner is turned on and information that the power of the indoor lamp is turned off.
  • the electronic device 100 may include information connected to a keyboard, mouse, earphone, or headset.
  • the custom gesture storage module 173 may control the display 120 to display the second UI including information on the acquired setting state based on the information on the acquired setting state.
  • the custom gesture storage module 173 may display on the display 120 information on a setting state that can be stored in the second UI including information on the setting state.
  • the second UI may include a plurality of UI elements respectively corresponding to information on a plurality of setting states.
  • a plurality of UI elements may visually represent information on a plurality of setting states.
  • the custom gesture storage module 173 may select information on a setting state corresponding to the selected UI element from among information on a plurality of setting states. . That is, based on the second UI, a range of information of a setting state that is matched with a custom gesture and stored may be selected. For example, the setting obtaining module 172 may change the range of information about the setting state to be stored based on the distance between the user's hands or the direction in which both hands point.
  • a method in which the custom gesture storage module 173 displays the second UI including information on setting states and selects UI elements respectively corresponding to information on a plurality of setting states will be described later in FIGS. 4A and 4E in detail. do.
  • the custom gesture storage module 173 matches the inputted first gesture with information about the acquired setting state and stores the custom gesture as a custom gesture.
  • the custom gesture storage module 173 provides information on the setting state corresponding to the selected UI element and An input gesture may be matched with a custom gesture and stored.
  • a custom gesture may refer to a gesture for applying information about a setting state stored in the memory 160 to the electronic device 100 and an external device connected to the electronic device 100 .
  • the information on the setting state that is stored by matching with the input gesture may be collectively stored with information on the acquired setting state, but this is only one embodiment, and the selected setting among information on a plurality of setting states State information may be matched with an input gesture and stored.
  • the custom gesture storage module 173 stores the custom gesture.
  • the display 120 may be controlled to display a third UI for display.
  • the custom gesture storage module 173 displays a first UI element for indicating an input degree of the first gesture until the first gesture is input.
  • the display 120 may be controlled to display.
  • the first UI element may include a first image that visually expresses the first gesture.
  • the custom gesture storage module 173 may change the first UI element so that the shape of the first UI element becomes clear according to the input degree of the first gesture while the first gesture is being input.
  • the custom gesture storage module 173 may change the display of a partial area of the entire area of the shape of the first UI element, and the ratio of the partial area to the entire area. may correspond to the ratio of the current input degree.
  • the custom gesture storage module 173 may display a progress bar on the display 120 to indicate the input level of the first gesture through the progress bar.
  • this is only an example, and the custom gesture storage module 173 uses various methods such as changing the color, luminance, brightness, and brightness of the first UI element to clarify the shape of the first UI element. 1 UI element can be changed.
  • the custom gesture storage module 173 can change the first UI element to the second UI element, At this time, the second UI element may change the second image into a second image that visually expresses the second gesture.
  • the custom gesture storage module 173 may match the input gesture with information on the acquired setting state and store the custom gesture.
  • the custom gesture storage module 173 provides information on the setting state corresponding to the selected UI element and The input gesture can be matched and stored as a custom gesture.
  • the input gesture may be a gesture of a user using a specific object.
  • the custom gesture storage module 173 may match the user's gesture using a specific object with information on the obtained setting state and store the custom gesture. For example, an action of pressing a specific button with the right hand while holding a game controller, which is an external device connected to the electronic device 100, with both hands may be input as a gesture.
  • the information about the setting state matched with the input gesture and stored may be information corresponding to a specific object.
  • the stored setting state information may be setting state information of the electronic device 100 for driving a game and an external device connected to the electronic device 100 .
  • the electronic device 100 may receive image information through the game set-top box and change the lighting of an external device connected to the electronic device 100 to weak lighting so that the game screen can be clearly seen.
  • a method of displaying the third UI and changing UI elements included in the third UI will be described in detail with reference to FIGS. 5, 6a to 6d, and 7a to 7d.
  • the input user's gesture may be a gesture selected by the user from among preset gestures.
  • a method of inputting a gesture by the user's selection of one of the set gestures will be described in detail with reference to FIG. 8 .
  • the custom gesture storage module 173 may induce a natural interaction process between the user and the electronic device 100 by visually providing cognition of the gesture input process through the third UI. The user can visually check the recognized gesture and change the hand shape if a different gesture is desired.
  • the setting change module 174 matches the custom gesture to information about the stored setting state. Based on this, the setting state of the electronic device 100 and an external device connected to the electronic device 100 may be changed. Specifically, information about a setting state of at least one of the electronic device 100 at the time of saving the custom gesture and an external device connected to the electronic device 100 may be matched with the custom gesture and stored in the memory 160 . Then, when the gesture recognition module 171 recognizes the stored custom gesture, it can change the setting state information of the current electronic device 100 and external devices connected to the electronic device 100 to correspond to the stored setting state information.
  • the specific object may include at least one of a game controller, a mouse, a remote controller, and a mobile phone.
  • the setting change module 174 is based on the information about the setting state corresponding to the specific object among the information about the setting state stored in the memory 160, the electronic device 100 and the external device connected to the electronic device 100 You can change the settings of For example, when a custom gesture using a game controller is recognized, the setting change module 174 performs the electronic device 100 and an external device connected to the electronic device 100 based on information about a setting state for driving a game.
  • a specific object is a game controller
  • information about a setting state for driving a game is obtained when the input/output interface 140 of the electronic device 100 is connected to the game set-top box, and the brightness of an external lighting device illuminates the game screen. It may be setting state information that is brightness suitable for viewing.
  • information on a setting state corresponding to the remote control may be information on a setting state for watching TV.
  • Information about a setting state for watching TV may be information about the brightness of the electronic device 100 displaying the TV viewing screen on the display 120 and the external lighting suitable for the TV viewing environment.
  • a method of changing the setting state of the electronic device 100 and an external device connected to the electronic device 100 using a custom gesture will be described later in detail with reference to FIG. 7 .
  • the setting state information at the time of custom gesture registration may indicate that the input interface of the electronic device 100 is set to HDMI 1 and the power of a light connected to the electronic device 100 may be turned off.
  • the setting change module 174 sets the screen input of the electronic device 100 to HDMI1 according to the stored setting state information, Power of lighting connected to the electronic device 100 may be controlled to be turned off.
  • FIGS. 2A and 2B are diagrams for explaining a method of displaying a first UI indicating that an electronic device is recognizing a gesture, according to an embodiment of the present disclosure.
  • the camera 110 of the electronic device 100 may obtain an image by photographing the user's body and gaze.
  • the user's body may mean the user's hand region and the user's arm region.
  • the processor 170 may determine the user's intention to use the gesture from the captured image. Specifically, when the user's gaze is directed toward the electronic device 100 for more than a threshold time and the bent angle of the user's arm is within a preset range, the processor 170 causes the electronic device 100 to use the gesture for the user. It can be understood that there is an intention.
  • the processor 170 may determine that the user has an intention to use the gesture.
  • the processor 170 may determine whether the user intends to use the gesture and display the first UI 230 notifying that the electronic device 100 is recognizing the gesture. For example, the processor 170 may control the display 120 to be displayed on the display 120 of the electronic device 100 . However, this is only an example, and the first UI may be displayed on other components of the electronic device 100 other than on the display 120 or on an external device connected to the electronic device 100 .
  • the first UI may be a UI that does not interfere with the user's experience of using the electronic device 100 .
  • the processor 170 displays the first UI 230 as a method of displaying a visually softly displayed light on top of the display 120 so as not to disturb the user's viewing experience. ) can be displayed.
  • the processor 170 may display the first UI in an area other than the top of the display 120 or in a different method, or may be provided on the bezel of the display 120 of the electronic device 100. It may be displayed in various ways including blinking lights or blinking lights of external devices connected to the electronic device 100 .
  • FIG. 3 is a flowchart illustrating a method for changing a condition for displaying a first UI by the electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may photograph the user's body and gaze through the camera 110 (S310).
  • the processor 170 may detect that the user's gaze is directed toward the electronic device for a threshold time or more and the angle of the arm is within a preset range (S320).
  • the processor 170 may display a first UI notifying that the electronic device 100 is recognizing the gesture (S330).
  • the processor 170 may recognize whether a capture gesture or a custom gesture is input (S340).
  • the electronic device 100 may perform a function corresponding to the capture gesture or custom gesture. Specifically, when a capture gesture is input, the processor 100 may perform an operation process for matching and storing the custom gesture with setting state information.
  • the processor 170 may change at least one of the threshold time and the preset range included in the conditions for displaying the first UI.
  • the threshold time and The preset range can be changed.
  • the threshold time may be 2 seconds, and the preset range may be 40 degrees to 80 degrees.
  • the user's gaze is directed toward the electronic device 100 for 3 seconds, the angle of the user's arm is detected at 45 degrees, and the first UI may be displayed.
  • the threshold time may be changed to 4 seconds greater than 3 seconds, and the preset range may be changed to 50 degrees greater than 45 degrees.
  • the processor 170 may change the display condition of the first UI to suit the user, thereby improving the accuracy of recognizing the user's intention to use the gesture.
  • 4A to 4E are diagrams for explaining a method of displaying a second UI and selecting information on a setting state according to an embodiment of the present disclosure.
  • the processor 170 may recognize a user's gesture photographed through the camera 110 as a capture gesture 410 that is a predetermined gesture.
  • the capture gesture the user may take a capture gesture 410 that is a preset gesture.
  • the capture gesture is a gesture set in advance by the manufacturer of the electronic device 100, and may be, for example, a moving palm gesture in which the palm is opened and moved over a critical distance, but this is only an example and may be other gestures. .
  • the capture gesture may be a gesture separately set by the user.
  • the processor 170 may obtain information about the setting state of the electronic device 100 and an external device connected to the electronic device 100 .
  • the processor 170 may display the second UI 420 including information on the setting state based on the acquired information on the setting state.
  • the second UI may include a plurality of UI elements including information on a plurality of setting states.
  • a plurality of UI elements may visually represent information on a plurality of setting states.
  • the screen of the electronic device 100 is input through HDMI1
  • the electronic device 100 is manipulated through the user's keyboard
  • the sound of the electronic device 100 is output through a wireless headset
  • the electronic device 100 is output through a wireless headset.
  • a light connected to the device 100 may be turned on.
  • the second UI includes a first UI element corresponding to a screen setting (eg, HDMI) of the electronic device and a second UI element corresponding to a state of a second external device (eg, mouse) connected to the electronic device 100.
  • 2 UI elements and a third UI element corresponding to the state of a second external device (eg, wireless headset) connected to the electronic device 100, a third external device (eg, external device) connected to the electronic device 100 lighting) may include a fourth UI element corresponding to the state.
  • the processor 170 may select a setting state corresponding to the selected UI element among a plurality of setting states.
  • the processor 170 may change the second UI screen to indicate the selected UI element.
  • the processor 170 may display separate shading for the selected first UI element 421 and second UI element 422 on the second UI 420 .
  • the user input for selecting at least one of the plurality of UI elements may be a user's gesture, but this is only an example, and the user input for selecting at least one of the plurality of UI elements may be the user interface 150. It can be a variety of inputs, such as through input.
  • the processor 170 may select the UI element based on the distance between the user's hands. For example, when the distance between the hands is detected as the first distance 430, the processor 170 may select a UI element based on the first distance. When the first UI element is selected, the processor 170 may display a display indicating that the first UI element 421 is selected on the second UI 420 .
  • the processor 170 selects a first UI element 421, a second UI element 422, and a third UI element 423. ), and display the selected UI element on the display 120 . If the second interval 440 is greater than the first interval 430, the number of UI elements selected during the second interval may be greater.
  • the processor 170 may select a UI element by detecting a direction in which a user's finger points. For example, when the direction the user's left finger points is the second UI element and the direction the user's right finger points the fourth UI element, the processor 170 determines the second UI element 422 and the third UI element 423 ), the fourth UI element 424 may be selected.
  • the processor 170 may match information on a setting state corresponding to the selected UI element with a gesture input by a user and store the custom gesture.
  • 6a to 6d, and 7a to 7d are views for explaining a process of storing a custom gesture according to an embodiment of the present disclosure.
  • the processor 170 may control the display 120 to display third UIs 620 and 720 for storing a custom gesture.
  • the first gestures 610 and 710 may be recognized (S510).
  • the recognized gesture may mean a user's gesture using a specific object.
  • a gesture recognized at this time may mean a gesture not using a specific object.
  • the processor 170 displays the first UI elements 621 and 721 for indicating the degree of input of the first gestures 610 and 710 until the input of the first gestures 610 and 710 is completed. can be controlled (S520).
  • the first UI element 621 or 721 may include a first image that visually expresses the first gesture.
  • the processor 170 may reconstruct and visually express the shape of the user's hand. The user can clearly recognize a gesture registered by the user through the first image.
  • the processor 170 may change the UI element to make the shape of the UI element clear according to the input degree of the first gesture (S530). For example, while the input degree of the first gesture is changed, the processor 170 may change the display of a partial region of the entire region of the shape of the first UI element, and the ratio of the partial region to the entire region is the current input degree. may correspond to the ratio of
  • a method of changing the shape of a UI element may be a method of using a gesture input progress increase/decrease algorithm.
  • the camera 110 may capture the user's first gesture at n or more frames per second.
  • the processor 170 may convert the captured gesture into a plurality of 3D landmarks for each frame.
  • the processor 170 may determine that the first gesture 610 is maintained when the difference between the point recognized in the previous frame and the landmark recognized in the current frame is less than or equal to a threshold value.
  • the input progress of the first gesture 610 may start at 0% and increase until reaching 100%.
  • the processor 170 may control the display 120 to clearly display the shape of the UI element corresponding to the increase amount of the input progress.
  • the processor 170 displays the first UI element 622 or 722 to indicate that the input degree of the first gesture is 50%. can be displayed by changing
  • the processor 170 matches the first gesture with the information on the setting state to create a first custom gesture. Save as a gesture (S550).
  • the processor 170 displays first UI elements 623 and 723 to indicate that the input progress of the first gesture 510 is 100%. ) can be displayed by changing
  • the shape of the first UI element may be completed.
  • the first gesture may be input.
  • the first gesture may be matched with information about a setting state and stored as a first custom gesture.
  • the processor 170 changes the first UI element to the second UI element, It can be displayed (S560). If the difference between the landmark recognized in the previous frame and the landmark recognized in the current frame exceeds a threshold value, it may be determined that the first gesture 610 is changed to the second gesture 611 .
  • the processor 170 converts the first UI elements 621 , 622 , 721 , and 722 into second UI elements 624 and 724 including a second image visually expressing the second gesture 611 and 711 . It can be displayed by changing to .
  • the processor 170 applies the same input progress increase/decrease algorithm to the second gesture so that the shape of the second UI element 624 becomes clear as the second gesture input progress increases. can be changed.
  • the shape of the UI element including the second image is completed and the second gesture can be input.
  • the processor 170 may match the second gesture with information about the set state and store the second custom gesture as a second custom gesture (S570).
  • a natural interaction process between the user and the electronic device 100 may be induced by visually providing the recognition of the gesture input process. Also, when a user uses a custom gesture, a difference between a gesture recognized by the processor 170 and a gesture intended by the user can be minimized.
  • FIG. 8 is a diagram for explaining a method of inputting a gesture according to an embodiment of the present disclosure.
  • the processor 170 may control the display 120 of the electronic device 100 to provide a UI for selecting one of preset gestures. Specifically, when a gesture selection input is detected while the provided UI is being displayed, the processor 170 may detect that the selected gesture has been input.
  • the gesture selection input may refer to a hand motion indicating a gesture for selecting among preset gestures, but this is only an example, and the gesture selection input is detected using various methods such as an external device connected to the electronic device 100. It can be.
  • the processor 170 may match the selected gesture with setting state information and store it as a custom gesture.
  • FIG. 9 is a diagram for explaining a method of changing a setting state of the electronic device 100 and an external device connected to the electronic device using a custom gesture according to an embodiment of the present disclosure.
  • the electronic device 100 may be in a state in which the first UI 230 is displayed. While the first UI 230 is displayed, the processor 170 may recognize the user's gesture 910 . Preset gesture and custom gesture information may be stored in the memory. The custom gesture information may be stored by matching the custom gesture with information about the setting state of the electronic device 100 and an external device connected to the electronic device 100 . If the user's gesture 910 matches the custom gesture 2 921 among the custom gesture information 920 stored in the memory, the electronic device ( 100) and the setting state of an external device connected to the electronic device 100 may be changed to the stored setting 923.
  • the custom gesture 2 921 may be a gesture of holding the game controller with both hands and pressing the right button of the device with the right hand.
  • the stored setting state information 922 includes HDMI1 as the source information of the electronic device 100, mouse as external device connection information of the electronic device 100, and external light as an external device connected to the electronic device 100. It may be power ON information of
  • the electronic device 100 uses the information received from the external device through HDMI 1 to display the screen of the display 120. can be output, connect a mouse, an external device, and turn on the power of external lighting, an external device.
  • the user can collectively control the setting states of the electronic device 100 and external devices through pre-stored custom gestures, and thus user convenience can be improved.
  • FIG. 10 is a flowchart illustrating a method of matching and storing information on a setting state of at least one of an electronic device 100 and an external device connected to the electronic device 100 with a custom gesture according to an embodiment of the present disclosure. .
  • the electronic device 100 may recognize a capture gesture that is a preset gesture (S1010).
  • the capture gesture is a gesture set in advance by the manufacturer of the electronic device 100, and may be, for example, a moving palm gesture in which the palm is opened and moved over a critical distance, but this is only an example and may be other gestures. . Also, the capture gesture may be a gesture separately set by the user.
  • the electronic device 100 displays the first UI when the captured user's gaze is directed toward the electronic device for more than a threshold time and the angle of the user's arm is within a predetermined range, and the first UI is displayed.
  • a preset gesture may be recognized.
  • the step of displaying the first UI by the electronic device 100 may be omitted.
  • the electronic device 100 may obtain information about a setting state of at least one of the electronic device 100 and an external device connected to the electronic device 100 (S1020).
  • the electronic device 100 may obtain information on the setting state through various input methods including input through the user interface 150 in addition to the capture gesture.
  • Information on the setting state may include information on a screen source, information on personalization information, and information on an external device. However, this is only an example, and the information on the setting state may include information on setting states of other electronic devices and external devices.
  • the electronic device 100 may control the display 120 to display the second UI including information on the setting state (S1030).
  • the second UI may include a UI element corresponding to information on each setting state, and while the second UI is displayed, the electronic device 100 transmits at least one of a plurality of setting state information. User input for selection can be detected, but this step can be omitted.
  • a first gesture to be saved as a custom gesture may be input (S1040).
  • a custom gesture may refer to a gesture for applying information about a setting state stored in the memory 160 to the electronic device 100 and an external device connected to the electronic device 100 .
  • the electronic device 100 may display a third UI for storing the custom gesture, and the third UI may include a UI element indicating an input degree of the first gesture while the first gesture is input. , this step can be omitted.
  • the electronic device 100 may match the input first gesture with the acquired setting state information and store the custom gesture (S1050).
  • the electronic device 100 transmits setting information of the electronic device 100 and an external device connected to the electronic device 100 based on the information about the setting state that is matched to the custom gesture and stored. can be changed
  • unit or “module” used in the present disclosure includes units composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits, for example.
  • a “unit” or “module” may be an integrated component or a minimum unit or part thereof that performs one or more functions.
  • the module may be composed of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software including instructions stored in a storage medium readable by a machine (eg, a computer).
  • the machine may receive instructions stored from the storage medium.
  • a device capable of calling and operating according to the called command it may include an electronic device (eg, TV, monitor, set-top box) according to the disclosed embodiments
  • the command When the command is executed by a processor, the processor directly Or, a function corresponding to the command may be performed using other components under the control of the processor.
  • a command may include a code generated or executed by a compiler or an interpreter.
  • a storage medium readable by a device. may be provided in the form of a non-transitory storage medium, where 'non-transitory' means that the storage medium does not contain a signal and is tangible, but the data It does not distinguish whether it is stored semi-permanently or temporarily.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play StoreTM).
  • an application store eg Play StoreTM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • Each component may be composed of a single object or a plurality of objects, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. It may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components are executed sequentially, in parallel, iteratively, or heuristically, or at least some operations are executed in a different order, are omitted, or other operations are added. It can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 카메라, 디스플레이, 외부 기기와 통신을 수행하는 통신 인터페이스, 적어도 하나의 인스트럭션을 저장하는 메모리, 및 적어도 하나의 인스트럭션을 실행함으로써 카메라를 통해 촬영된 사용자의 제스처가 기설정된 제스처인 캡처 제스처이면, 전자 장치 및 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득하고, 설정 상태에 대한 정보가 포함된 UI를 표시하도록 디스플레이를 제어하고, UI가 표시되는 동안 특정 사물을 이용하는 제1 제스처가 입력되면, 입력된 제1 제스처와 획득된 설정 상태에 대한 정보를 매칭시켜 커스텀 제스처로 메모리에 저장하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 전자 장치에서 커스텀 제스처를 저장하고, 커스텀 제스처를 이용하여 전자 장치 및 외부 기기의 설정을 변경하는 전자 장치 및 방법에 관한 것이다.
기술의 발전으로 리모컨 이외에 보이스 제스처 등 전자 장치를 제어하기 위한 다양한 입력 방식이 존재한다. TV 등 전자 장치에서 점차 다양해지는 기능과 콘텐츠를 제어하기 위해 기존의 리모컨을 넘어서 제스처와 보이스를 활용한 조작의 활용이 많아지고 있다. 이러한 제스처 조작은 직관적이고 편리한 특징을 가지고 있으며, 기존의 조작과는 다른 사용성과 활용성을 제공한다. 전자 장치는 사용자의 제스처를 인식하기위해 보통 카메라를 사용한다. 전자 장치는 전자 장치에 부착된 카메라를 활용하여 사용자 신체의 화상 이미지를 획득하고, 사용자의 팔과 손의 모습을 인식하여 제스처를 인식에 활용한다.
제스처를 활용한 전자 장치 제어는 사용자가 자신이 사용하고자 하는 제스처의 형태를 기억해야 하는 문제가 있다. 대부분의 제스처는 전자 장치의 제조사에서 기정의한 제스처이므로, 사용자는 기정의된 제스처를 기억해야만 하는 불편함이 있다. 또한 제스처의 시작점을 기술적으로 인식하기 어려워 웨이크업(Wake-up) 제스처와 같은 별도의 제스처가 존재하여 사용자에게 불편함을 주고, 사용자에게 제스처 사용 의도가 없을 때에도 전자 장치가 제스처를 인식하는 오작동을 일으키는 문제가 있다.
본 발명은 종래의 문제점을 해결하기 위해 사용자가 정의한 커스텀 제스처를 통해 전자 장치 및 전자 기기와 연결된 외부 기기의 설정을 제어할 수 있는 전자 장치 및 그 제어방법을 제공한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는 카메라, 디스플레이, 외부 기기와 통신을 수행하는 통신 인터페이스, 적어도 하나의 인스트럭션을 저장하는 메모리, 및 프로세서를 포함하고, 상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 카메라를 통해 촬영된 사용자의 제스처가 기설정된 제스처인 캡처 제스처이면, 상기 전자 장치 및 상기 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득하고, 상기 설정 상태에 대한 정보가 포함된 UI를 표시하도록 상기 디스플레이를 제어하고, 상기 UI가 표시되는 동안 특정 사물을 이용하는 제1 제스처가 입력되면, 상기 입력된 제1 제스처와 상기 획득된 설정 상태에 대한 정보를 매칭시켜 커스텀 제스처로 상기 메모리에 저장할 수 있다.
여기서, 상기 프로세서는 상기 인스트럭션을 실행함으로써, 상기 카메라를 통해 촬영된 사용자의 제스처가 상기 커스텀 제스처이면, 상기 제1 제스처에 매칭되어 저장된 상기 설정 상태에 대한 정보에 기초하여 상기 전자 장치 및 상기 외부 기기의 설정 상태를 변경할 수 있다.
또한, 상기 프로세서는 상기 인스트럭션을 실행함으로써, 상기 커스텀 제스처를 저장하기 위한 UI를 표시하도록 상기 디스플레이를 제어하고, 상기 커스텀 제스처를 저장하기 위한 UI가 표시되는 동안 상기 커스텀 제스처로 저장하기 위한 상기 제1 제스처가 인식되면, 상기 제1 제스처가 입력되기 전까지 상기 제1 제스처의 입력 정도를 나타내기 위한 제1 UI 엘리먼트를 표시하도록 상기 디스플레이를 제어하고, 상기 제1 UI 엘리먼트는 상기 제1 제스처를 시각적으로 표현하는 제1 이미지를 포함하고, 상기 제1 제스처가 입력되는 동안 상기 제1 제스처의 입력 정도에 따라 상기 제1 UI 엘리먼트의 형상이 명확해지도록 상기 제1 UI 엘리먼트를 변경시키며, 상기 제1 UI 엘리먼트가 변경되는 동안 상기 제1 제스처가 제2 제스처로 변경되면, 상기 제1 UI 엘리먼트를 제2 UI 엘리먼트로 변경시키고, 상기 제2 UI 엘리먼트는 상기 제2 제스처를 시각적으로 표현한 제2 이미지를 포함할 수 있다.
그리고, 상기 프로세서는 상기 인스트럭션을 실행함으로써 카메라가 사용자의 신체와 시선을 촬영하도록 제어하고, 상기 시선이 상기 전자 장치를 임계 시간 이상 향하고 상기 신체 중 팔의 각도가 기설정된 범위 내이면, 상기 전자 장치가 제스처를 인식 중임을 알리는 제1 UI를 표시하도록 디스플레이를 제어할 수 있다.
상기 프로세서는 상기 인스트럭션을 실행함으로써 상기 전자 장치가 제스처를 인식 중임을 알리는 UI가 표시되는 동안 상기 캡처 제스처 또는 커스텀 제스처 인식 여부에 기초하여 상기 임계 시간 또는 상기 기설정된 범위를 변화시킬 수 있다.
한편, 상기 설정 상태에 대한 정보가 포함된 UI는 상기 설정 상태에 대한 정보에 각각 대응되는 복수의 UI엘리먼트를 포함하고, 상기 프로세서는 복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 입력이 감지되면, 상기 입력에 기초하여 상기 제1 제스처와 상기 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보를 매칭시켜 상기 메모리에 저장할 수 있다.
여기서, 상기 프로세서는 상기 설정 상태에 대한 정보가 포함된 UI가 표시되는 동안, 상기 사용자의 양 손이 가리키는 방향 또는 상기 사용자의 양 손의 간격을 기초로 선택되는 UI 엘리먼트의 범위를 변경할 수 있다.
상기 특정 사물은 게임 컨트롤러, 마우스, 리모콘, 휴대폰 중 적어도 하나를 포함하고, 상기 프로세서는 상기 저장된 설정 상태에 대한 정보 중 상기 특정 사물에 대응되는 설정 상태에 대한 정보에 기초하여 상기 전자 장치 및 상기 외부 기기의 설정 상태를 변경할 수 있다.
또한, 본 개시의 일 실시예에 따른 전자 장치 제어 방법은 카메라를 통해 촬영된 사용자의 제스처가 기설정된 제스처인 캡처 제스처이면, 전자 장치 및 전자 장치와 연결된 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득하는 단계; 상기 설정 상태에 대한 정보가 포함된 UI를 표시하도록 상기 디스플레이를 제어하는 단계; 및 상기 UI가 표시되는 동안 특정 사물을 이용하는 제1 제스처가 입력되면, 상기 제1 제스처와 상기 획득된 설정 상태에 대한 정보를 매칭시켜 커스텀 제스처로 메모리에 저장하는 단계를 포함할 수 있다.
그리고, 상기 카메라를 통해 촬영된 사용자의 제스처가 상기 커스텀 제스처이면, 상기 제1 제스처에 매칭되어 저장된 상기 설정 상태에 대한 정보에 기초하여 상기 전자 장치 및 상기 전자 장치와 연결된 상기 외부 기기의 설정 상태를 변경하는 단계를 더 포함할 수 있다.
또한, 상기 커스텀 제스처를 저장하기 위한 UI를 표시하는 단계; 상기 커스텀 제스처를 저장하기 위한 UI가 표시되는 동안 상기 커스텀 제스처로 저장하기 위한 상기 제1 제스처가 인식되면, 상기 제1 제스처가 입력되기 전까지 상기 제1 제스처의 입력 정도를 나타내기 위한 제1 UI 엘리먼트를 표시하고, 상기 제1 UI 엘리먼트는 상기 제1 제스처를 시각적으로 표현하는 제1 이미지를 포함하는 단계; 상기 제1 제스처가 입력되는 동안 상기 제1 제스처의 입력 정도에 따라 상기 제1 UI 엘리먼트의 형상이 명확해지도록 상기 제1 UI 엘리먼트를 변경시키는 단계; 및 상기 제1 UI 엘리먼트가 변경되는 동안 상기 제1 제스처가 제2 제스처로 변경되면, 상기 제1 UI 엘리먼트를 제2 UI 엘리먼트로 변경시키고, 상기 제2 UI 엘리먼트는 상기 제2 제스처를 시각적으로 표현한 제2 이미지를 포함하는 단계를 더 포함할 수 있다.한편, 사용자의 신체와 시선을 촬영하는 단계; 및 상기 시선이 상기 전자 장치를 임계 시간 이상 향하고 상기 신체 중 팔의 각도가 기설정된 범위 내이면, 상기 전자 장치가 제스처를 인식 중임을 알리는 제1 UI를 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 전자 장치가 제스처를 인식 중임을 알리는 UI가 표시되는 동안 상기 캡처 제스처 또는 커스텀 제스처 인식 여부에 기초하여 상기 임계 시간 또는 상기 기설정된 범위를 변화시키는 단계를 더 포함할 수 있다.
상기 설정 상태에 대한 정보를 포함하는 UI는 상기 설정 상태에 대한 정보에 각각 대응되는 복수의 UI엘리먼트를 포함하고, 복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 입력이 감지되면, 상기 입력에 기초하여 상기 제1 제스처와 상기 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보를 매칭시켜 상기 메모리에 저장하는 단계를 더 포함할 수 있다.
상기 설정 상태에 대한 정보를 포함하는 UI가 표시되는 동안, 상기 사용자의 양 손이 가리키는 방향 또는 상기 사용자의 양 손의 간격을 기초로 선택되는 UI 엘리먼트의 범위를 변경하는 단계를 더 포함할 수 있다.
상기 특정 사물은 게임 컨트롤러, 마우스, 리모콘, 휴대폰 중 적어도 하나를 포함하고, 상기 저장된 설정 상태에 대한 정보 중 상기 특정 사물에 대응되는 설정 상태에 대한 정보에 기초하여 상기 전자 장치 및 상기 외부 기기의 설정 상태를 변경하는 단계를 더 포함할 수 있다.
또한, 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 실행하기 위해 제어부에 의해 실행될 수 있는 프로그램을 기록한 비 일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 제어 방법은 카메라를 통해 촬영된 사용자의 제스처가 기설정된 제스처인 캡처 제스처이면, 전자 장치 및 전자 장치와 연결된 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득하는 단계; 기 설정 상태에 대한 정보가 포함된 UI를 표시하도록 상기 디스플레이를 제어하는 단계; 및 기 UI가 표시되는 동안 제1 제스처가 입력되면, 상기 제1 제스처와 상기 획득된 설정 상태에 대한 정보를 매칭시켜 커스텀 제스처로 메모리에 저장하는 단계를 포함할 수 있다.
상술한 바와 같은 다양한 실시 예에 의해, 전자 장치는 사용자가 정의한 커스텀 제스처를 통해 전자 장치 및 외부 기기의 설정 상태를 편리하게 제어할 수 있고, 제스처 인식 오작동 문제를 개선할 수 있다.
도 1은 본 개시의 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2a 내지 도 2b는 본 개시의 일 실시예에 따른 전자 장치가 제스처를 인식 중임을 나타내는 제1 UI를 표시하는 방법을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치가 제1 UI가 표시되기 위한 조건을 변경하기 위한 방법을 설명하기 위한 흐름도이다.
도 4a 내지 도 4e는 본 개시의 일 실시예에 따른 제2 UI를 표시하고 설정 상태에 대한 정보를 선택하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 커스텀 제스처를 저장하는 과정을 설명하기 위한 도면이다.
도 6a 내지 도 6d는 본 개시의 일 실시예에 따른 커스텀 제스처를 저장하는 과정을 설명하기 위한 도면이다.
도 7a 내지 도 7d는 본 개시의 일 실시예에 따른 커스텀 제스처를 저장하는 과정을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 제스처를 입력하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 커스텀 제스처를 이용하여 전자 장치(100) 및 전자 장치와 연결된 외부 기기의 설정 상태를 변경하는 방법을 설명하는 도면이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치 및 전자 장치와 연결된 외부 기기 중 적어도 하나의 설정 상태에 대한 정보를 커스텀 제스처와 매칭시켜 저장하는 방법을 설명하기 위한 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 전자 장치(100)는 카메라(110), 디스플레이(120), 통신 인터페이스(130), 입출력 인터페이스(140), 사용자 인터페이스(150), 메모리(160), 프로세서(170)를 포함할 수 있다. 전자 장치(100)는 구성요소 중 적어도 일부가 생략될 수 있으며, 다른 구성요소를 더 포함할 수 있다. 전자 장치(100)는 TV일 수 있으나, 이는 일 실시예에 불과할 뿐 모니터, 셋톱박스와 같은 다른 장치로도 구현이 가능하다.
카메라(110)는 적어도 하나의 오브젝트에 대한 이미지를 획득할 수 있다. 카메라(110)는 이미지 센서를 포함하고, 이미지 센서는 렌즈를 통해 들어오는 빛을 전기적인 영상 신호로 변환할 수 있다. 특히, 카메라(110)는 사용자의 신체와 시선을 촬영하여 이미지를 획득할 수 있다. 프로세서(170)는 획득된 이미지에 포함된 사용자 손 영역과 사용자 팔 영역을 분석하여 사용자의 손 동작 및 사용자의 팔의 각도에 대한 정보를 획득할 수 있다.
디스플레이(120)는 프로세서(170)의 제어에 의하여 영상 데이터를 출력할 수 있다. 구체적으로, 디스플레이(120)는 프로세서(170)의 제어에 의하여 메모리(160)에 기저장된 영상을 출력할 수 있다. 또한, 디스플레이(120)는 메모리(160)에 저장된 사용자 인터페이스(User Interface, UI)를 표시할 수도 있다. 디스플레이(160)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이(120)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 본 개시에 따른 디스플레이(150)가 특정한 종류에 한정되는 것은 아니다. 특히, 디스플레이(120)는 제스처를 인식 중임을 알리는 제1 UI, 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보가 포함된 제2 UI, 커스텀 제스처를 저장하기 위한 제3 UI를 표시할 수 있다.
통신 인터페이스(130)는 회로(circuitry)를 포함하며, 외부 기기 및 서버와 통신할 수 있는 구성이다. 통신 인터페이스(130)는 유선 또는 무선 통신 방식에 기초하여 외부 기기 및 서버와 통신을 수행할 수 있다. 일 실시 예에 따라, 다른 실시 예에 따라, 통신 인터페이스(130)는 무선 통신을 통하여 외부 기기 및 서버와 통신을 수행할 수 있다. 이 경우, 통신 인터페이스(130)는 와이파이 모듈(미도시), 블루투스 모듈(미도시), IR(infrared) 모듈, LAN(Local Area Network) 모듈, 이더넷(Ethernet) 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다. 무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), USB(Universal Serial Bus), MIPI CSI(Mobile Industry Processor Interface Camera Serial Interface), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(130)는 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다. 한편, 외부 기기와 통신을 수행하는 통신 인터페이스 및 서버와 통신을 수행하는 통신 인터페이스는 서로 다른 인터페이스로 구현될 수 있다. 특히, 외부 기기가 통신 인터페이스(130)를 통해 연결된 경우, 통신 인터페이스(130)는 외부 기기의 설정 상태에 대한 설정 정보를 수신할 수 있다. 전자 장치(100)는 외부 기기와 통신 인터페이스(130)를 통해 직접적으로 연결될 수도 있으나 이는 일 실시예에 불과할 뿐, AP(Access Point)를 통해 연결되는 등 다양한 방법을 통해 연결될 수 있다.
입출력 인터페이스(140)는 전자 장치(100)에 구비되는 포트로 구현될 수 있다. 특히, 입출력 인터페이스(140)는 HDMI 포트로 구현되어 외부 기기와 통신할 수 있다. 이 경우, 외부 기기 또한 HDMI 포트를 구비할 수 있다. 이에 따라, 전자 장치(100) 및 외부 기기는 각 HDMI 포트 및 이를 연결하는 HDMI(High Definition Multimedia Interface) 케이블을 통해 통신을 수행할 수 있다. 다만, 이에 한정되는 것은 아니며, LVDS(Low Voltage Differential Signals) 케이블, DVI(Digital Visual Interface) 케이블, D-SUB(D-subminiature) 케이블, VGA(Video Graphics Array) 케이블, V-by-One 케이블 또는 광 케이블 등을 통해 통신 인터페이스(130)는 외부 기기와 통신을 수행할 수 있다. 특히, 외부 기기가 입출력 인터페이스(140)를 통해 연결된 경우, 입출력 인터페이스(140)는 외부 기기의 설정 상태에 대한 정보를 수신할 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
메모리(160)에는 전자 장치(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(160)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(160)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(160)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(160)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(170)는 메모리(160)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(160)는 프로세서(170)에 의해 액세스되며, 프로세서(170)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에서 메모리(160)라는 용어는 메모리(160), 프로세서(170) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
프로세서(170)는 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 프로세서(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(170)는 메모리(160)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(160)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(170)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(170)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(170)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.
프로세서(170)는 제스처 인식 모듈(171), 설정 획득 모듈(172), 커스텀 제스처 저장 모듈(173), 설정 변경 모듈(174)을 포함할 수 있다. 본 개시에 따른 복수의 모듈은 소프트웨어 모듈 또는 하드웨어 모듈로 구현될 수 있으며, 복수의 모듈이 소프트웨어 모듈로 구현되는 경우, 프로세서(170)는 메모리(160)에 저장된 소프트웨어 모듈을 로딩함으로써 소프트웨어 모듈에 엑세스할 수 있다.
제스처 인식 모듈(171)은 카메라(110)를 통해 촬영된 사용자의 신체로부터 사용자의 제스처를 인식할 수 있다. 구체적으로, 카메라(110)를 통해 촬영된 사용자의 손동작으로부터 사용자의 제스처 형태를 인식할 수 있다. 제스처(모션) 인식이란 카메라(110)로부터 획득하는 동적인 영상 정보를 바탕으로 사용자의 제스처를 인식하는 것을 의미한다.
제스처 인식 모듈(171)은 특정 사물을 이용하지 않는 사용자의 제스처를 인식할 뿐만 아니라, 특정 사물을 이용하는 사용자의 제스처를 인식할 수 있다. 특정 사물은 전자 장치(100)와 연결된 외부 기기 일 수 있으나 이는 일 실시 예에 불과할 뿐, 전자 장치(100)와 연결되지 않은 사물일 수 있다. 예를 들어, 특정 사물은 게임 컨트롤러, 마우스, 리모콘, 휴대폰 중 적어도 하나를 포함할 수 있다.
제스처 인식 모듈(171)은 게임 컨트롤러를 양손으로 잡고 컨트롤러의 특정 버튼을 오른손으로 누르는 제스처를 인식할 수 있다. 제스처 인식 모듈(171)은 촬영된 영상에서 사용자 제스처를 곧바로 인식할 수도 있으나, 이는 일 실시예에 불과할 뿐, 사용자 제스처와 특정 사물을 별도로 인식할 수 있다. 예를 들어, 촬영된 영상을 제스처가 포함된 영역과 특정 사물이 포함된 영역으로 분리 후 제스처와 특정 사물을 각각 인식할 수 있다. 이 때, 제스처 인식 모듈(171)은 객체 인식 알고리즘을 이용하여 특정 사물을 인식할 수 있다.
제스처 인식 모듈(171)은 메모리(160)에 저장된 제스처 인식 알고리즘을 이용하여 제스처를 인식할 수 있다. 제스처 인식 알고리즘은 인식된 손을 재정렬(Alignment)하고, 촬영된 손의 모양을 포즈(Pose) 데이터 셋의 제스처와 비교하고, 포즈 데이터 셋 중 적합도가 가장 높은 포즈 데이터에 대응되는 제스처를 인식된 제스처로 판단할 수 있다. 포즈 데이터 셋은 메모리(160)에 기저장 되어있거나, 외부 기기 또는 외부 서버에 저장되어 있을 수 있다.
또한, 제스처 인식 모듈(171)은 촬영된 영상을 분석하여 특정 사물을 인식할 수도 있지만, 이는 일 실시예에 불과할 뿐, 제스처 인식 모듈(171)은 특정 사물로부터 신호를 수신하여 특정 사물을 인식할 수 있다. 제스처 인식 모듈(171)은 특정 사물로부터 신호를 수신하여 특정 사물을 인식하고, 제스처 인식 알고리즘을 이용하여 사용자의 제스처를 인식할 수 있다. 제스처 인식 모듈(171)은 인식된 특정 사물과 인식된 제스처를 이용하여 특정 사물을 이용하는 사용자의 제스처를 인식할 수 있다. 예를 들어, 전자 장치(100)와 연결된 외부 기기인 게임 컨트롤러로부터 게임 컨트롤러의 특정 버튼이 눌리고 있는 정보를 수신한 경우, 제스처 인식 모듈(171)은 사용자의 제스처가 오른손으로 특정 사물의 버튼을 누르는 동작을 인식할 수 있고, 이에 따라 게임 컨트롤러의 특정 버튼을 오른손으로 누르는 제스처를 인식할 수 있다.
제스처 인식 모듈(171)은 사용자가 제스처 사용 의도가 있는 경우를 판단하고, 사용자 의도가 있다고 판단되면, 제스처를 인식 중임을 알리는 제1 UI를 표시하도록 디스플레이(120)를 제어할 수 있다. 예를 들어, 제스처 인식 모듈(171)은 촬영된 사용자의 팔의 각도가 일정 범위(예를 들어 40도 내지 90도)에 속하고, 사용자의 시선이 임계 시간 이상(예를 들어 1초) 전자 장치(100)를 향하면 전자 장치(100)가 제1 UI를 표시하도록 디스플레이(120)를 제어할 수 있다. 제1 UI는 시청 경험을 방해하지 않는 UI일 수 있다. 예를 들어, 제1 UI는 시각적으로 은은하게 표시되는 불빛을 디스플레이 (120) 상단에 표시되는 UI일 수 있다.
제1 UI가 표시되는 방법에 대한 구체적인 내용은 도 2a 및 도 2b를 통해 자세히 후술하도록 한다.
제1 UI가 표시되는 동안 사용자가 제스처 동작을 취하는 경우, 제스처 인식 모듈(171)은 촬영된 사용자의 제스처 동작으로부터 사용자의 제스처를 인식할 수 있다. 따라서, 사용자의 제스처 사용 의도가 없을 때 제스처가 인식되는 문제를 방지할 수 있다.
제스처 인식 모듈(171)은 전자 장치(100)가 제스처를 인식 중임을 알리는 제1 UI가 표시되는 동안 기설정된 제스처인 캡처 제스처 또는 커스텀 제스처 인식 여부에 기초하여 제1 UI가 표시되기 위한 조건을 변경할 수 있다. 제1 UI가 표시되기 위한 조건은 사용자의 시선이 전자 장치를 임계 시간 이상 향하고, 사용자의 신체 중 팔의 각도가 기설정된 범위 내에 속하는 것 일 수 있다. 구체적으로, 제1 UI가 표시되는 동안 캡처 제스처 또는 커스텀 제스처가 인식되지 않는 경우, 제스처 인식 모듈(171)은 제1 UI를 표시하기 위한 조건(예를 들어, 팔의 각도, 사용자의 시선이 전자 장치를 향하는 시간 등)의 범위를 변경할 수 있다.
제1 UI가 표시되기 위한 조건을 변경하는 구체적인 내용은 도3을 통해 자세히 후술하도록 한다.
제스처 인식 모듈(171)에 의해, 기설정된 제스처인 캡처 제스처가 인식되는 경우, 설정 획득 모듈(172)은 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득할 수 있다. 다만 이는 일 실시예에 불과할 뿐, 설정 획득 모듈(172)은 캡처 제스처 외에도 사용자 인터페이스(150)를 통한 입력을 포함한 다양한 입력 방법으로 설정 상태에 대한 정보를 획득할 수 있다.
캡처 제스처는 현재 설정 상태에 대한 정보를 획득하여(또는 캡처하여) 사용자의 제스처와 매칭시켜 커스텀 제스처로 저장하기 위한 기설정된 제스처일 수 있다.
설정 상태에 대한 정보는 스크린 소스(Screen Source)에 대한 정보, 개인화 정보(Customize Information)에 대한 정보, 및 외부 기기(External Device)에 대한 정보를 포함할 수 있다. 다만, 이는 일 실시예에 불과할 뿐 설정 상태에 대한 정보는 그 밖의 전자 장치 및 외부 기기의 설정 상태에 대한 정보를 포함할 수 있다.
스크린 소스에 대한 정보는 전자 장치(100)의 디스플레이(120)에 표시되는 화면에 나타나는 정보를 입력 받는 통신 인터페이스(130) 및 입출력 인터페이스(140)에 대한 정보일 수 있다. 구체적으로, 스크린 소스에 대한 정보는 현재 디스플레이(120)에 출력되고 있는 화면에 나타나는 정보를 입력 받는 통신 인터페이스(130) 및 입출력 인터페이스(140)에 대한 정보를 포함할 수 있다. 예를 들어, 현재 디스플레이(120)에 표시되는 화면이 HDMI 1 입출력 인터페이스(140)를 통해 출력되는 화면인 경우, 스크린 소스에 대한 정보는 HDMI 1에 대한 정보를 포함할 수 있다. 또는, 현재 표시되는 화면이 어플리케이션 실행 화면인 경우, 스크린 소스에 대한 정보는 현재 실행중인 어플리케이션(Application)에 대한 정보를 포함할 수 있다. 또는 스크린 소스에 대한 정보는 미러링(Mirroring), 원격 접속(Remote Access)과 같이 전자 장치(100)가 외부 기기와 연동하는 동작에 대한 정보를 포함할 수 있다.
개인화 정보에 대한 정보는 전자 장치(100)내부에서 설정되는 복수의 정보일 수 있다. 구체적으로, 개인화 정보는 화면 설정 정보, 사운드 설정 정보, 계정 정보, 컨텐츠 시청 정보를 포함할 수 있다. 화면 설정 정보는 화면의 밝기, 화면의 명암, 화면의 색 온도에 대한 정보일 수 있다. 사운드 설정 정보는 음량 정보일 수 있다. 계정 정보는 현재 접속중인 계정에 대한 정보일 수 있다. 컨텐츠 시청 정보는 현재 시청중인 컨텐츠에 대한 정보일 수 있다. 예를 들어, 사용자가 TV를 시청중인 경우 컨텐츠 시청 정보는 현재 시청중인 채널 번호에 대한 정보, 현재 시청중인 드라마에 대한 정보일 수 있다.
외부 기기에 대한 정보는 전자 장치(100)와 연결된 외부 기기에 대한 설정 정보 일 수 있다. 구체적으로, 외부 기기에 대한 정보는 전자 장치(100)와 통신 인터페이스(130) 또는 입출력 인터페이스(140)를 통해 연결되어 있는 기기에 대한 정보를 포함할 수 있다. 예를 들어, 외부 기기에 대한 정보는 에어컨의 전원이 켜져 있는 정보, 실내등의 전원이 꺼져 있는 정보를 포함할 수 있다. 또는 전자 장치(100)가 키보드, 마우스, 이어폰, 헤드셋에 연결되어 있는 정보를 포함할 수 있다.
커스텀 제스처 저장 모듈(173)은 획득된 설정 상태에 대한 정보를 바탕으로, 획득된 설정 상태에 대한 정보가 포함된 제2 UI를 표시하도록 디스플레이(120)를 제어할 수 있다. 커스텀 제스처 저장 모듈(173)은 설정 상태에 대한 정보가 포함된 제2 UI는 저장 가능한 설정 상태에 대한 정보를 디스플레이(120)에 표시할 수 있다.
한편, 제2 UI는 복수의 설정 상태에 대한 정보에 각각 대응되는 복수의 UI 엘리먼트를 포함할 수 있다. 복수의 UI 엘리먼트는 복수의 설정 상태에 대한 정보를 시각적으로 표현한 것일 수 있다.
그리고, 복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 사용자 입력이 감지되면, 커스텀 제스처 저장 모듈(173)은 복수의 설정 상태에 대한 정보 중 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보를 선택할 수 있다. 즉, 제2 UI를 기초로, 커스텀 제스처와 매칭시켜 저장되는 설정 상태의 정보의 범위가 선택될 수 있다. 예를 들어, 설정 획득 모듈(172)은 사용자의 양 손의 간격이나 양 손이 가리키는 방향에 기초하여 저장되는 설정 상태에 대한 정보의 범위를 변경할 수 있다.
커스텀 제스처 저장 모듈(173)이 설정 상태에 대한 정보를 포함하는 제2 UI를 표시하고, 복수의 설정 상태에 대한 정보에 각각 대응되는 UI 엘리먼트를 선택하는 방법은 도 4a 및 도 4e에서 자세히 후술하도록 한다.
커스텀 제스처 저장 모듈(173)은 제2 UI가 표시되는 동안 커스텀 제스처로 저장하기 위한 제1 제스처가 입력되면, 입력된 제1 제스처와 획득된 설정 상태에 관한 정보를 매칭하여 커스텀 제스처로 저장할 수 있다. 한편, 커스텀 제스처 저장 모듈(173)은 제2 UI를 통해 복수의 설정 상태에 각각 대응되는 UI 엘리먼트 중 적어도 하나를 선택하기 위한 입력이 감지된 경우, 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보와 입력된 제스처를 커스텀 제스처로 매칭하여 저장할 수 있다. 커스텀 제스처는 메모리(160)에 저장된 설정 상태에 대한 정보를 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기에 적용하기 위한 제스처를 의미할 수 있다. 이 때 입력된 제스처와 매칭하여 저장되는 설정 상태에 대한 정보는 획득된 설정 상태에 대한 정보가 일괄적으로 저장될 수 있으며 다만 이는 일 실시예에 불과할 뿐, 복수의 설정 상태에 대한 정보 중 선택된 설정 상태에 대한 정보가 입력된 제스처와 매칭되어 저장될 수 있다.
설정 상태에 대한 정보가 획득되거나, 제2 UI를 통해 복수의 설정 상태에 각각 대응되는 UI 엘리먼트 중 적어도 하나를 선택하기 위한 입력이 감지된 경우, 커스텀 제스처 저장 모듈(173)은 커스텀 제스처를 저장하기 위한 제3 UI를 표시하도록 디스플레이(120)를 제어할 수 있다.
제3 UI가 표시되는 동안 커스텀 제스처로 저장하기 위한 제1 제스처가 인식되면, 커스텀 제스처 저장 모듈(173)은 제1 제스처가 입력되기 전까지 제1 제스처의 입력 정도를 나타내기 위한 제1 UI 엘리먼트를 표시하도록 디스플레이(120)를 제어할 수 있다.
제1 UI 엘리먼트는 제1 제스처를 시각적으로 표현하는 제1 이미지를 포함할 수 있다.
커스텀 제스처 저장 모듈(173)은 제1 제스처가 입력되는 동안 제1 제스처의 입력 정도에 따라, 제1 UI 엘리먼트의 형상이 명확해지도록 제1 UI 엘리먼트를 변경할 수 있다.
예를 들어, 제1 제스처의 입력 정도가 변경되는 동안, 커스텀 제스처 저장 모듈(173)은, 제1 UI 엘리먼트의 형상의 전체 영역 중 일부 영역의 표시를 변경할 수 있고, 전체 영역 대비 일부 영역의 비율은 현재 입력 정도의 비율에 대응될 수 있다. 또는, 커스텀 제스처 저장 모듈(173)은 디스플레이(120)에 프로그레스바를 표시하여 제1 제스처의 입력 정도를 프로그레스바를 통해 나타낼 수 있다. 다만, 이는 일 실시예에 불과할 뿐, 커스텀 제스처 저장 모듈(173)은 제1 UI 엘리먼트의 색상, 휘도, 밝기, 명도 등을 달리하는 등의 다양한 방법으로 제1 UI 엘리먼트의 형상이 명확해지도록 제1 UI 엘리먼트를 변경할 수 있다.커스텀 제스처 저장 모듈(173)은 제1 UI 엘리먼트가 변경되는 동안 제1 제스처가 제2 제스처로 변경되면, 제1 UI 엘리먼트를 제2 UI 엘리먼트로 변경시킬 수 있고, 이 때 제2 UI 엘리먼트는 제2 제스처를 시각적으로 표현한 제2 이미지로 변경시킬 수 있다.
커스텀 제스처 저장 모듈(173)은 제3 UI가 표시되는 동안, 제스처가 입력되면, 입력된 제스처와 획득된 설정 상태에 관한 정보를 매칭하여 커스텀 제스처로 저장할 수 있다. 한편, 커스텀 제스처 저장 모듈(173)은 제2 UI를 통해 복수의 설정 상태에 각각 대응되는 UI 엘리먼트 중 적어도 하나를 선택하기 위한 입력이 감지된 경우, 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보와 입력된 제스처를 매칭하여 커스텀 제스처로 저장할 수 있다.
이 때, 입력되는 제스처는 특정 사물을 이용하는 사용자의 제스처일 수 있다. 커스텀 제스처 저장 모듈(173)은 특정 사물을 이용하는 사용자의 제스처가 입력되면, 특정 사물을 이용하는 사용자의 제스처와 획득된 설정 상태에 관한 정보를 매칭하여 커스텀 제스처로 저장할 수 있다. 예를 들어, 전자 장치(100)와 연결된 외부 기기인 게임 컨트롤러를 양 손으로 잡고 있는 상태에서 오른손으로 특정 버튼을 누르는 동작이 제스처로 입력될 수 있다. 이 때, 입력된 제스처와 매칭되어 저장되는 설정 상태에 대한 정보는 특정 사물에 대응되는 정보일 수 있다. 예를 들어, 특정 사물이 게임 컨트롤러인 경우, 저장되는 설정 상태에 대한 정보는 게임을 구동하기 위한 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 상태 정보일 수 있다. 게임을 구동하기 위한 설정 상태 정보는 전자 장치(100)는 영상 정보를 게임 셋톱박스를 통해 수신하고 전자 장치(100)와 연결된 외부 기기의 조명은 게임 화면이 잘 보이도록 약한 조명으로 변경할 수 있다.
제3 UI를 표시하고, 제3 UI에 포함된 UI 엘리먼트를 변경하는 방법은 도 5, 도 6a 내지 도 6d, 및 도 7a 내지 도 7d에서 자세히 서술하도록 한다.
또한, 입력되는 사용자의 제스처는 기 설정된 제스처 중 사용자에 의해 선택된 제스처 일 수 있다.
설정된 제스처 중 하나를 선택하는 사용자의 선택에 의해 제스처가 입력되는 방법은 도8에서 자세히 서술하도록 한다.
커스텀 제스처 저장 모듈(173)은 제3 UI를 통해 제스처 입력 과정에 대한 인지를 시각적으로 제공하여, 사용자와 전자 장치(100)간의 자연스러운 상호과정을 유도할 수 있다. 사용자는 인식된 제스처를 시각적으로 확인하고, 다른 제스처를 원할 경우 손 모양을 변경할 수 있다.
카메라(110)를 통해 촬영된 사용자의 제스처가 커스텀 제스처이면, 즉 제스처 인식 모듈(171)에 의해 커스텀 제스처가 인식되면, 설정 변경 모듈(174)은 커스텀 제스처와 매칭되어 저장된 설정 상태에 대한 정보에 기초하여 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 상태를 변경할 수 있다. 구체적으로, 커스텀 제스처 저장 당시의 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보는 커스텀 제스처에 매칭되어 메모리(160)에 저장될 수 있다. 이후, 제스처 인식 모듈(171)이 저장된 커스텀 제스처를 인식하면, 저장된 설정 상태에 대한 정보에 대응되도록 현재 전자 장치(100) 및 전자 장치(100)에 연결된 외부 기기의 설정 상태 정보를 변경할 수 있다.
인식된 커스텀 제스처가 특정 사물을 인식하는 제스처인 경우, 특정 사물은 게임 컨트롤러, 마우스, 리모콘, 휴대폰 중 적어도 하나를 포함할 수 있다. 이 때, 설정 변경 모듈(174)은 메모리(160)에 저장된 설정 상태에 대한 정보 중 특정 사물에 대응되는 설정 상태에 대한 정보에 기초하여 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 상태를 변경할 수 있다. 예를 들어, 게임 컨트롤러를 이용하는 커스텀 제스처가 인식되는 경우, 설정 변경 모듈(174)은 게임을 구동하기 위한 설정 상태에 대한 정보에 기초하여 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 상태를 변경할 수 있다. 예를 들어, 특정 사물이 게임 컨트롤러인 경우 게임을 구동하기 위한 설정 상태에 대한 정보는 전자 장치(100)의 입출력 인터페이스(140)가 게임 셋톱박스와 연결되고, 외부 조명 장치의 밝기는 게임 화면을 시청하기에 적합한 밝기인 설정 상태 정보일 수 있다. 또 다른 실시 예에 따르면, 특정 사물이 리모콘인 경우 리모콘에 대응되는 설정 상태에 대한 정보는 TV를 시청하기 위한 설정 상태에 대한 정보 일 수 있다. TV를 시청하기 위한 설정 상태에 대한 정보는 전자 장치(100)가 TV 시청 화면을 디스플레이(120)에 표시하고 외부 조명은 TV 시청 환경에 적합한 밝기에 대한 정보일 수 있다.
커스텀 제스처를 이용하여 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 상태를 변경하는 방법은 도 7에서 자세히 후술하도록 한다.
예를 들어, 커스텀 제스처 등록 당시 설정 상태 정보는 전자 장치(100)가 입력 인터페이스가 HDMI 1으로 설정되어 있고, 전자 장치(100)와 연결된 조명의 전원은 꺼져 있을 수 있다. 커스텀 제스처와 매칭되는 설정 상태 정보가 메모리(160)에 저장된 이후 커스텀 제스처가 인식되는 경우, 설정 변경 모듈(174)은 저장된 설정 상태 정보에 따라 전자 장치(100)의 화면 입력을 HDMI1으로 설정하고, 전자 장치(100)와 연결된 조명의 전원이 꺼지도록 제어할 수 있다.
도 2a 내지 도 2b는 본 개시의 일 실시예에 따른 전자 장치가 제스처를 인식 중임을 나타내는 제1 UI를 표시하는 방법을 설명하기 위한 도면이다.
도 2a를 참조하면, 전자 장치(100)의 카메라(110)는 사용자의 신체와 시선을 촬영하여 이미지를 획득할 수 있다. 사용자의 신체는 사용자의 손 영역과 사용자 팔 영역을 의미할 수 있다. 프로세서(170)는 촬영된 획득된 이미지로부터 사용자의 제스처 사용의도를 파악할 수 있다. 구체적으로, 제스처는 사용자의 시선이 임계 시간 이상 전자 장치(100)를 향하고, 사용자의 신체 중 팔이 구부러진 각도가 기설정된 범위 내이면, 프로세서(170)는 전자 장치(100)가 사용자에게 제스처 사용 의도가 있다고 파악할 수 있다. 예를 들어, 임계 시간이 2초이고, 기설정된 범위가 60도 내지 150도 일 때, 사용자의 시선(110)이 3초간 전자 장치(100)를 향하고, 사용자의 신체 중 팔이 구부러진 각도(220)가 90도일 수 있다. 이 때 사용자의 시선이 전자 장치(100)를 임계 시간 이상 향하고, 사용자의 신체 중 팔이 구부러진 각도가 기설정된 범위 내이므로, 프로세서(170)는 사용자에게 제스처 사용 의도가 있다고 파악할 수 있다.
도 2b를 참조하면, 프로세서(170)는 사용자의 제스처 사용 의도가 있는 경우를 판단하고, 전자 장치(100)가 제스처를 인식 중임을 알리는 제1 UI(230)를 표시할 수 있다. 예를 들어, 프로세서(170)는 전자 장치(100)의 디스플레이(120)에 표시되도록 디스플레이(120)를 제어할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, 제1 UI는 디스플레이(120)상이 아닌 전자 장치(100)의 다른 구성요소나, 전자 장치(100)와 연결된 외부 기기에 표시될 수도 있다.
제1 UI는 전자 장치(100)를 사용하는 사용자의 사용 경험을 방해하지 않는 UI일 수 있다. 예를 들어, 전자 장치(100)가 TV인 경우, 프로세서(170)는 사용자의 시청 경험을 방해하지 않기 위해 시각적으로 은은하게 표시되는 불빛을 디스플레이(120) 상단에 표시하는 방법으로 제1 UI(230)를 표시할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, 프로세서(170)는 제1 UI를 디스플레이(120)의 상단이 아닌 다른 영역 또는 다른 방법으로 표시하거나, 전자 장치(100)의 디스플레이(120) 베젤에 구비된 조명을 깜빡이거나, 전자 장치(100)와 연결된 외부 기기의 조명을 깜빡이는 방법 등을 포함하는 다양한 방법으로 표시될 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치(100)가 제1 UI가 표시되기 위한 조건을 변경하기 위한 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 카메라(110)를 통해 사용자의 신체와 시선을 촬영할 수 있다(S310).
프로세서(170)는 사용자의 시선이 임계 시간 이상 전자 장치를 향하고 신체 중 팔의 각도가 기설정된 범위 내에 위치하는 것을 감지할 수 있다(S320).
이 때, 프로세서(170)는 전자 장치(100)가 제스처를 인식 중임을 알리는 제1 UI를 표시할 수 있다(S330).
제1 UI가 표시되는 동안, 프로세서(170)는 캡처 제스처 또는 커스텀 제스처가 입력되는지 여부를 인식할 수 있다(S340).
제1 UI가 표시되는 동안, 캡처 제스처 또는 커스텀 제스처가 입력되면(S340-Y), 전자 장치(100)는 캡처 제스처 또는 커스텀 제스처에 대응되는 기능을 수행할 수 있다. 구체적으로, 프로세서(100)는 캡처 제스처가 입력되면, 커스텀 제스처를 설정 상태 정보와 매칭시켜 저장하기 위한 작동 과정을 수행할 수 있다.
제1 UI가 표시되는 동안, 캡처 제스처 또는 커스텀 제스처가 입력되지 않으면(S340-N), 프로세서(170)는 제1 UI를 표시하기 위한 조건에 포함된 임계 시간 및 기설정된 범위 중 적어도 하나를 변경할 수 있다.
구체적으로, 제1 UI가 표시되는 동안 캡처 제스처 또는 커스텀 제스처가 입력되지 않았다면, 프로세서(170)가 감지한 정보를 기초로, 사용자가 동일한 동작을 하였을 때, 제1 UI가 표시되지 않도록 임계 시간과 기설정된 범위를 변경할 수 있다. 예를 들어, 임계 시간은 2초이고, 기설정된 범위는 40도 내지 80도일 수 있다. 이 때, 사용자의 시선이 전자 장치(100)를 3초간 향하고, 사용자의 팔의 각도가 45도로 감지되어 제1 UI가 표시될 수 있다. 제1 UI가 표시되는 동안 캡처 제스처 또는 커스텀 제스처가 입력되지 않았다면, 임계시간을 3초보다 많은 4초로 변경하고, 기설정된 범위를 45도보다 큰 50도로 변경할 수 있다.
따라서, 프로세서(170)는 제1 UI가 표시되는 조건을 사용자에게 맞게 변경할 수 있어 사용자의 제스처 사용 의도를 인식하는 정확도를 향상시킬 수 있다.
도 4a 내지 도 4e는 본 개시의 일 실시예에 따른 제2 UI를 표시하고 설정 상태에 대한 정보를 선택하는 방법을 설명하기 위한 도면이다.
도 4a를 참조하면, 프로세서(170)는 카메라(110)를 통해 촬영된 사용자의 제스처를 기설정된 제스처인 캡처 제스처(410)로 인식할 수 있다. 여기서 캡처 제스처는 사용자는 기설정된 제스처인 캡처 제스처(410) 취할 수 있다. 캡처 제스처는 전자 장치(100) 제조사에서 사전에 설정한 제스처로서, 예를 들어 손바닥을 피고 임계 거리 이상 이동하는 이동하는 팜 제스처일 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 제스처가 될 수 있다. 또한, 캡쳐 제스처는 사용자가 별도로 설정한 제스처일 수 있다.
캡처 제스처가 인식되면, 프로세서(170)는 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 상태에 대한 정보를 획득할 수 있다.
프로세서(170)는 획득된 설정 상태에 대한 정보를 기초로, 설정 상태에 대한 정보를 포함하는 제2 UI(420)를 표시할 수 있다. 한편, 제2 UI는 복수의 설정 상태에 대한 정보를 포함하는 복수의 UI엘리먼트를 포함할 수 있다. 복수의 UI 엘리먼트는 복수의 설정 상태에 대한 정보를 시각적으로 표현한 것일 수 있다. 예를 들어, 전자 장치(100)의 화면은 HDMI1을 통해 입력되고 있고, 전자 장치(100)는 사용자의 키보드를 통해 조작되고 있고, 전자 장치(100)의 소리는 무선 헤드셋으로 출력되고 있고, 전자 장치(100)와 연결된 조명은 켜져 있을 수 있다. 예를 들어 제2 UI는 전자 장치의 화면 설정(예를 들어 HDMI)에 대응되는 제1 UI 엘리먼트, 전자 장치(100)와 연결된 제2 외부 기기(예를 들어, 마우스)의 상태에 대응되는 제2 UI 엘리먼트 및 전자 장치(100)와 연결된 제2 외부 기기(예를 들어, 무선 헤드셋)의 상태에 대응되는 제3 UI 엘리먼트, 전자 장치(100)와 연결된 제3 외부 기기(예를 들어, 외부 조명)의 상태에 대응되는 제4 UI 엘리먼트를 포함할 수 있다.
도 4b를 참조하면, 복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 사용자 입력이 감지되면, 프로세서(170)는 복수의 설정 상태 중 선택된 UI 엘리먼트에 대응되는 설정 상태를 선택할 수 있다. 프로세서(170)는 선택된 UI 엘리먼트를 나타내도록 제2 UI 화면을 변경할 수 있다.
예를 들어, 프로세서(170)는 선택된 제1 UI 엘리먼트(421), 제2 UI 엘리먼트(422)는 별도의 음영 표시를 제2 UI(420)상에 표시할 수 있다. 여기서 복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 사용자 입력은 사용자의 제스처일 수 있으나, 이는 일 실시예에 불과할 뿐, 복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 사용자 입력은 사용자 인터페이스(150)를 통한 입력 등 다양한 입력이 될 수 있다.
도 4c를 참조하면, 복수의 UI엘리먼트 중 적어도 하나를 선택하기 위해, 프로세서(170)는 사용자 양 손의 간격을 기초로 UI 엘리먼트를 선택할 수 있다. 예를 들어, 양 손의 간격이 제1 간격(430)으로 감지된 경우, 프로세서(170)는 제1 간격을 기초로, UI 엘리먼트를 선택할 수 있다. 제1 UI 엘리먼트가 가 선택된 경우, 프로세서(170)는 제1 UI 엘리먼트(421)을 선택되었음을 알리는 표시를 제2 UI(420)상에 할 수 있다.
도 4d를 참조하면, 프로세서(170)는 사용자 양 손의 간격이 제2 간격(430)으로 감지된 경우, 제1 UI 엘리먼트(421), 제2 UI 엘리먼트(422), 제3 UI 엘리먼트(423)을 선택하고, 선택한 UI 엘리먼트를 디스플레이(120)상에 표시할 수 있다. 제1 간격(430)보다 제2 간격(440)이 더 큰 경우, 제 2간격일 때 선택되는 UI 엘리먼트의 수가 더 많을 수 있다.
도 4e를 참조하면, 프로세서(170)는 사용자의 손가락이 가리키는 방향을 감지하여 UI 엘리먼트를 선택할 수 있다. 예를 들어, 사용자의 왼쪽 손가락이 가리키는 방향이 제2 UI 엘리먼트이고, 오른쪽 손가락이 가리키는 방향이 제4 UI 엘리먼트인 경우, 프로세서(170)는 제2 UI 엘리먼트(422), 제3 UI 엘리먼트(423), 제4 UI 엘리먼트(424)를 선택할 수 있다.
복수의 UI 엘리먼트 중 적어도 하나의 UI 엘리먼트가 선택되면, 프로세서(170)는 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보를 사용자가 입력한 제스처와 매칭하여 커스텀 제스처로 저장할 수 있다.
도 5, 도 6a 내지 도 6d, 및 도 7a 내지 도7d는 본 개시의 일 실시예에 따른 커스텀 제스처를 저장하는 과정을 설명하기 위한 도면이다.
도 6a 및 도 7a를 참조하면, 프로세서(170)는 커스텀 제스처를 저장하기 위한 제3 UI(620, 720)를 표시하도록 디스플레이(120)를 제어할 수 있다.
커스텀 제스처를 저장하기 위한 제3 UI가 표시되는 동안 제1 제스처(610, 710)가 인식될 수 있다(S510). 도 6a 내지 6d를 참조하면, 이때 인식되는 제스처는 특정 사물을 이용하는 사용자의 제스처를 의미할 수 있다. 도 7a 내지 도 7d를 참조하면 이 때 인식되는 제스처는 특정 사물을 이용하지 않는 제스처를 의미할 수 있다. 프로세서(170)는 제1 제스처(610, 710)가 입력이 완료되기 전까지 제1 제스처(610, 710)의 입력 정도를 나타내기 위한 제1 UI 엘리먼트(621, 721)를 표시하도록 디스플레이(120)를 제어할 수 있다(S520).
제1 UI 엘리먼트(621, 721)는 제1 제스처를 시각적으로 표현하는 제1 이미지를 포함할 수 있다. 프로세서(170)는 사용자의 손의 모양을 재구성하여 시각적으로 표현할 수 있다. 사용자는 제1 이미지를 통해 자신이 등록하는 제스처에 대해 확실히 인지할 수 있다.
프로세서(170)는 제1 제스처가 입력되는 동안 제1 제스처의 입력 정도에 따라, UI 엘리먼트의 형상이 명확해지도록 UI 엘리먼트를 변경할 수 있다(S530). 예를 들어, 제1 제스처의 입력 정도가 변경되는 동안, 프로세서(170)는 제1 UI 엘리먼트의 형상의 전체 영역 중 일부 영역의 표시를 변경할 수 있고, 전체 영역 대비 일부 영역의 비율은 현재 입력 정도의 비율에 대응될 수 있다.
UI 엘리먼트의 형상을 변경하는 방법은 제스처 입력 프로그레스(Progress) 증가 감소 알고리즘을 이용하는 방법일 수 있다. 구체적으로, 카메라(110)는 초당 n번 이상의 프레임으로 사용자의 제1 제스처를 촬영할 수 있다. 프로세서(170)는 촬영된 제스처를 각 프레임별로 복수 개의 3차원 랜드마크(Landmark)로 변환할 수 있다. 프로세서(170)는 이전 프레임에서 인식한 포인트와 현재 프레임에서 인식한 랜드마크의 차이가 임계치 이하이면 제1 제스처(610)가 유지되는 것으로 판단할 수 있다. 제1 제스처(610)가 유지되는 경우 제1 제스처(610) 입력 프로그레스 가 0%에서 시작해서 100%가 될 때까지 증가할 수 있다. 입력 프로그레스가 증가함에 따라, 프로세서(170)는 UI 엘리먼트의 형상을 입력 프로그레스의 증가량에 대응되도록 명확하게 나타나도록 디스플레이(120)를 제어할 수 있다.
도 6b 및 7b를 참조하면, 제1 제스처(610,710)의 입력 프로그레스가 0%에서 50%가 되면 프로세서(170)는 제1 제스처의 입력 정도가 50%임을 나타내도록 제1 UI 엘리먼트(622,722)를 변경하여 표시할 수 있다.
제1 제스처 입력이 완료되기 전 제2 제스처가 인식되지 않으면(S540-N), 즉, 제1 제스처 입력이 완료되면 프로세서(170)는 제1 제스처를 설정 상태에 대한 정보와 매칭하여 제1 커스텀 제스처로 저장한다(S550).
도 6c 및 도 7c를 참조하면, 제1 제스처(510)의 입력 프로그레스가 100%가 되면 프로세서(170)는 제1 제스처의 입력 정도가 100%임을 나타낼 수 있도록 제1 UI 엘리먼트(623, 723)을 변경하여 표시할 수 있다.
제1 제스처의 입력 프로그레스가 100%가 되면 제1 UI 엘리먼트의 형상이 완성될 수 있다. 제1 제스처의 입력 프로그레스가 100%가 되면, 제1 제스처가 입력될 수 있다. 제1 제스처가 입력되면 제1 제스처는 설정 상태에 대한 정보와 매칭하여 제1 커스텀 제스처로 저장될 수 있다.
제1 제스처(610)의 입력 프로그레스가 100%가 되기 전에 제2제스처(611, 711)로 변경되면(S540-Y), 프로세서(170)는 제1 UI 엘리먼트를 제2 UI 엘리먼트로 변경하여 표시할 수 있다(S560). 이전 프레임에서 인식한 랜드마크와 현재 프레임에서 인식한 랜드마크의 차이가 임계치를 초과하면 제1 제스처(610)가 제2제스처(611)로 변경된 것으로 판단될 수 있다.
도 6d 및 도 7d를 참조하면, 프로세서(170)는 제1 UI 엘리먼트(621,622, 721, 722)를 제2제스처(611,711)를 시각적으로 표현하는 제2이미지를 포함하는 제2 UI 엘리먼트(624,724)로 변경하여 표시할 수 있다.
프로세서(170)는 제2 제스처에 동일한 입력 프로그레스 증가 감소 알고리즘을 적용하여, 제2 제스처 입력 프로그레스가 증가함에 따라 제2 UI 엘리먼트(624)의 형상이 명확해지도록 제2 UI 엘리먼트(624,724)를 변경할 수 있다.
이 때, 제2 제스처 입력 프로그레스 가 100%가 되면 제2이미지를 포함하는 UI 엘리먼트의 형상이 완성되고 제2 제스처가 입력될 수 있다.
즉, 제2 제스처 입력이 완료되면, 프로세서(170)는 제2 제스처를 설정 상태에 대한 정보와 매칭하여 제2 커스텀 제스처로 저장할 수 있다(S570).
이처럼 제스처 입력 과정에 대한 인지를 시각적으로 제공함으로써, 사용자와 전자 장치(100)간의 자연스러운 상호과정이 유도될 수 있다. 또한, 사용자는 커스텀 제스처를 사용할 때, 프로세서(170)에 의해 인식된 제스처와, 사용자가 의도한 제스처 간에 차이를 최소화할 수 있다.
도 8은 본 개시의 일 실시예에 따른 제스처를 입력하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 프로세서(170)는 기설정된 제스처 중 하나를 선택할 수 있는 UI를 제공하도록 전자 장치(100)의 디스플레이(120)를 제어할 수 있다. 구체적으로, 프로세서(170)는 제공된 UI가 표시되는 동안 제스처 선택 입력이 감지되면, 선택된 제스처가 입력된 것으로 감지할 수 있다. 이 때 제스처 선택 입력은 기설정된 제스처 중 선택하기 위한 제스처를 가리키는 손동작을 의미할 수 있으나, 이는 일 실시예에 불과할 뿐 전자 장치(100)와 연결된 외부 기기 등 다양한 방법을 이용하여 제스처 선택 입력이 감지될 수 있다.
기설정된 제스처 중 하나가 선택되면, 프로세서(170)는 선택된 제스처를 설정 상태 정보와 매칭하여 커스텀 제스처로 저장할 수 있다.
도 9는 본 개시의 일 실시예에 따른 커스텀 제스처를 이용하여 전자 장치(100) 및 전자 장치와 연결된 외부 기기의 설정 상태를 변경하는 방법을 설명하는 도면이다.
도 9를 참조하면, 전자 장치(100)는 제1 UI(230)가 표시되는 상태일 수 있다. 제1 UI(230)가 표시되는 동안 프로세서(170)는 사용자의 제스처(910)를 인식할 수 있다. 메모리에는 기설정된 제스처와 커스텀 제스처 정보가 저장되어 있을 수 있다. 커스텀 제스처 정보는 커스텀 제스처와 전자 장치(100)및 전자 장치(100)와 연결된 외부 기기의 설정 상태에 대한 정보와 매칭되어 저장된 정보일 수 있다. 사용자의 제스처(910)가 메모리에 저장된 커스텀 제스처 정보(920) 중 커스텀 제스처2(921)와 일치하면 커스텀 제스처2(921)와 매칭되어 저장된 설정 상태에 대한 정보(922)를 바탕으로 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 상태를 저장된 설정(923)으로 변경할 수 있다. 이 때, 커스텀 제스처2(921)는 게임 컨트롤러를 양 손으로 잡고 오른손으로 기기 오른쪽 버튼을 누르는 제스처일 수 있다. 이 때 저장된 설정 상태에 관한 정보(922)는 전자 장치(100)는 소스 정보는 HDMI1이고, 전자 장치(100)는 외부 기기 연결 정보는 마우스이며, 전자 장치(100)와 연결된 외부 기기인 외부 조명의 전원 ON 정보일 수 있다. 여기서, 게임 컨트롤러를 양 손으로 잡고 오른손으로 기기 오른쪽 버튼을 누르는 커스텀 제스처(921)가 입력되면, 전자 장치(100)는 HDMI 1을 통해 외부 기기로부터 수신한 정보를 이용하여 디스플레이(120)의 화면을 출력하고, 외부 기기인 마우스를 연결하며, 외부 기기인 외부 조명의 전원을 ON 시킬 수 있다.
따라서, 사용자는 기저장된 커스텀 제스처를 통해 전자 장치(100)와 외부 기기의 설정 상태를 일괄적으로 제어할 수 있고, 이에 따라 사용자 편의성이 향상될 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기 중 적어도 하나의 설정 상태에 대한 정보를 커스텀 제스처와 매칭시켜 저장하는 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 기설정된 제스처인 캡처 제스처를 인식할 수 있다.(S1010). 캡처 제스처는 전자 장치(100) 제조사에서 사전에 설정한 제스처로서, 예를 들어 손바닥을 피고 임계 거리 이상 이동하는 이동하는 팜 제스처일 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 제스처가 될 수 있다. 또한, 캡쳐 제스처는 사용자가 별도로 설정한 제스처일 수 있다.
이 때, 전자 장치(100)는 촬영된 사용자의 시선이 전자 장치를 임계 시간 이상 향하고, 사용자의 신체 중 팔의 각도가 기설정된 범위 내이면, 제1 UI를 표시하고, 제1 UI가 표시되는 동안 기설정된 제스처를 인식할 수 있다. 다만 전자 장치(100)가 제1 UI를 표시하는 단계는 생략될 수 있다.
캡처 제스처가 인식되면, 전자 장치(100)는 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득할 수 있다(S1020). 다만 이는 일 실시예에 불과할 뿐, 전자 장치(100)는 캡처 제스처 외에도 사용자 인터페이스(150)를 통한 입력을 포함한 다양한 입력 방법으로 설정 상태에 대한 정보를 획득할 수 있다.
설정 상태에 대한 정보는 스크린 소스(Screen Source)에 대한 정보, 개인화 정보(Customize Information)에 대한 정보, 및 외부 기기(External Device)에 대한 정보를 포함할 수 있다. 다만, 이는 일 실시예에 불과할 뿐 설정 상태에 대한 정보는 그 밖의 전자 장치 및 외부 기기의 설정 상태에 대한 정보를 포함할 수 있다.
전자 장치(100)는 설정 상태에 대한 정보가 포함된 제2 UI를 표시하도록 디스플레이(120)를 제어할 수 있다(S1030). 이 때, 제2 UI는 각각의 설정 상태에 대한 정보에 대응되는 UI 엘리먼트를 포함할 수 있고, 제2 UI가 표시되는 동안, 전자 장치(100)는 복수의 설정 상태에 대한 정보 중 적어도 하나를 선택하기 위한 사용자 입력을 감지할 수 있으나 이 단계는 생략될 수 있다.
제2 UI가 표시되는 동안, 커스텀 제스처로 저장하기 위한 제1 제스처가 입력될 수 있다(S1040). 커스텀 제스처는 메모리(160)에 저장된 설정 상태에 대한 정보를 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기에 적용하기 위한 제스처를 의미할 수 있다. 이 때, 전자 장치(100)는 커스텀 제스처를 저장하기 위한 제3 UI를 표시할 수 있고, 제3 UI는 제1 제스처가 입력되는 동안 제1 제스처의 입력 정도를 나타내는 UI 엘리먼트를 포함할 수 있으나, 이 단계는 생략될 수 있다.
전자 장치(100)는 입력된 제1 제스처를 획득된 설정 상태에 대한 정보와 매칭하여 커스텀 제스처로 저장할 수 있다(S1050). 전자 장치(100)는 커스텀 제스처가 인식(또는 입력)되면, 커스텀 제스처에 매칭되어 저장된 설정 상태에 대한 정보를 바탕으로, 전자 장치(100) 및 전자 장치(100)와 연결된 외부 기기의 설정 정보를 변경할 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: TV, 모니터, 셋톱박스)를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라,
    디스플레이,
    외부 기기와 통신을 수행하는 통신 인터페이스,
    적어도 하나의 인스트럭션을 저장하는 메모리, 및
    프로세서를 포함하고,
    상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 카메라를 통해 촬영된 사용자의 제스처가 기설정된 제스처인 캡처 제스처이면, 상기 전자 장치 및 상기 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득하고,
    상기 설정 상태에 대한 정보가 포함된 UI를 표시하도록 상기 디스플레이를 제어하고,
    상기 UI가 표시되는 동안 특정 사물을 이용하는 제1 제스처가 입력되면, 상기 입력된 제1 제스처와 상기 획득된 설정 상태에 대한 정보를 매칭시켜 커스텀 제스처로 상기 메모리에 저장하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 카메라를 통해 촬영된 사용자의 제스처가 상기 커스텀 제스처이면, 상기 제1 제스처에 매칭되어 저장된 상기 설정 상태에 대한 정보에 기초하여 상기 전자 장치 및 상기 외부 기기의 설정 상태를 변경하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는
    상기 커스텀 제스처를 저장하기 위한 UI를 표시하도록 상기 디스플레이를 제어하고,
    상기 커스텀 제스처를 저장하기 위한 UI가 표시되는 동안 상기 커스텀 제스처로 저장하기 위한 상기 제1 제스처가 인식되면, 상기 제1 제스처가 입력되기 전까지 상기 제1 제스처의 입력 정도를 나타내기 위한 제1 UI 엘리먼트를 표시하도록 상기 디스플레이를 제어하고, 상기 제1 UI 엘리먼트는 상기 제1 제스처를 시각적으로 표현하는 제1 이미지를 포함하고,
    상기 제1 제스처가 입력되는 동안 상기 제1 제스처의 입력 정도에 따라 상기 제1 UI 엘리먼트의 형상이 명확해지도록 상기 제1 UI 엘리먼트를 변경시키며,
    상기 제1 UI 엘리먼트가 변경되는 동안 상기 제1 제스처가 제2 제스처로 변경되면, 상기 제1 UI 엘리먼트를 제2 UI 엘리먼트로 변경시키고, 상기 제2 UI 엘리먼트는 상기 제2 제스처를 시각적으로 표현한 제2 이미지를 포함하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는
    카메라가 사용자의 신체와 시선을 촬영하도록 제어하고,
    상기 시선이 상기 전자 장치를 임계 시간 이상 향하고 상기 신체 중 팔의 각도가 기설정된 범위 내이면, 상기 전자 장치가 제스처를 인식 중임을 알리는 UI를 표시하도록 디스플레이를 제어하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는
    상기 전자 장치가 제스처를 인식 중임을 알리는 UI가 표시되는 동안 상기 캡처 제스처 또는 커스텀 제스처 인식 여부에 기초하여 상기 임계 시간 또는 상기 기설정된 범위를 변화시키는 전자 장치.
  6. 제1항에 있어서,
    상기 설정 상태에 대한 정보가 포함된 UI는 상기 설정 상태에 대한 정보에 각각 대응되는 복수의 UI엘리먼트를 포함하고,
    상기 프로세서는
    복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 입력이 감지되면, 상기 입력에 기초하여 상기 제1 제스처와 상기 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보를 매칭시켜 상기 메모리에 저장하는 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는
    상기 설정 상태에 대한 정보가 포함된 UI가 표시되는 동안, 상기 사용자의 양 손이 가리키는 방향 또는 상기 사용자의 양 손의 간격을 기초로 선택되는 UI 엘리먼트의 범위를 변경하는 전자 장치.
  8. 제2항에 있어서,
    상기 특정 사물은 게임 컨트롤러, 마우스, 리모콘, 휴대폰 중 적어도 하나를 포함하고,
    상기 프로세서는
    상기 저장된 설정 상태에 대한 정보 중 상기 특정 사물에 대응되는 설정 상태에 대한 정보에 기초하여 상기 전자 장치 및 상기 외부 기기의 설정 상태를 변경하는 전자 장치.
  9. 전자 장치 제어 방법에 있어서,
    카메라를 통해 촬영된 사용자의 제스처가 기설정된 제스처인 캡처 제스처이면, 전자 장치 및 전자 장치와 연결된 외부 기기 중 적어도 하나에 대한 설정 상태에 대한 정보를 획득하는 단계;
    상기 설정 상태에 대한 정보가 포함된 UI를 표시하도록 상기 디스플레이를 제어하는 단계; 및
    상기 UI가 표시되는 동안 특정 사물을 이용하는 제1 제스처가 입력되면, 상기 제1 제스처와 상기 획득된 설정 상태에 대한 정보를 매칭시켜 커스텀 제스처로 메모리에 저장하는 단계를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 카메라를 통해 촬영된 사용자의 제스처가 상기 커스텀 제스처이면, 상기 제1 제스처에 매칭되어 저장된 상기 설정 상태에 대한 정보에 기초하여 상기 전자 장치 및 상기 전자 장치와 연결된 상기 외부 기기의 설정 상태를 변경하는 단계를 더 포함하는 제어 방법.
  11. 제9항에 있어서,
    상기 커스텀 제스처를 저장하기 위한 UI를 표시하는 단계;
    상기 커스텀 제스처를 저장하기 위한 UI가 표시되는 동안 상기 커스텀 제스처로 저장하기 위한 상기 제1 제스처가 인식되면, 상기 제1 제스처가 입력되기 전까지 상기 제1 제스처의 입력 정도를 나타내기 위한 제1 UI 엘리먼트를 표시하고, 상기 제1 UI 엘리먼트는 상기 제1 제스처를 시각적으로 표현하는 제1 이미지를 포함하는 단계;
    상기 제1 제스처가 입력되는 동안 상기 제1 제스처의 입력 정도에 따라 상기 제1 UI 엘리먼트의 형상이 명확해지도록 상기 제1 UI 엘리먼트를 변경시키는 단계; 및
    상기 제1 UI 엘리먼트가 변경되는 동안 상기 제1 제스처가 제2 제스처로 변경되면, 상기 제1 UI 엘리먼트를 제2 UI 엘리먼트로 변경시키고, 상기 제2 UI 엘리먼트는 상기 제2 제스처를 시각적으로 표현한 제2 이미지를 포함하는 단계를 더 포함하는 제어 방법.
  12. 제9항에 있어서,
    사용자의 신체와 시선을 촬영하는 단계; 및
    상기 시선이 상기 전자 장치를 임계 시간 이상 향하고 상기 신체 중 팔의 각도가 기설정된 범위 내이면, 상기 전자 장치가 제스처를 인식 중임을 알리는 UI를 표시하는 단계를 더 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 전자 장치가 제스처를 인식 중임을 알리는 UI가 표시되는 동안 상기 캡처 제스처 또는 커스텀 제스처 인식 여부에 기초하여 상기 임계 시간 또는 상기 기설정된 범위를 변화시키는 단계를 더 포함하는 제어방법.
  14. 제9항에 있어서,
    상기 설정 상태에 대한 정보를 포함하는 UI는 상기 설정 상태에 대한 정보에 각각 대응되는 복수의 UI엘리먼트를 포함하고,
    복수의 UI 엘리먼트 중 적어도 하나를 선택하기 위한 입력이 감지되면, 상기 입력에 기초하여 상기 제1 제스처와 상기 선택된 UI 엘리먼트에 대응되는 설정 상태에 대한 정보를 매칭시켜 상기 메모리에 저장하는 단계를 더 포함하는 제어 방법.
  15. 제14항에 있어서,
    상기 설정 상태에 대한 정보를 포함하는 UI가 표시되는 동안, 상기 사용자의 양 손이 가리키는 방향 또는 상기 사용자의 양 손의 간격을 기초로 선택되는 UI 엘리먼트의 범위를 변경하는 단계를 더 포함하는 제어 방법.
PCT/KR2022/010772 2021-07-23 2022-07-22 전자 장치 및 그 제어 방법 WO2023003420A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210097366A KR20230015785A (ko) 2021-07-23 2021-07-23 전자 장치 및 그 제어 방법
KR10-2021-0097366 2021-07-23

Publications (1)

Publication Number Publication Date
WO2023003420A1 true WO2023003420A1 (ko) 2023-01-26

Family

ID=84979436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010772 WO2023003420A1 (ko) 2021-07-23 2022-07-22 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20230015785A (ko)
WO (1) WO2023003420A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100000174A (ko) * 2008-06-24 2010-01-06 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR20140029223A (ko) * 2012-08-31 2014-03-10 오므론 가부시키가이샤 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
KR20150073378A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
KR20150112708A (ko) * 2014-03-27 2015-10-07 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
JP6598089B2 (ja) * 2015-04-14 2019-10-30 華為技術有限公司 ジェスチャコントロール方法、装置、端末デバイス、およびストレージ媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100000174A (ko) * 2008-06-24 2010-01-06 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR20140029223A (ko) * 2012-08-31 2014-03-10 오므론 가부시키가이샤 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
KR20150073378A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
KR20150112708A (ko) * 2014-03-27 2015-10-07 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
JP6598089B2 (ja) * 2015-04-14 2019-10-30 華為技術有限公司 ジェスチャコントロール方法、装置、端末デバイス、およびストレージ媒体

Also Published As

Publication number Publication date
KR20230015785A (ko) 2023-01-31

Similar Documents

Publication Publication Date Title
WO2020256460A1 (en) Apparatus and method for driving display based on frequency operation cycle set differently according to frequency
WO2021158074A1 (ko) 디스플레이를 포함하는 전자 장치
WO2019088793A1 (ko) 전자 장치 및 이를 이용한 화면 공유 방법
WO2017074062A1 (en) Adapting user interface of display apparatus according to remote control device
WO2019088667A1 (ko) 디스플레이를 이용하여 지문을 인식하기 위한 전자 장치
WO2019117566A1 (ko) 전자 장치 및 그의 입력 제어 방법
WO2018155824A1 (en) Display apparatus and control method thereof
WO2019124908A1 (ko) 영상 동기 신호에 기반하여 터치 센서 컨트롤러를 제어하기 위한 전자 장치 및 방법
WO2021054710A1 (en) Method, electronic device, and storage medium for displaying charging state in start of charging
WO2020213834A1 (ko) 복수의 어플리케이션의 실행화면들을 표시하는 전자 장치 및 그의 동작 방법
WO2021172832A1 (ko) 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치
WO2018124823A1 (en) Display apparatus and controlling method thereof
WO2018093160A2 (ko) 디스플레이장치, 시스템 및 기록매체
WO2020141809A1 (ko) 가전 기기 및 그 제어 방법
WO2021107667A1 (ko) 사용자 단말 및 그 제어 방법
WO2021025266A1 (en) Electronic apparatus and control method thereof
WO2019074243A1 (en) DISPLAY DEVICE, USER TERMINAL DEVICE, DISPLAY SYSTEM COMPRISING THE SAME, AND ASSOCIATED COMAND METHOD
WO2019142988A1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
WO2015102248A1 (en) Display apparatus and channel map managing method thereof
WO2019132268A1 (ko) 전자 장치 및 이의 디스플레이 방법
WO2019160325A1 (en) Electronic device and control method thereof
WO2021080290A1 (en) Electronic apparatus and control method thereof
WO2023003420A1 (ko) 전자 장치 및 그 제어 방법
WO2019156454A1 (ko) 밝기 정보에 기반하여 콘텐트의 표시를 제어하는 전자 장치 및 그의 동작 방법
WO2021261919A1 (ko) 디스플레이의 리프레쉬 레이트를 동적으로 조정하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22846290

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE