WO2015174623A1 - 입력 처리 장치 및 방법 - Google Patents

입력 처리 장치 및 방법 Download PDF

Info

Publication number
WO2015174623A1
WO2015174623A1 PCT/KR2015/002265 KR2015002265W WO2015174623A1 WO 2015174623 A1 WO2015174623 A1 WO 2015174623A1 KR 2015002265 W KR2015002265 W KR 2015002265W WO 2015174623 A1 WO2015174623 A1 WO 2015174623A1
Authority
WO
WIPO (PCT)
Prior art keywords
command
pattern
user
input
depth value
Prior art date
Application number
PCT/KR2015/002265
Other languages
English (en)
French (fr)
Inventor
박근주
하태영
이소영
류현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/311,021 priority Critical patent/US10817138B2/en
Publication of WO2015174623A1 publication Critical patent/WO2015174623A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • An input processing apparatus and method are provided. More specifically, the present invention provides an apparatus and method for identifying a user input and determining and processing a command corresponding to the identified user input.
  • input means a method of using a user's gesture and voice as an input, as well as a touch input through a separate input device such as a mouse, a keyboard, a remote controller, and a touch screen, has been developed.
  • a shape identification unit for identifying a first shape corresponding to the user input of a plurality of shapes
  • a pattern identification unit for identifying a first pattern corresponding to the user input of a plurality of gesture patterns and the first shape
  • a determiner configured to determine a first command corresponding to the combination of the first patterns
  • the voice recognition apparatus may further include a voice identification unit configured to analyze a user voice associated with the user input and identify a first voice command corresponding to the user voice.
  • a voice identification unit configured to analyze a user voice associated with the user input and identify a first voice command corresponding to the user voice.
  • the determining unit may determine a second command corresponding to a combination of the first shape, the first pattern, and the first voice command.
  • the pattern identification unit may identify a first speed included in at least a portion of the user's input, and identify the first pattern and a second pattern corresponding to the first speed.
  • the apparatus may further include a parser configured to parse the combination of the first shape and the first pattern into a plurality of sub-combinations.
  • the determining unit may determine at least one third command corresponding to the plurality of sub-combinations.
  • a depth identification unit for identifying a first depth value corresponding to the user input, wherein the determination unit, corresponding to the combination of the first shape, the first pattern and the first depth value A fourth command can be determined.
  • a fifth part corresponding to a combination of the second shape and the first pattern may be used.
  • the command may be determined, and among the hierarchical systems of the plurality of commands, the fifth command may have a different hierarchy level from the first command.
  • the fifth command may be a folder move command, and when the first command is a content move in a media application, the fifth command may be a category move command.
  • the fifth command may be an album move command.
  • a depth identification unit for identifying a first depth value corresponding to a user input
  • a pattern identification unit for identifying a first pattern corresponding to the user input of a plurality of gesture patterns and the first depth value
  • An input processing apparatus including a determination unit that determines a first command corresponding to a combination of the first patterns.
  • the determiner when the first depth value and the second depth value different from the first pattern correspond to the user's input, the determiner corresponds to a combination of the second depth value and the first pattern.
  • the second command may be determined, and the second command may have a hierarchy level different from that of the first command.
  • the second command may be the first hierarchical level shift command when the second depth value corresponds to a preset depth value of the first hierarchical level.
  • the apparatus may further include a parser configured to parse the combination of the first depth value and the first pattern into a plurality of sub-combinations, and the determiner may include at least one second command corresponding to the plurality of sub-combinations. Can be determined.
  • the method may further include: identifying a first shape corresponding to a user input among a plurality of shapes, identifying a first pattern corresponding to the user input among a plurality of gesture patterns, and the first shape and the And determining a first command corresponding to the combination of the first pattern.
  • the method may further include analyzing a user voice associated with the user input to identify a first voice command corresponding to the user voice, wherein the determining comprises: the first shape, the first shape; A second command corresponding to the combination of the pattern and the first voice command may be determined.
  • the method may further include: identifying a first depth value corresponding to a user input, identifying a first pattern corresponding to the user input among a plurality of gesture patterns, and the first depth value and the first depth value; And determining a first command corresponding to the combination of patterns.
  • the method may further include parsing a combination of the first depth value and the first pattern into a plurality of sub combinations.
  • the determining may include determining a second command corresponding to the plurality of sub-combinations.
  • FIG. 1 is a block diagram illustrating a configuration of an input processing apparatus according to an exemplary embodiment.
  • FIGS. 2 and 3 illustrate screens showing file movement or folder movement in response to the shape of a user input, according to an exemplary embodiment.
  • FIGS. 4 and 5 illustrate screens indicating a same hierarchical level movement or a lower hierarchical level movement corresponding to a depth value of a user input, according to an exemplary embodiment.
  • FIG. 6 illustrates movement to each hierarchical level in response to a depth value of a user input according to an embodiment.
  • FIG. 7 illustrates an operation of a media application in response to a user input, according to an embodiment.
  • FIG. 8 illustrates an operation of activating a UI object in response to a user input.
  • FIG. 9 illustrates a process of parsing and processing a combination of user inputs into a plurality of sub-combinations according to an embodiment.
  • FIG. 10 is a flowchart illustrating a method of determining a command corresponding to a shape and a pattern of a user input, according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a method of determining a command corresponding to a depth value and a pattern of a user input, according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating a method of parsing a combination of user inputs into sub combinations and determining a command corresponding to each sub combination.
  • FIG. 1 is a block diagram illustrating a configuration of an input processing apparatus according to an exemplary embodiment.
  • the input processing apparatus 100 may include an identification unit 110, a determination unit 120, and a parser 130.
  • the identification unit 110 may identify a user's gesture input and voice input.
  • the identification unit 110 may identify the user's gesture input according to the depth value, shape, and pattern of the gesture in order to distinguish the user's gesture input in various ways.
  • the pattern identification unit 113 may be further included, and the voice identification unit 114 may be further included in combination with the voice input unit.
  • the depth identifier 111 may identify a first depth value corresponding to the gesture input of the user. Since the gesture input is detected according to a user gesture in a space separated from the input processing apparatus 100, the gesture input of the user may be distinguished by identifying a depth value according to the distance between the input processing apparatus 100 and the user.
  • the depth value of the gesture input may decrease and move to a lower folder.
  • the depth value of the gesture input may increase to move to the upper folder.
  • the gesture input depth value corresponds to a folder of a specific hierarchy level
  • the user may move to the folder of the specific hierarchy level without additional gesture input.
  • the hierarchical level may be a unit hierarchically divided in the data structure.
  • the upper folder including the first folder may have a higher hierarchical level than the first folder
  • the lower folder included in the first folder may have a lower hierarchical level than the first folder.
  • the shape identification unit 112 may identify a first shape corresponding to a gesture input of a user among a plurality of shapes.
  • the gesture input may be divided to perform other commands according to the shape of the user's gesture.
  • the shape identification unit 112 may identify a first shape corresponding to the gesture input of the user by detecting a gesture input of the user through an image recognition sensor among a plurality of preset shapes.
  • the gesture input shape of the user may be classified into a pointing shape with one finger, a shape with two fingers, a palm shape, a fist shape, and the like. Can be distinguished.
  • the pattern identification unit 113 may identify the first pattern corresponding to the gesture input of the user among the plurality of patterns.
  • the gesture input may be divided to perform another command according to the gesture pattern of the user.
  • the pattern identification unit 113 may identify a first pattern corresponding to the gesture pattern of the user by detecting a gesture input of the user through an image recognition sensor among a plurality of preset patterns.
  • the gesture input pattern of the user may be divided into a pattern of drawing a circle, a pattern of moving left and right, a pattern of moving up and down, a pattern of drawing a specific shape, etc.
  • a gesture pattern that the user can express Can be distinguished.
  • the pattern identification unit 113 may identify a first speed of the gesture pattern and identify a first pattern and a second pattern corresponding to the first speed.
  • a user may input a gesture pattern even at the same gesture pattern at different speeds, and thus use the first speed as an additional element for distinguishing a gesture pattern.
  • the same first pattern may be divided into separate second patterns according to speed.
  • the pattern identifying unit 113 may identify a first number of gesture patterns and identify a first pattern and a third pattern corresponding to the first number of times.
  • the user may repeat the same gesture pattern, and thus may use the first number of times the first pattern is repeated as an additional element for distinguishing the gesture pattern.
  • both speed and number may be considered to distinguish gesture patterns.
  • the voice identification unit 114 may identify a first voice command corresponding to the user voice by analyzing the user voice associated with the user input.
  • the user's voice may be detected through a voice recognition sensor or the like, and even if the user's gesture input is the same, the user's voice may be classified to perform another command according to the user's voice input.
  • the user's gesture input may be variously classified according to at least one of a depth value, a shape, and a pattern of the gesture input, and may be further divided by a voice input which is another input means other than the gesture input.
  • the determiner 120 may determine a first command corresponding to a combination of at least two of a depth value, a shape, and a pattern of the identified gesture input.
  • the combination may be a combination of the first shape and the first pattern of the user gesture input, the combination of the first depth value and the first pattern of the user gesture input, the combination of the first depth value and the first shape of the user gesture input.
  • a combination of a first shape, a first depth value, and a first pattern of a user gesture input may be a combination of a first shape, a first depth value, and a first pattern of a user gesture input.
  • the determiner 120 may determine a command corresponding to the combination of the second shape and the first pattern. have.
  • the command corresponding to the combination of the second shape and the first pattern among the hierarchical systems of the plurality of commands may have a different hierarchical level from the first command.
  • the first pattern of the user gesture input may correspond to a different command according to the first shape.
  • the gesture shape with one finger may be corresponded to a file move command, and the palm shape gesture may correspond to a folder move command.
  • the determiner 120 may perform another command according to the application.
  • a gesture of one-finger gesture may correspond to a list movement command of a running music or video
  • a palm-shaped gesture may correspond to a movement command of a category that classifies the music or video. have.
  • the image viewer application may correspond to an image movement command for a gesture shape with one finger, and a movement command of a category for classifying the image for a gesture with a palm open.
  • the classification in the media application or the image viewer application according to the shape of the gesture is not limited to the purpose of explanation and the present invention is not limited thereto. In other applications, it is possible to correspond to other commands according to the user's gesture input. It is obvious to the engineer.
  • the determination unit 120 may correspond to a different command according to the first depth value even if the first pattern of the user gesture input is the same in the combination of the first depth value and the first pattern.
  • the determiner 120 may determine a command corresponding to the combination of the second depth value and the first pattern when the first depth value and the second depth value different from the first pattern correspond to a user input. have.
  • a command corresponding to a combination of the second depth value and the first pattern among a plurality of command hierarchical systems may have a different hierarchical level from the first command.
  • decreasing the gesture input depth value of the user means that the distance between the user and the input support apparatus 100 is closer, which may be intuitively recognized by the user by selecting a file or moving to a subfolder.
  • increasing the gesture input depth value of the user means that the distance between the user and the input support apparatus 100 is far, which can be intuitively recognized by the user by moving to a higher folder.
  • two or more hierarchical levels may be moved through one gesture input.
  • the change of the depth value corresponding to each hierarchical level may be set, and the user may move to the corresponding hierarchical level without additional operation according to the change of the gesture input depth value of the user.
  • the user may move to the corresponding second level subfolder through the gesture input of one user.
  • the determiner 120 may determine a first voice command identified through the voice identifier 114 and a second command corresponding to at least two combinations of a depth value, a shape, and a pattern of the gesture input.
  • the determination unit 120 may correspond to other commands according to the first voice command even in the same combination.
  • a command corresponding to a file move or a folder move may be distinguished according to a user's first voice command even with the same gesture shape and gesture pattern. Through this, the number of input types of the user can be distinguished more variously without complicated gesture input.
  • the parser 130 may parse at least two combinations of a depth value, a shape, and a pattern of the user's gesture input into a plurality of sub combinations.
  • the user's gesture input may be made in one unit, but may be made in a continuous operation.
  • the parsing unit 130 may parse one continuous gesture into units that can be divided into one input.
  • the determination unit 120 may determine at least one command corresponding to the plurality of sub-combinations. By determining one command corresponding to the plurality of sub-combinations parsed by the parser 130, one consecutive gesture input may be parsed and determined as a command of a sub-combination unit.
  • the user may transmit the gesture input to the input support apparatus 100 through one continuous gesture input without having to repeat the gesture input several times in a unit that can be divided into one input.
  • a change in the depth value of the gesture input may be performed, and a folder may be selected using only one gesture input and a file in the folder may be moved through a gesture pattern that is sequentially moved left and right.
  • FIGS. 2 and 3 illustrate screens indicating file movement or folder movement in response to a user's input form.
  • FIG. 2 shows a screen showing file movement by a pointing finger gesture 210 with one finger.
  • the first file is selected on the screen 220, and the second file is moved on the screen 230 by the pattern of moving the pointing gesture 210 to the right direction.
  • FIG. 3 illustrates a screen indicating folder movement by a palm-shaped gesture 310.
  • the screen 320 shows files in the currently selected folder.
  • the screen 330 illustrates a state in which the palm 310 is moved to another folder by a pattern of moving the gesture 310 in a right direction.
  • the pointing gesture 210 may correspond to an individual file moving command
  • the palm-shaped gesture 310 may correspond to a folder moving command according to the shape of the gesture.
  • the hierarchical level at which the command is performed may be divided into a file level or a folder level, so that the user may transmit the divided command to the input processing device 100 through the gesture input using only the gesture shape. Can be.
  • a command corresponding to a gesture shape may be differently set according to a user's setting.
  • FIGS. 4 and 5 illustrate screens indicating a same hierarchical level movement or a lower hierarchical level movement corresponding to a depth value of a user input, according to an exemplary embodiment.
  • FIG. 4 illustrates a screen showing movement at the same hierarchical level by a pattern 420 for moving the palm-shaped gesture 410 to the right or a pattern 430 for moving to the left without changing the depth value of the user gesture input. 440 is shown.
  • the gesture input may correspond to the same hierarchical level moving command.
  • the screen 550 may display a file included in the selected folder.
  • the pattern 530 for moving the gesture 410 to the right or the pattern for moving to the left without changing the depth value as in FIG. 4. 540 may move between files at the same hierarchical level.
  • the command can be divided into the same hierarchical level movement or the hierarchical level movement, so that the user can input the divided command to the input processing apparatus 100 through the gesture input. I can deliver it.
  • a first threshold value for recognizing a change in a depth value of a gesture input as a movement between hierarchical levels may be set. For example, if the change in the gesture input depth value is less than the first threshold, the command of the same hierarchical level movement is performed. If the change in the gesture input depth value is more than the first threshold, the command of the inter-layer level movement is performed. Can be. This prevents the user from inadvertently moving between hierarchical levels due to a change in the small depth value generated during the gesture input process.
  • FIG. 6 illustrates movement to each hierarchical level in response to a depth value of a user input according to an embodiment.
  • the user gesture input 610 may correspond to the first hierarchical level move command.
  • the user gesture input 620 may correspond to the second hierarchical level move command.
  • the user gesture input 630 may correspond to the third hierarchical level move command.
  • the depth value may be preset for each hierarchical level 615, 625, and 635, and may move directly to the hierarchical level corresponding to the depth value of the user's gesture input without going through another hierarchical level.
  • FIG. 7 illustrates an operation of a media application in response to a user input, according to an embodiment.
  • At least two combinations of a depth value, a shape, and a pattern of the user gesture input may correspond to different commands according to an application.
  • the pointing gesture 710 having a one-finger pointing in the media application 713 may correspond to a content movement command to be executed in the media application.
  • the pattern 712 moving the pointing gesture 710 to the right may move to the next content on the playlist, and the pattern 711 moving to the left may move to the previous content on the playlist.
  • the palm-shaped gesture 720 in the media application 723 may correspond to a category move command.
  • the movement between categories may be performed by the pattern 722 for moving the gesture 720 to the right or the pattern 721 for moving to the left.
  • a command of another layer may be performed according to the shape of the gesture input.
  • FIG. 8 illustrates an operation of activating a UI object in response to a user input.
  • a user's gesture input may be recognized through an image recognition sensor included in the input support apparatus 100.
  • the depth value, the shape, and the pattern of the recognized gesture input may be identified through the identification unit 110.
  • the determiner 120 may determine a command corresponding to at least two combinations of the depth value, the shape, and the pattern of the identified gesture input.
  • the determined command may be a different command for each application.
  • a command corresponding to a combination of at least two of a depth value, a shape, and a pattern of the user's gesture input 810 may be determined to activate a user interface (UI) object controlled according to the command. For example, when the user's gesture input 810 corresponds to a command for adjusting the play time bar 831, the color of the play time bar 831 may be highlighted. In this manner, the user may be provided with an affordance about what function of the application may be executed through the gesture input 810.
  • UI user interface
  • a command corresponding to at least two combinations of a depth value, a shape, and a pattern of the user's gesture input 810 may be determined and the UI object controlled according to the command may be highlighted and displayed on the screen. For example, when the user's gesture input 810 corresponds to a command for adjusting the play time bar, the image 841 highlighting the user's gesture input 810 may be displayed on the play time bar.
  • the user may perform a function executed through the gesture input 810 without confirming which function is executed through the actual gesture input 810. I can't know in advance.
  • the user may be provided with a visual affordance through a UI in which a function executed by the gesture input 810 is displayed on the screen. By doing so, the user may know in advance the function executed through the gesture input 810 without checking what function is executed through the actual gesture input 810.
  • FIG. 9 illustrates a process of parsing and processing a combination of user inputs into a plurality of sub-combinations according to an embodiment.
  • the gesture input 910 of the user may be made of one unit, but may be made of one continuous gesture input 920.
  • the parser 130 is a sub combination 921, 922, 923, and 924 that can distinguish at least two combinations of depth values, shapes, and patterns of one continuous gesture input 920 into one input. Can be parsed
  • the determination unit 120 may determine a command corresponding to each sub combination 921, 922, 923, and 924. As a result, commands corresponding to each sub combination 921, 922, 923, and 924 may be sequentially executed, and a command intended by the user may be executed even through a single continuous gesture 920.
  • the sub combination 921 of the gesture input may correspond to a lower layer level move command in a direction in which the depth value decreases. Therefore, in operation 930, the folder 931 may be selected and moved to the lower hierarchical level of the folder 931.
  • the sub combination 922 of the gesture input may move from the folder 941 to the folder 942 through a pattern moving to the right without changing the depth value.
  • the sub combination 923 of the gesture input may correspond to a lower hierarchical level moving command in a direction in which the depth value decreases, and select a folder 942 to move to a lower hierarchical level of the folder 942.
  • the sub combination 924 of the gesture input may move from the file 951 to the file 952 through a pattern moving to the left without changing the depth value.
  • one continuous gesture input 920 may be divided into sub combinations 921, 922, 923, and 924 to perform commands corresponding to each sub combination 921, 922, 923, and 924. This allows the user to execute a desired command through one continuous gesture without having to divide the gesture input into one input unit and repeat the gesture input.
  • FIG. 10 is a flowchart illustrating a method of determining a command corresponding to a shape and a pattern of a user input, according to an exemplary embodiment.
  • the shape identifying unit 112 may identify a first shape corresponding to a user input among a plurality of shapes.
  • the shape identification unit 112 may identify a first shape corresponding to the gesture input of the user by detecting a gesture input of the user through an image recognition sensor among a plurality of preset shapes.
  • the pattern identifying unit 113 may identify a first pattern corresponding to a user input among a plurality of gesture patterns.
  • the pattern identification unit 113 may identify a first pattern corresponding to the gesture pattern of the user by detecting a gesture input of the user through an image recognition sensor among a plurality of preset patterns.
  • the determiner 120 may determine a first command corresponding to the combination of the first shape and the first pattern. Even if the first pattern of the gesture input is the same, corresponding commands may be distinguished according to the first shape.
  • FIG. 11 is a flowchart illustrating a method of determining a command corresponding to a depth value and a pattern of a user input, according to an exemplary embodiment.
  • the depth identifier 111 may identify a first depth value corresponding to a user input. Since the gesture input is detected according to a user gesture in a space separated from the input processing apparatus 100, the gesture input of the user may be distinguished by identifying a depth value according to the distance between the input processing apparatus 100 and the user.
  • the pattern identification unit 113 may identify a first pattern corresponding to a user input among a plurality of gesture patterns.
  • the pattern identification unit 113 may identify a first pattern corresponding to the gesture pattern of the user by detecting a gesture input of the user through an image recognition sensor among a plurality of preset patterns.
  • the determiner 120 may determine a first command corresponding to the combination of the first depth value and the first pattern. For example, even if the first pattern of the user gesture input is the same, the command may be divided according to the first depth value.
  • a command corresponding to the combination of the second depth value and the first pattern may be determined.
  • a command corresponding to a combination of the second depth value and the first pattern among a plurality of command hierarchical systems may have a different hierarchical level from the first command.
  • FIG. 12 is a flowchart illustrating a method of parsing a combination of user inputs into sub combinations and determining a command corresponding to each sub combination.
  • the identification unit 110 may identify a first depth value and a first pattern corresponding to a user input. As described with reference to FIG. 11, the first depth value and the first pattern of the user input may be identified, and a command corresponding to the combination of the first depth value and the first pattern may be determined.
  • the parser 130 may parse the combination of the first depth value and the first pattern into a plurality of sub-combinations.
  • the user's gesture input may be made in one unit, but may be made in a continuous operation.
  • the parsing unit 130 may parse one continuous gesture into units that can be divided into one input.
  • the determiner 120 may determine at least one second command corresponding to the plurality of sub-combinations.
  • the second command corresponding to the plurality of sub combinations may be determined, and the second command according to each sub combination may be performed.
  • one continuous gesture input may be divided into sub-combinations, and a command corresponding to each sub-combination may be performed. This allows the user to execute a desired command through one continuous gesture without having to divide the gesture input into one input unit and repeat the gesture input.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

입력 처리 장치 및 방법을 제공한다. 입력 처리 장치는, 복수 개의 모양 중 사용자의 입력에 대응하는 제1 모양을 식별하고, 복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하며, 상기 제1 모양 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정할 수 있다. 또한, 사용자 입력의 제1 깊이 값을 식별하고, 제1 깊이 값, 제1 모양 및 제1 패턴 중 적어도 두 개의 조합에 대응하는 제1 명령을 결정할 수 있다.

Description

입력 처리 장치 및 방법
입력 처리 장치 및 방법이 제공된다. 보다 구체적으로, 사용자 입력을 식별하고, 식별된 사용자 입력에 대응하는 명령을 결정하여 처리하는 장치 및 방법을 제공한다.
최근 스마트 전자 기기가 발전함에 따라, 사용자가 스마트 전자기기를 보다 편리하게 제어할 수 있도록 하는 다양한 입력 수단이 개발되었다. 입력 수단으로서 마우스, 키보드, 리모콘 등과 같은 별도의 입력 장치 및 터치 스크린을 통한 터치 입력뿐만 아니라 사용자의 제스처 및 음성을 입력으로 이용하는 방법이 개발되고 있다.
스마트 전자기기가 다양한 입력 수단에 의해 입력을 감지하는 것이 가능해 짐에 따라 더욱 간편한 조작으로 스마트 전자기기를 제어하기 위한 필요성이 나타나고 있다. 그러나, 현재의 스마트 전자기기는 다양한 입력 수단을 지원하고는 있으나, 스마트 전자기기가 다양한 입력 수단을 통해 제어되는 범위가 각 입력 수단에 따라 다르고, 입력 인터페이스 전환이 수동적으로 이루어지는 경우가 대부분이다.
일측에 따르면, 복수 개의 모양 중 사용자의 입력에 대응하는 제1 모양을 식별하는 모양 식별부, 복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 패턴 식별부 및 상기 제1 모양 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 결정부를 포함하는 입력 처리 장치를 제공한다.
일실시예에 따르면, 상기 사용자 입력에 연관되는 사용자 음성을 분석하여 상기 사용자 음성에 대응하는 제1 음성 명령을 식별하는 음성 식별부를 더 포함할 수 있다.
또한, 상기 결정부는, 상기 제1 모양, 상기 제1 패턴 및 상기 제1 음성 명령의 조합에 대응하는 제2 명령을 결정할 수 있다.
일실시예에 따르면, 상기 패턴 식별부는, 상기 사용자의 입력의 적어도 일부에 포함되는 제1 속도를 식별하고, 상기 제1 패턴 및 상기 제1 속도에 대응하는 제2 패턴을 식별할 수 있다.
일실시예에 따르면, 상기 제1 모양 및 상기 제1 패턴의 조합을 복수 개의 서브 조합으로 파싱하는 파싱부를 더 포함할 수 있다.
또한, 상기 결정부는, 상기 복수 개의 서브 조합에 대응하는 적어도 하나의 제3 명령을 결정할 수 있다.
일실시예에 따르면, 상기 사용자의 입력에 대응하는 제1 깊이 값을 식별하는 깊이 식별부를 더 포함하고, 상기 결정부는, 상기 제1 모양, 상기 제1 패턴 및 상기 제1 깊이 값의 조합에 대응하는 제4 명령을 결정할 수 있다.
일실시예에 따르면, 상기 결정부는, 상기 제1 패턴 및 상기 제1 모양과 상이한 제2 모양이 상기 사용자의 입력에 대응하는 경우, 상기 제2 모양 및 상기 제1 패턴의 조합에 대응하는 제5 명령을 결정하고, 복수 개의 명령의 계층 체계 중, 상기 제5 명령은 상기 제1 명령과 계층 레벨이 상이할 수 있다.
또한, 상기 제1 명령이 파일 이동 명령인 경우, 상기 제5 명령은 폴더 이동 명령이고, 미디어 어플리케이션에서 상기 제1 명령이 컨텐츠 이동인 경우, 상기 제5 명령은 카테고리 이동 명령일 수 있다.
더불어, 이미지 뷰어 어플리케이션에서 상기 제1 명령이 이미지 이동인 경우, 상기 제5 명령은 앨범 이동 명령일 수 있다.
다른 일측에 따르면, 사용자의 입력에 대응하는 제1 깊이 값을 식별하는 깊이 식별부, 복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 패턴 식별부 및 상기 제1 깊이 값 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 결정부를 포함하는 입력 처리 장치를 제공한다.
일실시예에 따르면, 상기 결정부는, 상기 제1 깊이 값 및 상기 제1 패턴과 상이한 제2 깊이 값이 상기 사용자의 입력에 대응하는 경우, 상기 제2 깊이 값 및 상기 제1 패턴의 조합에 대응하는 제2 명령을 결정하고, 복수 개의 명령 계층 체계 중, 상기 제2 명령은 상기 제1 명령과 계층 레벨이 상이할 수 있다.
또한, 상기 제2 명령은, 상기 제2 깊이 값이 미리 설정된 제1 계층 레벨의 깊이 값에 대응하는 경우, 상기 제1 계층 레벨 이동 명령일 수 있다.
일실시예에 따르면, 상기 제1 깊이 값 및 상기 제1 패턴의 조합을 복수 개의 서브 조합으로 파싱하는 파싱부를 더 포함하고, 상기 결정부는, 상기 복수 개의 서브 조합에 대응하는 적어도 하나의 제2 명령을 결정할 수 있다.
또 다른 일측에 따르면, 복수 개의 모양 중 사용자의 입력에 대응하는 제1 모양을 식별하는 단계, 복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 단계 및 상기 제1 모양 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 단계를 포함하는 입력 처리 방법을 제공한다.
일실시예에 따르면, 상기 사용자 입력에 연관되는 사용자 음성을 분석하여 상기 사용자 음성에 대응하는 제1 음성 명령을 식별하는 단계를 더 포함하고, 상기 결정하는 단계는, 상기 제1 모양, 상기 제1 패턴 및 상기 제1 음성 명령의 조합에 대응하는 제2 명령을 결정할 수 있다.
또 다른 일측에 따르면, 사용자의 입력에 대응하는 제1 깊이 값을 식별하는 단계, 복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 단계 및 상기 제1 깊이 값 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 단계를 포함하는 입력 처리 방법을 제공한다.
일실시예에 따르면, 상기 제1 깊이 값 및 상기 제1 패턴의 조합을 복수 개의 서브 조합으로 파싱하는 단계를 더 포함할 수 있다.
또한, 상기 결정하는 단계는, 상기 복수 개의 서브 조합에 대응하는 제2 명령을 결정할 수 있다.
도 1은 일실시예에 따른 입력 처리 장치의 구성을 나타내는 블록도이다.
도 2 및 도 3은 일실시예에 따른 사용자 입력의 모양에 대응하여 파일 이동 또는 폴더 이동을 나타내는 화면을 도시한다.
도 4 및 도 5는 일실시예에 따른 사용자 입력의 깊이 값에 대응하여 동일 계층 레벨 이동 또는 하위 계층 레벨 이동을 나타내는 화면을 도시한다.
도 6은 일실시예에 따른 사용자 입력의 깊이 값에 대응하여 각 계층 레벨로의 이동을 도시한다.
도 7은 일실시예에 따른, 사용자 입력에 대응하여 미디어 어플리케이션의 동작을 도시한다.
도 8은 일실시예에 따른 사용자 입력에 대응하여 UI 오브젝트가 활성화 되는 단계를 도시한다.
도 9는 일실시예에 따른 사용자 입력의 조합을 복수 개의 서브 조합으로 파싱하여 처리하는 과정을 도시한다.
도 10은 일실시예에 따른 사용자 입력의 모양 및 패턴에 대응하는 명령을 결정하는 방법을 나타내는 흐름도이다.
도 11은 일실시예에 따른 사용자 입력의 깊이 값 및 패턴에 대응하는 명령을 결정하는 방법을 나타내는 흐름도이다.
도 12는 일실시예에 따른 사용자 입력의 조합을 서브 조합으로 파싱하고, 각 서브 조합에 대응하는 명령을 결정하는 방법을 나타내는 흐름도이다.
이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 권리범위가 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
도 1은 일실시예에 따른 입력 처리 장치의 구성을 나타내는 블록도이다.
입력 처리 장치(100)는 식별부(110), 결정부(120) 및 파싱부(130)를 포함할 수 있다. 식별부(110)는 사용자의 제스처 입력 및 음성 입력을 식별할 수 있다. 또한, 식별부(110)는 사용자의 제스처 입력을 다양하게 구분하기 위해 제스처의 깊이 값, 모양 및 패턴에 따라 사용자의 제스처 입력을 식별하기 위해 깊이 식별부(111), 모양 식별부(112) 및 패턴 식별부(113)를 포함하고, 음성 입력과의 조합을 위해 음성 식별부(114)를 더 포함할 수 있다.
깊이 식별부(111)는 사용자의 제스처 입력에 대응하는 제1 깊이 값을 식별할 수 있다. 제스처 입력은 입력 처리 장치(100)와 이격된 공간에서의 사용자 제스처에 따라 감지되기 때문에 입력 처리 장치(100)와 사용자와의 거리에 따라 깊이 값을 식별하여 사용자의 제스처 입력을 구분할 수 있다.
예를 들어, 사용자와 입력 처리 장치(100)와의 거리가 가까워 지는 경우, 제스처 입력의 깊이 값이 감소하여 하위 폴더로 이동할 수 있다. 이에 반하여 사용자와 입력 처리 장치(100)와의 거리가 멀어지는 경우, 제스처 입력의 깊이 값이 증가하여 상위 폴더로 이동할 수 있다. 이외에도 제스처 입력 깊이 값이 특정 계층 레벨의 폴더에 대응하는 경우, 상기 특정 계층 레벨의 폴더로 추가적인 제스처 입력 없이 이동할 수 있다.
여기에서 계층 레벨은 데이터 구조상 계층적으로 구분되는 단위 일 수 있다. 예를 들어 제1 폴더를 포함하는 상위 폴더는 제1 폴더 보다 계층 레벨이 높고, 제1 폴더가 포함하는 하위 폴더는 제1 폴더보다 계층 레벨이 낮을 수 있다.
모양 식별부(112)는 복수 개의 모양 중 사용자의 제스처 입력에 대응하는 제1 모양을 식별할 수 있다. 제스처 입력은 사용자의 제스처 모양에 따라 다른 명령을 수행할 수 있도록 구분될 수 있다. 모양 식별부(112)는 미리 설정되는 복수 개의 모양 중 영상 인식 센서 등을 통해 사용자의 제스처 입력을 감지하여 상기 사용자의 제스처 입력에 대응하는 제1 모양을 식별할 수 있다.
예를 들어, 사용자의 제스처 입력 모양은 한 손가락을 든 포인팅 모양, 두 손가락을 든 모양, 손바닥을 편 모양, 주먹을 쥔 모양 등으로 구분될 수 있고, 이외에도 사용자가 표현할 수 있는 제스처 모양을 설정하여 구분할 수 있다.
패턴 식별부(113)는 복수 개의 패턴 중 사용자의 제스처 입력에 대응하는 제1 패턴을 식별할 수 있다. 제스처 입력은 사용자의 제스처 패턴에 따라 다른 명령을 수행할 수 있도록 구분될 수 있다. 패턴 식별부(113)는 미리 설정되는 복수 개의 패턴 중 영상 인식 센서 등을 통해 사용자의 제스처 입력을 감지하여 상기 사용자의 제스처 패턴에 대응하는 제1 패턴을 식별할 수 있다.
예를 들어, 사용자의 제스처 입력 패턴은 원을 그리는 패턴, 좌우로 이동하는 패턴, 상하로 이동하는 패턴, 특정 모양을 그리는 패턴 등으로 구분될 수 있고, 이외에도 사용자가 표현할 수 있는 제스처 패턴을 설정하여 구분할 수 있다.
또한, 패턴 식별부(113)는 제스처 패턴의 제1 속도를 식별하고, 상기 제1 패턴 및 제1 속도에 대응하는 제2 패턴을 식별할 수 있다. 사용자는 동일한 제스처 패턴이라도 다른 속도로 제스처 패턴을 입력할 수 있으며, 이에 따라 상기 제1 속도를 제스처 패턴을 구분하는 추가적인 요소로 사용할 수 있다. 이를 통해 동일한 제1 패턴도 속도에 따라 별도의 제2 패턴으로 구분될 수 있다.
더불어, 패턴 식별부(113)는 제스처 패턴의 제1 횟수를 식별하고, 상기 제1 패턴 및 제1 횟수에 대응하는 제3 패턴을 식별할 수 있다. 사용자는 동일한 제스처 패턴을 반복할 수 있고, 이에 따라 상기 제1 패턴이 반복되는 제1 횟수를 제스처 패턴을 구분하는 추가적인 요소로 사용할 수 있다. 또한, 제스처 패턴을 구분하기 위해 속도 및 횟수를 모두 고려할 수 있다.
음성 식별부(114)는 사용자 입력에 연관되는 사용자 음성을 분석하여 사용자 음성에 대응하는 제1 음성 명령을 식별할 수 있다. 사용자의 음성은 음성 인식 센서 등을 통해 감지될 수 있고, 사용자의 제스처 입력이 동일하더라도 상기 사용자의 음성 입력에 따라 다른 명령을 수행하도록 구분할 수 있다.
상술한 바와 같이 사용자의 제스처 입력을 제스처 입력의 깊이 값, 모양 및 패턴 중 적어도 하나에 따라 다양하게 구분할 수 있고, 제스처 입력 이외의 다른 입력 수단인 음성 입력을 통해 더 세분화하여 구분할 수 있다.
결정부(120)는 상기 식별된 제스처 입력의 깊이 값, 모양 및 패턴 중 적어도 두 개의 조합에 대응하는 제1 명령을 결정할 수 있다. 예를 들어, 상기 조합은 사용자 제스처 입력의 제1 모양 및 제1 패턴의 조합, 사용자 제스처 입력의 제1 깊이 값 및 제1 패턴의 조합, 사용자 제스처 입력의 제1 깊이 값 및 제1 모양의 조합 또는 사용자 제스처 입력의 제1 모양, 제1 깊이 값 및 제1 패턴의 조합일 수 있다.
또한, 결정부(120)는 상기 제1 패턴 및 상기 제1 모양과 상이한 제2 모양이 상기 사용자의 입력에 대응하는 경우, 상기 제2 모양 및 상기 제1 패턴의 조합에 대응하는 명령을 결정할 수 있다. 복수 개의 명령의 계층 체계 중 상기 제2 모양 및 상기 제1 패턴의 조합에 대응하는 명령은 상기 제1 명령과 계층 레벨이 상이할 수 있다.
예를 들어, 상기 제1 모양 및 제1 패턴의 조합에서는 사용자 제스처 입력의 제1 패턴이 동일하더라도, 제1 모양에 따라 다른 명령에 대응할 수 있다. 한 손가락을 든 제스처 모양에 대해서는 파일 이동 명령에 대응시키고, 손바닥을 편 제스처 모양에 대해서는 폴더 이동 명령에 대응시킬 수 있다.
또한, 한 손가락을 든 제스처 모양에 대해서는 하나의 계층 레벨 차이가 나는 폴더로의 이동 명령에 대응시키고, 두 손가락을 든 제스처 모양에 대해서는 두 개의 계층 레벨 차이가 나는 폴더로의 이동 명령에 대응시킬 수 있다.
결정부(120)는 어플리케이션에 따라 다른 명령을 수행하도록 할 수 있다.
예를 들어, 미디어 어플리케이션에서 한 손가락을 든 제스처 모양에 대해서는 실행 중인 음악 또는 동영상의 목록 이동 명령에 대응시키고, 손바닥을 편 제스처 모양에 대해서는 상기 음악 또는 동영상을 분류하는 카테고리의 이동 명령에 대응시킬 수 있다.
또한 이미지 뷰어 어플리케이션에서 한 손가락을 든 제스처 모양에 대해서는 이미지 이동 명령에 대응시키고, 손바닥을 편 제스처 모양에 대해서는 상기 이미지를 분류하는 카테고리의 이동 명령에 대응시킬 수 있다.
다만, 미디어 어플리케이션 또는 이미지 뷰어 어플리케이션에서 제스처 모양에 따라 구분되는 것은 설명의 목적일 뿐 이에 제한되는 것은 아니며, 다른 어플리케이션에서도 사용자의 제스처 입력에 따라 다른 명령에 대응될 수 있음은 해당 기술 분야의 통상의 기술자에게 있어 명백하다.
결정부(120)는 상기 제1 깊이 값 및 제1 패턴의 조합 에서는 사용자 제스처 입력의 제1 패턴이 동일하더라도 제1 깊이 값에 따라 다른 명령에 대응시킬 수 있다.
결정부(120)는 상기 제1 깊이 값 및 상기 제1 패턴과 상이한 제2 깊이 값이 사용자의 입력에 대응하는 경우, 상기 제2 깊이 값 및 상기 제1 패턴의 조합에 대응하는 명령을 결정할 수 있다. 복수 개의 명령 계층 체계 중 상기 제2 깊이 값 및 상기 제1 패턴의 조합에 대응하는 명령은 상기 제1 명령과 계층 레벨이 상이할 수 있다.
일반적으로 사용자의 제스처 입력 깊이 값이 감소하는 것은 사용자와 입력 지원 장치(100)와의 거리가 가까워 지는 것을 의미하고, 이는 사용자가 파일을 선택하거나 하위 폴더로의 이동으로 사용자에게 직관적으로 인식될 수 있다. 이와 반대로, 사용자의 제스처 입력 깊이 값이 증가하는 것은 사용자와 입력 지원 장치(100)와의 거리가 멀어지는 것을 의미하고, 이는 사용자가 상위 폴더로의 이동으로 사용자에게 직관적으로 인식될 수 있다.
또한, 2 단계 이상의 계층 레벨을 한 번의 제스처 입력을 통해 이동할 수 있다. 각 계층 레벨 별로 대응되는 깊이 값의 변화를 설정할 수 있고, 사용자의 제스처 입력 깊이 값의 변화에 따라 대응되는 계층 레벨로 추가적인 동작 없이 이동할 수 있다.
예를 들어, 사용자의 제스처 입력 깊이 값의 변화량이 2 단계 하위 폴더의 계층 레벨에 대응하는 경우, 한 번의 사용자의 제스처 입력을 통해 상기 대응되는 2 단계 하위 폴더로 이동할 수 있다.
결정부(120)는 음성 식별부(114)를 통해 식별된 제1 음성 명령과 상기 제스처 입력의 깊이 값, 모양 및 패턴의 적어도 두 개의 조합에 대응하는 제2 명령을 결정할 수 있다. 결정부(120)는 동일한 조합이라도 상기 제1 음성 명령에 따라 다른 명령에 대응시킬 수 있다.
예를 들어, 동일한 제스처 모양 및 제스처 패턴이라도 사용자의 제1 음성 명령에 따라 파일 이동 또는 폴더 이동으로 대응되는 명령이 구분될 수 있다. 이를 통해 복잡한 제스처 입력 없이 사용자의 입력 종류의 수가 좀 더 다양하게 구분될 수 있다.
파싱부(130)는 사용자의 제스처 입력의 깊이 값, 모양 및 패턴 중 적어도 두 개의 조합을 복수 개의 서브 조합으로 파싱할 수 있다. 사용자의 제스처 입력은 하나의 단위로 이루어 질 수도 있으나, 연속한 동작으로 이루어 질 수 있다. 이 경우, 파싱부(130)는 연속한 하나의 제스처를 하나의 입력으로 구분할 수 있는 단위로 파싱할 수 있다.
결정부(120)는 상기 복수 개의 서브 조합에 대응하는 적어도 하나의 명령을 결정할 수 있다. 파싱부(130)에서 파싱한 복수 개의 서브 조합에 대응하는 하나의 명령을 결정함으로써, 연속된 하나의 제스처 입력을 서브 조합 단위의 명령으로 파싱하여 결정할 수 있다.
이를 통해, 사용자는 하나의 입력으로 구분할 수 있는 단위로 제스처 입력을 여러 번 반복할 필요 없이 한 번의 연속된 제스처 입력을 통해서도 입력 지원 장치(100)에 제스처 입력을 전달할 수 있다.
예를 들어, 제스처 입력의 깊이 값의 변화를 주고, 연이어 좌우로 이동하는 제스처 패턴을 통해 하나의 제스처 입력만으로 폴더를 선택하고, 폴더 내의 파일을 이동할 수 있다.
도 2 및 도 3은 일실시예에 따른 사용자의 입력 모양에 대응하여 파일 이동 또는 폴더 이동을 나타내는 화면을 도시한다.
도 2는 한 손가락을 든 포인팅 모양의 제스처(210)에 의해 파일 이동을 나타내는 화면을 도시한다. 화면(220)에서는 첫 번째 파일이 선택되어 있는 상태이고, 화면(230)에서는 포인팅 모양의 제스처(210)를 우측 방향으로 이동하는 패턴에 의해 두 번째 파일로 이동된 상태를 도시한다.
도 3은 손바닥을 편 모양의 제스처(310)에 의해 폴더 이동을 나타내는 화면을 도시한다. 화면(320)에서는 현재 선택되어 있는 폴더의 파일을 도시한다. 화면(330)에서는 손바닥을 편 모양의 제스처(310)를 우측 방향으로 이동하는 패턴에 의해 다른 폴더로 이동된 상태를 도시한다.
도 2 및 도 3에 도시된 바와 같이, 제스처의 모양에 따라 포인팅 모양의 제스처(210)는 개별 파일 이동 명령에 대응하고, 손바닥을 편 모양의 제스처(310)는 폴더 이동 명령에 대응할 수 있다.
제스처의 모양에 따라 패턴이 동일하더라도 명령이 수행되는 계층 레벨이 파일 레벨 또는 폴더 레벨로 구분될 수 있어 사용자는 제스처의 모양만 다르게 하여 구분된 명령을 제스처 입력을 통해 입력 처리 장치(100)로 전달할 수 있다.
다만, 도 2 및 도 3에 도시된 실시예는 일 예일뿐이며, 사용자의 설정에 따라 제스처 모양에 대응하는 명령을 다르게 설정할 수 있다.
도 4 및 도 5는 일실시예에 따른 사용자 입력의 깊이 값에 대응하여 동일 계층 레벨 이동 또는 하위 계층 레벨 이동을 나타내는 화면을 도시한다.
도 4에서는 사용자 제스처 입력의 깊이 값의 변화 없이 손바닥을 편 모양의 제스처(410)를 우측으로 이동하는 패턴(420) 또는 좌측으로 이동하는 패턴(430)에 의해 동일 계층 레벨에서의 이동을 나타내는 화면(440)을 도시한다.
제스처(410)의 깊이 값의 변화 없이 단지 좌우로 이동하는 패턴만을 포함하는 제스처 입력인 경우, 상기 제스처 입력은 동일 계층 레벨 이동 명령에 대응할 수 있다.
도 5는 손바닥을 편 모양의 제스처(510)가 깊이 값이 감소하는 방향(520)으로 이동을 도시한다. 이를 통해 선택된 폴더에 포함된 파일을 나타내는 화면(550)으로 전환될 수 있다.
제스처(510)가 깊이 값이 감소하는 방향으로 이동하여 화면(550)으로 전환된 후 도 4와 마찬가지로 깊이 값의 변화 없이 제스처(410)를 우측으로 이동하는 패턴(530) 또는 좌측으로 이동하는 패턴(540)에 의해 동일 계층 레벨에서 파일 간에 이동할 수 있다.
제스처의 깊이 값에 따라 패턴 또는 모양이 동일하더라도 명령이 동일 계층 레벨 이동 또는 계층 레벨 간 이동으로 구분될 수 있어 사용자는 제스처의 깊이 값을 구분된 명령을 제스처 입력을 통해 입력 처리 장치(100)로 전달할 수 있다.
또한, 제스처 입력의 깊이 값의 변화를 계층 레벨 간 이동으로 인식하는 제1 임계값을 설정할 수 있다. 예를 들어, 제스처 입력 깊이 값의 변화가 제1 임계값 미만인 경우에는 동일 계층 레벨 이동의 명령이 수행되고, 제스처 입력 깊이 값의 변화가 제1 임계값 이상인 경우에는 계층 레벨 간 이동의 명령이 수행 될 수 있다. 이를 통해 제스처 입력 과정에서 발생하는 작은 깊이 값의 변화로 인해 사용자가 의도하지 않은 계층 레벨 간 이동을 방지할 수 있다.
도 6은 일실시예에 따른 사용자 입력의 깊이 값에 대응하여 각 계층 레벨로의 이동을 도시한다.
사용자 제스처 입력(610)의 깊이 값이 제1 계층 레벨(615)의 깊이 값에 대응하는 경우, 상기 사용자 제스처 입력(610)은 상기 제1 계층 레벨 이동 명령에 대응할 수 있다.
또한, 사용자 제스처 입력(620)의 깊이 값이 제2 계층 레벨(625)의 깊이 값에 대응하는 경우, 상기 사용자 제스처 입력(620)은 상기 제2 계층 레벨 이동 명령에 대응할 수 있다.
마찬가지로, 사용자 제스처 입력(630)의 깊이 값이 제3 계층 레벨(635)의 깊이 값에 대응하는 경우, 상기 사용자 제스처 입력(630)은 상기 제3 계층 레벨 이동 명령에 대응할 수 있다.
이와 같이 각 계층 레벨(615, 625, 635) 별로 깊이 값을 미리 설정할 수 있고, 사용자의 제스처 입력의 깊이 값에 대응하는 계층 레벨로 다른 계층 레벨을 거치지 않고 바로 이동할 수 있다.
도 7은 일실시예에 따른, 사용자 입력에 대응하여 미디어 어플리케이션의 동작을 도시한다.
사용자 제스처 입력의 깊이 값, 모양 및 패턴 중 적어도 두 개의 조합은 어플리케이션에 따라 다른 명령에 대응될 수 있다.
미디어 어플리케이션(713)에서 한 손가락을 든 모양의 포인팅 제스처(710)는 미디어 어플리케이션에서 실행할 컨텐츠 이동 명령으로 대응될 수 있다. 포인팅 제스처(710)를 우측으로 이동하는 패턴(712)에 의해 플레이 리스트 상 다음 컨텐츠로 이동할 수 있고, 좌측으로 이동하는 패턴(711)에 의해 플레이 리스트 상 이전 컨텐츠로 이동할 수 있다.
미디어 어플리케이션(723)에서 손바닥을 편 모양의 제스처(720)는 카테고리 이동 명령으로 대응될 수 있다. 제스처(720)를 우측으로 이동하는 패턴(722) 또는 좌측으로 이동하는 패턴(721)에 의해 카테고리 간 이동이 가능하다.
미디어 어플리케이션에서도 제스처 입력의 패턴이 동일하더라도 모양에 따라 다른 명령에 대응될 수 있다. 또한, 상술한 바와 같이 제스처 입력의 모양에 따라 다른 계층의 명령이 수행되도록 대응될 수 있다.
도 8은 일실시예에 따른 사용자 입력에 대응하여 UI 오브젝트가 활성화 되는 단계를 도시한다.
단계(820)에서 입력 지원 장치(100)에 포함되는 영상 인식 센서를 통해 사용자의 제스처 입력을 인식할 수 있다. 인식된 제스처 입력의 깊이 값, 모양 및 패턴을 식별부(110)를 통해 식별할 수 있다. 결정부(120)는 상기 식별된 제스처 입력의 깊이 값, 모양 및 패턴 중 적어도 두 개의 조합에 대응하는 명령을 결정할 수 있다. 또한, 결정되는 명령은 어플리케이션마다 다른 명령일 수 있다.
단계(830)에서 사용자의 제스처 입력(810)의 깊이 값, 모양 및 패턴 중 적어도 두 개의 조합에 대응하는 명령을 결정하여 상기 명령에 따라 제어되는 UI(User Interface) 오브젝트를 활성화 시킬 수 있다. 예를 들어, 사용자의 제스처 입력(810)이 플레이 타임 바(831)를 조절하는 명령에 대응되는 경우, 플레이타임 바(831)의 색상 등을 강조하여 표시할 수 있다. 이를 통해 사용자는 제스처 입력(810)을 통해 어플리케이션의 어떤 기능을 실행할 수 있는 지에 대한 어포던스(Affordance)를 제공받을 수 있다.
단계(840)에서는 사용자의 제스처 입력(810)의 깊이 값, 모양 및 패턴 중 적어도 두 개의 조합에 대응하는 명령을 결정하여 상기 명령에 따라 제어되는 UI 오브젝트를 하이라이트 시켜 화면 상에 표시할 수 있다. 예를 들어, 사용자의 제스처 입력(810)이 플레이 타임 바를 조절하는 명령에 대응되는 경우, 플레이 타임 바에 사용자의 제스처 입력(810)을 하이라이트 시킨 이미지(841)를 표시할 수 있다.
제스처 입력(810)으로 어떤 기능이 실행되는지 화면 상에 나타나는 정보가 없는 경우, 사용자가 실제 제스처 입력(810)을 통해 어떤 기능이 실행되는지 확인하지 않고서는 제스처 입력(810)을 통해 실행되는 기능을 미리 알 수 없다.
다만, 상술한 바와 같이 제스처 입력(810)으로 실행되는 기능이 화면에 표시되는 UI를 통해 사용자는 시각적 어포던스(Visual Affordance)를 제공 받을 수 있다. 이를 통해 사용자가 실제 제스처 입력(810)을 통해 어떤 기능이 실행되는지 확인하지 않고서도 제스처 입력(810)을 통해 실행되는 기능을 미리 알 수 있다.
도 9는 일실시예에 따른 사용자 입력의 조합을 복수 개의 서브 조합으로 파싱하여 처리하는 과정을 도시한다.
사용자의 제스처 입력(910)은 하나의 단위로 이루어 질 수도 있으나, 연속한 하나의 제스처 입력(920)으로 이루어 질 수 있다. 이 경우, 파싱부(130)는 연속한 하나의 제스처 입력(920)의 깊이 값, 모양 및 패턴 중 적어도 두 개의 조합을 하나의 입력으로 구분할 수 있는 서브 조합(921, 922, 923, 924)으로 파싱할 수 있다.
결정부(120)는 각 서브 조합(921, 922, 923, 924)에 대응하는 명령을 결정할 수 있다. 이를 통해 각 서브 조합(921, 922, 923, 924)에 대응하는 명령이 순차적으로 실행되어 연속한 하나의 제스처(920)를 통해서도 사용자가 의도한 명령이 실행될 수 있다.
예를 들어, 제스처 입력의 서브 조합(921)은 깊이 값이 감소하는 방향으로 하위 계층 레벨 이동 명령에 대응할 수 있다. 따라서, 단계(930)에서 폴더(931)를 선택하여 폴더(931)의 하위 계층 레벨로 이동할 수 있다.
제스처 입력의 서브 조합(922)은 깊이 값의 변화 없이 우측으로 이동하는 패턴을 통해 폴더(941)에서 폴더(942)로 이동할 수 있다. 제스처 입력의 서브 조합(923)은 깊이 값이 감소하는 방향으로 하위 계층 레벨 이동 명령에 대응할 수 있고 폴더(942)를 선택하여 폴더(942)의 하위 계층 레벨로 이동할 수 있다.
제스처 입력의 서브 조합(924)는 깊이 값의 변화 없이 좌측으로 이동하는 패턴을 통해 파일(951)에서 파일(952)로 이동할 수 있다.
이와 같이 연속한 하나의 제스처 입력(920)를 각 서브 조합(921, 922, 923, 924)으로 분리하여 각 서브 조합(921, 922, 923, 924)에 대응하는 명령을 수행할 수 있다. 이를 통해 사용자는, 제스처 입력을 하나의 입력 단위로 나누어서 반복할 필요 없이 하나의 연속된 제스처를 통해서도 원하는 명령을 실행할 수 있다.
도 10은 일실시예에 따른 사용자 입력의 모양 및 패턴에 대응하는 명령을 결정하는 방법을 나타내는 흐름도이다.
단계(1010)에서 모양 식별부(112)는 복수 개의 모양 중 사용자의 입력에 대응하는 제1 모양을 식별할 수 있다. 모양 식별부(112)는 미리 설정되는 복수 개의 모양 중 영상 인식 센서 등을 통해 사용자의 제스처 입력을 감지하여 상기 사용자의 제스처 입력에 대응하는 제1 모양을 식별할 수 있다.
단계(1020)에서 패턴 식별부(113)는 복수 개의 제스처 패턴 중 사용자의 입력에 대응하는 제1 패턴을 식별할 수 있다. 패턴 식별부(113)는 미리 설정되는 복수 개의 패턴 중 영상 인식 센서 등을 통해 사용자의 제스처 입력을 감지하여 상기 사용자의 제스처 패턴에 대응하는 제1 패턴을 식별할 수 있다.
단계(1030)에서 결정부(120)는 제1 모양 및 제1 패턴의 조합에 대응하는 제1 명령을 결정할 수 있다. 제스처 입력의 제1 패턴이 동일하더라도 제1 모양에 따라 대응되는 명령이 구분될 수 있다.
도 11은 일실시예에 따른 사용자 입력의 깊이 값 및 패턴에 대응하는 명령을 결정하는 방법을 나타내는 흐름도이다.
단계(1110)에서 깊이 식별부(111)는 사용자의 입력에 대응하는 제1 깊이 값을 식별할 수 있다. 제스처 입력은 입력 처리 장치(100)와 이격된 공간에서의 사용자 제스처에 따라 감지되기 때문에 입력 처리 장치(100)와 사용자와의 거리에 따라 깊이 값을 식별하여 사용자의 제스처 입력을 구분할 수 있다.
단계(1120)에서 패턴 식별부(113)는 복수 개의 제스처 패턴 중 사용자의 입력에 대응하는 제1 패턴을 식별할 수 있다. 패턴 식별부(113)는 미리 설정되는 복수 개의 패턴 중 영상 인식 센서 등을 통해 사용자의 제스처 입력을 감지하여 상기 사용자의 제스처 패턴에 대응하는 제1 패턴을 식별할 수 있다.
단계(1130)에서 결정부(120)는 제1 깊이 값 및 제1 패턴의 조합에 대응하는 제1 명령을 결정할 수 있다. 예를 들어, 사용자 제스처 입력의 제1 패턴이 동일하더라도 제1 깊이 값에 따라 명령이 구분될 수 있다.
또한, 상기 제1 깊이 값 및 상기 제1 패턴과 상이한 제2 깊이 값이 사용자의 입력에 대응하는 경우, 상기 제2 깊이 값 및 상기 제1 패턴의 조합에 대응하는 명령을 결정할 수 있다. 복수 개의 명령 계층 체계 중 상기 제2 깊이 값 및 상기 제1 패턴의 조합에 대응하는 명령은 상기 제1 명령과 계층 레벨이 상이할 수 있다.
도 12는 일실시예에 따른 사용자 입력의 조합을 서브 조합으로 파싱하고, 각 서브 조합에 대응하는 명령을 결정하는 방법을 나타내는 흐름도이다.
단계(1210)에서 식별부(110)는 사용자의 입력에 대응하는 제1 깊이 값 및 제1 패턴을 식별할 수 있다. 도 11에서 설명한 바와 같이 사용자 입력의 제1 깊이 값 및 제1 패턴을 식별하고, 제1 깊이 값 및 제1 패턴의 조합에 대응하는 명령을 결정할 수 있다.
단계(1220)에서 파싱부(130)는 상기 제1 깊이 값 및 제1 패턴의 조합을 복수 개의 서브 조합으로 파싱할 수 있다. 사용자의 제스처 입력은 하나의 단위로 이루어 질 수도 있으나, 연속한 동작으로 이루어 질 수 있다. 이 경우, 파싱부(130)는 연속한 하나의 제스처를 하나의 입력으로 구분할 수 있는 단위로 파싱할 수 있다.
단계(1230)에서 결정부(120)는 상기 복수 개의 서브 조합에 대응하는 적어도 하나의 제2 명령을 결정할 수 있다. 복수 개의 서브 조합에 대응하는 제2 명령을 결정하여, 각 서브 조합에 따른 제2 명령을 수행할 수 있다.
와 같이 연속한 하나의 제스처 입력을 각 서브 조합으로 분리하여 각 서브 조합에 대응하는 명령을 수행할 수 있다. 이를 통해 사용자는, 제스처 입력을 하나의 입력 단위로 나누어서 반복할 필요 없이 하나의 연속된 제스처를 통해서도 원하는 명령을 실행할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 복수 개의 모양 중 사용자의 입력에 대응하는 제1 모양을 식별하는 모양 식별부;
    복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 패턴 식별부; 및
    상기 제1 모양 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 결정부
    를 포함하는 입력 처리 장치.
  2. 제1항에 있어서,
    상기 사용자 입력에 연관되는 사용자 음성을 분석하여 상기 사용자 음성에 대응하는 제1 음성 명령을 식별하는 음성 식별부
    를 더 포함하는 입력 처리 장치.
  3. 제2항에 있어서,
    상기 결정부는, 상기 제1 모양, 상기 제1 패턴 및 상기 제1 음성 명령의 조합에 대응하는 제2 명령을 결정하는 입력 처리 장치.
  4. 제1항에 있어서,
    상기 패턴 식별부는, 상기 사용자의 입력의 적어도 일부에 포함되는 제1 속도를 식별하고, 상기 제1 패턴 및 상기 제1 속도에 대응하는 제2 패턴을 식별하는 입력 처리 장치.
  5. 제1항에 있어서,
    상기 제1 모양 및 상기 제1 패턴의 조합을 복수 개의 서브 조합으로 파싱하는 파싱부
    를 더 포함하는 입력 처리 장치.
  6. 제5항에 있어서,
    상기 결정부는, 상기 복수 개의 서브 조합에 대응하는 적어도 하나의 제3 명령을 결정하는, 입력 처리 장치.
  7. 제1항에 있어서,
    상기 사용자의 입력에 대응하는 제1 깊이 값을 식별하는 깊이 식별부
    를 더 포함하고,
    상기 결정부는, 상기 제1 모양, 상기 제1 패턴 및 상기 제1 깊이 값의 조합에 대응하는 제4 명령을 결정하는, 입력 처리 장치.
  8. 제1항에 있어서,
    상기 결정부는, 상기 제1 패턴 및 상기 제1 모양과 상이한 제2 모양이 상기 사용자의 입력에 대응하는 경우, 상기 제2 모양 및 상기 제1 패턴의 조합에 대응하는 제5 명령을 결정하고,
    복수 개의 명령의 계층 체계 중, 상기 제5 명령은 상기 제1 명령과 계층 레벨이 상이한, 입력 처리 장치.
  9. 제8항에 있어서,
    상기 제1 명령이 파일 이동 명령인 경우, 상기 제5 명령은 폴더 이동 명령인, 입력 처리 장치.
  10. 제8항에 있어서,
    미디어 어플리케이션에서 상기 제1 명령이 컨텐츠 이동인 경우, 상기 제5 명령은 카테고리 이동 명령인, 입력 처리 장치.
  11. 제8항에 있어서,
    이미지 뷰어 어플리케이션에서 상기 제1 명령이 이미지 이동인 경우, 상기 제5 명령은 앨범 이동 명령인, 입력 처리 장치.
  12. 사용자의 입력에 대응하는 제1 깊이 값을 식별하는 깊이 식별부;
    복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 패턴 식별부; 및
    상기 제1 깊이 값 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 결정부
    를 포함하는 입력 처리 장치.
  13. 제12항에 있어서,
    상기 결정부는, 상기 제1 깊이 값 및 상기 제1 패턴과 상이한 제2 깊이 값이 상기 사용자의 입력에 대응하는 경우, 상기 제2 깊이 값 및 상기 제1 패턴의 조합에 대응하는 제2 명령을 결정하고,
    복수 개의 명령 계층 체계 중, 상기 제2 명령은 상기 제1 명령과 계층 레벨이 상이한, 입력 처리 장치.
  14. 제13항에 있어서,
    상기 제2 명령은, 상기 제2 깊이 값이 미리 설정된 제1 계층 레벨의 깊이 값에 대응하는 경우, 상기 제1 계층 레벨 이동 명령인, 입력 처리 장치.
  15. 제12항에 있어서,
    상기 제1 깊이 값 및 상기 제1 패턴의 조합을 복수 개의 서브 조합으로 파싱하는 파싱부
    를 더 포함하고,
    상기 결정부는, 상기 복수 개의 서브 조합에 대응하는 적어도 하나의 제2 명령을 결정하는, 입력 처리 장치.
  16. 복수 개의 모양 중 사용자의 입력에 대응하는 제1 모양을 식별하는 단계;
    복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 단계; 및
    상기 제1 모양 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 단계
    를 포함하는 입력 처리 방법.
  17. 제16항에 있어서,
    상기 사용자 입력에 연관되는 사용자 음성을 분석하여 상기 사용자 음성에 대응하는 제1 음성 명령을 식별하는 단계
    를 더 포함하고,
    상기 결정하는 단계는, 상기 제1 모양, 상기 제1 패턴 및 상기 제1 음성 명령의 조합에 대응하는 제2 명령을 결정하는, 입력 처리 방법.
  18. 사용자의 입력에 대응하는 제1 깊이 값을 식별하는 단계;
    복수 개의 제스처 패턴 중 상기 사용자의 입력에 대응하는 제1 패턴을 식별하는 단계; 및
    상기 제1 깊이 값 및 상기 제1 패턴의 조합에 대응하는 제1 명령을 결정하는 단계
    를 포함하는 입력 처리 방법.
  19. 제18항에 있어서,
    상기 제1 깊이 값 및 상기 제1 패턴의 조합을 복수 개의 서브 조합으로 파싱하는 단계
    를 더 포함하는, 입력 처리 방법.
  20. 제19항에 있어서,
    상기 결정하는 단계는, 상기 복수 개의 서브 조합에 대응하는 제2 명령을 결정하는, 입력 처리 방법.
PCT/KR2015/002265 2014-05-16 2015-03-10 입력 처리 장치 및 방법 WO2015174623A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/311,021 US10817138B2 (en) 2014-05-16 2015-03-10 Device and method for input process

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0058972 2014-05-16
KR1020140058972A KR102265143B1 (ko) 2014-05-16 2014-05-16 입력 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2015174623A1 true WO2015174623A1 (ko) 2015-11-19

Family

ID=54480134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002265 WO2015174623A1 (ko) 2014-05-16 2015-03-10 입력 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US10817138B2 (ko)
KR (1) KR102265143B1 (ko)
WO (1) WO2015174623A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955698A (zh) * 2016-05-04 2016-09-21 深圳市凯立德科技股份有限公司 一种语音操控方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11104597B2 (en) 2016-10-31 2021-08-31 Nippon Electric Glass Co., Ltd. Glass production device, glass production method, glass supply pipe, and molten glass transport method
CN111294542B (zh) * 2020-02-17 2022-04-08 维沃移动通信有限公司 一种图像存储方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050994A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법
KR20100000174A (ko) * 2008-06-24 2010-01-06 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR20120026956A (ko) * 2010-09-10 2012-03-20 삼성전자주식회사 동작 인식 장치 및 그 방법
KR20130124061A (ko) * 2012-05-04 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20140017829A (ko) * 2012-08-01 2014-02-12 삼성전자주식회사 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
JP4489825B2 (ja) * 2006-09-07 2010-06-23 学校法人 大阪電気通信大学 ジェスチャ入力システム、方法及びプログラム
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US9317128B2 (en) * 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
JP5187280B2 (ja) * 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法
KR20110010906A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
KR20110028809A (ko) 2009-09-14 2011-03-22 엘지전자 주식회사 이동 단말기 및 그 정보처리방법
EP2482175A1 (en) * 2009-09-23 2012-08-01 Dingnan Han Method and interface for man-machine interaction
US20140053115A1 (en) * 2009-10-13 2014-02-20 Pointgrab Ltd. Computer vision gesture based control of a device
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
WO2011066343A2 (en) * 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands
JP2011204019A (ja) * 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP5148660B2 (ja) * 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
KR20120000663A (ko) 2010-06-28 2012-01-04 주식회사 팬택 3ｄ 객체 처리 장치
JP5589625B2 (ja) * 2010-07-08 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2012027515A (ja) 2010-07-20 2012-02-09 Hitachi Consumer Electronics Co Ltd 入力方法及び入力装置
US9483175B2 (en) * 2010-07-26 2016-11-01 Apple Inc. Device, method, and graphical user interface for navigating through a hierarchy
US20120050007A1 (en) 2010-08-24 2012-03-01 Babak Forutanpour Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
JP5617448B2 (ja) * 2010-08-31 2014-11-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9329691B2 (en) * 2010-09-22 2016-05-03 Shimane Prefectural Government Operation input apparatus and method using distinct determination and control areas
JP5515067B2 (ja) 2011-07-05 2014-06-11 島根県 操作入力装置および操作判定方法並びにプログラム
US20120069055A1 (en) * 2010-09-22 2012-03-22 Nikon Corporation Image display apparatus
KR20120055434A (ko) 2010-11-22 2012-05-31 삼성전자주식회사 디스플레이 시스템 및 그 디스플레이 방법
US9851866B2 (en) * 2010-11-23 2017-12-26 Apple Inc. Presenting and browsing items in a tilted 3D space
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR20140024854A (ko) * 2011-02-08 2014-03-03 하워쓰, 인크. 멀티모달 터치스크린 상호대화 장치들, 방법들 및 시스템들
US20120206348A1 (en) * 2011-02-10 2012-08-16 Kim Sangki Display device and method of controlling the same
WO2012117570A1 (ja) * 2011-03-03 2012-09-07 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
JP5845002B2 (ja) * 2011-06-07 2016-01-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101873741B1 (ko) * 2011-10-26 2018-07-03 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR101710547B1 (ko) * 2012-01-10 2017-02-27 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9817568B2 (en) * 2012-02-29 2017-11-14 Blackberry Limited System and method for controlling an electronic device
CN104169966A (zh) * 2012-03-05 2014-11-26 微软公司 基于光衰减来生成深度图像
CN108469899B (zh) * 2012-03-13 2021-08-10 视力移动技术有限公司 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
US9383895B1 (en) * 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
KR101392936B1 (ko) * 2012-06-29 2014-05-09 한국과학기술연구원 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
US9225810B2 (en) * 2012-07-03 2015-12-29 Sony Corporation Terminal device, information processing method, program, and storage medium
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
US9093072B2 (en) * 2012-07-20 2015-07-28 Microsoft Technology Licensing, Llc Speech and gesture recognition enhancement
SE537553C2 (sv) * 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
US9874977B1 (en) * 2012-08-07 2018-01-23 Amazon Technologies, Inc. Gesture based virtual devices
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
US20140118244A1 (en) * 2012-10-25 2014-05-01 Pointgrab Ltd. Control of a device by movement path of a hand
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
JP5518225B2 (ja) 2013-03-07 2014-06-11 富士通テン株式会社 ディスプレイ装置
US20150029092A1 (en) * 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US20150084859A1 (en) * 2013-09-23 2015-03-26 Yair ITZHAIK System and Method for Recognition and Response to Gesture Based Input
US10228768B2 (en) * 2014-03-25 2019-03-12 Analog Devices, Inc. Optical user interface
US9541415B2 (en) * 2014-08-28 2017-01-10 Telenav, Inc. Navigation system with touchless command mechanism and method of operation thereof
EP3454177B1 (en) * 2017-09-11 2020-06-10 Barco N.V. Method and system for efficient gesture control of equipment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050994A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법
KR20100000174A (ko) * 2008-06-24 2010-01-06 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR20120026956A (ko) * 2010-09-10 2012-03-20 삼성전자주식회사 동작 인식 장치 및 그 방법
KR20130124061A (ko) * 2012-05-04 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20140017829A (ko) * 2012-08-01 2014-02-12 삼성전자주식회사 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955698A (zh) * 2016-05-04 2016-09-21 深圳市凯立德科技股份有限公司 一种语音操控方法及装置

Also Published As

Publication number Publication date
KR20150131761A (ko) 2015-11-25
US20170083187A1 (en) 2017-03-23
KR102265143B1 (ko) 2021-06-15
US10817138B2 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
WO2015020272A1 (en) Mobile device and method of controlling therefor
WO2016024806A1 (en) Method and apparatus for providing image contents
WO2012033361A2 (en) Method and apparatus for selecting region on screen of mobile device
WO2015105271A1 (en) Apparatus and method of copying and pasting content in a computing device
EP3120217A1 (en) Display device and method for controlling the same
WO2013125914A1 (en) Method and apparatus for object size adjustment on a screen
WO2013141464A1 (ko) 터치 기반의 입력제어 방법
WO2016153260A1 (ko) 터치 기반 타이밍 게임 장치 및 방법
WO2012030194A1 (en) Method and apparatus for interfacing
WO2016080596A1 (ko) 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2013191458A1 (en) License verification method and apparatus, and computer readable storage medium storing program therefor
WO2014148689A1 (en) Display device capturing digital content and method of controlling threrfor
WO2015174623A1 (ko) 입력 처리 장치 및 방법
WO2016129923A1 (ko) 디스플레이 장치 및 디스플레이 방법 및 컴퓨터 판독가능 기록매체
WO2015084034A1 (ko) 이미지들을 표시하기 위한 방법 및 장치
WO2019112235A1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
EP3752978A1 (en) Electronic apparatus, method for processing image and computer-readable recording medium
WO2016182328A1 (ko) 컨텐츠 표시 제어 방법 및 컨텐츠 표시 제어 방법을 수행하는 사용자 단말
EP3659025A1 (en) Method for enabling interaction using fingerprint on display and electronic device thereof
WO2015080371A1 (en) Image search system and method
WO2015046683A1 (en) Digital device and control method thereof
WO2020209520A1 (ko) 명령 메뉴 출력 방법
WO2021040180A1 (ko) 디스플레이장치 및 그 제어방법
WO2018056587A1 (en) Electronic apparatus and controlling method thereof
WO2019132563A1 (ko) 이미지 패닝 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15791970

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15311021

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15791970

Country of ref document: EP

Kind code of ref document: A1