WO2017212641A1 - ユーザインタフェース装置及びユーザインタフェース方法 - Google Patents

ユーザインタフェース装置及びユーザインタフェース方法 Download PDF

Info

Publication number
WO2017212641A1
WO2017212641A1 PCT/JP2016/067377 JP2016067377W WO2017212641A1 WO 2017212641 A1 WO2017212641 A1 WO 2017212641A1 JP 2016067377 W JP2016067377 W JP 2016067377W WO 2017212641 A1 WO2017212641 A1 WO 2017212641A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation content
gesture
screen
user interface
determination unit
Prior art date
Application number
PCT/JP2016/067377
Other languages
English (en)
French (fr)
Inventor
淳 嶋田
博彦 樋口
佐藤　聡
修佑 関野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018522285A priority Critical patent/JP6373541B2/ja
Priority to PCT/JP2016/067377 priority patent/WO2017212641A1/ja
Publication of WO2017212641A1 publication Critical patent/WO2017212641A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Definitions

  • the present invention relates to a user interface device and a user interface method for executing an operation content corresponding to an operator's gesture.
  • Patent Document 1 discloses a user interface device including a touch device and a pen device as a user interface device such as a personal computer.
  • a user interface device including a touch device and a pen device as a user interface device such as a personal computer.
  • an event that is an operation content is determined from position information on the screen designated by the touch device and position information on the screen designated by the pen device.
  • the conventional user interface device is configured as described above, a personal computer or the like can be operated using a touch device and a pen device.
  • the functions of the touch device and the pen device are not significantly different from the functions of the mouse, the contents that can be operated with the touch device and the pen device are almost the same as the contents that can be operated with the mouse. For this reason, even if a touch device and a pen device are provided instead of a mouse as an input device, there is a problem that the contents that can be operated cannot be increased.
  • the present invention has been made to solve the above-described problems, and an object thereof is to obtain a user interface device and a user interface method that can increase the contents that can be operated.
  • a user interface device includes a pointing device that receives selection of an object to be operated, a camera that captures an operator, and a gesture detection unit that detects an operator's gesture from an operator's image captured by the camera. And an operation content determination unit that determines the operation content from the object selection reception status by the pointing device and the gesture detected by the gesture detection unit, and the operation content execution unit determines the operation content determined by the operation content determination unit. Is to be executed.
  • the operation content determination unit that determines the operation content from the object selection reception status by the pointing device and the gesture detected by the gesture detection unit is provided, and the operation content execution unit is determined by the operation content determination unit. Therefore, there is an effect that the contents that can be operated can be increased.
  • FIG. 1 It is a block diagram which shows the user interface apparatus by Embodiment 1 of this invention. It is a hardware block diagram of the operation control part 10 in the user interface device by Embodiment 1 of this invention. It is a hardware block diagram of a computer in case the operation control part 10 in a user interface apparatus is implement
  • FIG. 9A is an explanatory diagram showing a state before the operation content D of FIG. 5 is executed
  • FIG. 9B is an explanatory diagram showing a state after the operation content D of FIG. 5 is executed. It is explanatory drawing which shows a mode that the size of the window currently opened is changed by the operation content E of FIG. 5 being performed. It is explanatory drawing which shows a mode that the size of the object by which selection was received is changed by the operation content F of FIG.
  • FIG. 1 is a block diagram showing a user interface device according to Embodiment 1 of the present invention
  • FIG. 2 is a hardware block diagram of an operation control unit 10 in the user interface device according to Embodiment 1 of the present invention.
  • a mouse 1 is a pointing device that accepts selection of an object to be operated.
  • the pointing device is the mouse 1
  • the pointing device is not limited to the mouse 1 and may be, for example, a touch pen or a joystick.
  • the camera 2 is a spatial device that photographs the operator.
  • the operation control unit 10 includes a gesture detection unit 11, an operation content determination unit 15, and an operation content execution unit 18.
  • the gesture detection unit 11 includes a hand shape storage unit 12, a hand detection unit 13, and a gesture determination unit 14, and performs a process of detecting the operator's gesture from the operator's image captured by the camera 2.
  • the hand shape storage unit 12 is realized by, for example, the hand shape storage circuit 21 of FIG. 2, and stores video (hereinafter referred to as “hand video”) indicating the shape of the hand taken from various directions. ing.
  • the shape of the hand is photographed in various states, such as a state where the finger is open and a state where the finger is closed. For this reason, the hand shape memory
  • the hand detection unit 13 is realized by, for example, the hand detection circuit 22 of FIG. 2, and the camera 2 compares the video imaged by the camera 2 with the hand video image stored by the hand shape storage unit 12. It is determined whether or not the operator's hand is reflected in the captured image. If the operator's hand is reflected, a process of outputting position information indicating the three-dimensional coordinates where the hand is reflected is performed.
  • the gesture determination unit 14 is realized by, for example, the gesture determination circuit 23 in FIG. 2, and performs a process of detecting an operator's gesture from a change in three-dimensional coordinates indicated by the position information output from the hand detection unit 13. To do. That is, the gesture determination unit 14 performs a process of determining the moving direction of the hand from the change in the three-dimensional coordinates indicated by the position information output from the hand detection unit 13. In addition, if the movement direction of the hand is the vertical direction of the screen, the gesture determination unit 14 outputs detection information indicating that a gesture expressing a movement operation in the vertical direction of the screen is detected, and the movement direction of the hand is the horizontal direction of the screen.
  • output detection information indicating that a gesture expressing a movement motion in the horizontal direction of the screen has been detected. If the movement direction of the hand is the vertical direction of the screen, a gesture expressing a movement motion in the vertical direction of the screen is detected. A process of outputting detection information indicating that is performed.
  • the operation content determination unit 15 includes an operation content storage unit 16 and an operation content determination processing unit 17.
  • the operation content determination unit 15 performs a process of determining the operation content from the object selection reception status with the mouse 1 and the gesture detected by the gesture detection unit 11. carry out.
  • the operation content storage unit 16 is realized by, for example, the operation content storage circuit 24 of FIG. 2, and stores the object selection acceptance status by the mouse 1 and the correspondence between the gesture and the operation content.
  • the operation content determination processing unit 17 is realized by, for example, the operation content determination processing circuit 25 of FIG. 2, and the operation content storage unit 16 is referred to and an object selection acceptance status by the mouse 1 and output from the gesture determination unit 14 are output.
  • the process which determines operation content from the gesture which the detected detection information shows is implemented.
  • the operation content execution unit 18 is realized by, for example, the operation content execution circuit 26 of FIG. 2, and performs a process of executing the operation content determined by the operation content determination unit 15.
  • the display unit 3 is a display of a personal computer, for example, and displays the operation content executed by the operation content execution unit 18.
  • a hand shape storage unit 12, a hand detection unit 13, a gesture determination unit 14, an operation content storage unit 16, an operation content determination processing unit 17, and an operation content execution unit which are components of the operation control unit 10 in the user interface device. 2 are dedicated hardware as shown in FIG. 2, that is, a hand shape storage circuit 21, a hand detection circuit 22, a gesture determination circuit 23, an operation content storage circuit 24, an operation content determination processing circuit 25, and an operation content execution.
  • the one realized by the circuit 26 is assumed.
  • the hand shape memory circuit 21 and the operation content memory circuit 24 include, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EEPROM (Electrable Memory).
  • Nonvolatile or volatile semiconductor memories such as Only Memory), magnetic disks, flexible disks, optical disks, compact disks, minidisks, DVDs (Digital Versatile Discs), and the like are applicable.
  • the hand detection circuit 22, the gesture determination circuit 23, the operation content determination processing circuit 25, and the operation content execution circuit 26 are, for example, a single circuit, a composite circuit, a programmed processor, a processor programmed in parallel, an ASIC (Application Specific).
  • An integrated circuit (FPGA), a field-programmable gate array (FPGA), or a combination thereof is applicable.
  • the operation control unit 10 in the user interface device is not limited to that realized by dedicated hardware, and the operation control unit 10 is realized by software, firmware, or a combination of software and firmware. May be.
  • Software and firmware are stored as programs in the memory of the computer.
  • the computer means hardware that executes a program, and includes, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, a DSP (Digital Signal Processor), and the like.
  • FIG. 3 is a hardware configuration diagram of a computer when the operation control unit 10 in the user interface device is realized by software, firmware, or the like.
  • FIG. 4 is a flowchart showing a processing procedure when the operation control unit 10 in the user interface device is realized by software, firmware, or the like.
  • FIG. 2 shows an example in which each component of the operation control unit 10 in the user interface device is realized by dedicated hardware.
  • the operation control unit 10 in the user interface device is realized by software, firmware, or the like.
  • some components in the operation control unit 10 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • the camera 2 images the operator and outputs the operator's video to the hand detection unit 13 of the gesture detection unit 11.
  • the hand detection unit 13 of the gesture detection unit 11 receives the operator's image from the camera 2, the hand detection unit 13 compares the image with the hand image stored in the hand shape storage unit 12, and is photographed by the camera 2. It is determined whether or not the operator's hand is reflected in the video.
  • the hand detection unit 13 performs an object clipping process in the video output from the camera 2 (step ST1 in FIG. 4), and is stored in the shape of the clipped object and the hand shape storage unit 12. By performing pattern matching with the shape indicated by the hand image, it is determined whether or not the shape of the clipped object is the shape of the hand. If the shape of the cut-out object is a hand shape (in the case of YES at step ST2), the hand detection unit 13 determines that the operator's hand is reflected in the video imaged by the camera 2 (step ST3). ).
  • step ST2 If the shape of the cut out object is not the shape of the hand (step ST2: NO), the hand detection unit 13 determines that the operator's hand is not reflected in the video imaged by the camera 2 (step ST4). ), The gesture determination unit 14 is notified that the operator's hand is not shown.
  • the hand detection unit 13 includes: If the shape indicated by any of the hand images has a high degree of coincidence with the shape of the extracted object, it is determined that the shape of the extracted object is the shape of the hand. Since the object clipping process and the pattern matching process itself are well-known techniques, detailed description thereof is omitted.
  • the gesture determination unit 14 obtains position information (x, y, z) indicating the three-dimensional coordinates of the clipped object. (Step ST5).
  • x is the horizontal coordinate of the screen displayed on the display unit 3
  • y is the vertical coordinate of the screen displayed on the display unit 3
  • z is the vertical coordinate of the screen displayed on the display unit 3
  • position information (x, y, z) of the object position information of a plurality of feature points in the object may be output. For example, the center of gravity of the object is calculated and the center of gravity is calculated. The position information may be output.
  • the gesture determination unit 14 When the gesture determination unit 14 receives the position information (x, y, z) from the hand detection unit 13, the gesture determination unit 14 stores the position information (x, y, z) in the internal memory, and the position stored in the memory.
  • the movement direction of the operator's hand is determined from the history of information (x, y, z) (step ST6). That is, the gesture determination unit 14 determines that the moving direction of the hand is the left-right direction of the screen if the coordinate x in the left-right direction of the screen has changed, and if the coordinate y in the vertical direction of the screen has changed, It is determined that the moving direction is the vertical direction of the screen.
  • the gesture determination unit 14 determines that the moving direction of the hand is the vertical direction of the screen if the coordinate z in the vertical direction with respect to the screen changes.
  • the direction corresponding to the coordinate having the largest change is the moving direction of the hand.
  • the movement direction of the hand is the horizontal direction of the screen
  • the change of the coordinate y in the vertical direction of the screen is the largest, the movement direction of the hand is the vertical direction of the screen. If the change in the coordinate z of the direction is the largest, it is determined that the moving direction of the hand is the screen vertical direction.
  • the gesture determination unit 14 determines that the gesture expressing the movement operation in the vertical direction of the screen is being performed, and operates the detection information indicating that the gesture has been detected Detection information that is output to the content determination unit 15 and indicates that a gesture expressing a movement operation in the horizontal direction of the screen is being performed if the movement direction of the hand is the horizontal direction of the screen, and indicates that the gesture has been detected Is output to the operation content determination unit 15 (step ST7).
  • the gesture determination unit 14 determines that a gesture expressing a movement operation in the vertical direction of the screen is being performed, and detection information indicating that the gesture has been detected Is output to the operation content determination unit 15 (step ST7).
  • gesture determination unit 14 receives notification from operator detection unit 13 that the operator's hand is not shown, it outputs non-detection information indicating that no gesture has been detected to operation content determination unit 15 (step ST8). ).
  • the mouse 1 performs a process of accepting selection of an operation target object, and when the operator selects the operation target object using the mouse 1, the mouse 1 indicates the object selected by the operator.
  • the selection information is output to the operation content determination unit 15.
  • the operation content storage unit 16 of the operation content determination unit 15 stores the object selection acceptance status with the mouse 1 and the correspondence between the gesture and the operation content.
  • FIG. 5 is an explanatory diagram showing an example of the correspondence relationship stored in the operation content storage unit 16.
  • the operation content A stored in FIG. 5 is to move the screen in the currently open window up and down when a gesture expressing a movement movement in the vertical direction of the screen is detected in a state where the object to be operated is not selected.
  • the operation content B stored in FIG. 5 is to move the screen in the currently open window up and down when a gesture representing a movement motion in the vertical direction of the screen is detected with the object to be operated selected. This is the operation content of scrolling in the direction and moving the object whose selection has been accepted onto the screen after scrolling.
  • the operation content C stored in FIG. 5 indicates that the currently opened window is displayed when a gesture expressing a movement operation in the horizontal direction of the screen is detected regardless of whether or not the operation target object is selected. This is an operation content that moves in the left-right direction.
  • the operation content D stored in FIG. 5 indicates that a gesture expressing a moving motion in the horizontal direction of the screen is detected when a plurality of windows are open, regardless of whether or not an object to be operated is selected. In this case, the operation is to move a plurality of currently open windows together in the horizontal direction of the screen.
  • the operation content E stored in FIG. 5 changes the size of the currently opened window when a gesture representing a movement operation in the vertical direction of the screen is detected in a state where an operation target object is not selected.
  • the operation content F stored in FIG. 5 changes the size of the object whose selection is accepted when a gesture expressing a moving motion in the vertical direction of the screen is detected in a state where the operation target object is selected. This is the operation content to be performed.
  • the operation content determination processing unit 17 of the operation content determination unit 15 receives the detection information from the gesture determination unit 14, when the selection information is received from the mouse 1 (in the case of step ST9: YES in FIG. 4), the selection information The operation content is determined from the gesture indicated by the detection information, and the operation content is output to the operation content execution unit 18 (step ST10).
  • the selection information is not received from the mouse 1 (step ST9: NO)
  • the operation content determination processing unit 17 determines the operation content only from the gesture indicated by the detection information, and the operation content is executed by the operation content execution unit 18. (Step ST11).
  • the operation content A in FIG. 5 is used to scroll the screen in the currently open window in the vertical direction. To decide. For example, if a gesture that represents a moving action in the vertical direction of the screen is detected while the object to be operated is selected, the selection is accepted by scrolling the screen in the currently open window in the vertical direction.
  • the operation content B in FIG. 5 for moving the object on the screen after scrolling is determined.
  • the operation content in FIG. 5 is moved in the horizontal direction of the screen that is currently open.
  • C is determined.
  • a gesture expressing a movement movement in the horizontal direction of the screen is detected, a plurality of windows that are currently open.
  • the operation content D shown in FIG. 5 is determined.
  • the operation content E in FIG. 5 for changing the size of the currently opened window is determined.
  • the operation content F in FIG. 5 for changing the size of the object for which selection has been accepted is determined.
  • the operation content determination processing unit 17 When the operation content determination processing unit 17 receives the non-detection information from the gesture determination unit 14 and receives selection information from the mouse 1 (in the case of YES in step ST12 in FIG. 4), the operation target object is determined by the operator. The operation content of the mouse 1 after the selected operation is output to the operation content execution unit 18 (step ST13). If the selection information is not received from the mouse 1 (step ST12: NO in FIG. 4), the operation content determination processing unit 17 ends the series of processes without determining the operation content.
  • FIG. 6 is an explanatory diagram showing a state in which the screen in the currently opened window is scrolled up and down by the operation content A of FIG. 5 being executed. In the example of FIG. 6, since the moving operation is upward on the screen, the screen in the currently opened window is scrolled upward.
  • FIG. 7 shows that the operation content B in FIG. 5 is executed, and the screen in the currently open window is scrolled up and down, and the object whose selection has been accepted is moved onto the screen after scrolling. It is explanatory drawing which shows. In the example of FIG. 7, since the moving operation is upward on the screen, the screen in the currently opened window is scrolled upward. In addition, an object whose selection has been accepted is shown to be stored in one folder existing on the screen after scrolling.
  • FIG. 8 is an explanatory diagram showing a state in which the currently opened window is moved in the horizontal direction of the screen by the operation content C of FIG. 5 being executed.
  • the currently opened window is moved in the right direction of the screen.
  • FIG. 9 is currently opened by executing the operation content D of FIG. It is explanatory drawing which shows a mode that several windows are moved to the screen left-right direction together.
  • 9A shows a state before the operation content D of FIG. 5 is executed
  • FIG. 9B shows a state after the operation content D of FIG. 5 is executed.
  • FIG. 9B shows a state in which a target folder hidden in the window is found by moving a plurality of windows in the right direction of the screen.
  • FIG. 10 is an explanatory diagram showing a state in which the size of the currently opened window is changed by executing the operation content E of FIG.
  • the currently opened window is enlarged. If the moving operation is away from the screen, the currently opened window is reduced.
  • FIG. 11 is an explanatory diagram showing a state in which the size of the object whose selection has been accepted is changed by executing the operation content F of FIG.
  • the object whose selection has been accepted is enlarged. If the moving operation is away from the screen, the object whose selection is accepted is reduced.
  • the mouse 1 that accepts the selection of the object to be operated the camera 2 that captures the operator, and the video of the operator that is captured by the camera 2 are used for the operation.
  • a gesture detection unit 11 that detects a person's gesture, and an operation content determination unit 15 that determines an operation content from an object selection reception status with the mouse 1 and a gesture detected by the gesture detection unit 11. 18 is configured to execute the operation content determined by the operation content determination unit 15, so that it is possible to increase the content that can be operated.
  • difficult operations can be realized with a pointing device such as a mouse, a touch device, and a pen device.
  • any component of the embodiment can be modified or any component of the embodiment can be omitted within the scope of the invention.
  • the present invention is suitable for a user interface device and a user interface method for executing an operation content corresponding to an operator's gesture.
  • 1 mouse pointing device
  • 2 camera 3 display unit
  • 10 operation control unit 11 gesture detection unit, 12 hand shape storage unit, 13 hand detection unit, 14 gesture determination unit, 15 operation content determination unit, 16 operation content storage Unit, 17 operation content determination processing unit, 18 operation content execution unit, 21 hand shape storage circuit, 22 hand detection circuit, 23 gesture determination circuit, 24 operation content storage circuit, 25 operation content determination processing circuit, 26 operation content execution circuit, 31 memory, 32 processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

操作対象のオブジェクトの選択を受け付けるマウス（１）と、操作者を撮影するカメラ（２）と、カメラ（２）により撮影された操作者の映像から、操作者のジェスチャーを検知するジェスチャー検知部（１１）と、マウス（１）によるオブジェクトの選択受付状況とジェスチャー検知部（１１）により検知されたジェスチャーとから操作内容を決定する操作内容決定部（１５）とを設け、操作内容実行部（１８）が、操作内容決定部（１５）により決定された操作内容を実行するように構成する。

Description

ユーザインタフェース装置及びユーザインタフェース方法
　この発明は、操作者のジェスチャーに対応する操作内容を実行するユーザインタフェース装置及びユーザインタフェース方法に関するものである。
　以下の特許文献１には、パソコンなどのユーザインタフェース装置として、タッチデバイスとペンデバイスを備えているユーザインタフェース装置が開示されている。
　このユーザインタフェース装置では、タッチデバイスで指示された画面上の位置情報と、ペンデバイスで指示された画面上の位置情報とから、操作内容であるイベントを決定している。
特開２０１４－８９５９２号公報
　従来のユーザインタフェース装置は以上のように構成されているので、タッチデバイスとペンデバイスを用いて、パソコンなどを操作することができる。しかし、タッチデバイス及びペンデバイスの機能は、マウスの機能と大きく変わらないため、タッチデバイス及びペンデバイスで操作が可能な内容は、マウスで操作が可能な内容とほとんど変わらない。このため、入力デバイスとして、マウスの代わりに、タッチデバイス及びペンデバイスを備えても、操作が可能な内容を増やすことができないという課題があった。
　この発明は上記のような課題を解決するためになされたもので、操作が可能な内容を増やすことができるユーザインタフェース装置及びユーザインタフェース方法を得ることを目的とする。
　この発明に係るユーザインタフェース装置は、操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、操作者を撮影するカメラと、カメラにより撮影された操作者の映像から、操作者のジェスチャーを検知するジェスチャー検知部と、ポインティングデバイスによるオブジェクトの選択受付状況とジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部とを設け、操作内容実行部が、操作内容決定部により決定された操作内容を実行するようにしたものである。
　この発明によれば、ポインティングデバイスによるオブジェクトの選択受付状況とジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部を設け、操作内容実行部が、操作内容決定部により決定された操作内容を実行するように構成したので、操作が可能な内容を増やすことができる効果がある。
この発明の実施の形態１によるユーザインタフェース装置を示す構成図である。 この発明の実施の形態１によるユーザインタフェース装置における操作制御部１０のハードウェア構成図である。 ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。 操作内容記憶部１６に記憶されている対応関係の一例を示す説明図である。 図５の操作内容Ａが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールしている様子を示す説明図である。 図５の操作内容Ｂが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動している様子を示す説明図である。 図５の操作内容Ｃが実行されることで、現在開いているウィンドウを画面左右方向に移動している様子を示す説明図である。 図９Ａは図５の操作内容Ｄが実行される前の状態を示す説明図、図９Ｂは図５の操作内容Ｄが実行された後の状態を示す説明図である。 図５の操作内容Ｅが実行されることで、現在開いているウィンドウのサイズを変更している様子を示す説明図である。 図５の操作内容Ｆが実行されることで、選択が受け付けられたオブジェクトのサイズを変更している様子を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
　図１はこの発明の実施の形態１によるユーザインタフェース装置を示す構成図であり、図２はこの発明の実施の形態１によるユーザインタフェース装置における操作制御部１０のハードウェア構成図である。
　図１において、マウス１は操作対象のオブジェクトの選択を受け付けるポインティングデバイスである。
　この実施の形態１では、ポインティングデバイスがマウス１である例を示しているが、ポインティングデバイスはマウス１に限るものではなく、例えば、タッチペンやジョイスティックなどであってもよい。
　カメラ２は操作者を撮影する空間デバイスである。
　操作制御部１０はジェスチャー検知部１１、操作内容決定部１５及び操作内容実行部１８を備えている。
　ジェスチャー検知部１１は手形状記憶部１２、手検出部１３及びジェスチャー判定部１４を備えており、カメラ２により撮影された操作者の映像から、操作者のジェスチャーを検知する処理を実施する。
　手形状記憶部１２は例えば図２の手形状記憶回路２１で実現されるものであり、各種の方向から撮影されている手の形状を示す映像（以下、「手映像」と称する）を記憶している。
　手の形状は、指を開いている状態や、指を閉じている状態など、様々な状態で撮影されている。このため、手形状記憶部１２は様々な状態で各種の方向から撮影されている手映像を記憶している。
　手検出部１３は例えば図２の手検出回路２２で実現されるものであり、カメラ２により撮影された映像と手形状記憶部１２により記憶された手映像とを比較することで、カメラ２により撮影された映像内に操作者の手が映っているか否かを判定し、操作者の手が映っていれば、手が映っている３次元座標を示す位置情報を出力する処理を実施する。
　ジェスチャー判定部１４は例えば図２のジェスチャー判定回路２３で実現されるものであり、手検出部１３から出力された位置情報が示す３次元座標の変化から、操作者のジェスチャーを検知する処理を実施する。
　即ち、ジェスチャー判定部１４は手検出部１３から出力された位置情報が示す３次元座標の変化から手の移動方向を判定する処理を実施する。
　また、ジェスチャー判定部１４は手の移動方向が画面上下方向であれば、画面上下方向の移動動作を表現するジェスチャーを検知した旨を示す検知情報を出力し、手の移動方向が画面左右方向であれば、画面左右方向の移動動作を表現するジェスチャーを検知した旨を示す検知情報を出力し、手の移動方向が画面垂直方向であれば、画面垂直方向の移動動作を表現するジェスチャーを検知した旨を示す検知情報を出力する処理を実施する。
　操作内容決定部１５は操作内容記憶部１６及び操作内容決定処理部１７を備えており、マウス１によるオブジェクトの選択受付状況とジェスチャー検知部１１により検知されたジェスチャーとから操作内容を決定する処理を実施する。
　操作内容記憶部１６は例えば図２の操作内容記憶回路２４で実現されるものであり、マウス１によるオブジェクトの選択受付状況及びジェスチャーと操作内容の対応関係を記憶している。
　操作内容決定処理部１７は例えば図２の操作内容決定処理回路２５で実現されるものであり、操作内容記憶部１６を参照して、マウス１によるオブジェクトの選択受付状況とジェスチャー判定部１４から出力された検知情報が示すジェスチャーとから操作内容を決定する処理を実施する。
　操作内容実行部１８は例えば図２の操作内容実行回路２６で実現されるものであり、操作内容決定部１５により決定された操作内容を実行する処理を実施する。
　表示部３は例えばパソコンのディスプレイであり、操作内容実行部１８により実行された操作内容等を表示する。
　図１では、ユーザインタフェース装置における操作制御部１０の構成要素である手形状記憶部１２、手検出部１３、ジェスチャー判定部１４、操作内容記憶部１６、操作内容決定処理部１７及び操作内容実行部１８のそれぞれが、図２に示すような専用のハードウェア、即ち、手形状記憶回路２１、手検出回路２２、ジェスチャー判定回路２３、操作内容記憶回路２４、操作内容決定処理回路２５及び操作内容実行回路２６で実現されるものを想定している。
　ここで、手形状記憶回路２１及び操作内容記憶回路２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などが該当する。
　また、手検出回路２２、ジェスチャー判定回路２３、操作内容決定処理回路２５及び操作内容実行回路２６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。
　ただし、ユーザインタフェース装置における操作制御部１０は専用のハードウェアで実現されるものに限るものではなく、操作制御部１０がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
　ソフトウェアやファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などが該当する。
　図３はユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
　ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合、手形状記憶部１２及び操作内容記憶部１６をコンピュータのメモリ３１上に構成するとともに、手検出部１３、ジェスチャー判定部１４、操作内容決定処理部１７及び操作内容実行部１８の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
　図４はユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。
　また、図２ではユーザインタフェース装置における操作制御部１０の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、ユーザインタフェース装置における操作制御部１０がソフトウェアやファームウェアなどで実現される例を示しているが、操作制御部１０における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
　次に動作について説明する。
　カメラ２は、操作者を撮影して、操作者の映像をジェスチャー検知部１１の手検出部１３に出力する。
　ジェスチャー検知部１１の手検出部１３は、カメラ２から操作者の映像を受けると、その映像と手形状記憶部１２により記憶されている手映像とを比較することで、カメラ２により撮影された映像内に操作者の手が映っているか否かを判定する。
　即ち、手検出部１３は、カメラ２から出力された映像内に存在している物体の切り出し処理を実施し（図４のステップＳＴ１）、切り出した物体の形状と手形状記憶部１２により記憶されている手映像が示す形状とのパターンマッチングを実施することで、切り出した物体の形状が手の形状であるか否かを判定する。
　手検出部１３は、切り出した物体の形状が手の形状であれば（ステップＳＴ２：ＹＥＳの場合）、カメラ２により撮影された映像内に操作者の手が映っていると判定する（ステップＳＴ３）。
　手検出部１３は、切り出した物体の形状が手の形状でなければ（ステップＳＴ２：ＮＯの場合）、カメラ２により撮影された映像内に操作者の手が映っていないと判定し（ステップＳＴ４）、操作者の手が映っていない旨をジェスチャー判定部１４に知らせる。
　手形状記憶部１２には、各種の方向から撮影されている手映像や、様々な状態で撮影されている手映像が記憶されているので、手検出部１３は、それらの手映像のうち、いずれかの手映像が示す形状が、切り出した物体の形状との一致度が高ければ、切り出した物体の形状が手の形状であると判定する。
　映像内に存在している物体の切り出し処理や、パターンマッチングの処理自体は公知の技術であるため詳細な説明を省略する。
　手検出部１３は、カメラ２により撮影された映像内に操作者の手が映っていると判定すると、切り出した物体の３次元座標を示す位置情報（ｘ，ｙ，ｚ）をジェスチャー判定部１４に出力する（ステップＳＴ５）。
　ｘは表示部３に表示される画面の左右方向の座標、ｙは表示部３に表示される画面の上下方向の座標、ｚは表示部３に表示される画面に対する垂直方向の座標であり、操作者の手の位置が画面から遠いほど、大きな値となる。
　また、物体の位置情報（ｘ，ｙ，ｚ）として、その物体における複数の特徴点の位置情報を出力するようにしてもよいが、例えば、その物体の重心点を計算して、その重心点の位置情報を出力するようにしてもよい。
　ジェスチャー判定部１４は、手検出部１３から位置情報（ｘ，ｙ，ｚ）を受けると、その位置情報（ｘ，ｙ，ｚ）を内部のメモリに格納し、そのメモリに格納している位置情報（ｘ，ｙ，ｚ）の履歴から、操作者の手の移動方向を判定する（ステップＳＴ６）。
　即ち、ジェスチャー判定部１４は、画面左右方向の座標ｘが変化していれば、手の移動方向が画面左右方向であると判定し、画面上下方向の座標ｙが変化していれば、手の移動方向が画面上下方向であると判定する。
　また、ジェスチャー判定部１４は、画面に対する垂直方向の座標ｚが変化していれば、手の移動方向が画面垂直方向であると判定する。
　なお、画面左右方向の座標ｘ、画面上下方向の座標ｙ及び画面垂直方向の座標ｚの全てが変化している場合、変化が最も大きい座標に対応する方向が、手の移動方向であると判定する。
　したがって、例えば、画面左右方向の座標ｘの変化が最も大きければ、手の移動方向が画面左右方向、画面上下方向の座標ｙの変化が最も大きければ、手の移動方向が画面上下方向、画面垂直方向の座標ｚの変化が最も大きければ、手の移動方向が画面垂直方向であると判定する。
　ジェスチャー判定部１４は、手の移動方向が画面上下方向であれば、画面上下方向の移動動作を表現するジェスチャーが行われていると判断して、当該ジェスチャーを検知した旨を示す検知情報を操作内容決定部１５に出力し、手の移動方向が画面左右方向であれば、画面左右方向の移動動作を表現するジェスチャーが行われていると判断して、当該ジェスチャーを検知した旨を示す検知情報を操作内容決定部１５に出力する（ステップＳＴ７）。
　また、ジェスチャー判定部１４は、手の移動方向が画面垂直方向であれば、画面垂直方向の移動動作を表現するジェスチャーが行われていると判断して、当該ジェスチャーを検知した旨を示す検知情報を操作内容決定部１５に出力する（ステップＳＴ７）。
　ジェスチャー判定部１４は、手検出部１３から操作者の手が映っていない旨の知らせを受けると、ジェスチャーを検知していない旨を示す非検知情報を操作内容決定部１５に出力する（ステップＳＴ８）。
　マウス１は、操作対象のオブジェクトの選択を受け付ける処理を実施し、操作者がマウス１を用いて、操作対象のオブジェクトを選択した場合には、マウス１が、操作者により選択されたオブジェクトを示す選択情報を操作内容決定部１５に出力する。
　操作内容決定部１５の操作内容記憶部１６には、マウス１によるオブジェクトの選択受付状況及びジェスチャーと操作内容の対応関係を記憶している。
　図５は操作内容記憶部１６に記憶されている対応関係の一例を示す説明図である。
　図５に記憶されている操作内容Ａは、操作対象のオブジェクトが選択されていない状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールする操作内容である。
　図５に記憶されている操作内容Ｂは、操作対象のオブジェクトが選択されている状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動する操作内容である。
　図５に記憶されている操作内容Ｃは、操作対象のオブジェクトが選択されているか否かにかかわらず、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウを画面左右方向に移動する操作内容である。
　図５に記憶されている操作内容Ｄは、操作対象のオブジェクトが選択されているか否かにかかわらず、複数のウィンドウが開いている場合において、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いている複数のウィンドウを一緒に画面左右方向に移動する操作内容である。
　図５に記憶されている操作内容Ｅは、操作対象のオブジェクトが選択されていない状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウのサイズを変更する操作内容である。
　図５に記憶されている操作内容Ｆは、操作対象のオブジェクトが選択されている状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、選択が受け付けられたオブジェクトのサイズを変更する操作内容である。
　操作内容決定部１５の操作内容決定処理部１７は、ジェスチャー判定部１４から検知情報を受けると、マウス１から選択情報を受けている場合（図４のステップＳＴ９：ＹＥＳの場合）、その選択情報を考慮して、その検知情報が示すジェスチャーから操作内容を決定し、その操作内容を操作内容実行部１８に出力する（ステップＳＴ１０）。
　操作内容決定処理部１７は、マウス１から選択情報を受けていない場合（ステップＳＴ９：ＮＯの場合）、その検知情報が示すジェスチャーのみから操作内容を決定し、その操作内容を操作内容実行部１８に出力する（ステップＳＴ１１）。
　例えば、操作対象のオブジェクトが選択されていない状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールする図５の操作内容Ａを決定する。
　例えば、操作対象のオブジェクトが選択されている状態で、画面上下方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動する図５の操作内容Ｂを決定する。
　例えば、操作対象のオブジェクトが選択されているか否かにかかわらず、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウを画面左右方向に移動する図５の操作内容Ｃを決定する。
　例えば、操作対象のオブジェクトが選択されているか否かにかかわらず、複数のウィンドウが開いている場合において、画面左右方向の移動動作を表現するジェスチャーが検知された場合、現在開いている複数のウィンドウを一緒に画面左右方向に移動する図５の操作内容Ｄを決定する。
　例えば、操作対象のオブジェクトが選択されていない状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、現在開いているウィンドウのサイズを変更する図５の操作内容Ｅを決定する。
　例えば、操作対象のオブジェクトが選択されている状態で、画面垂直方向の移動動作を表現するジェスチャーが検知された場合、選択が受け付けられたオブジェクトのサイズを変更する図５の操作内容Ｆを決定する。
　操作内容決定処理部１７は、ジェスチャー判定部１４から非検知情報を受けると、マウス１から選択情報を受けている場合（図４のステップＳＴ１２：ＹＥＳの場合）、操作者により操作対象のオブジェクトが選択された操作以降のマウス１の操作内容を操作内容実行部１８に出力する（ステップＳＴ１３）。
　操作内容決定処理部１７は、マウス１から選択情報を受けていない場合（図４のステップＳＴ１２：ＮＯの場合）、操作内容を決定せずに、一連の処理を終了する。
　操作内容実行部１８は、操作内容決定部１５から操作内容を受けると、その操作内容を実行する（図４のステップＳＴ１４）。
　表示部３は、操作内容実行部１８により実行された操作内容を表示する。
　図６は図５の操作内容Ａが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールしている様子を示す説明図である。
　図６の例では、移動動作が画面上方向であるため、現在開いているウィンドウ内の画面が上方向にスクロールしている。
　図７は図５の操作内容Ｂが実行されることで、現在開いているウィンドウ内の画面を上下方向にスクロールして、選択が受け付けられたオブジェクトをスクロール後の画面上に移動している様子を示す説明図である。
　図７の例では、移動動作が画面上方向であるため、現在開いているウィンドウ内の画面が上方向にスクロールしている。また、選択が受け付けられたオブジェクトは、スクロール後の画面上に存在している１つのフォルダ内に格納されている様子を示している。
　図８は図５の操作内容Ｃが実行されることで、現在開いているウィンドウを画面左右方向に移動している様子を示す説明図である。
　図８の例では、移動動作が画面右方向であるため、現在開いているウィンドウが画面右方向に移動している
　図９は図５の操作内容Ｄが実行されることで、現在開いている複数のウィンドウを一緒に画面左右方向に移動している様子を示す説明図である。
　図９Ａは図５の操作内容Ｄが実行される前の状態を示し、図９Ｂは図５の操作内容Ｄが実行された後の状態を示している。図９Ｂでは、複数のウィンドウが画面右方向に移動されたことで、ウィンドウに隠れていた目的のフォルダが見つかっている状態を示している。
　図９の例では、移動動作が画面右方向であるため、現在開いている複数のウィンドウが一緒に画面右方向に移動している。
　マウス、タッチデバイス及びペンデバイスなどのポインティングデバイスでは、複数のウィンドウを一緒に移動させる操作を行うことは困難である。
　図１０は図５の操作内容Ｅが実行されることで、現在開いているウィンドウのサイズを変更している様子を示す説明図である。
　図１０の例では、移動動作が画面に近づく方向であるため、現在開いているウィンドウが拡大されている。移動動作が画面から遠ざかる方向であれば、現在開いているウィンドウが縮小される。
　図１１は図５の操作内容Ｆが実行されることで、選択が受け付けられたオブジェクトのサイズを変更している様子を示す説明図である。
　図１１の例では、移動動作が画面に近づく方向であるため、選択が受け付けられたオブジェクトが拡大されている。移動動作が画面から遠ざかる方向であれば、選択が受け付けられたオブジェクトが縮小される。
　以上で明らかなように、この実施の形態１によれば、操作対象のオブジェクトの選択を受け付けるマウス１と、操作者を撮影するカメラ２と、カメラ２により撮影された操作者の映像から、操作者のジェスチャーを検知するジェスチャー検知部１１と、マウス１によるオブジェクトの選択受付状況とジェスチャー検知部１１により検知されたジェスチャーとから操作内容を決定する操作内容決定部１５とを設け、操作内容実行部１８が、操作内容決定部１５により決定された操作内容を実行するように構成したので、操作が可能な内容を増やすことができる効果を奏する。
　即ち、マウス、タッチデバイス及びペンデバイスなどのポインティングデバイスでは困難な操作を実現することができる。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　この発明は、操作者のジェスチャーに対応する操作内容を実行するユーザインタフェース装置及びユーザインタフェース方法に適している。
　１　マウス（ポインティングデバイス）、２　カメラ、３　表示部、１０　操作制御部、１１　ジェスチャー検知部、１２　手形状記憶部、１３　手検出部、１４　ジェスチャー判定部、１５　操作内容決定部、１６　操作内容記憶部、１７　操作内容決定処理部、１８　操作内容実行部、２１　手形状記憶回路、２２　手検出回路、２３　ジェスチャー判定回路、２４　操作内容記憶回路、２５　操作内容決定処理回路、２６　操作内容実行回路、３１　メモリ、３２　プロセッサ。

Claims (8)

  1. 　操作対象のオブジェクトの選択を受け付けるポインティングデバイスと、
    　操作者を撮影するカメラと、
    　前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知するジェスチャー検知部と、
    　前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定する操作内容決定部と、
    　前記操作内容決定部により決定された操作内容を実行する操作内容実行部と
    　を備えたユーザインタフェース装置。
  2. 　前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられていないときに、前記ジェスチャー検知部により検知されたジェスチャーが画面上下方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウ内の画面を上下方向にスクロールする操作内容を決定することを特徴とする請求項１記載のユーザインタフェース装置。
  3. 　前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられた後に、前記ジェスチャー検知部により検知されたジェスチャーが画面上下方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウ内の画面を上下方向にスクロールして、前記選択が受け付けられたオブジェクトを前記スクロール後の画面上に移動する操作内容を決定することを特徴とする請求項１記載のユーザインタフェース装置。
  4. 　前記操作内容決定部は、前記ジェスチャー検知部により検知されたジェスチャーが画面左右方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウを画面左右方向に移動する操作内容を決定することを特徴とする請求項１記載のユーザインタフェース装置。
  5. 　前記操作内容決定部は、複数のウィンドウが開いている場合、前記複数のウィンドウを一緒に画面左右方向に移動する操作内容を決定することを特徴とする請求項４記載のユーザインタフェース装置。
  6. 　前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられていないときに、前記ジェスチャー検知部により検知されたジェスチャーが画面垂直方向の移動動作を表現するジェスチャーであれば、現在開いているウィンドウのサイズを変更する操作内容を決定することを特徴とする請求項１記載のユーザインタフェース装置。
  7. 　前記操作内容決定部は、前記ポインティングデバイスによりオブジェクトの選択が受け付けられた後に、前記ジェスチャー検知部により検知されたジェスチャーが画面垂直方向の移動動作を表現するジェスチャーであれば、前記選択が受け付けられたオブジェクトのサイズを変更する操作内容を決定することを特徴とする請求項１記載のユーザインタフェース装置。
  8. 　ポインティングデバイスが、操作対象のオブジェクトの選択を受け付ける処理を実施し、
    　カメラが、操作者を撮影し、
    　ジェスチャー検知部が、前記カメラにより撮影された操作者の映像から、前記操作者のジェスチャーを検知し、
    　操作内容決定部が、前記ポインティングデバイスによるオブジェクトの選択受付状況と前記ジェスチャー検知部により検知されたジェスチャーとから操作内容を決定し、
    　操作内容実行部が、前記操作内容決定部により決定された操作内容を実行する
    　ユーザインタフェース方法。
PCT/JP2016/067377 2016-06-10 2016-06-10 ユーザインタフェース装置及びユーザインタフェース方法 WO2017212641A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018522285A JP6373541B2 (ja) 2016-06-10 2016-06-10 ユーザインタフェース装置及びユーザインタフェース方法
PCT/JP2016/067377 WO2017212641A1 (ja) 2016-06-10 2016-06-10 ユーザインタフェース装置及びユーザインタフェース方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/067377 WO2017212641A1 (ja) 2016-06-10 2016-06-10 ユーザインタフェース装置及びユーザインタフェース方法

Publications (1)

Publication Number Publication Date
WO2017212641A1 true WO2017212641A1 (ja) 2017-12-14

Family

ID=60577669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/067377 WO2017212641A1 (ja) 2016-06-10 2016-06-10 ユーザインタフェース装置及びユーザインタフェース方法

Country Status (2)

Country Link
JP (1) JP6373541B2 (ja)
WO (1) WO2017212641A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251368A (ja) * 1996-03-18 1997-09-22 Hitachi Ltd 知的エージェントの構築支援システム
JP2012502344A (ja) * 2008-09-04 2012-01-26 エクストリーム リアリティー エルティーディー． 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア
WO2015104257A1 (en) * 2014-01-07 2015-07-16 Softkinetic Software Human-to-computer natural three-dimensional hand gesture based navigation method
JP2015153353A (ja) * 2014-02-19 2015-08-24 パイオニア株式会社 情報処理装置及び方法、並びにコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251368A (ja) * 1996-03-18 1997-09-22 Hitachi Ltd 知的エージェントの構築支援システム
JP2012502344A (ja) * 2008-09-04 2012-01-26 エクストリーム リアリティー エルティーディー． 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア
WO2015104257A1 (en) * 2014-01-07 2015-07-16 Softkinetic Software Human-to-computer natural three-dimensional hand gesture based navigation method
JP2015153353A (ja) * 2014-02-19 2015-08-24 パイオニア株式会社 情報処理装置及び方法、並びにコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2017212641A1 (ja) 2018-08-09
JP6373541B2 (ja) 2018-08-15

Similar Documents

Publication Publication Date Title
US11720181B2 (en) Cursor mode switching
JP6121534B2 (ja) ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US20070018966A1 (en) Predicted object location
US9977507B2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
US9513768B2 (en) Generation of depth images based upon light falloff
WO2011142317A1 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US20130293460A1 (en) Computer vision based control of an icon on a display
JP2018049432A5 (ja)
US8773473B2 (en) Instantaneous panning using a groove metaphor
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP6373541B2 (ja) ユーザインタフェース装置及びユーザインタフェース方法
JP5676959B2 (ja) 情報処理装置及びその制御方法
AU2015309688B2 (en) Methods and systems for positioning and controlling sound images in three-dimensional space

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018522285

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16904675

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16904675

Country of ref document: EP

Kind code of ref document: A1