WO2016051521A1 - 画面操作装置及び画面操作方法 - Google Patents

画面操作装置及び画面操作方法 Download PDF

Info

Publication number
WO2016051521A1
WO2016051521A1 PCT/JP2014/076129 JP2014076129W WO2016051521A1 WO 2016051521 A1 WO2016051521 A1 WO 2016051521A1 JP 2014076129 W JP2014076129 W JP 2014076129W WO 2016051521 A1 WO2016051521 A1 WO 2016051521A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
feature point
unit
point
cursor
Prior art date
Application number
PCT/JP2014/076129
Other languages
English (en)
French (fr)
Inventor
弘記 向山
将則 増井
Original Assignee
三菱電機エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機エンジニアリング株式会社 filed Critical 三菱電機エンジニアリング株式会社
Priority to PCT/JP2014/076129 priority Critical patent/WO2016051521A1/ja
Priority to JP2016551394A priority patent/JP6289655B2/ja
Publication of WO2016051521A1 publication Critical patent/WO2016051521A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the present invention relates to a screen operation device and a screen operation method for operating a screen displayed on a monitor using the position of a human feature point in a three-dimensional space detected by a feature point detection sensor.
  • a motion sensor feature point detection sensor
  • the position of the cursor is set by associating the spatial coordinate value of this hand with the two-dimensional coordinates (monitor coordinates) on the screen displayed on the monitor.
  • the cursor on the screen displayed on the monitor can be moved by the operator moving his / her hand.
  • the operator when performing the screen operation, for example, as shown in FIG. 9A, the operator first moves the hand 104 in front of the motion sensor to move the cursor 104 on the screen to the target point 105.
  • icons 102 representing functions for the screen are displayed around the target point 105 (cursor 104).
  • the operator moves his / her hand in front of the motion sensor to move the cursor 104 on the screen to the target icon 102.
  • FIG. 9C when the cursor 104 is positioned on the icon 102, the display of the icon 102 is switched to a selected state (icon 102b).
  • the operator performs a predetermined gesture in front of the motion sensor to execute the function represented by the icon 102b.
  • the present invention has been made to solve the above-described problems, and provides a screen operation device and a screen operation method capable of easily performing a screen operation by an operator's gesture with respect to the prior art. It is an object.
  • the screen operation device detects the position of the operator's feature point from the detection result of the feature point detection sensor, detects the gesture of the operator, and the gesture detection unit causes the first gesture to be detected.
  • an operation area for executing the function for the screen is set radially around the cursor on the screen corresponding to the position of the feature point of the operator, and the function is represented on the operation area.
  • the gesture detection unit detects the position of the operator's feature point from the detection result of the feature point detection sensor, and detects the operator's gesture
  • the region setting unit includes
  • an operation region for executing a function for the screen is set radially around the cursor on the screen corresponding to the position of the feature point of the operator.
  • An area setting step for displaying the function on the operation area, and the area determination unit sets the operation area by the area setting unit, and then moves the cursor from the direction of change of the position of the feature point to the operation area.
  • the area determination step for switching the display on the operation area to the selected state and the function execution unit switch the display on the operation area to the selected state by the area determination unit. In the state, when the second gesture is detected by the gesture detection unit, and has an operation execution step of executing the function corresponding to the operation area.
  • FIG. 1 is a diagram showing a configuration of the entire system including a screen operation device 3 according to Embodiment 1 of the present invention.
  • a monitor 1 a motion sensor (feature point detection sensor) 2, and a screen operation device 3 are provided.
  • the monitor 1 displays various contents (screens).
  • the motion sensor 2 detects the position (spatial coordinate value) of a human feature point in a three-dimensional space at a predetermined sampling interval, and detects an operator who operates the screen displayed on the monitor 1. It is installed in a place where This motion sensor 2 includes a camera that captures a color image by capturing a predetermined space, and a depth sensor that detects the depth of an object existing in the space. It also has a database that holds a model indicating the position of each feature point (head, shoulder, hand, waist, foot, etc.) with respect to a human silhouette. The motion sensor 2 extracts a silhouette of an object existing in the space from the color image captured by the camera and the detection result of the depth sensor. Then, by matching this silhouette with a model stored in the database, a person is detected, and the position of the feature point of the person is detected.
  • the screen operation device 3 operates the screen displayed on the monitor 1 using the position of the human feature point in the three-dimensional space detected by the motion sensor 2. As shown in FIG. 1, the screen operation device 3 includes a gesture detection unit 31, a region setting unit 32, a region determination unit 33, and a function execution unit 34. The screen operation device 3 is executed by program processing using a CPU based on software.
  • the gesture detection unit 31 detects the position of the feature point of the operator from the detection result by the motion sensor 2 and detects the gesture of the operator. That is, the gesture detection unit 31 has a function of detecting the position of the operator's feature point from the detection result of the motion sensor 2 (operator detection function) and a function of detecting the operator's gesture from the change in the position of the feature point. (Gesture detection function). The gesture detection unit 31 also has a function of storing the detected positions of the feature points of the operator one by one.
  • the operator detection function of the gesture detection unit 31 is configured to follow only the person recognized as the operator.
  • a person who has come to a predetermined position (for example, the middle) in the space is recognized as an operator and follows. Specifically, first, the range in which the operator is detected is limited to a partial range (for example, the middle) of the space of the motion sensor 2. A person who falls within this detection range is recognized as an operator. Thereafter, the detection range is extended to the entire space, and the movement of the operator is continuously followed. Thereafter, even if another person enters the detection range, the operation right is not transferred as long as the operator is within the detection range. Thereafter, when the operator goes out of the detection range, it is considered that the operation right has been abandoned. Then, the detection range is narrowed again to wait for recognition of a new operator.
  • a function of transferring the operation right to another person within the above detection range may be added.
  • another person after recognizing the operator, another person enters the detection range, and both perform a predetermined gesture (shake hand, shake hand, etc.). As a result, the transfer of the operation right is permitted.
  • a first gesture for instructing a display (display of an icon or the like) representing a function for the screen on the screen
  • a second for instructing execution of the function.
  • Detect gestures and The first and second gestures are gestures that can be distinguished from gestures performed by the operator when the cursor is moved, and are registered in advance.
  • the region setting unit 32 executes a function for the screen around the position of the cursor on the screen corresponding to the position of the feature point of the operator.
  • the operation area is set in a radial manner, and the function is displayed on the operation area (display of an icon or the like).
  • the region determination unit 33 confirms the movement of the cursor on the screen to the operation region from the change direction of the position of the feature point of the operator detected by the gesture detection unit 31.
  • the display on the operation area is switched to the selected state.
  • the function execution unit 34 performs a function corresponding to the operation region when the gesture detection unit 31 detects the second gesture. It is something to execute.
  • the motion sensor 2 detects the positions of human feature points in a three-dimensional space at a predetermined sampling interval.
  • the gesture detection unit 31 detects whether the operator has performed the first gesture from the detection result by the motion sensor 2 (step ST ⁇ b> 1, gesture detection).
  • the first gesture performed by the operator include operations such as “pause”, “draw a pattern by moving a hand or finger”, “hand gesture such as holding or opening a hand”, and the like.
  • an explanatory text indicating the operation of the first gesture may be displayed on the screen.
  • the region setting unit 32 has a function for the screen around the cursor position on the screen corresponding to the position of the operator's hand at that time.
  • the operation area for executing is set in a radial manner, and the function is displayed on the operation area (steps ST2 and ST3, area setting step).
  • the hand position (spatial coordinate value) at this time is also stored.
  • the display of icons and the like by the area setting unit 32 may be at any position on the screen, and the operability can be improved with respect to the prior art.
  • six operation areas (non-display) are set radially and equally divided around the position of the cursor (non-display) on the screen corresponding to the position of the operator's hand. The case where the icon 102 is displayed is shown.
  • the area determination unit 33 confirms the movement of the cursor on the screen to the operation area from the change direction of the position of the feature point of the operator detected by the gesture detection unit 31, and displays the display on the operation area.
  • the state is switched to the selected state (steps ST4 to ST6, area determination step). That is, as illustrated in FIG. 4, the region setting unit 32 sets the position of the hand 101 when the first gesture is performed as a reference position (coordinate (1)), and the current position of the hand 101 b (coordinate (2)). ) Is memorized.
  • the cursor (non-direction) is determined from the direction in which the hand 101b has moved (the vertical angle ⁇ between the line segment connecting the positions of the hands 101 and 101b before and after the movement and the reference axis (X axis)). Judgment is made. Then, the display on the corresponding operation area is switched to the selected state. In the example of FIG. 4, the operator moves the hand 101b diagonally to the right, selects the function b on the screen, and sets the icon 102 of the function b to the selected state (icon 102b). . As described above, since it is determined whether the cursor is positioned in the operation area, not on the icon 102, it is possible to avoid a strict operation as in the prior art.
  • the gesture detection unit 31 detects whether the operator has performed the second gesture from the detection result of the motion sensor 2 (Ste ST7, gesture detection step).
  • the second gesture performed by the operator include operations such as “pause”, “draw a pattern by moving a hand or finger”, “hand gesture such as holding or opening a hand”, and the like ( Need not be the same as the first gesture). Since the operator may not remember the movement of the second gesture, an explanatory text indicating the movement of the second gesture may be displayed on the screen.
  • the function execution unit 34 executes a function corresponding to the corresponding operation area (step ST8, operation execution step).
  • the function b can be executed when the operator performs the second gesture in a state where the function b is in the selected state (icon 102 b).
  • the cursor 104 is moved to a predetermined target point 105 to display the icon 102. Furthermore, the target function is executed by moving the cursor 104 to the location of the target icon 102 among the displayed icons 102 and performing a predetermined gesture. Therefore, it is necessary to accurately move the cursor 104 on the target point 105 and the icon 102.
  • FIGS. 3 and 4 by performing a predetermined first gesture, an arbitrary position on the screen (the position of the cursor (non-display) when the gesture is performed) is displayed. The icon 102 is displayed in the surrounding area.
  • the target function is executed by performing a predetermined second gesture. Yes. Therefore, a strict cursor operation as in the prior art is unnecessary, and the screen operation can be easily performed.
  • the position of the operator's feature point is detected from the detection result of the motion sensor 2, and the gesture detection unit 31 detects the gesture of the operator, and the gesture detection unit 31.
  • the operation area for executing the function for the screen is set radially around the cursor position on the screen corresponding to the position of the feature point of the operator.
  • An area setting unit 32 that displays the function on the operation area, and after the operation area is set by the area setting unit 32, the movement of the cursor from the change direction of the feature point to the operation area is confirmed.
  • the area determination unit 33 that switches the display on the operation area to the selected state, and the gesture detection unit 31 in the state that the display on the operation area is switched to the selected state by the area determination unit 33.
  • the function execution unit 34 that executes the function corresponding to the operation area is provided. Therefore, the screen operation can be easily performed by the operator's gesture operation compared to the conventional technique. Can do.
  • the region setting unit 32 displays a plurality of icons in a circle around the cursor position.
  • a plurality of icons may be displayed in a semicircular shape or an arc shape.
  • a hierarchy may be provided. In this case, when the first gesture is performed, first, an icon of an upper hierarchy is displayed. Then, after the second gesture is performed and the target icon is selected, the lower-level icons are displayed around the position of the icon.
  • the operation area is set in a radial manner around the cursor position. Therefore, the range of each operation area is narrow near the center, and the icon selected with a slight hand movement changes rapidly. Therefore, after the region determination unit 33 sets the operation region by the region setting unit 32, the region that is less than the threshold value until the cursor moves in the radial direction from the cursor position when the first gesture is detected by the threshold value or more. May not be recognized as an operation area. That is, as shown in FIG. 5A, after the first gesture, when the cursor (hand 101b) is located within a region that is less than the threshold in the radial direction from the center position (in the region 103 in FIG.
  • the area in the area 103 is not recognized as the operation area because there is a possibility that the selection may be wrong. After that, as shown in FIGS. 5B and 5C, when the cursor (hand 101b) moves more than the threshold value, there is a low possibility of erroneous selection, and the operability may be impaired on the contrary.
  • the entire operation area is a recognition target.
  • the motion sensor 2 is used as the feature point detection sensor.
  • the present invention is not limited to this, and any sensor that can detect the position of the operator's feature point in the three-dimensional space may be used.
  • the explanation is given assuming a system in which an operator performs a gesture on the screen of a large display (monitor 1) for an exhibition to move the cursor on the screen.
  • the present invention is not limited to this, and the present invention can be applied to any system that operates by moving the cursor on the screen when the operator performs a gesture on the screen of the monitor 1. An effect can be obtained.
  • FIG. 6 is a diagram showing the configuration of the entire system including the screen operation device 3 according to Embodiment 2 of the present invention.
  • the screen operation device 3 according to the second embodiment shown in FIG. 6 adds a priority setting unit 35 to the screen operation device 3 according to the first embodiment shown in FIG. 1, and the region setting unit 32 is changed to the region setting unit 32b. It has been changed.
  • Other configurations are the same, and the same reference numerals are given and description thereof is omitted.
  • the priority setting unit 35 sets the function priority for the screen.
  • the region setting unit 32b is configured to change the setting range of the operation region according to the priority set by the priority setting unit 35 with respect to the region setting unit 32 in the first embodiment.
  • the area setting unit 32b makes the operation area for the function with a high priority wider than the operation area for the function with a low priority.
  • the case where the priority of the function b is higher than the function a is shown.
  • the division angle theta b of the operation for the function b area shows the case where wider than division angle theta a procedure for the function a region.
  • FIG. 7B shows a case where the entire region near the center is set as an operation region for the function b, and FIG. 7B shows a case where the operation region is changed in a curved shape.
  • the operation area may be dynamically changed according to the radial distance from the center (hand 101) of the cursor (hand 101b).
  • the case where the priority of the function b is higher than the function a is shown.
  • FIG. 8A when the radial distance from the center (hand 101) of the cursor (hand 101b) is more than the threshold, the operation areas of the functions a and b are equal.
  • FIG. 8B when the radial distance from the center (hand 101) of the cursor (hand 101b) is less than the threshold, the operation area for function b becomes the operation area for function a. It becomes wider.
  • the operation area for the function b dynamically increases.
  • the invention of the present application can be freely combined with each embodiment, modified with any component in each embodiment, or omitted with any component in each embodiment. .
  • the screen operation device can easily perform a screen operation by an operator's gesture with respect to the prior art, and the position of the operator's feature point in the three-dimensional space detected by the feature point detection sensor. It is suitable for use in a screen operation device or the like that operates the screen displayed on the monitor.
  • 1 monitor 2 motion sensor (feature point detection sensor), 3 screen operation device, 31 gesture detection unit, 32, 32b region setting unit, 33 region determination unit, 34 function execution unit, 35 priority setting unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　モーションセンサ２による検出結果から操作者の特徴点の位置を検出する操作者検出部３１と、操作者検出部３１により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部３１と、特徴点抽出部３１により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部３２と、角度算出部３２により算出された角度を、カーソルの位置に変換する変換部３３とを備えた。

Description

画面操作装置及び画面操作方法
　この発明は、特徴点検出センサにより検出された３次元空間内における人の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作装置及び画面操作方法に関するものである。
　従来から、モニタ（例えば展示会向けの大型ディスプレイ）に表示された画面に対し、操作者がジェスチャを行うことで、当該画面上のカーソルを動かして操作を行うシステムが知られている（例えば特許文献１参照）。
　このシステムでは、例えばモーションセンサ（特徴点検出センサ）を用い、ある決められた３次元空間において、操作者の特徴点（例えば手）の位置（空間座標値）を検出している。そして、この手の空間座標値を、モニタに表示された画面上の２次元座標（モニタ座標）に対応させることで、カーソルの位置を設定している。このようにしてカーソルの位置を設定することで、操作者が手を動かすことにより、モニタに表示された画面上のカーソルを動かすことができる。
　そして、画面操作を行う場合には、例えば図９（ａ）に示すように、まず、操作者は、モーションセンサの前で手を動かして、画面上のカーソル１０４を目標地点１０５まで移動させる。そして、カーソル１０４が目標地点１０５上に位置すると、図９（ｂ）に示すように、目標地点１０５（カーソル１０４）の周囲に、画面に対する機能を表すアイコン１０２が表示される。次いで、操作者は、モーションセンサの前で手を動かして、画面上のカーソル１０４を、目的のアイコン１０２まで移動させる。そして、図９（ｃ）に示すように、カーソル１０４がアイコン１０２上に位置すると、アイコン１０２の表示が切り替わって選択状態（アイコン１０２ｂ）となる。次いで、操作者は、モーションセンサの前で予め決められたジェスチャを行って、当該アイコン１０２ｂが表す機能を実行させる。
特表２０１１－５１３８４７号公報
　しかしながら、操作者のジェスチャによる画面操作では、操作者に対する物理的なフィードバック（操作感）がないため、マウスによる画面操作に対して、カーソルを目的の場所に的確に移動させたり、停止させることが難しい。そのため、画面操作が困難であるという課題がある。
　この発明は、上記のような課題を解決するためになされたもので、従来技術に対して、操作者のジェスチャにより容易に画面操作を行うことができる画面操作装置及び画面操作方法を提供することを目的としている。
　この発明に係る画面操作装置は、特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出部と、ジェスチャ検出部により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う領域設定部と、領域設定部による操作領域の設定後、特徴点の位置の変化方向からカーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断部と、領域判断部により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する機能実行部とを備えたものである。
　この発明に係る画面操作方法は、ジェスチャ検出部が、特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出ステップと、領域設定部が、ジェスチャ検出部により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う領域設定ステップと、領域判断部が、領域設定部による操作領域の設定後、特徴点の位置の変化方向からカーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断ステップと、機能実行部が、領域判断部により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する操作実行ステップとを有するものである。
　この発明によれば、上記のように構成したので、従来技術に対して、操作者のジェスチャにより容易に画面操作を行うことができる。
この発明の実施の形態１に係る画面操作装置を含むシステム全体の構成を示す図である。 この発明の実施の形態１に係る画面操作装置の動作を示すフローチャートである。 この発明の実施の形態１に係る画面操作装置によるアイコン表示を説明する図であり、（ａ）操作者が第１のジェスチャを行った際の手の位置を示す図であり、（ｂ）（ａ）の場合でのアイコン表示を示す図である。 この発明の実施の形態１に係る画面操作装置によるアイコン選択を説明する図であり、（ａ）アイコン表示後の操作者の動作を示す図であり、（ｂ）（ａ）の場合でのアイコン選択を示す図である。 この発明の実施の形態１に係る画面操作装置において操作領域の一部を一時的に認識しない場合を示す図である。 この発明の実施の形態２に係る画面操作装置を含むシステム全体の構成を示す図である。 この発明の実施の形態２における領域設定部による優先度を考慮した領域設定を示す図であり、（ａ）分割角度を変えた場合を示す図であり、（ｂ）中心付近の分割角度を変えた場合を示す図であり、（ｃ）中心付近の分割角度を曲線状に変えた場合を示す図である。 この発明の実施の形態２における領域設定部による優先度を考慮して動的に領域設定を変える場合を示す図である。 従来の画面操作を説明する図である。
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１はこの発明の実施の形態１に係る画面操作装置３を含むシステム全体の構成を示す図である。
　図１に示すシステムでは、モニタ１、モーションセンサ（特徴点検出センサ）２及び画面操作装置３が設けられている。
　モニタ１は、各種コンテンツ（画面）を表示するものである。
　モーションセンサ２は、所定のサンプリング間隔で、３次元空間内における人の特徴点の位置（空間座標値）を検出するものであり、モニタ１に表示された画面を操作する操作者を検出することができる場所に設置される。このモーションセンサ２は、予め決められた空間内を撮像してカラー画像を取得するカメラと、上記空間内に存在する物体の深度を検出する深度センサとを有している。また、人のシルエットに対して各特徴点（頭、肩、手、腰、足等）の位置を示すモデルを保持するデータベースも有している。そして、モーションセンサ２では、カメラにより撮像されたカラー画像と深度センサによる検出結果から上記空間内に存在する物体のシルエットを抽出する。そして、このシルエットをデータベースに保持されたモデルとマッチングさせることで、人を検出し、当該人の特徴点の位置を検出する。
　画面操作装置３は、モーションセンサ２により検出された３次元空間における人の特徴点の位置を用いて、モニタ１に表示された画面の操作を行うものである。この画面操作装置３は、図１に示すように、ジェスチャ検出部３１、領域設定部３２、領域判断部３３及び機能実行部３４を有している。なお、画面操作装置３は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。
　ジェスチャ検出部３１は、モーションセンサ２による検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するものである。すなわち、ジェスチャ検出部３１は、モーションセンサ２による検出結果から操作者の特徴点の位置を検出する機能（操作者検出機能）と、その特徴点の位置の変化から操作者のジェスチャを検出する機能（ジェスチャ検出機能）とを有している。なお、ジェスチャ検出部３１は、検出した操作者の特徴点の位置を逐一記憶する機能も有している。
　また、例えば展示会で本システムを用いる場合には、モーションセンサ２が検出を行う上記空間内に多くの人が存在することが想定される。そこで、ジェスチャ検出部３１の操作者検出機能では、操作者と認識した人のみを追従するよう構成されている。
　この機能では、上記空間内の所定位置（例えば真ん中）に来た人を操作者と認識して追従する。具体的には、まず、操作者を検出する範囲をモーションセンサ２の上記空間の一部の範囲（例えば真ん中）に限定する。そして、この検出範囲内に入った人を操作者として認識する。その後、検出範囲を上記空間全体に広げ、当該操作者の動きを追従し続ける。以後、他の人が検出範囲内に入ったとしても、操作者が検出範囲内にいる限りは、操作権を譲渡しない。その後、操作者が検出範囲の外に出た場合には、操作権を放棄したものとみなす。そして、再び検出範囲を狭め、新たな操作者の認識を待つ。
　また、上記検出範囲内で他の人に操作権を譲渡する機能を付加してもよい。この場合、操作者を認識後に他の人が検出範囲に入り、双方が予め決められたジェスチャ（握手、手を振る等）を行う。これにより、操作権の譲渡を認める。
　また、ジェスチャ検出部３１のジェスチャ検出機能では、画面上に当該画面に対する機能を表す表示（アイコン等の表示）を指示するための第１のジェスチャと、当該機能の実行を指示するための第２のジェスチャとを検出する。なお、第１，２のジェスチャは、カーソル移動の際に操作者が行うジェスチャと区別することができるジェスチャであり、予め登録されている。
　領域設定部３２は、ジェスチャ検出部３１により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示（アイコン等の表示）を行うものである。
　領域判断部３３は、領域設定部３２による操作領域の設定後、ジェスチャ検出部３１により検出された操作者の特徴点の位置の変化方向から、画面上のカーソルの当該操作領域への移動を確認し、当該操作領域上の表示を選択状態に切替えるものである。
　機能実行部３４は、領域判断部３３により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部３１により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行するものである。
　次に、上記のように構成された画面操作装置３の動作について、図２～４を参照しながら説明する。なお以下では、操作者がモーションセンサ２の前で手を動かすことで、モニタ１に表示された画面上のカーソルを移動させる場合を例に説明を行う。また、モーションセンサ２は、所定のサンプリング間隔で、３次元空間における人の特徴点の位置を検出している。
　画面操作装置３の動作では、図２に示すように、まず、ジェスチャ検出部３１は、モーションセンサ２による検出結果から、操作者が第１のジェスチャを行ったかを検出する（ステップＳＴ１、ジェスチャ検出ステップ）。ここで、操作者が行う第１のジェスチャとしては、「ポーズをとる」、「手又は指を動かして模様を描く」、「手を握る又は開く等のハンドジェスチャ」等の動作が挙げられる。なお、操作者が第１のジェスチャの動作を覚えていない場合も考えられるため、画面上に第１のジェスチャの動作を示す説明文を表示するようにしてもよい。
　このステップＳＴ１においてジェスチャ検出部３１が第１のジェスチャを検出した場合、領域設定部３２は、その際の操作者の手の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う（ステップＳＴ２，３、領域設定ステップ）。またこの際の手の位置（空間座標値）も記憶する。
　この領域設定部３２によるアイコン等の表示は画面上のいずれの位置でもよく、従来技術に対して操作性を改善できる。なお図３の例では、操作者の手の位置に対応する画面上のカーソル（非表示）の位置を中心にして、放射状に等分割で６つの操作領域（非表示）を設定し、６つのアイコン１０２を表示した場合を示している。
　次いで、領域判断部３３は、ジェスチャ検出部３１により検出された操作者の特徴点の位置の変化方向から、画面上のカーソルの当該操作領域への移動を確認し、当該操作領域上の表示を選択状態に切替える（ステップＳＴ４～６、領域判断ステップ）。すなわち、図４に示すように、領域設定部３２は、第１のジェスチャを行った際の手１０１の位置を基準位置（座標（１））とし、現在の手１０１ｂの位置（座標（２））を記憶する。そして、手１０１ｂが移動した方向（移動前後での手１０１，１０１ｂの位置を結ぶ線分と、基準軸（Ｘ軸）とのなす垂直方向の角度θ）から、どの操作領域上にカーソル（非表示）が位置するかを判断する。そして、該当する操作領域上の表示を選択状態に切替える。なお図４の例では、操作者が手１０１ｂを右斜め上に移動させて、画面上の機能ｂを選択し、当該機能ｂのアイコン１０２を選択状態（アイコン１０２ｂ）にした場合を示している。このように、アイコン１０２上ではなく、操作領域内にカーソルが位置するかを判断するようにしたので、従来のような厳密な操作を回避することができる。
　次いで、領域判断部３３により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部３１は、モーションセンサ２による検出結果から、操作者が第２のジェスチャを行ったかを検出する（ステップＳＴ７、ジェスチャ検出ステップ）。ここで、操作者が行う第２のジェスチャとしては、「ポーズをとる」、「手又は指を動かして模様を描く」、「手を握る又は開く等のハンドジェスチャ」等の動作が挙げられる（第１のジェスチャと同じである必要はない）。なお、操作者が第２のジェスチャの動作を覚えていない場合も考えられるため、画面上に第２のジェスチャの動作を示す説明文を表示するようにしてもよい。
　このステップＳＴ７においてジェスチャ検出部３１が第２のジェスチャを検出した場合、機能実行部３４は、該当する操作領域に対応する機能を実行する（ステップＳＴ８、操作実行ステップ）。例えば図４に示すように、機能ｂが選択状態（アイコン１０２ｂ）となっている状態で、操作者が第２のジェスチャを行うことで、機能ｂを実行することができる。
　ここで、従来では、図９に示すように、画面操作を行うために、まず、予め決められた目標地点１０５までカーソル１０４を移動させて、アイコン１０２を表示させている。さらに、表示されたアイコン１０２のうち目的のアイコン１０２の場所へカーソル１０４を移動させて所定のジェスチャを行うことで、目的の機能を実行している。よって、目標地点１０５及びアイコン１０２上にカーソル１０４を正確に移動させる必要がある。
　それに対し、本発明では、図３，４に示すように、予め決められた第１のジェスチャを行うことで、画面上の任意の位置（ジェスチャを行った際のカーソル（非表示）の位置の周囲）にアイコン１０２を表示させている。そして、目的のアイコン１０２の方向へ手を動かして（この際、アイコン１０２上にカーソルを移動させる必要はない）、予め決められた第２のジェスチャを行うことで、目的の機能を実行している。よって、従来技術のような厳密なカーソル操作は不要であり、容易に画面操作を行うことができる。
　以上のように、この実施の形態１によれば、モーションセンサ２による検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出部３１と、ジェスチャ検出部３１により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う領域設定部３２と、領域設定部３２による操作領域の設定後、特徴点の位置の変化方向からカーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断部３３と、領域判断部３３により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部３１により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する機能実行部３４とを備えたので、従来技術に対し、操作者のジェスチャ動作により容易に画面操作を行うことができる。
　なお上記では、領域設定部３２が、カーソルの位置を中心にして円状に複数のアイコンを表示する場合について示した。しかしながら、これに限るものではなく、半円状や円弧状に複数のアイコンを表示してもよい。
　また、画面に対する機能の数が多く、表示するアイコンの数が多くなるような場合には、階層を持たせるようにしてもよい。この場合、第１のジェスチャが行われた場合に、まず、上位階層のアイコンを表示する。そして、第２のジェスチャが行われて目的のアイコンが選択された後、当該アイコンの位置を中心にしてその周囲に下位階層のアイコンを表示する。
　また上記の領域設定部３２では、カーソルの位置を中心にして放射状に操作領域を設定している。そのため、中心付近では各操作領域の範囲が狭く、わずかな手の動きで選択されるアイコンが目まぐるしく変わる。そこで、領域判断部３３が、領域設定部３２による操作領域の設定後、カーソルが第１のジェスチャが検出された際のカーソルの位置から径方向に閾値以上移動するまでは、当該閾値未満の領域については操作領域として認識しないように構成してもよい。すなわち、図５（ａ）に示すように、第１のジェスチャ後、カーソル（手１０１ｂ）が中心位置から径方向に閾値未満の領域内（図５の領域１０３内）に位置する場合には、選択が誤る可能性があるとして、その領域１０３内の領域を操作領域として認識しない。その後、図５（ｂ），（ｃ）に示すように、カーソル（手１０１ｂ）が閾値以上移動した場合には、選択を誤る可能性は低く、また、却って操作性を損なう恐れがあるため、操作領域全体を認識対象とする。
　また上記では、特徴点検出センサとしてモーションセンサ２を用いた場合について示した。しかしながら、これに限るものではなく、３次元空間における操作者の特徴点の位置を検出することができるセンサであればよい。
　また上記では、展示会向けの大型ディスプレイ（モニタ１）の画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムを想定して説明を行った。しかしながら、これに限るものではなく、モニタ１の画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムであれば、本発明を適用可能であり、同様の効果を得ることができる。
実施の形態２．
　実施の形態１では、領域設定部３２が、カーソルの位置を中心に操作領域を放射状に等分割で設定する場合について示した。これに対し、画面に対する機能に優先度を付与し、この優先度に応じて操作領域の設定範囲を変化させるようにしてもよい。
　図６はこの発明の実施の形態２に係る画面操作装置３を含むシステム全体の構成を示す図である。図６に示す実施の形態２に係る画面操作装置３は、図１に示す実施の形態１に係る画面操作装置３に優先度設定部３５を追加し、領域設定部３２を領域設定部３２ｂに変更したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。
　優先度設定部３５は、画面に対する機能の優先度を設定するものである。
　また、領域設定部３２ｂは、実施の形態１における領域設定部３２に対し、優先度設定部３５により設定された優先度に応じて操作領域の設定範囲を変化させるように構成したものである。
　この際、領域設定部３２ｂは、例えば図７に示すように、優先度が高い機能に対する操作領域を、優先度が低い機能に対する操作領域よりも広くする。図７の例では、機能ａよりも機能ｂの優先度が高い場合を示している。そして、図７（ａ）では、操作領域の分割角度を変化させ、機能ｂに対する操作領域の分割角度θｂを、機能ａに対する操作領域の分割角度θａよりも広くした場合を示している。また、図７（ｂ）では中心付近の領域をすべて機能ｂに対する操作領域とした場合を示し、図７（ｂ）では曲線状に操作領域を変化させた場合を示している。
　また、図８に示すように、カーソル（手１０１ｂ）の中心（手１０１）からの径方向の距離に応じて操作領域を動的に変化させるようにしてもよい。図８の例では、機能ａよりも機能ｂの優先度が高い場合を示している。図８（ａ）に示すように、カーソル（手１０１ｂ）の中心（手１０１）からの径方向の距離が閾値以上離れている場合には、機能ａ，ｂの操作領域は等しい。一方、図８（ｂ）に示すように、カーソル（手１０１ｂ）の中心（手１０１）からの径方向の距離が閾値未満の場合には、機能ｂに対する操作領域が、機能ａに対する操作領域に対して広くなる。そして、（ｃ）に示すように、カーソル（手１０１ｂ）がさらに中心（手１０１）に近づくと、動的に機能ｂに対する操作領域が広くなる。
　また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る画面操作装置は、従来技術に対して、操作者のジェスチャにより容易に画面操作を行うことができ、特徴点検出センサにより検出された３次元空間における操作者の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作装置等に用いるのに適している。
　１　モニタ、２　モーションセンサ（特徴点検出センサ）、３　画面操作装置、３１　ジェスチャ検出部、３２，３２ｂ　領域設定部、３３　領域判断部、３４　機能実行部、３５　優先度設定部。

Claims (5)

  1. 　特徴点検出センサにより検出された３次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置において、
    　前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出部と、
    　前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部と、
    　前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、
    　前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた
    　ことを特徴とするカーソル制御装置。
  2. 　前記角度算出部により算出された今回の角度が、前の角度に対して閾値内である場合に、当該今回の角度を当該前の角度に置き換えるフィルタ部を備えた
    　ことを特徴とする請求項１記載のカーソル制御装置。
  3. 　前記特徴点抽出部は、前記基点の位置が抽出できなくなった場合に、当該基点が前記動作点に重なったと判断して当該基点の位置を推定する
    　ことを特徴とする請求項１記載のカーソル制御装置。
  4. 　前記特徴点抽出部は、基点となる特徴点の位置を複数抽出し、
    　前記変換部は、前記角度算出部により算出された複数組の角度のうち、角度変化の大きい角度を用いる
    　ことを特徴とする請求項１記載のカーソル制御装置。
  5. 　特徴点検出センサにより検出された３次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御方法において、
    　操作者検出部が、前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出ステップと、
    　特徴点抽出部が、前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出ステップと、
    　角度算出部が、前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出ステップと、
    　変換部が、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換ステップとを有する
    　ことを特徴とするカーソル制御方法。
PCT/JP2014/076129 2014-09-30 2014-09-30 画面操作装置及び画面操作方法 WO2016051521A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2014/076129 WO2016051521A1 (ja) 2014-09-30 2014-09-30 画面操作装置及び画面操作方法
JP2016551394A JP6289655B2 (ja) 2014-09-30 2014-09-30 画面操作装置及び画面操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/076129 WO2016051521A1 (ja) 2014-09-30 2014-09-30 画面操作装置及び画面操作方法

Publications (1)

Publication Number Publication Date
WO2016051521A1 true WO2016051521A1 (ja) 2016-04-07

Family

ID=55629613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/076129 WO2016051521A1 (ja) 2014-09-30 2014-09-30 画面操作装置及び画面操作方法

Country Status (2)

Country Link
JP (1) JP6289655B2 (ja)
WO (1) WO2016051521A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018087977A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、プログラム
WO2022054321A1 (ja) 2020-09-10 2022-03-17 株式会社ディーアンドエムホールディングス オーディオ装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108309A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム
JP2008065522A (ja) * 2006-09-06 2008-03-21 Seiko Epson Corp 情報表示システム、及び、ポインティング制御方法
JP2013012158A (ja) * 2011-06-30 2013-01-17 Toshiba Corp 電子機器および制御方法
JP2013125985A (ja) * 2011-12-13 2013-06-24 Sharp Corp 表示システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US9134800B2 (en) * 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108309A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム
JP2008065522A (ja) * 2006-09-06 2008-03-21 Seiko Epson Corp 情報表示システム、及び、ポインティング制御方法
JP2013012158A (ja) * 2011-06-30 2013-01-17 Toshiba Corp 電子機器および制御方法
JP2013125985A (ja) * 2011-12-13 2013-06-24 Sharp Corp 表示システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018087977A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JPWO2018087977A1 (ja) * 2016-11-08 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法、プログラム
WO2022054321A1 (ja) 2020-09-10 2022-03-17 株式会社ディーアンドエムホールディングス オーディオ装置

Also Published As

Publication number Publication date
JP6289655B2 (ja) 2018-03-14
JPWO2016051521A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US10076839B2 (en) Robot operation apparatus, robot system, and robot operation program
US8666115B2 (en) Computer vision gesture based control of a device
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
JP5183398B2 (ja) 入力装置
JP6618276B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2017069176A1 (ja) 視線入力装置、視線入力方法、および、視線入力プログラム
JP6350772B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
JP2006209563A (ja) インターフェース装置
JP2011028366A (ja) 操作制御装置および操作制御方法
US20160320846A1 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit
JP2016224686A5 (ja)
JP2004078977A (ja) インターフェイス装置
JP2012027515A (ja) 入力方法及び入力装置
JP6452369B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
US20150248172A1 (en) Method for outputting command by detecting object movement and system thereof
KR20110044391A (ko) 입력 장치 및 방법
JP5386645B2 (ja) 入力方法
US20130229348A1 (en) Driving method of virtual mouse
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
JP6289655B2 (ja) 画面操作装置及び画面操作方法
JP2017084307A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
EP2843516A2 (en) Improved touch detection for a touch input device
JP2013109538A (ja) 入力方法及び入力装置
KR101394604B1 (ko) 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치
JP2013134549A (ja) データ入力装置およびデータ入力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14903264

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016551394

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14903264

Country of ref document: EP

Kind code of ref document: A1