JP6289655B2 - 画面操作装置及び画面操作方法 - Google Patents
画面操作装置及び画面操作方法 Download PDFInfo
- Publication number
- JP6289655B2 JP6289655B2 JP2016551394A JP2016551394A JP6289655B2 JP 6289655 B2 JP6289655 B2 JP 6289655B2 JP 2016551394 A JP2016551394 A JP 2016551394A JP 2016551394 A JP2016551394 A JP 2016551394A JP 6289655 B2 JP6289655 B2 JP 6289655B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- screen
- region
- feature point
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims description 64
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Description
実施の形態1.
図1はこの発明の実施の形態1に係る画面操作装置3を含むシステム全体の構成を示す図である。
図1に示すシステムでは、モニタ1、モーションセンサ(特徴点検出センサ)2及び画面操作装置3が設けられている。
モーションセンサ2は、所定のサンプリング間隔で、3次元空間内における人の特徴点の位置(空間座標値)を検出するものであり、モニタ1に表示された画面を操作する操作者を検出することができる場所に設置される。このモーションセンサ2は、予め決められた空間内を撮像してカラー画像を取得するカメラと、上記空間内に存在する物体の深度を検出する深度センサとを有している。また、人のシルエットに対して各特徴点(頭、肩、手、腰、足等)の位置を示すモデルを保持するデータベースも有している。そして、モーションセンサ2では、カメラにより撮像されたカラー画像と深度センサによる検出結果から上記空間内に存在する物体のシルエットを抽出する。そして、このシルエットをデータベースに保持されたモデルとマッチングさせることで、人を検出し、当該人の特徴点の位置を検出する。
この機能では、上記空間内の所定位置(例えば真ん中)に来た人を操作者と認識して追従する。具体的には、まず、操作者を検出する範囲をモーションセンサ2の上記空間の一部の範囲(例えば真ん中)に限定する。そして、この検出範囲内に入った人を操作者として認識する。その後、検出範囲を上記空間全体に広げ、当該操作者の動きを追従し続ける。以後、他の人が検出範囲内に入ったとしても、操作者が検出範囲内にいる限りは、操作権を譲渡しない。その後、操作者が検出範囲の外に出た場合には、操作権を放棄したものとみなす。そして、再び検出範囲を狭め、新たな操作者の認識を待つ。
この領域設定部32によるアイコン等の表示は画面上のいずれの位置でもよく、従来技術に対して操作性を改善できる。なお図3の例では、操作者の手の位置に対応する画面上のカーソル(非表示)の位置を中心にして、放射状に等分割で6つの操作領域(非表示)を設定し、6つのアイコン102を表示した場合を示している。
それに対し、本発明では、図3,4に示すように、予め決められた第1のジェスチャを行うことで、画面上の任意の位置(ジェスチャを行った際のカーソル(非表示)の位置の周囲)にアイコン102を表示させている。そして、目的のアイコン102の方向へ手を動かして(この際、アイコン102上にカーソルを移動させる必要はない)、予め決められた第2のジェスチャを行うことで、目的の機能を実行している。よって、従来技術のような厳密なカーソル操作は不要であり、容易に画面操作を行うことができる。
また、画面に対する機能の数が多く、表示するアイコンの数が多くなるような場合には、階層を持たせるようにしてもよい。この場合、第1のジェスチャが行われた場合に、まず、上位階層のアイコンを表示する。そして、第2のジェスチャが行われて目的のアイコンが選択された後、当該アイコンの位置を中心にしてその周囲に下位階層のアイコンを表示する。
実施の形態1では、領域設定部32が、カーソルの位置を中心に操作領域を放射状に等分割で設定する場合について示した。これに対し、画面に対する機能に優先度を付与し、この優先度に応じて操作領域の設定範囲を変化させるようにしてもよい。
図6はこの発明の実施の形態2に係る画面操作装置3を含むシステム全体の構成を示す図である。図6に示す実施の形態2に係る画面操作装置3は、図1に示す実施の形態1に係る画面操作装置3に優先度設定部35を追加し、領域設定部32を領域設定部32bに変更したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。
また、領域設定部32bは、実施の形態1における領域設定部32に対し、優先度設定部35により設定された優先度に応じて操作領域の設定範囲を変化させるように構成したものである。
Claims (4)
- 特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作装置において、
前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出部と、
前記ジェスチャ検出部により第1のジェスチャが検出された際に、前記操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上の任意の位置に当該機能を表す表示を行う領域設定部と、
前記領域設定部による操作領域の設定後、前記特徴点の位置の変化方向から前記カーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断部と、
前記領域判断部により前記操作領域上の表示が選択状態に切替えられた状態において、前記ジェスチャ検出部により第2のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する機能実行部とを備えた
ことを特徴とする画面操作装置。 - 前記画面に対する機能の優先度を設定する優先度設定部を備え、
前記領域設定部は、前記優先度設定部により設定された優先度に応じて前記操作領域の設定範囲を変化させる
ことを特徴とする請求項1記載の画面操作装置。 - 前記領域判断部は、前記領域設定部による操作領域の設定後、前記カーソルの位置が前記第1のジェスチャが検出された際の前記カーソルの位置から径方向に閾値以上移動するまでは、当該閾値未満の領域については前記操作領域として認識しない
ことを特徴とする請求項1記載の画面操作装置。 - 特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作方法において、
ジェスチャ検出部が、前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出ステップと、
領域設定部が、前記ジェスチャ検出部により第1のジェスチャが検出された際に、前記操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上の任意の位置に当該機能を表す表示を行う領域設定ステップと、
領域判断部が、前記領域設定部による操作領域の設定後、前記特徴点の位置の変化方向から前記カーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断ステップと、
機能実行部が、前記領域判断部により前記操作領域上の表示が選択状態に切替えられた状態において、前記ジェスチャ検出部により第2のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する操作実行ステップとを有する
ことを特徴とする画面操作方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/076129 WO2016051521A1 (ja) | 2014-09-30 | 2014-09-30 | 画面操作装置及び画面操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016051521A1 JPWO2016051521A1 (ja) | 2017-04-27 |
JP6289655B2 true JP6289655B2 (ja) | 2018-03-14 |
Family
ID=55629613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016551394A Active JP6289655B2 (ja) | 2014-09-30 | 2014-09-30 | 画面操作装置及び画面操作方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6289655B2 (ja) |
WO (1) | WO2016051521A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3540580A4 (en) * | 2016-11-08 | 2020-05-27 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
JP2022046108A (ja) | 2020-09-10 | 2022-03-23 | 株式会社ディーアンドエムホールディングス | オーディオ装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003108309A (ja) * | 2001-09-28 | 2003-04-11 | Fuji Photo Optical Co Ltd | プレゼンテーションシステム |
JP4575829B2 (ja) * | 2005-03-30 | 2010-11-04 | 財団法人エヌエイチケイエンジニアリングサービス | 表示画面上位置解析装置及び表示画面上位置解析プログラム |
JP2008065522A (ja) * | 2006-09-06 | 2008-03-21 | Seiko Epson Corp | 情報表示システム、及び、ポインティング制御方法 |
JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
JP5256109B2 (ja) * | 2009-04-23 | 2013-08-07 | 株式会社日立製作所 | 表示装置 |
WO2012011263A1 (ja) * | 2010-07-20 | 2012-01-26 | パナソニック株式会社 | ジェスチャ入力装置およびジェスチャ入力方法 |
JP5865615B2 (ja) * | 2011-06-30 | 2016-02-17 | 株式会社東芝 | 電子機器および制御方法 |
JP2013125985A (ja) * | 2011-12-13 | 2013-06-24 | Sharp Corp | 表示システム |
-
2014
- 2014-09-30 WO PCT/JP2014/076129 patent/WO2016051521A1/ja active Application Filing
- 2014-09-30 JP JP2016551394A patent/JP6289655B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2016051521A1 (ja) | 2017-04-27 |
WO2016051521A1 (ja) | 2016-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3461291B1 (en) | Implementation of a biometric enrollment user interface | |
US10076839B2 (en) | Robot operation apparatus, robot system, and robot operation program | |
JP6159323B2 (ja) | 情報処理方法及び情報処理装置 | |
EP2659336B1 (en) | User interface, apparatus and method for gesture recognition | |
JP6371475B2 (ja) | 視線入力装置、視線入力方法、および、視線入力プログラム | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
JP2009042796A (ja) | ジェスチャー入力装置および方法 | |
JP6350772B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
JP2011028366A (ja) | 操作制御装置および操作制御方法 | |
JP2016224686A5 (ja) | ||
JP6452369B2 (ja) | 情報処理装置とその制御方法、プログラム、記憶媒体 | |
JP2012027515A (ja) | 入力方法及び入力装置 | |
WO2015091638A1 (en) | Method for providing user commands to an electronic processor and related processor program and electronic circuit. | |
US10656746B2 (en) | Information processing device, information processing method, and program | |
US20130229348A1 (en) | Driving method of virtual mouse | |
JP6289655B2 (ja) | 画面操作装置及び画面操作方法 | |
JP2017084307A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
WO2017163566A1 (ja) | プログラム、コンピュータ装置、プログラム実行方法、及び、システム | |
JP5558899B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
JP2013109538A (ja) | 入力方法及び入力装置 | |
KR101337429B1 (ko) | 입력 장치 | |
EP2843516A2 (en) | Improved touch detection for a touch input device | |
KR101394604B1 (ko) | 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치 | |
JP2015122124A (ja) | 仮想マウスによるデータ入力機能を有する情報装置 | |
WO2012114791A1 (ja) | ジェスチャー操作システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20160816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6289655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |